CC BY
12
Таким образом, в данной работе изложены теоретические предпосылки исследования взаимосвязанности настраиваемых параметров в системах с нелинейным многопараметрическим интегральным широтно-импульсным законом регулирования. Показан характер трудностей, с которыми приходится сталкиваться при вычислении ранга матрицы функций чувствительности второго порядка.
Библиографический список
1. Куцый Н.Н. Взаимосвязанность настраиваемых параметров в сложных автоматических системах // Вестник ИрГТУ. Сер. Кибернетика. 1999. Вып. 2. С.84-90.
2. Никитин А.В., Шишлаков В.Ф. Параметрический синтез нелинейных систем автоматического управления: монография / под ред. В.Ф. Шишлакова. СПб.: СПбГУАП, 2003. 358 с.
3. Сабанин В.А., Смирнов Н.И., Репин А.И. Параметрическая оптимизация и диагностика с использованием генетических алгоритмов // Промышленные АСУ и контроллеры. 2004. №12. С.27-31.
4. Рождественский Б.Л. Лекции по математическому анализу. М.: Наука, 1972. 544 с.
5. Розенвассер Е.Н., Юсупов Р.М. Чувствительность систем управления. М.: Наука, 1981. 464 с.
УДК 622.20
К ВОПРОСУ ВЕРОЯТНОСТНО-СТАТИСТИЧЕСКОГО ОТРАЖЕНИЯ НЕЛИНЕЙНОЙ СТОХАСТИЧЕСКОЙ ЗАВИСИМОСТИ В РАДИОТЕХНИЧЕСКИХ ПРИМЕНЕНИЯХ
© А.В. Петров1
Иркутский государственный технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.
Одним из наиболее распространенных и эффективных при построении математической модели (нахождении функциональной зависимости) является аппарат регрессионного анализа. Но его основным недостатком являются значительные математические (порой, неразрешимые) трудности при отыскании параметров нелинейных регрессионных зависимостей (а таковых в природе подавляющее большинство). Кроме того, классический регрессионный анализ при описании стохастических зависимостей использует только понятие корреляционного момента и производного от него коэффициента корреляции. Рассматриваются вопросы изучения и развития нелинейного регрессионного анализа, которые имеют не только практически важное значение в радиотехнике и других науках, но и позволяют предпринять попытку создания числовых вероятностных характеристик, описывающих нелинейные стохастические взаимосвязи. Библиогр. 13 назв.
Ключевые слова: информационные системы; радиотехнические сигналы; регрессионный анализ; нелинейные стохастические взаимосвязи.
TO PROBABILISTIC STATISTICAL REFLECTION OF NONLINEAR STOCHASTIC DEPENDENCE IN RADIO ENGINEERING APPLICATIONS A.V. Petrov
Irkutsk State Technical University, 83 Lermontov St., Irkutsk, Russia, 664074.
The tools of regression analysis are the most common and efficient in developing a mathematical model (finding a functional dependence). However, their main drawback is considerable (sometimes insoluble) mathematical difficulties in finding the parameters of nonlinear regression dependences, which exactly are predominant in nature. Besides, the classical regression analysis uses only the concept of the correlation moment and the correlation coefficient derived from it to describe stochastic dependencies. The paper examines the problems of studying and developing the non-linear regression analysis, which are of practical importance in radio engineering and other sciences, as well as allow to make an attempt to create numeric probability characteristics describing nonlinear stochastic relationships. 13 sources.
Key words: information systems; radio signals; regression analysis; nonlinear stochastic relationships.
Известно, что практически все реальные радиотехнические сигналы представляют собой стохастические функции времени. Создание модели (в данном случае физического сигнала) - первый существенный шаг на пути систематического изучения свойства явления. Прежде всего, математическая модель позволяет абстрагироваться от конкретной природы носителя сигнала. Существенным является тот факт, что математические модели радиотехнических сигналов доставляют возможность описывать именно те свойства сигналов, которые исследователь определил как важные. И в этом случае многие второстепенные признаки или свойства сигнала отходят на
1Петров Александр Васильевич, доктор технических наук, профессор, декан факультета кибернетики, тел.: (3952) 405162, email: petrov@istu.edu
Petrov Alexander, Doctor of Technical Sciences, Professor, Dean of the Faculty of Cybernetics, (3952) 405162, e-mail: pe-trov@istu.edu
второй план. В подавляющем большинстве случаев крайне затруднительно подобрать точные функциональные зависимости, которые соответствовали бы радиотехническим измерениям, полученным экспериментально. И исследователь, основываясь на имеющейся у него информации, выбирает те математические модели сигналов, которые в конкретном случае являются наиболее подходящими.
Одним из наиболее распространенных и эффективных при построении математической модели (нахождении функциональной зависимости) является аппарат регрессионного анализа. Но его основным недостатком являются значительные математические (порой неразрешимые) трудности при отыскании параметров нелинейных регрессионных зависимостей (а таковых в природе как раз и подавляющее большинство). Кроме того, классический регрессионный анализ при описании стохастических зависимостей использует только понятие корреляционного момента и производного от него коэффициента корреляции.
Таким образом, вопросы изучения и развития нелинейного регрессионного анализа имеют не только практически важное значение в радиотехнике и других науках, но и позволяют предпринять попытку создания числовых вероятностных характеристик, описывающих нелинейные стохастические взаимосвязи.
Пусть задан полином первого порядка
У = ь0 • х+ь, (1)
где Ь0,\ - коэффициенты; X - независимая случайная величина с известным одномерным (и всеми характеристиками соответственно) распределением.
Если заданы пары наблюдений (X.,У.), 1 = 1,2,...,п (X. - независимая переменная, У - зависимая), то
предполагается, что X и У линейно взаимосвязаны. Используя метод наименьших квадратов, найдем неизвестные коэффициенты а и Ь [1, с. 33-38], используя известные системы нормальных уравнений.
г \
п • Ь + Ь0 ■
( \
IX =
V 1 У
IУ
V 1
(2)
V 1
Г
I х2 + Ь • I х; = I ху
V 1
V 1
Ь =
I ху 1-1 х; )•&у)
V 1 У п
(
IX
V 1
(
Ь =
л г
IУ
_ V 1
Л
IX
V 1
( У
IX
V 1
-'IX
V 1
(3)
Л (
\
11
V 1
п •
( \ (
2
IX2 -1X
2
(4)
V 1 У V 1 У
Далее авторы обращают внимание на то, что записано в числителе и знаменателе выражений для Ь0 и Ь сравнивая их с известными определениями начальных, центральных и смешанных моментов.
IX1 - X- у)
К УГ О Г —
(5)
Ь =1 Ь0
IX, - X )2
_ К XI _ о у -Dх (Tх '
где X, У - оценки математических ожиданий X и У; Dх,DY - оценки дисперсий X и У ;
КXI - оценка корреляционного момента; rхY - оценка коэффициента корреляции.
Можно рассуждать и иначе, отталкиваясь, например, от идей К.Ф. Гаусса [2, с. 152].
Выводя и описывая метод наименьших квадратов, К.Ф. Гаусс не упоминает о корреляционном моменте, а просто получает выражения (4) и (5). По-видимому, позднее сумму в числителе (5) назвали корреляционным (отражающим зависимость) моментом. Моментом -потому что это числовая характеристика, которая в теории вероятностей вычисляется через математическое ожидание для случайной величины или центрированной случайной величины в некоторой степени &, называемой порядком момента. (Характеристическая функция также определяется через математическое ожидание, но это функциональная вероятностная характеристика).
<
Ь
0
Путем нормирования по среднеквадратичным отклонениям корреляционный момент переводится в коэффициент корреляции (см. выражение (5)).
В подтверждение и обоснование физических свойств корреляционных характеристик используется линейная функция (1) от случайной величины, для нее находится коэффициент корреляции:
КХ7 = М[(X -шх)-(У -шг )] = М[(X -шх)-(й0 • X + Ъ- -Ь0 • шх -Ъ-)] =
= Ъо • М [(X - Шх )2 ]= Ъо • Бх,
„ _ Ъ0 • Бх _ Ъо • Бх =±1
х'7 (± Ъо).
Отсюда делается вывод о том, что если величины X и У линейно зависимы, то коэффициент корреляции для них равен ±1 (знак определяется знаком коэффициента Ъ0) [6, с. 217; 7, с. 94]. Уточним понятие центрального смешанного момента (оно вытекает, кстати, из неравенства Шварца [7]).
В соответствии с определением теории вероятностей [3, с. 791] вводится понятие момента совместного распределения случайных величин X,•••,X:
«Для любых целых К. — 0,К + •••+ К = К математическое ожидание М[х^,...,хК"] называется смешанным начальным моментом порядка К, а
м[(X-! -м[X,]К • ••• •(хп -М[хп]
- центральным смешанным моментом порядка К».
И далее: «Центральный смешанный момент порядка 2 М[(X -М[X])• (X -М[X])] называют кова-риацией (корреляцией)».
В указанном определении и многих других источниках говорится, что порядок момента определяется суммой степеней К.. Это не совсем корректно, так как и корреляционный момент (К = К = К = 2) и дисперсия
(К = 2, К = 0, К = 2) имеют один и тот же порядок 2 . Но они отличаются по определению: если речь идет
о смешанном моменте, например, порядка 4 , то тогда не ясно, какие значения принимает К ■
Совершенно правы М. Дж. Кендалл и А. Стюарт [4, с. 120], называя смешанный момент многомерным, хотя и это не точно, так как подразумевает только количество случайных величин, задействованных в смешанном моменте.
Точнее всего назвать смешанный момент
Мкл = М [(X - Шх ) .(У - Шу )£ ] моментом, имеющим «ПОРЯДОК К, £ ».
В дальнейшем мы будем придерживаться именно этой терминологии, называя
МК1Ы(х-,X,-,хп)=М[(х-М(х^ -(х -М(х2))К • ••• .(хп -М(хп))К]
смешанным центральным моментом случайных величин X,•••,х„ порядка К,•••,К■
По аналогии имеет место и смешанный начальный момент случайных величин х ,...,х порядка
K1,• • •, Кп
ш^К» (х-,-, хп)=М [хК1 • ••• • хКп ]■
Для дальнейшего рассмотрения важна теорема [8, с. 176]:
Если (х) - функция распределения величины /(х) - непрерывная функция, то
ш
М [/(£)]= | /(х) • ^(х)
Из данной теоремы следует
М[(х - а) ]= |(х - а) • дР(х)
(Для дискретных и многомерных случайных величин см. [9, с. 42,44]).
Обратимся к рассмотрению взаимосвязей центральных и начальных моментов. Известно, что начальный момент случайной величины X определяется выражением
ш
-ш
ак(х) =М [хК \
Введя понятие нормированной и интегрированной случайной величины
о
X = X X -д(х)
получают центральный момент для центрированной величины
* Л У о
*(х) а(х)
ой величины
ак| Х\ = ^кГX 1= М[(X-а,(X))\К.
(6)
Особенностью центрированной случайной величины X является ее нулевое математическое ожидание
М
о
X
=а I х I = м[X - а (X)\=м[X\ - а (X)=о.
Особенностью нормированной случайной величины X является и нулевое математическое ожидание, и единичная дисперсия
о
X
М
*
X
=м
а
(X )
1
(X )
• м
а
о
X
= о,
в
*
X
= в
о
X
а
(X )
• D[X-а, (X )\ = 1.
Из (6) ясно, что начальные моменты порядка К для центрированной и нормированной случайной величины х имеют вид
а I X |= М
Г о Лк
X
а(х)
V У
_к/.\ к (х).
а и
(х )
(7)
При К = 1 а|ХJ = о, при К = 2 а2|ХJ = 1, К = 3 - это асимметрия, К = 4 - эксцесс (к сожалению, при К > 4 физическое толкование этих величин отсутствует).
По-видимому, единственно возможным путем выявления физических толкований вероятностных характеристик является проведение экспериментальных имитационных исследований. (За исключением редких случаев, когда такая физическая иллюстрация дается математическим выражением, как это имеет место для математического ожидания и дисперсии).
*
Центральные моменты порядка К центрированной и нормированной случайной величины X определяются следующим образом:
-.К'
»К
= М
* ( * ( * ЛЛ
X = М х-а| XI
- - V V У У
*
= М хк
(X-а, (X ))К
аК (X)
(8)
ОД '»К(х )=аК Vх }
Таким образом, начальные (7) и центральные (8) моменты нормированной и центрированной случайной ве-* / * \ личины X совпадают. Обусловлено это, очевидно, нулевым математическим ожиданием а| х \ = о .
Введем в рассмотрение случайную величину Xм и исследуем ее центрированный и нормированный вариант.
о
Центрированная величина Хт = Хт — аот(х) центрируется относительно начального момента порядка
т. Это очевидное действие, хотя бы с точки зрения размерности случайной величины X. Исходя из этой же посылки, введем нормированную величину
0
* Т^т
Хт =-
а( Хт)
Для такой случайной величины
а,
С * ^
Хт
1
V У
аК (Хт)
• М
а
С * ^
Х
V У
= У2
/ * \ Хт
V У
(хт —а (Хт)^ 1, £>(хт)
ук (хт) аК (Хт)'
т '=а, —а2.
2т т
Введем также понятие смешанного момента порядка К,К2 нового вида - смешанного момента порядка К, К случайных величин т1 -ой и т2 -ой степеней:
Ук,
(т1,т2!) _
=М
(Хт1 — а(Хт1 Ж1 • (Хт2 — а(Хт2 Ж \
или для произвольного (п) числа случайных величин
ут.'т = М
(Хт1 — а(Хт1 ))К1 •... • (хщ — а(Хт ))К'
а также начальных моментов порядка К, К,..., К случайных величин щ -ой, т -ой,..., тп -ой степеней:
а
КЪ-Кп
--М[хК1 • ХК2 •...• ХК\.
(9)
(10)
Очевидно, что вновь введенные числовые характеристики охватывают при соответствующих Kj,т,7 = 1,2,...,п ранее описанные в широко распространенной научной и учебной литературе числовые
характеристики случайных величин. И, вообще, они не столь уже «новы». По-видимому, ранее им не уделялось особого внимания по достаточно простой причине - не ясны физические свойства, которые они отражают, что необходимо в силу указанных выше требований к числовым характеристикам.
Введем также нормированный смешанный момент порядка К,К,..., К случайной величины Х в степени
щ тп
Г(К1,-Кп)
,,(т1.--тп)
У^.-К,)
а( Х т1) •... Х тп)
Рассмотрим один из возможных путей решения проблемы определения физических свойств случайных явлений, описываемых сложными моментами вида (9) и/или (10).
При рассмотрении задачи нахождения коэффициентов полинома п -ой степени методом наименьших квадратов (нелинейная полиномиальная регрессия)
у=ь0+к • х + К • х1+...+К • хп (11)
К.Ф. Гаусс [2, с. 38], Н.И. Идельсон [10, с. 34-40], Е.Е. Слуцкий [9, с. 42] и другие авторы (включая и авторов учебной литературы) предлагают использовать так называемые системы нормальных уравнений типа (2).
Обратим внимание на второе уравнение системы (2) и сформулируем следующие предположения:
1) Первое уравнение описывает смешанный момент т01.
2) Второе уравнение - смешанный момент щ 1.
3) Третье и все последующие - смешанные моменты щ1 , где 7 - номер уравнения.
4) Система нормальных уравнений типа (2) описывает стохастические взаимосвязи зависимой и независимой переменных в соответствующей степени (0-ой, 1-ой,.,п-ой).
Под термином «описывает» понимается связь соответствующего сложного смешанного момента с начальным моментом независимой переменной и коэффициентом К . полинома (11).
Для полинома п-ой степени, определенного выражением (11),
у = 1К
■ х
(12)
7=0
К
найдем числовые характеристики
а(у )=м В(У ) = М [(У-а, (Г )2)
V
= в
Е Ъ
1=о
■х-1
I Е Ъ •х =Е Ъ •а(х).
Vj=о У - 1=о = а2 (У )-а,2 (7 ) = ...=
ЕЕ Ъ) •В(х') + Е Ък • Ъ • (ам - а^ • а^ )
1=о
= м[(хт -а(хт))• (У-а(У))\ = М (хт -ат(х))^^ -аДО)
п п
= Е ь-а+т (х)-«т (х )Е ь-а(х).
ЕЕЪ • (а/+т(X)-а„(X)а(X))
*(т,1) _ Л_ .
'(1,1)
а(У )-а( X>) -а( Xм)
ЕЪ -(а+т(X)-ат(XУа^))
1=1
1
, т < и.
п .
ЕЪ2 • В(X1) + ЕЪк • Ъ-(а
Vl=0
1 -ага
)!• В( Xм )
Рассмотрим подробнее центральный момент (выражение (13)) для различных т. Обознач
(13)
им
начальные моменты как
Тогда при т = 1
а =а(х).
М(и) = Е Ъ (а1+1 - а1 • а ) = Ъ1 (а2 - а2 ) + Ъ2 (а3 - а1 • а2 ) + ... + Ъп (<
п (ап+1 -а1 ап ) ;
1=1
при т = 2
и т.д.
= ЕЕ Ъ 1 (а 1+2 -а2 •а1) = Ъ1 (а3 - а1 • а2 ) + Ъ2 (а4 - а22 ) + ... + Ъп (
п (ап+2 -а2
1=1
Обратим внимание на тот факт, что в каждой сумме (13) обязательно присутствует слагаемое (когда 1 = т),
которое является соответствующей дисперсией В^К ).
Обращая внимание на выражение (13), описывающие сложные центральные моменты , можно сделать
вывод, что эти моменты (даже порядка 1,2) определяют «вклад» каждого компонента полинома в статистическую зависимость. Первый компонент описывает вероятностную зависимость определенным слагаемым полинома со степенью независимой переменной 1, второй - степенью 2, третий - степенью 3 и т.д.
Важно помнить, что знаменатель в коэффициенте г/?1' - это всего лишь НОРМИРОВКА, которая обеспечи-
вает удобство работы, удобство интерпретации, но не меняет физическую суть момента /л^?^. Найдем момент , используя понятие биноминального ряда [14, с. 92]:
У
(т,1) _
= M
= M
=(—1)
(хт —атГ •(г — а(г))
п (к
(Хт —а ) (¿К {х> —а)]
V 7=1 У
к ак
т
• У ' <
а
I 'т+7
У\
• I
V 7= V
'=1
а
т У У
п К VI
К, а > "I(— 1) • ск
и=1 ¿=1
а
щ у I
(т1.....тп )
Используя биноминальный ряд, можно получить выражение для момента У(К1.....Кп) , используя формулу (9)
У"С2 '•(X,,..., X, )=(—1)! КП (аК'Х, ))М-
7=1
п
=1
К (—1)-Ск •
( \
а ,
V тЛ л у
Формула (14) определяет зависимость между компонентами полинома (отдельными его слагаемыми)
1,2,..,) ч _
У^КСк,) = М|X—а.)к •(Х2 —а22)к' •...• (хп —а,^}
(-^ к'\пп а (х ))]• м.
п
7=1
К— 1)'С
• I . „ •
¿=0
г7
vX(Х )>
Дополним выражение (15) компонентом, определяемым полиномом (12):
К!:К;.1,1) = м —а (г ))Чх—а1)К2,.,(хп—а, Н=
(—1)! чпак^)) -м^
. 7=2
/ \К
п 1
V 7=1
п
=2
• I __ •
х-
vа—1(Х )у
К К-Х'
7=1 '
П Хг-
7=2
(14)
(15)
(16)
С учетом того что в (16) под знаком математического ожидания находится сложное произведение, по сути являющееся также корреляционными моментами, в [11] найдено представление формулы (15) без математического ожидания - непосредственно через начальные моменты:
7=1
(1,1,2,3,...п) У(1,К2,К3,...,К1 ,...Кп+1) .
! а—1 аз1—1 ^
(аГ+7—1 а51 —1 • аУ+7—5
V'! =2
а1 —1 —1 '^+'—51—5,1 +1 а1— 1 'аУ+7—5 —5,—5,2 +2
^ а—1 •(а )
51 —1 " (XV+7—5, а51 —1 • XV+,—.5а —51
1 +1 )
слагаемых +
С2
Си—1
К а51 —1 • Х52 —1 • а53 —1 • (х
¿1=2 '2 =2 V ¿3 =2
'з —1^+7—51 —5,2 — 5„ +2 51 —1 V +7—51 — 5„— 5^ — 5„ +3
.)
с3
Си—1
слагаемых
(17)
и /
1)и—1 Ка51 —1 •... • а5и—1 —1 -Ц^—5'
,+У—2 —1 'аУ+ 7'—5 —5 —...—5
и— 1 1 1 '
— —1)
V 'и—1 -
'1 * ... * 'и—1
Си—1
слагаемых
'=0
>
> —
'=0
п
' =2
' =2
'2
'1 * '2 * '3
+
+
' =2
2
Проведя нормирование момента (17) среднеквадратическими, получим соответствующий коэффициент корреляции:
..(1,1,2,.. .n)
Vi n , Л (
Xь)-dM + Xbrbk •(<
|VVj=1 J \J*k
■k \aJ+k ~arak)
) -DK2 (jM2 ) • ...• DKn+1 (jm'+1 )
JJ
(18)
Анализируя выражение (18), можно сделать вывод о том, что каждое слагаемое в них есть числовая характеристика взаимосвязи, которая отражает вклад соответствующего вида зависимости в общую зависимость. Например, для полинома второго порядка
y = ь + Ь-х+b-X2
- это зависимости пар (X, Y), (X 2, Y),(X, X 2). Аналогии такому объяснению можно найти в теории вероятностей достаточно часто. Общая формула вероятности суммы произвольного числа совместных событий [12, с. 44]
ÁXáj ] = X )-X P(ArAj )+X P(A-Aj-AK )-...-(- 1)n-1- P(\-A) •...• An)
vJ=1 J i i,J i,J,K
содержит слагаемые, определяющие вероятности совместного появления 2-х, 3-х,..., n событий A..
Таким образом, введено понятие смешанного центрального момента ¡(¿.'""^ ) - формулы (9) и (15), выведены выражения для смешанного центрального момента ¡ в случае, когда его компоненты являются аргументами полинома порядка n и самим значениям этого полинома формулы (17) и (18). Использование систем нормальных уравнений для нелинейной регрессии позволило выяснить физический смысл смешанного центрального момента ¡ - вероятностно-статистическое отражение нелинейной зависимости между случайными величинами.
Библиографический список
1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. В 2 кн. / пер. с англ.; 2-е изд., перераб. и доп. М.: Финансы и статистика, 1986. Кн.1. 366 с.
2. Гаусс К.Ф. Избранные геодезические сочинения. Т. 1: Способ наименьших квадратов. М.: Изд-во геодезич. лит-ры, 1947. 152 с.
3. Математическая энциклопедия / гл. ред. И.М. Виноградов. Т. 3: Коо - Од. М.: Советская энциклопедия, 1982. 1184 с.
4. Кендалл М. Дж., Стюарт А. Теория распределений. М.: Наука, 1966. 588 с.
5. Митропольский А.К. Техника статистических вычислений. М.: Наука, 1971. 576 с.
6. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. М.: Наука, 1988. 480 с.
7. Крамер Г., Лидбеттер М. Стационарные случайные процессы. М.: Мир, 1969. 398 с.
8. Гнеденко Б.В. Курс теории вероятностей: учебник. Изд. 6-е, перераб. и доп. М., 1988. 448 с.
9. Слуцкий Е.Е. Избранные труды. Теория вероятностей и математическая статистика. М.: Изд-во АН СССР, 1960. 292 с.
10. Идельсон Н.И. Способ наименьших квадратов и теория математической обработки наблюдений. М.: Изд-во геодезич. и картограф. лит-ры, 1947. 359 с.
11. Петров А.В. О полиномиальной регрессии. Иркутск: Изд-во ИрГТУ, 2009. 74 с.
12. Вентцель Е.С. Теория вероятностей: учебник. М.: Наука, 1969. 570 с.
13. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся вузов. М.: Наука, 1981. 720 с.
