Статистическая линеаризация многомерных стохастических систем по информационному критерию Текст научной статьи по специальности «Математика»

стохастическая динамика и хаос х

УДК 519.71

статистическая линеаризация многомерных стохастических систем по информационному критерию

К. Р. Чернышев,

канд. физ.-мат. наук

Институт проблем управления им. В. А. Трапезникова РАН

Предложена конструктивная процедура построения линейной входо-выходной модели, которая представляет собой статистический эквивалент некоторой нелинейной многомерной динамической стохастической системы с гауссовым входным процессом в виде белого шума. Ключевым моментом такой процедуры является использование в качестве критерия статистической линеаризации условия покомпонентного совпадения взаимной информации входного и выходного процессов системы и взаимной информации входного и выходного процессов модели. Данный подход позволяет получить явные соотношения, определяющие элементы весовых матриц линеаризованной модели.

Ключевые слова — взаимная информация, входо-выходная модель, гауссова плотность распределения, информационный критерий, меры зависимости, многомерная система, статистическая линеаризация.

Введение

Решение задачи идентификации систем всегда основано на применении тех или иных мер зависимости случайных величин (процессов), идет ли речь о представлении исследуемых систем в виде входо-выходного соотношения или в пространстве состояний. Наиболее часто в качестве такой меры выступают традиционные линейные ковариационные или корреляционные меры зависимости, использование которых непосредственно вытекает из самой постановки задачи идентификации на основе среднеквадратического критерия. Их основным достоинством является удобство использования, включая как возможность построения явных аналитических выражений для определения искомых характеристик, так и относительную простоту построения их оценок, в том числе и на основе наблюдения зависимых данных. Однако главным недостатком мер зависимости, основанных на линейной корреляции, является, как известно, возможность их обращения в нуль даже в случае существования детерминированной зависимости между парой исследуемых переменных [1-3].

Именно на преодоление этого недостатка направлено использование в задачах идентификации более сложных, нелинейных, мер зависимо-

сти, таких как дисперсионная функция, являющаяся аналогом известного в литературе дисперсионного отношения, максимальная корреляция, взаимная информация по Шеннону. При этом две последние меры, как известно, являются состоятельными, по терминологии А. Н. Колмогорова, мерами зависимости, т. е. обращающимися в нуль тогда и только тогда, когда случайные процессы (величины) в данной паре являются стохастически независимыми. В этом, в первую очередь, состоит привлекательность применения максимальной корреляции и взаимной информации в задачах идентификации, особенно в случае рассмотрения нелинейных систем.

К задачам нелинейной идентификации, решение которых существенно определяется характеристиками зависимости входных и выходных процессов системы, относится статистическая линеаризация входо-выходного отображения исследуемых систем. При этом известные подходы к статистической линеаризации основаны на применении либо обычных корреляционных функций, либо дисперсионных функций, что, в силу указанных выше причин, может приводить к построению моделей, выход которых тождественен нулю. В частности, возможность такой ситуации иллюстрируется в последнем разделе примером. Предлагаемый в настоящей работе подход на-

'^—стОхАстйчЕскАялйнАмйкдйхАос™"Х

правлен на исключение отмеченных недостатков, связанных с применением корреляционных и дисперсионных (основанных на корреляционном отношении) мер зависимости при идентификации систем на основе линеаризованных представлений их входо-выходных моделей. В его рамках рассматривается постановка задачи статистической линеаризации многомерных систем с дискретным временем по информационному критерию, обобщающая подход, представленный в работе [4] для одномерных систем.

Предварительные замечания

Применение состоятельных мер зависимости имеет свои особенности и ограничения. В этих рамках шенноновская взаимная информация выглядит предпочтительнее максимальной корреляционной функции, вычисление которой сопряжено с необходимостью использовать сложную итеративную процедуру определения первого собственного числа и пару первых собственных функций стохастического ядра

Pyw (y>W т)Д/Pw (w)Py (y) [1, 5L где pwPy(V)’ pyw(y, w, т) представляют собой маргинальные и совместную плотности распределения случайных процессов w(s) и y(t) соответственно, т = t - s. К использованию взаимной информации приводит выбор в качестве критерия идентификации теоретико-информационного критерия. Примером такого подхода является работа [6], в которой постановка задачи идентификации ограничена рассмотрением класса линейных гауссовых систем и естественным образом приводит к использованию следующего соотношения для взаимной информации I(Y, X) многомерного нормального распределения:

I(Y, X) = -1 lnf--det(Qzz)----1. (1)

2 _ det(QYY )det(QXX ),

В формуле (1) приняты следующие обозначения: Z — нормально распределенный случайный вектор с ковариационной матрицей Qzz, dimZ = = n + m, причем Z = (XT YT)T, где dimX = n, dimY = m; Qxx, Qyy — ковариационные матрицы случайных векторов X и Y соответственно. При этом целью работы [6] является демонстрация эквивалентности ряда критериев идентификации и управления для линейных гауссовых систем. В то же время нельзя не отметить, что в этих рамках в принципе исчезает сам смысл обращения к подобному информационному критерию, поскольку в данном случае достаточно использовать обычный среднеквадратический критерий (как хорошо известно, в случае нормальности совместного распределения максимальная корреляция линейна и совпадает с обычной).

Постановка задачи

Пусть в некоторой многомерной (MIMO — multi input / multi output) нелинейной динамической стохастической системе Y(t) = (y1(t), ..., yn(t))T — n-мерный выходной случайный процесс системы, предполагающийся стационарным и эргодиче-ским; W(s) = (w1(s), ..., wm(s))T — m-мерный входной случайный процесс системы, предполагающийся в данной постановке задачи белым гауссовым шумом с известной ковариационной матрицей CW, а зависимость компонент входных и выходных процессов системы характеризуется (конечно, неизвестными исследователю) плотностями распределения

Pyi, wj (У’ W т). i = 1, ., n>

j = 1, ..., m, т = 1, 2, .... (2)

Ради простоты построения, но без потери

общности, компоненты данных процессов Y(t)

и W(s) предполагаются имеющими нулевые средние и единичные дисперсии

M{y*(t)} = M{wj(s)} = 0, D{yf(t)} = D{wj(s)} = 1,

i = 1, ..., n, j = 1, ..., m, (3)

где M{-}, D{-} — символы математического ожидания и дисперсии соответственно. В сделанных предположениях

1 c12 •” c\m

CW =

12

c

(m-1)m

c1m *** c(m- 1)m 1

(4)

Также процессы Y(t) и Ж(в) предполагаются стационарно связанными в строгом смысле.

Линейная входо-выходная модель системы, характеризуемой плотностями распределения (2), ищется в виде

¥

У(*; G) = £ G (Ы^ (# - k), t = 1, 2, ...., (5)

k=l

где У (#; G) = (1/1 (#; G),...,yn (#; G))г — выходной процесс модели, G = {G(k), йе[1, да)}, G(k), й = 1, 2, ... — матричнозначные (размерностью п х т) коэффициенты весовой функции линеаризованной модели, подлежащие идентификации в соответствии с условием совпадения взаимной информации компоненты выходного процесса у0) и j-й компоненты входного процесса Wj(s) системы, характеризуемой плотностями распределения (2), и взаимной информации ^й компоненты выходного процесса у1 (#, G) и j-й компоненты входного процесса Wj(s) модели (5) для всех i = 1, ..., п, j = 1, ...,

т. Аналитически данный критерий имеет следующий вид:

.(т), т = 1, 2, ....

(6)

1у1ш, (т) = 1у, (О)ш,

Безусловно, с точки зрения задачи статистической линеаризации условие (6) необходимо дополнить условием совпадения математических ожиданий выходных процессов системы и модели

М{у; (#)}= М{у; (#; G)}= 0, i = 1, ..., п. (7)

Очевидно, что в рамках данной постановки задачи условие (7) выполняется автоматически.

Далее, следуя условию нормировки (3), на компоненты выходного процесса модели (5) налагается условие единичности дисперсии

D{yг (#; G)}= 1, i = 1, ..., п, (8)

и, как следствие, строки матричнозначных коэффициентов модели (5) должны удовлетворять условию

¥

£ ё, (Ы)С№§Т (Ы) = 1, i = 1, ..., п, (9)

Ы=1

где ё, (Ы) = (ё;1(Ы),..., ёт (Ы)) — ^я строка матрицы G(k) из (5).

Соотношение (9) очевидным образом определяется цепочкой

|¥

£ ь(т$-к)

Ы=1 ¥

= £Іi{k)Ш{W{t-k)WT{t-k)}iтi (Ы) +

Ы=1 1

¥

+£^1^ ^-рЩт (—)}£ (?)=£ё£(ыадТ (Ы)

р^ Ы=1

в силу описания модели (5) и условий нормировки (3), (4), (8).

Выражения (6) и (7) представляют собой, таким образом, критерий статистической линеаризации системы, характеризуемой плотностями распределения (2). В терминах плотностей распределения условие (6) записывается в виде

и

1п

у,,

(у, ш, т)

Ру1 (у)Рш,- (ш)

У1, Щ

(у, ш, т)dydw =

//

— ¥—¥

1п

ру,(О), ш (у(О^ Щ т)

Ру1 (О)(У/(О))Рш; (ш) , х Ру1 (О),(у(О), ш, т^у(О^ш, i = 1, ..., п, j = 1, ..., т, т = 1, 2, ...,

— соответ-

где Ру1,ш, (У, ш т), Ру1 (О),ш,- (І/(G), ш т) ственно совместные плотности распределения

компоненты выходного и у-й компоненты входного процессов системы, характеризуемой плотностями распределения (2), и Ьй компоненты выходного и у-й компоненты входного процессов модели (5); Ру, (у), Ру,(О) (у(О)) и рш. (ш) — соответственно маргинальные плотности распределения i-х компонент выходных процессов Y(t) системы, характеризуемой плотностями распределения (2), модели Уф О) (5) и у-й компоненты входного процесса системы, характеризуемой плотностями распределения (2), равно как и модели (5), Ж^), т = t - s.

Метод решения

Пусть

V

т—1

—т;^ = £ё, (j)w(t—;) + £ ё,(1Щ^—;),

,=1 М+1

т = 1, 2, .

— последовательность случайных величин, которые очевидно являются гауссовыми с нулевыми средними и дисперсиями, имеющими в силу (9) вид

т—1

(—т; ^ }= £ ё (11^ёт (Л+

7=1

¥

+ £ ё;(1)^ёт(,) =1 — ё; (т)^Т(т),

1=т + 1

т = 1, 2, ... .

Тогда, в рамках введенных обозначений, (т + 1)-мерный случайный вектор

V (^ т) = (V, (—т; ^, »1 ^ — т),., шт ^ — т))Т является гауссовым с ковариационной матрицей

СЩ (*, т) =

1 — ё, (т^ёТ (т) 0 ........

0 1 С12 —

: с12 ' •

0

с1п

с(т—1)т

с1т

с(т—1)т 1

а для двумерного случайного вектора (у, (Р; О) |Ш1 № — т))Т можно записать следующее соотношение:

у/1 (t; О)

ш, ^ — т)

= А, (т)Щ (t, т),

где (2 х (т + 1))-мерная матрица Ау(т) имеет вид

А,(т) =

У

1 ёаС0 - ё,(т) ё;( 1+1)(т) 0 - 0 1 0

ёт(т) 0

и, как и всюду, ^(т), ..., gim(т) — элементы ^й строки матрицы G(т) из (5).

Следовательно, случайный вектор (у, ф О) ш, (t — т))Т является гауссовым с ковариационной матрицей С^у,ш,)(т), определяемой соотношением

С(уш) (т) = АЧ (т)СЩ(t, X) (т)-

Вычисление произведения трех матриц в правой части дает

1 У11(т)'

У11(т) 1

С(уш )(т) =

где у^(т) — у-я компонента вектор-столбца Cwёi (т).

Таким образом, в силу формулы (1) следует, что взаимная информация 1у. (О)ш. (т) выходного и входного процессов модели (5) имеет вид

12 (т) = —^1п(1 —У и (т)К т = 1, 2 ..

2

Тогда из условия (6) следуют искомые выражения для строк ё, (т) матричнозначных весовых коэффициентов G(т), т = 1, 2, ... модели (5):

^Т 1

ёт (т) = С—г Iy;W(т), т = 1, 2, •••,

(10)

где

Iy;W (т) =

^п(ту.|Ш1 (т))х^1 — ехр(—2/у.(Г| (т)) ^П(ту, ш (т))^1 — еХР(—21у.ш. (т))

^п(ту;|шт (т))х^1 — еХР(—21

уш

,(т))

В формуле (10) ту,|ш. (т) — регрессия у$) на Wj(t - т); sign(x) = 1 при х > 0, sign(x) = -1 при х < < 0 — знак соответствующей функции регрессии соответствует «взаимной ориентации» входного и выходного процессов; подкоренное выражение всегда неотрицательно, поскольку взаимная информация принимает значения на положительной полуоси [0, + да).

Таким образом, обращение в нуль весовых коэффициентов линеаризованной модели (5) системы (2) эквивалентно обращению в нуль взаимной информации выходного и входного процессов системы (2). В свою очередь, последнее возможно лишь тогда, когда данные процессы стохастически независимы. При этом, как отмечено выше, существуют примеры, когда традиционные меры зависимости обращаются в нуль при наличии стохастической зависимости между переменными.

Так, можно рассмотреть следующую плотность распределения, принадлежащую классу распределений О. В. Сарманова [7, 8], которая имеет вид

-4 -2 0 2 4

X = -1/2 4

■ Рис. 1. Форма плотности (11) при различных значениях параметра X

^1- exp(—2IyW (X))

■ Рис. 2. Близость значений выражения (12) и Syw(X) при различных значениях параметра X в плотности (11)

2 . 2 w +y

Px yw) = -

1 + x

3 2

---w

2e 2 -1

2n

3 2 —y 2e 2 y -1

-1 < X < 1.

(11)

Ее маргинальные плотности являются стандартными гауссовыми. Для плотности (11) коэффициент корреляции и дисперсионное отношение равны нулю, а максимальный коэффициент корреляции имеет вид

Syw(X)=

л/71

Значение параметра X оказывает существенное влияние на форму плотности (11) (рис. 1).

При этом величина ^1 — ехр(—21уш (X)) из выражения (10), соответствующая плотности рх(у, w) в (11), зависит от модуля параметра X строго монотонно (рис. 2) и обращается в нуль только при X = 0, что эквивалентно независимости случайных величин.

На рис. 2 показана зависимость значений

V1- exP(-2Iyw (X))

(12)

от параметра X в плотности (11) в сравнении с соответствующими значениями максимального коэффициента корреляции в^^), наглядно демонстрирующая практически полное их совпадение.

Таким образом, если, например, стохастическая зависимость (2) между компонентами выходного процесса, у;(0, и входного процесса, Wj(s), некоторой нелинейной системы определяется плотностью распределения (конечно, предполагаемой неизвестной исследователю) вида (11) с параметром X = Xij(т), т = t - s, то применение как

традиционных корреляционных, так и дисперсионных методов статистической линеаризации привело бы, при построении модели (5), к представлению компонент выходного процесса системы как тождественного нуля, что исключается при использовании данного теоретико-информационного подхода.

Заключение

В настоящей работе для многомерных нелинейных систем с белым гауссовым векторнозначным входным шумом рассмотрена задача определения статистически эквивалентных линейных входо-выходных моделей из условия покомпонентного совпадения взаимной информации входного и выходного процессов системы и входного и выходного процессов модели. Получаемые в конечном итоге уравнения для элементов весовых матриц линеаризованной модели определяют их как функции взаимной информации входного и выходного процессов системы, обращающиеся в нуль только при обращении в нуль взаимной информации, т. е. при стохастической независимости данных компонент входного и выходного процессов системы.

Литература

1. Сарманов О. В. Максимальный коэффициент корреляции (несимметричный случай) // Докл. АН СССР. 1958. Т. 121. № 1. C. 52-55.

2. Renyi A. On measures of dependence // Acta Math. Hung. 1959. Vol. 10. N 3-4. P. 441-451.

3. Дисперсионная идентификация / Под ред. Н. С. Райб-мана. — М.: Наука, 1981. — 320 с.

4. Чернышев К. Р. Информационные меры зависимости в статистической линеаризации // Автоматика и телемеханика. 2002. № 9. С. 74-84.

5. Сарманов О. В., Захаров Е. К. Меры зависимости между случайными величинами и спектры стохастических ядер и матриц // Математический сборник. 1960. Т. 52(94). № 4. С. 953-990.

6. Stoorvogel A. A., van Schuppen J. H. System identification with information theoretic criteria // Identification, adaptation, learning / Ed. by S. Bittanti and G. Picci. — Berlin: Springer-Verlag, 1996. P. 289-338.

7. Сарманов О. В. Замечания о некоррелированных гауссовских зависимых случайных величинах // Теория вероятностей и ее применения. 1967. Т. 12. № 1. С. 141-143.

8. Kotz S., Balakrishnan N., Johnson N. L. Continuous Multivariate Distributions. Vol. 1. Models and Applications. Second ed. — N. Y.: Wiley, 2000. — 752 p.