CC BY
40
Известия Тульского государственного университета Естественные науки. 2010. Вып. 2. С. 211-221
= ИНФОРМАТИКА
УДК 519.246
Преобразование гауссового вектора кубической вектор-функцией
С.А. Шопин
Аннотация. С использованием свойств кронекеровского произведения матриц получены выражения для определения первых двух моментов векторной случайной величины, получаемой путем преобразования гауссового вектора кубической вектор-функцией.
Ключевые слова: кубическая вектор-функция, кронекеровское произведение, случайная величина, кронекеровский момент, векторный кумулянт.
Введение
Задача отыскания статистических характеристик случайных величин, преобразованных нелинейными функциями, встречается в задачах оценки состояния дискретных систем по результатам измерений, фильтрации сигналов в присутствии шумов и др.
В общем виде задача формулируется следующим образом: для случайной величины с известными статистическими характеристиками (исходная случайная величина) необходимо определить статистические характеристики случайной величины, связанной с исходной функциональной зависимостью: V = Е (X), где X и V — исходная и преобразованная случайные величины соответственно, Е (•) — некоторая функция.
Наиболее полную информацию о векторной случайной величине дает совместная плотность распределения, однако, ее отыскание приводит к необходимости вычисления несобственных интегралов, что оказывается затруднительным даже в одномерном случае [1]. Кроме того в практических задачах необходима не сама плотность вероятности, а ее интегральные моментные характеристики — математическое ожидание, ковариационная матрица и т.д. Поэтому естественной формулировкой задачи является отыскание момент-ных характеристик преобразованной СВ по характеристикам исходной, при этом характер получаемых зависимостей будет определяться видом функций Е(-).
Среди множества нелинейных функций важное место занимают многомерные полиномиальные функции, частным случаем которых являются
кубические функции вида:
F (Z) = Ao + AiX + Q2 (X 0 X) + Q3 (X 0 X 0 X), (1)
где F (Z) — кубическая вектор-функция, Ao, Ai, Q2, Q3 — матрицы коэффициентов, 0 — символ кронекеровского произведения матриц.
Функции вида (1) возникают, например, в задачах управления электромеханическими системами, содержащими нелинейности типа произведения переменных [2].
Шумовые воздействия и их преобразования в задачах обработки сигналов часто представляют в виде гауссовых векторных случайных величин — гауссовых векторов. В результате при синтезе наблюдающих устройств возникает необходимость определения статистических характеристик гауссового вектора, преобразованной соответствующей функцией.
Таким образом, сформулируем задачу следующим образом: для вектор-функции F (X) вида (1) необходимо найти формулы взаимосвязи между первыми моментами случайных величин — преобразуемой и преобразованной с помощью вектор-функции, т.е. необходимо найти оценки вида
MF = E [F (Z)] ,
(2)
Pff = E
(F (Z) - Mz)(F (Z) - Mz)T
где Мр и Ррр — математическое ожидание и ковариационная матрица преобразованной случайной величины соответственно, Е [ •] — оператор математического ожидания, Z — исходная векторная гауссовая случайная величина; Е — кубическая вектор-функция от случайной величины вида (1).
1. Краткие теоретические сведения 1.1. Кронекеровское произведение матриц
Кронекеровское произведение матриц А и В размерностями р х ц и т х п, обозначаемое как А 0 В, представляет собой блочную матрицу размерностью рт х цп:
А 0 В = \\AijВ|| ,
где А = \\Aij||.
Кронекеровское произведение матриц является некоммутативным: А 0 0 В = В 0 А.
Приведем далее некоторые известные свойства кронекеровского произведения [3]:
1) А 0 (В + С) = А 0 В + А 0 С;
2) А 0 (в 0 С) = (А 0 В) 0 С;
3) (А 0 В)(С 0 Б) = АС 0 ВБ.
В свойстве 3 предполагается, что матрицы АС и ВБ существуют.
4) Ь • ат = (ат 0 Ь) = (Ь 0 ат), где а, Ь — вектора размерности п х 1 [4, с. 31].
5) Пусть матрицы А и В имеют размерности т1 х щ и т2 х П2 соответственно, тогда
А 0 В = и (т1, т2) (В 0 А) ИТ (п1, п2),
где И (т, п) — матрица перестановки — матрица размерности тп х тп, которая определяется по формуле [3]:
и (т,п) = ££ Е™"®Е£™
і=1 к=1
Ет* п
^ — матрица размерности т х п, все элементы которой равны нулю,
кроме элемента (г, к) равного 1.
Матрица перестановки содержит в каждой строке и столбце только по одному ненулевому элементу, равному 1.
Свойства матрицы перестановки [3]:
1) И (п, 1) = И (1, п) = 1п, где 1п — единичная матрица размерности п х п;
2) ортогональность: И (т, п) • Ит (т, п) = 1тп;
3) Ит (т, п) = И (п, т).
Кронекеровское произведение оказывается удобным для записи и анализа выражений с многомерными полиномиальными функциями. Для этого вводится т.н. кронекеровская степень матрицы, определяемая как
АМ = А[к-1] 0 А, А[1] = А.
Для преобразования выражений, содержащих обычное и кронекеровское произведения матриц используется оператор Уве () — оператор векторизации матрицы, преобразующий ее в вектор путем расположения ее столбцов друг под другом.
Оператор векторизации обладает следующим свойством [3]:
Уве (АБВ) = (Вт 0 А) Уве (Б). (3)
С помощью свойства (3) можно показать, что
Уве (ХИХЬ]Т) = Х[^ 0 Xй (4).
Определим также операцию, обратную к Уве ():
А = ипуве ^),
пхт
где А — матрица размером п х т, Z — вектор, размером пт х 1. Оператор
ипуве () записывает элементы вектора с группами по п элементов в столбцы
пхт
матрицы.
Кубическая функция (1) с помощью кронекеровских степеней записывается в виде:
Е (X) = Ао + А1Х + р2Х[2] + рзХИ, (5)
где Ао, А1, Р2, Рз — матрицы коэффициентов.
Для анализа преобразований случайной величины кубическую функцию удобно записать в отклонениях. Подставив в (5) Х = Хо + АХ и раскрыв скобки, с использованием свойств кронекеровского произведения, получим:
Е (Хо + АХ) = Е (Хо) + Б1 (Хо) • АХ + Б2 (Хо) АХ[21 + БзАХ^ (6)
где
Б1 (Хо) = А1 + Р2К12 (1п 0 Хо) + РзК1з (1п 0 Хо 0 Хо),
Б2 (Хо) = р + рзК1з (1п2 0 Хо) , Бз (Хо) = Qз,
К12 = И (п, п) + 1п2, К1з = И (п, п2) + Ит (п, п2) + 1П3.
Формула (6) представляет собой многомерный ряд Тейлора для кубической вектор-функции. Матрицы Б1, Б2 и Бз имеют смысл трех матричных производных.
В ниже приводимых формулах для компактности записи будем писать Бi вместо Бi (Хо).
1.2. Матрицы перестановки элементов множества
Определение и свойства матрицы перестановок элементов множества приводим по [5].
Для множества векторов О = (а1,..., ак) с размерностями ^(1:п) = = ((11,..., (1к) определим матрицу
где П? — кронекеровское произведение матриц.
Если размерности всех векторов множества О одинаковы, то матрица К.,^!^ обладает следующим свойством:
К]^] + 1 = К-«,+1 = К] + 1^1 = Кз^з + 1, в противном случае
, = , к = Кк-,.
С помощью матрицы К,+1„, можно менять порядок следования векторов в кронекеровском произведении Л?=1:п а,:
, = 1:п
Кз+1^з (1:п)) • Пi=1:n а = Пi=1:j-1 ai 0 а,+1 0 аз 0 П^-+2:п 1
Для любой перестановки р (1 : п) элементов множества (1 : п) существует такая матрица Кр(1:п), что
Т-г ®
i=1:n а = 1 ^=1:п ^•
Если перестановка р (1 : п) представляет собой последовательно выполняемые перестановки р1 (1 : п) и р2 (1 : п), то матрицу перестановки можно представить как произведение матриц последовательных перестановок:
Кр(1:п) Кр1(1:п) • Кр2(1:п).
1.3. Кронекеровские моменты случайной величины
Кронекеровским к-м моментом векторной случайной величины Х называется величина [5]:
Etx = E
X1'
(7)
Как следует из определения (7), k-ый кронекеровский момент представляет собой вектор размерности nk х 1, где n — размерность вектора X.
Первый кронекеровский момент совпадает с математическим ожиданием:
Efx = E [X] = Mx.
Второй кронекеровский момент представляет собой другую форму записи ковариационной матрицы:
Efx = E [X <g> X] = vec (E [XXT]) = vec (Pxx), (8)
где Pxx — ковариационная матрица случайной величины X.
1.4. Векторные кумулянты случайной величины
Векторным кумулянтом n-элементных векторов Xi,..., Xk называется nk-элементный вектор, для которого выполняется соотношение [6]
C [ii, ] = cum (XMl,.XMfc),
где C [ii,...,ik ] — операция взятия элемента вектора с номером
Sj=i (ij — 1) nk-j, cum () — операция определения совместного кумулянта к скалярных случайных величин, X^^ — элемент вектора Xq с номером ii.
Таким образом, векторный кумулянт содержит все возможные совместные кумулянты случайной величины X упорядоченные определенным образом.
к-й кумулянт вектора X будем обозначать Cumk (X) и Ckx. Кронекеровские моменты связаны с векторными кумулянтами соотношением [5]:
Е? = £ k-<L) 0*<m) ТСeL Cumw(X,), (9)
LeP <i:n) 3
где суммирование проводится по всем упорядоченным разбиениям Ь = = (&1,&2,... ,Ьк) множества (1 : п); матрица К“^ (^(1:п)) определяется как матрица, соответствующая перестановке р (Ь) элементов множества (1 : п).
Число упорядоченных разбиений множества размерностью п равно числу Белла Вп [7, с.214] . Приведем несколько первых чисел Белла: Вз = 5, В4 = 15, В5 = 52, Вб = 203. Таким образом выражение (9) для 3-го кронеке-ровского момента содержит 5 слагаемых, 4-го — 15 и т.д.
Для случайного вектора X, имеющего нулевое математическое ожидание, второй и третий векторный кумулянты совпадают с соответствующими кро-некеровскими моментами [5]:
С2х = Е2х, Сз* = Ез* ■
Получим с помощью (9) формулу для четвертого кронекеровского момента вектора с нулевым математическим ожиданием.
Множество {1,2,3,4} имеет следующие упорядоченные разбиения: {1, 2, 3, 4}; {1} , {2, 3, 4}; {2} , {1, 3, 4}; {3} , {1, 2, 4}; {4} , {1, 2, 3}; {1, 2} , {3, 4}, {1,3},{2,4}; {1,4},{2,3}; {1, 2},{3},{4}; {1, 3} , {2},{4}; {1, 4},{2},{3}; {2, 3},{1},{4}; {2, 4},{1},{3}; {3, 4},{1},{2}; {1},{2},{3}, {4}.
Для вектора с нулевым математическим ожиданием все слагаемые, содержащие один из элементов {1} , {2} , {3} , {4} будут равны нулю, тогда
Е® = К-1Сит4 (Х1, Х2, Хз, Х4) + К-1Сит2 (Х1, Х2) 0 Сит2 (Хз, Х4) +
+ К-1Сит2 (Х1, Хз) 0 Сит2 (Х2, Х4)+ К-1Сит2 (Х1, Х4) 0 Сит2 (Х2, Хз).
Учитывая, что Х1 = Х2 = Хз = Х4 = Х, получим
Е® = К-1 С4х + (К-1 + К-1 + К-1) С2х 0 С2х
Определим матрицы К-1:
К1 = К(1,2,з,4) = ^, К2 = К(1,2,з,4) = 1п4,
К-1 = К-11з>2>4) = К-^ = Кз„2 = 1п 0 и (п, п) 0 1п,
К-1 = К-114)2з) = (К4„з Кз„2)_1 = Кз„2К4„з =
= (1п 0 и (п, п) 0 1п) (1п 0 1п 0 и (п, п)) .
Таким образом,
С4х = Е®х - Р4 (С2х 0 С2х) , (10)
где матрица Р4 определяется по формуле
Р4 = 1п4 + Кз„2 + Кз„2 К4„з. (11)
Удобство использования кумулянтов для анализа преобразований случайных величин состоит в том, что для нормального распределения только первые два кумулянта являются ненулевыми. Высшие кумулянты показывают отличие случайной величины от нормальной.
Таким образом, для нормальной случайной величины:
С* = 0, г ^ 3. (12)
В отличие от кумулянтов высшие моменты нормального распределения всегда отличны от нуля.
2. Определение математического ожидания преобразованной
случайной величины
Любой случайный вектор Х можно представить в виде:
Х = Х + АХ,
где Х = Е [Х], Е [АХ] =0.
Применяя почленно к (6) оператор Е [•] определим математическое ожидание преобразованной случайной величины:
¥ = Е [Е (Х)] = Е [Е (Х + АХ)] =
Е (X) + Е
Б1АХ + Б2АХ[2] + БзАХ[з] ,
¥ = Е (X) + Б22* + БзСз*.
Учитывая гауссовость случайной величины X, т.е. Сз* = 0, получим:
¥ = е (X) + Б22*. (13)
3. Определение второго векторного кумулянта преобразованной случайной величины
Ковариационная матрица и второй векторный кумулянт представляют собой разные форму представления одной и той же информации, при этом векторные кумулянты определяются через кронекеровское произведение, также как и функция-преобразование, что позволяет получить более наглядные формулы, по сравнению с формулами для ковариационной матрицы. Ковариационная матрица при таком подходе определяется с помощью операции ипуве ():
Руу = ипуве (С2у). (14)
пхп
Для определения второго векторного кумулянта преобразуем выражение Е (X) - Е с использованием полученной формулы (14):
АУ = Е (X) - Е = Е (Х + АХ) - Е (Х) - Б2С2х = = Б1АХ + Б2АХ[2] + БзАХ[з] - Б2С2х.
Найдем АУ[21
А¥[2] = (Ъ^х + Б2Ах[2] - Б2С2^ 0 (Б1АХ + Б2Ах[2] - Б2С2*) . (15)
Раскрывая скобки в (15) с использованием свойств кронекеровского произведения получим:
А¥[2] = б12]АХ[2] + (Б1 0 Б2) АХ[з] + (Б1 0 Бз) АХ[4] -
- (Б1 0 Б2) (АХ 0 С2*) + (Б2 0 Б1) АХ[з] + Б221АХМ + (Б2 0 Бз) АХ[51 -
- б22] (ДХ[2] ® 02^ + (Ба <Е> Б1) АХ[4] + (Ба <Е> Б2) ДХ[5] + (16)
+б|2]АХ[6] - (Ба ® Б2) (ДХ[а] ® 02^ - (Б2 ® Б1) (С2х ® АХ) -
- б22] (С2Ж ® ДХ[2]) + (Б2 ® Ба) (С2х ® ДХ[а]) + Б^С®.
Применяя к (16) почленно оператор математического ожидания и учитывая, что Е [ДХ[а]] = 0 и Е [ДХ[5]] = 0 ввиду симметричности нормального распределения, получим
С2у = Е
дуИ
=Е
'б121ДХ[21 + (Б1 ® Ба) ДХ[4] + Б221ДХМ - б221 (ДХ[2] ® С2х) + (Ба ® Б1) ДХ[4] + б321АХ[61 -
>а ^ и 1; ■ -г х^а
-б221 (С2Ж ® дх[2])+б221 с2Х
С2у = б12] С2х + (Б1 ® Ба) Е® + б22]Е®х - б221с2Х + + (Ба ® Б1) Е® + б321Е ®. Сгруппировав слагаемые в (17), получим
(17)
С2у = б121С2х + (Б1 ® Ба + б221 + Ба ® Б^ Е® - б22]с2Х + б32]Е ® . (18)
В формуле (18) неизвестными являются 4-й и 6-й кронекеровские моменты Е® и Е®х.
Из формулы (10) 4-й кронекеровский момент гауссового вектора определяется как:
Е®Х = С4х + Р4С
[2]
2х
р С[2] Р4С2х'
(19)
Выражение для шестого момента найдем с помощью формулы (9). Ввиду гауссовости исходной случайной величины в формуле (9) ненулевыми будут только слагаемые, соответствующие упорядоченным разбиениям множества на группы по 2 элемента. Остальные слагаемые соответствуют кумулянтам, равным нулю (1-й, 3-й, 4-й, 5-й, 6-й) в соответствии с формулой (12).
Упорядоченные разбиения множества {1, 2, 3, 4, 5, 6} на упорядоченные группы по 2 элемента:
{1, 2} {3, 4} {5, 6} {1, 2} 5} 3{ {4, 6} {1, 2} {3, 6} 5} 4{,
{1, 3} {2, 4} {5, 6} {1, 3} {2, 5} {4, 6} {1, 3} {2, 6} {4,5};
{1, 4} {2, 3} {5, 6} {1, 4} {2, 5} {3, 6} {1, 4} {2, 6} {3,5};
{1, 5} {2, 3} {4, 6} {1, 5} {2, 4} {3, 6} {1, 5} {2, 6} {3,4};
{1, 6} {2, 3} {4, 5} {1, 6} {2, 4} {3, 5} {1, 6} {2, 5} {3,4}.
С учетом вышесказанного для 6-го кронекеровского момента формула (9) запишется в виде:
15
е:
6х
г=1
15
Е6х
Ек-1*
Определим матрицы К- 1:
К
1
г=1
К-1 = Т к-
(1,2,3,4,5,6) ™ь’
К
1
К
1
К
К
К
К
-1
2
1
К
-1
(1,2,3,5,4,6)
К
-1
54
К
5—4-
— (К6—5К5—4) — К5—4К6—5-
(1,2,3,6,4,5)
К
1
-1
4
-1
(1,3,2,5,4,6)
(1,3,2,4,5,6)
К
-1
32
К
3—2 -
— (К3—2К5—4) 1 — К5—4К3—2-
К
1
К
1
(1,3,2,6,4,5)
(К3—2К6—5К5—4) 1 — К5—4К6—5К3—2-
К
1
К
-1
(1,4,2,3,5,6)
— (К4—3К3—2) 1 — К3—2К4—3-
К
1
К
1
(1,4,2,5,3,6)
(К7К5—4)-1 — К5„4К-1;
К
1
К(1 4 2 6 3 5) — (К7К6—5К5—4) — К5—4К6—5К- -
К
-1
10
К
1
(1,5,2,3,4,6)
(К
5—4
К
4—3
К
3—2)
К
-1
11
К
1
К
-1
13
К
К
К
-1
12
1
К
(1,6,2,3,4,5)
(1,5,2,4,3,6) (К1оК5«4)
(1,5,2,6,3,4) — (К10К6—5К5—4)
— (К6—5К5—4К4—3К3—2)
1
К
-1
14
К
1
(1,6,2,4,3,5)
(К13К5—4)
-1
15
К
1
(1 6 2 5 3 4) — (К13К6—5К5—4) — К5—4К6—5К13 •
К
3———
2К
4— 3
К
5— 41
К5—4К10 -
1
(20)
— К5—4К6—5К10 -= К3 2К4 3К5 4К6 5-
К 5 — 4 К 1-31 -К
54
К
65
К
1
(21)
Все матрицы К-1 имеют размерность п6 х п6. После выполнения умножений в (21) все матрицы примут простой вид — вид матриц перестановки. Введем обозначение
15
(22)
г=1
Подставив (20) и (19) в (18) с учетом (22), окончательно получим:
C2y = d12]C2X + (Di <g> D3 + d22] + D3 <g> Di) P4C2X - d22]c2X + D|2lSeCi3J.
(23)
Заключение
Формулы (13) и (23) представляют собой зависимости, связывающие между собой математическое ожидание и второй векторный кумулянт случайной величины, преобразованной кубической вектор-функцией и исходной. Ковариационная матрица преобразованной случайной величины может быть определена с помощью формул (23) и (14).
Аналогичным образом могут быть получены зависимости и для моментов и кумулянтов старших порядков преобразованной случайного вектора.
Список литературы
1. Bar-Shalom Y, Rong Li X., Kirubarajan T. Estimation with Applications to Tracking and Navigation. John Wiley & Sons, Inc. 2001. 559 p.
2. Аналитическое конструирование регуляторов, оптимальных по точности и быстродействию / В.В. Сурков [и др.]. Тула: ТулГУ 2005. 300 с.
3. Brewer J. Kronecker products and matrix calculus in system theory // Circuits and Systems. IEEE Transactions on. 1978. V.25, №9, P.772-781.
4. Magnus J., Neudecker H. Matrix Differential Calculus with Applications in Statistics and Econometrics. John Wiley & Sons, Inc. 2007. 450 p.
5. Rao Jammalamadaka S., Subba Rao T., Terdik G. Higher order cumulants of random vectors and applications to statistical inference and time series // Sankhya (A Methodology). The Indian J. of Statistics. 2006. V.68, №2. P.326-356.
6. Mendel J. Tutorial on Higher-Order Statistics (Spectra) in Signal Processing and System Theory: Theoretical Results and Some Applications // Proceeding of the IEEE. 1991. V.19, №3. P.278-305.
7. Andrews G.E. The theory of partitions. Encyclopedia of Mathematics and its Applications. Addison-Wesley Publishing Co., 1976. V.2. 255 p.
Шопин Сергей Александрович (sshopin@mail.ru), аспирант, кафедра электротехники и электрооборудования, Тульский государственный университет.
Cubic mapping of the normal random vector
S.A. Shopin
Abstract. Utilizing matrix kronecker product properties it was established equations for the calculation of the first and second moments of the cubically mapped normal random vector.
Keywords: cubic vector function, kronecker product, random variable, kronecker moment, vector cumulant.
Shopin Sergey (sshopin@mail.ru), postgraduate student, department of electrotechnics and electrical equipment, Tula State University.
Поступила 17.05.2010
