CC BY
21
УДК 004.04
МИНИМИЗАЦИЯ ИНФОРМАЦИОННОГО РАСХОЖДЕНИЯ
КУЛЬБАКА-ЛЕЙБЛЕРА В ЗАДАЧАХ АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ ИЗМЕРИТЕЛЬНОЙ ИНФОРМАЦИИ
К.Н. Осипов, М.В. Заморенов
Рассматриваются вопросы практического построения алгоритма адаптивной (слепой) фильтрации измерительной информации, получаемой в ходе производственных автоматизированных испытаний сложных машиностроительных изделий. На примере оценки ненаблюдаемых значений вектора технического состояния показана сходимость, несмещенность и состоятельность оценок измерительной информации предлагаемым алгоритмом. Рассмотрены возможные направления дальнейших исследований в изучаемой области знаний.
Ключевые слова: сложные технические объекты, адаптивная фильтрация, стохастическое оценивание.
Адаптивные алгоритмы фильтрации результатов измерений, получаемых, в том числе в ходе автоматизированных производственных приемосдаточных испытаний сложных машиностроительных объектов и систем, нашли широкое использование в решении задач оценки технического состояния, прежде всего, благодаря способности обучаться на основе наблюдаемых данных при участии учителя, а также без его вмешательства. Адаптивные фильтры с учителем предполагают существование обучающей последовательности необходимой для уточнения желаемого отклика на заданное управление. Для адаптивных фильтров без учителя настройка параметров проводится в отсутствие желаемого отклика, однако структура фильтра предусматривает набор правил, позволяющих рассчитывать отображение вход-выход с требуемыми свойствами. В литературе по цифровой обработке сигналов фильтры, реализующие подобные адаптивные алгоритмы фильтрации, часто, называют алгоритмами «слепой адаптацией» [1,2]. В основе таких алгоритмов лежат три различных подхода. Один из них, информационно-теоретический, использует понятия информационной теории Шеннона: энтропии и взаимной информации. Он ориентирован на самоорганизацию системы для выполнения задачи фильтрации в условиях максимальной априорной неопределенности путем минимизации целевой функции в виде информационного количества Кульбака-Лейблера, которое называют также взаимной информацией между определенными переменными [1, 2] или направленным информационным расхождением, дивергенцией Кульбака [3].
В данной работе предпринимается попытка построения адаптивного алгоритма фильтрации без учителя путем минимизации информационного расхождения (или дивергенции) Кульбака-Лейблера между вероятностными распределениями оцениваемой величины и ее оценкой.
Рассмотрим простой случай, когда в каждый момент времени I п наблюдаемых элементов У , ] = 1,..., п вектора у^ представляют линейную взвешенную аддитивную комбинацию неизвестных статистически независимых элементов вектора х{ и шума:
п
У= X Ь]кх],г + Vг-, I =1,2,... (1)
к=1
Выражение (1) в теории цифровой обработки сигналов в матричном обозначении представляют в следующем виде:
У = ВХ + V , (2)
где уI = (у11,у2!,...,уП!)Т- наблюдаемый вектор х, = (х1,...хп,) - ненаблюдаемый вектор, VI = V I ...уП! )Т - вектор шума, В - матрица коэффициентов полного ранга.
Предположим, что вектор имеет стохастическую природу и характеризуется нормальным законом распределения с нулевым математическим ожиданием и диагональной ковариационной матрицей Ег-. Аддитивный шум Vтакже имеет нормальное
распределение с нулевым математическим ожиданием и ковариационной матрицей Я. Кроме того допустим, что Е х^Т = 0, £[•]- символ математического ожидания. Тогда, с учетом введенных допущений, вектор у также распределен нормально, поскольку является взвешенной суммой нормально распределенных переменных.
Необходимо построить адаптивный алгоритм оценивания элементов х ,, ненаблюдаемого вектора х^.
В общем виде под оценкой понимают процедуру определения истинных значений вектора х^ по известным значениям вектора наблюдений у1 [6,7].
Для построения адаптивного алгоритма оценивания необходимо найти п х п матрицу W полного ранга, для которой вектор = (¿11 ...гп| )Т, определяемый как
* = Wy1, (3)
содержит максимально независимые друг от друга элементы [1,2]. Другими словами, требуется найти матрицу W линейной системы (3) для комбинации наблюдений у^ |,
] = 1,...,п, чтобы получить оценки элементов х^ г- вектора х^:
п
х 7 7 - * 7* 7* -
к = 1
Введем в рассмотрение вероятностные пространства (О,^,т,), 1=1,2, т.е. основное множество элементов х, х, у е О (результатов наблюдений за системой, а также
их оценок) и совокупность 3 событий (последовательностей элементов О заданной длины, на которых определены вероятностные меры р^и т 2).
Вероятностные меры т и ^2 абсолютно непрерывны одна относительно другой, т.е. не существует события Ее3, для которого (е) = 0, т2 (Е) Ф 0 или (Е) Ф 0 , т2 (Е) = 0 (т1 абсолютно непрерывна относительно р2, Ц1< т2, если (е) = 0 для всех Ее 3, для которыхц2 (Е) = 0; т2 абсолютно непрерывна относительно ц^, ^ < т1, если т2 (Е) = 0 для всех Ее3, для которых т (е) = 0). Это предположение исключает случай отвержения после наблюдений статистических гипотез, имевших смысл до наблюдений [3].
В теории информации мерой близости двух вероятностных распределений измеримого вероятностного пространства с вероятностной мерой 1(х), абсолютно непрерывной относительно т и т^, является величина, называемая информационным
количеством Кульбака-Лейблера. Она пропорциональна логарифму вероятности получения выборочного распределения, близкого к распределению с плотностью вероятно-
196
*],I- £ w]кхк,1 . (4)
сти g(x), когда имеется большое число выборочных точек, взятых в соответствии с распределением с плотностью вероятности f (х) [3]:
1(Я, /) = | *(х)1п gXdk(x) (5)
E /(х)
При совпадении Е со всем пространством О информацию от наблюдения для выяснения степени близости я (х) и / (х) обозначают символом I ( я; /), опуская область интегрирования при ее совпадении со всем пространством. Предположение о взаимной абсолютной непрерывности т и ^2 обеспечивает существование интеграла в определении I ( я; /), даже если он равен + ¥. Кроме того, в общем случае основание логарифма в (5) несущественно, но для удобства отдельных преобразований обычно используют натуральные логарифмы (основание е) [3]. Информационное количество инвариантно к изменениям элементов оцениваемого вектора: любому изменению порядка элементов вектора; масштабированию амплитуды; монотонным нелинейным преобразованиям [2].
Как отмечено выше, при информационно-теоретическом подходе задачи адаптивной фильтрации без учителя обычно решаются путем максимизации информационного количества Кульбака-Лейблера, определяющего количество информации о входе системы хI, передаваемой на выход . Информационное количество, таким образом, играет роль целевой функции [1,2].
Рассмотрим другое решение.
Оптимальной будем считать оценку из класса линейных оценок, параметры распределении которой максимально близки к параметрам распределения истинного значения вектора х^.
Тогда критерием качества оценки на каждом шаге оценивания (фильтрации) будет мера средней степени соответствия оценки параметров вероятностного распределения его истинным значениям [4]. При этом алгоритм фильтрации должен быть ориентирован на отыскание распределения /(х|у), минимизирующего информационное расхождение
1 (Я, /)=I (Я, /)+1 (/, Я). (6)
При использовании (5) выражение (6) может быть переписано следующим образом [3]:
1 (^ /) = \ [ Я (х) - / (хуШп-Я^х . (7)
/ ( х|у)
В литературе по распознаванию образов эту величину называют также дивергенцией. Благодаря свойствам меры (7), которые детально рассмотрены в [3, с. 37] информационное расхождение применяют при обнаружении, распознавании образов и построении сигналов как меру «расстояния» между распределениями вероятностей.
С позиции минимизации информационного расхождения (7) между параметрами распределения вектора х и его оценки х сформулированная задача сводится к определению матрицы на каждом шаге фильтрации.
При нормальном распределении вектора х с математическим ожиданием д и ковариационной матрицей х его плотность вероятности равна
1 ( 1 Т -1
я(х) = —лтехР -~(х-д) х (х-д)
|2лХ|1/2
г 1 _ . л 2 197
При представлении оценки вектора состояния в виде линейной комбинации измерений вектор оценки х) также )распределен нормально с математическим ожиданием Ц и ковариационной матрицей X, т.е.
1 I 1/ ^ -ь
/( ^У) =]—ЦТ72ехр(-1 (х - )Т Ц 1 (х - я)!.
Выражение для натурального логарифма отношения
8 (х) / ( х\у)
, входящего в (7),
имеет вид [3]:
(7) дает
1п 8(х) =11пЦ -1/г[Е-1 (х - ц)(х - а)Т ] +1 /г[Х-1 (х - а)(х - а)Т ]. /(х|у) 2 Ц 2 V А 7 2 V А 7
Здесь /г обозначает след квадратной матрицы. Подстановка этого выражения в
/(8, /)=2 /г[(ц-Ц)(Ц-1 -Ц-1)]+2 /г[(£-1 -Ц -1)(ц - т - ))Т ].
В предположении равенства математических ожиданий вектора состояния и его оценки, например, равенства их нулю (или центрирования величин соответственными средними значениями) последнее выражение принимает вид:
/ (8, /) = 2 /г[(Ц-Ц )(Ц-1
Ц-1)]
/ (8, /) = 2 /
Ц - ЦI + Ц - ЦI
- п,
(8)
где п- количество элементов вектора х .
Для определения W как аргумента функции информационного расхождения (8), сообщающего ей минимальное значение, используем метод наискорейшего спуска. Если W(0)- начальная оценка матрицы W , то для I = 0,1,2,3... имеем
WХ('+1) = ЖХ (I) -А?)Э/ (8,1)
ЭW Х
(9)
W=W (I)
В выражении (9) символ Х рядом с матрицей означает вектор-столбец размера
2
п х 1, полученный из матрицы размера п х п ее построчным «вытягиванием».
Градиентный член Э/ (8; 1) выражения (9) есть производная матричной функ-
дW
ции / (8, /) по матричному аргументу W. Он может быть определен в соответствии с «цепочным» правилом матричного дифференцирования [5], позволяющим дифференцировать сложные матричные функции:
э/(8; /) э^)] э^п^)]
где П^) = Или
ЭW ЭW Э[П(W)]
э/(8;/) = 1 э Ц-1Ц+Ц-1Ц], Х,
ЭW 2 ЭW
где ковариационная матрица X искомой оценки хг выражается как
X = WBSBTWT + WЯWT. После перемножения матриц и группировки результата имеем
(10)
Э/ (8; /) = I (-Ц-1 + х-1 ЭW 2 ЭW
) х.
(11)
Производная матрицы Х по матрице W есть
ЭХ
-I ® BSBTWT + E 2(BSBT ® I) +1 ® RWT + E 2(RWT ® i )
(12)
ЭW
2 2
В выражении (12) E 2 обозначает перестановочную матрицу размера n х n
n
[5]. Подстановка (12) в (11) позволяет получить выражение для производной J (g, f) по матрице W, а подстановка (11) в (9) завершает формирование алгоритма. Таким образом, при известной ковариационной матрице вектора Xj и заданных начальных оценках
матриц Х и W и коэффициенте l алгоритм фильтрации, минимизирующий информационное расхождение между параметрами распределения оцениваемого вектора и его оценки, определяется выражениями (9)-(12).
Предлагаемый алгоритм (9)-(12) реализован на базе программного обеспечения MathLab V в среде WINDOWS и использован для оценки параметров угловой скорости ротора ro(t) и силы тока в его обмотках i(t) для двигателя модели CK 661. Результат измерений угловой скорости ротора при двух разных уровнях внешних возмущений, выполненный с использованием цифро-аналогового осциллографа OWON SDS5032E в лаборатории исследований электрических приводов Севастопольского государственного университета, представлен на рис.1.
а
б
Рис. 1. Результаты измерения угловой скорости ДПТ СЛ 661: а — измерения выполнены с использованием емкостного фильтра помех; б — измерения без дополнительной фильтрации
Результаты оценивания измеренных значений угловой скорости двигателя СК 661, а также ненаблюдаемых значений силы тока в обмотках представлен на графике рис. 2.
Рис. 2. Оценка вектора состояния ДПТ СЛ-661 при высоком уровне помех в канале измерений с использованием предлагаемого алгоритма
адаптивной фильтрации
На каждом шаге фильтрации при поступлении нового наблюдения вектора y значение матрицы W пересчитывается, определяется новая ковариационная матрица оценки вектора X (по виду которой можно судить о независимость элементов вектора X), а также проверяется значение информационного расхождения между параметрами распределений векторов x и X. При несовпадении размера векторов x и y вид алгоритма меняется незначительно.
Дальнейшие исследования могут быть связаны со снятием требования о нормальном распределении вектора X и знании матрицы B .
Список литературы
1. Haykin S. Unsupervised Adaptive Filtering. Blind Source Separation. John Wiley&Sons Inc., 2000. Vol. I. 445 p.
2. Хайкин С. Нейронные сети. М.: Издательский дом «Вильямс», 2006. 1103 с.
3. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.
4. Первухина Е.Л. Использование информационной меры в процедурах оценки дискретных стохастических систем при неизвестных ковариациях шумов // Известия РАЕН. Серия МММИУ, 1999. Т.3. №3. С. 100-106.
5. Harville D.A. Matrix Algebra from a Statistician's Perspective. Springer-Verlag, New York, 1997. 630 p.
6. Mohinder S. Kalman Filtering: theory and practice using Matlab / S.Mohinder, P.Angus. A Wiley Interscience Publication John Wiley & Sons Inc. 2001. 401 p.
7. Pervukhina E. Identification of Technical System on Trials for Ad-aptation to Specific Functioning Modes // ZAMM-Zeitschrift fur Angewandte Mathematik und Mechanik, ФРГ. 1996. Vol. 76. Suppl.3. P. 533-534.
Осипов Константин Николаевич, канд. тех. наук, доцент, assist-enttmm amajl.ru, Россия, Севастополь. Севастопольский государственный университет,
Заморёнов Михаил Вадимович, канд. тех. наук, доцент, zamoryon-offagmail. com, Россия, Севастополь. Севастопольский государственный университет
THE MINIMISA TION OF THE INFORMA TION DIVERGENCE THE KULLBACK-LEIBLER IN A UTOMA TED PROCESSING OF THE MEASURING INFORMATION
K.N. Osipov, M. V. Zamorenov
The questions of practical construction of the algorithm of adaptive filtering of measuring information obtained during the production of automated tests of complex engineering products are considered. On the example of evaluation of unobservable values of the vector of technical condition, the convergence, unbiased and consistency of the estimates of the measurement information by the proposed algorithm is shown. Possible directions of further research in the field of knowledge are considered.
Key words: complex engineering, adaptive filter, estimations, dynamic systems.
Osipov Konstantin Nikolaevich, candidate of technical sciences, docent, sis-tenttmm@mail. ru, Russia, Sevastopol, Sevastopol State University,
Zamoryonov Mikhail Vadimovich, candidate of technical sciences, docent, za-moryonoff@,gmail. com, Russia, Sevastopol, Sevastopol State University
