CC BY
6
УДК 519.71
А.А. Бессонов, С.О. Руденко РОБАСТНАЯ МНОГОКРИТЕРИАЛЬНАЯ ИДЕНТИФИКАЦИЯ НЕЛИНЕЙНЫХ ОБЪЕКТОВ С ПОМОЩЬЮ СЕТЕЙ ПРЯМОГО
РАСПРОСТРАНЕНИЯ
Введение. Задача идентификации нелинейного нестационарного динамического объекта, описываемого моделью
у(к) = / (х(к), к) + #(к), (1)
где х(к) = [у(к-1),...,у(к-I),и(к-1),...,и(к-т)] - Ых1 вектор обобщенного входного сигнала (Ы = I + т); у(/), и(/) - выходной и входной сигналы объекта в момент времени / соответственно; I и т -порядки запаздывания по выходному и входному каналам соответственно; / (•) - неизвестная нелинейная функция; £,(к) - помеха, состоит в получении оценки функции / (•) по измерениям входных и выходных переменных.
При нейросетевом подходе задача идентификации заключается в обучении сети, состоящем в определении вектора ее параметров в (весов, параметров активационных и базисных функций и т.д.), обеспечивающего минимум функционала
1 к
Р(е) = 1 !Р(6(в , (2)
к /=1
где р(е(/,в)) - некоторая функция потерь, зависящая от вида закона распределения помехи £, ; е(г) = у (г) - у (г) ; У (г) - выходной сигнал модели.
Среди ИНС наибольшее распространение при решении задачи идентификации нелинейных динамических объектов (1) в настоящее время получили многослойный персептрон (МП) и радиально-базисные сети (РБС), использующие соответственно аппроксимации нелинейного оператораД*) вида
у (к) = т = / [(ш/ [О^Т/Ч../ [(ш'х (к) + ьу]...]]] + ь, (3)
и
N
У (к) = ¡(к) = и, + / и, Ф (х) = и, + Ш7Ф (к) (4)
г = 1 ,
где - вектор весовых параметров нейронов /-го слоя сети; f '[•] - активационная функция (АФ) 1-го слоя, Ь . - смещение /-го нейрона; Ф(к) - вектор выбранных базисных функций (БФ).
Так как получаемая математическая модель, с одной стороны, должна быть достаточно простой и удобной для использования ее в задачах прогнозирования, управления и т.д., а с другой - наиболее полно отражать свойства исследуемого объекта, ее качество определяется некоторым набором критериев, т.е. задача идентификации является многокритериальной.
Задача многокритериальной оптимизации. Задача многокритериальной оптимизации (МО), которую также часто называют мультикритериальной или векторной оптимизацией, заключается в
* г * * * "IТ
нахождении такого вектора решений х =1 х1,х2,...,хп I , который бы оптимизировал вектор целевых функций
F (х) = [ / (х), /2 (х),..., /к (х)] Т (5)
при наличии т ограничений в виде неравенств
gi (х) < о, / = йт (6)
и р ограничений в виде равенств
hJ (х) = 0, j = \~Р, (7)
где х - вектор решений, F(х) - вектор целевых функций, каждая из которых должна
быть оптимизирована (обычно полагают, что все целевые функции должны быть минимизированы). При многокритериальной минимизации на основе подхода Парето используется, как отмечалось выше, понятие доминирования.
Вектор и = ^м1, и2,..., ип ^ е ЧЯк доминирует над вектором V = , у2 ,..., уп ^ е№к (обозначается и V ) тогда и только тогда, когда V/ е{1,2,...,к},и < V^ лЗ] е{1,2,...,к} : и} <V/. Другими словами, существует как минимум одна компонента вектора и (и/), которая меньше, чем V/, в то время как остальные компоненты вектора и меньше либо равны соответствующим компонентам вектора V.
Точка х еО (О некоторая область пространства , удовлетворяющая условиям (6)-(7)) является
Парето-оптимальной по отношению ко всем х еО тогда и только тогда, когда Е (х ) х Е (х), т.е. решение
*
х является Парето-оптимальным если не может быть найдено никакое другое решение, которое бы
*
доминировало над х с учетом определения доминирования по Парето.
В общем виде алгоритм поиска фронта Парето с помощью ЭА может быть записан следующим образом.
1. Сгенерировать начальную обучающую выборку, состоящую из векторов входных переменных х еО . Вычислить векторы значений целевых функций Е(х) для всех х .
2. На основе обучающей выборки хеО и соответствующих значений Е(х) построить модели всех целевых функций Л (хХ/2 (x),...,/к (х).
3. На основе полученных моделей / (х),/2' (х),...,/к (х) с помощью выбранного алгоритма
*
определить Парето-оптимальное множество решений РЕ .
*
4. В точках полученного множества решений РЕ вычислить точные значения функций /1 (х),/2 (х),...,/к (х). Если критерий останова (получена требуемая точность моделей и построен фронт Парето либо осуществлено максимально допустимое число итераций) не выполняется, то все полученные значения добавляются в обучающую выборку и осуществляется возврат к шагу 2, на котором уточняются модели целевых функций.
Робастные эволюционирующие ИНС. При переходе от ИНС к ЭИНС для всех типов сетей используются общие эволюционные процедуры (инициализация популяции, оценка популяции, селекция, скрещивание, мутации), а различия заключаются лишь в способе кодирования структуры и параметров той или иной ИНС в виде хромосомы.
В начале работы НА случайным образом инициализируется популяция Р0, состоящая из N особей (ИНС): Р0 = {Н1, Н 2,..., HN }. Каждая особь в популяции при этом получает свое уникальное описание,
закодированное в хромосоме Н/ ={^ /, ^ /,...hL]}, которая состоит из Ь генов, где ^ е[ wmm wmax ] -значение /-го гена /'-ой хромосомы (^тт - минимальное, и ^тах - максимальное допустимые значения соответственно). На рис.1 показаны примеры МП и РБС, форматы хромосом и соответствие между параметрами сетей и хромосомами (представление их параметров в хромосоме). Следует отметить, что длина хромосомы зависит от размерности идентифицируемого объекта и максимально допустимого количества нейронов.
Рис. 1 - Форматы хромосом МП и РБС
Как видно из рисунков, каждая хромосома состоит из генов, в которых хранится информация о соответствующих параметрах сети. Подробное описание формата хромосом для МП и РБС приводится в работе [1].
После того как начальная популяция сформирована, производится оценка приспособленности каждой входящей в нее особи, определяемой некоторой функцией приспособленности (фитнесс-функцией). При идентификации параметров нелинейных систем с помощью ГА в них традиционно используется в качестве фитнесс-функции квадратичный функционал
р(е(г,в)) = 0.5e2 (i, в) . (8)
Следует отметить, что фитнес-функция служит двум основным целям: во-первых, она оценивает, насколько нейросетевая модель соответствует реальной системе, и, во-вторых, она должна быть способна
устранить влияние незначительных (или зашумленных) измерений на систему идентификации, так как в противном случае получение адекватной модели нелинейного объекта будет весьма проблематичным.
Если информация о помехе недоступна или помеха засорена негауссовским шумом, использование квадратичной фитнес-функции вследствие ее неробастности не представляется возможным. Однако существует большое количество таких функций, обеспечивающих получение робастных оценок при наличии помех, распределения которых отличны от нормального, например, следующие
е2 , , —, И ^ с; 2 11
и с2 , , (9)
сИ--, с < И ;
2
F (e) =
F (e) = arctg\e\Я . (10)
Классические робастные методы, минимизирующие неквадратичные функционалы, ориентированы на симметричность засорения, когда выбросы одинаково часто появляются как в области отрицательных, так и в области положительных значений.
Указанные методы позволяют эффективно бороться с помехами, описываемыми моделью Тьюки-Хьюбера [2]
p(x) = (1 -s) p0 (x) + sq(x), (11)
где p0 (x) - плотность соответствующего основного распределения N (0,CTj2 ) ; q(x) - плотность
засоряющего (произвольного) распределения N ( 0,oO ), of <<o0 ; se [0,1] - параметр, характеризующий степень засорения основного распределения.
Выбор модели. Выбор оптимального решения из фронта Парето является наиболее важным этапом всей процедуры идентификации нелинейного объекта с помощью ЭРБС. Так как фронтом Парето обычно представлен широкий набор возможных оптимальных решений, окончательный выбор модели должен быть достаточно точным и робастным.
В последнее время в литературе по статистическому выбору модели значительное внимание уделяется принципу минимальной длины описания (МДО, Minimum Description Length, MDL), являющемуся весьма эффективным подходом при выборе модели и решении других проблем статистической обработки информации, а также обобщающему методы максимального правдоподобия и информационные критерии. Ключевым компонентом в принципе МДО является стохастическая сложность, введенная и использованная в работах [3-6], оценивающая насколько хорошо вероятностная модель соответствует статистическим закономерностям данных. Из этих работ следует, что стохастическая сложность наблюдаемых данных по отношению к данному классу параметрических моделей может быть выражена следующим образом:
SC( в) = -logpC0>+llog| + //log_ i l + K-У* ) (12)
2 i = 1 ,
92log t t n
где 1 = —gQgQr - информационная матрица NxN; в - М-оценка вектора в, полученная путем
минимизации (2); K - количество математических моделей.
Таким образом, штрафуя излишнюю сложность модели, МДО обосновывает идею максимизации регуляризованного правдоподобия, т.е. позволяет обосновать корректность регуляризации правдоподобия.
Моделирование. Проводилась многокритериальная идентификация сильнозашумленного нелинейного стационарного объекта
( \
y(k ) = 0.725sin
16и(k -1) + 8y(k -1)
(13)
+ 0.2u(k -1) + 0.2y(k -1),
( 3 + 4 и 2 (к -1) + 4 у2 (к -1))
при наличии помехи ^(к), описываемой моделью (16)
#(к) = (1 -е)% (к) + ед2 (к),
где е = 0,1; ^ (к), q2 (к) - нормально распределенные помехи с математическими ожиданиями т\ = т2 = 0 и дисперсиями о = 0,6; ст2 = 12 соответственно.
Зашумленная таки образом поверхность (13) приведена на рис.2-б. Для решения данной задачи использовалась фитнес-функция (10),.популяция состояла из 150 особей (сетей). Максимально
возможное количество нейронов в каждом скрытом слое МП сети было ограничено 10. Результирующие фронты Парето и восстановленные поверхности некоторыми входящими в него сетями после 1000 эпох обучения представлены на рис.3. Квадратиком обозначена особь, для которой критерий Акаике является минимальным.
Рис. 3
Заключение. Эффективность использования эволюционного подхода для решения задачи многокритериальной нейросетевой идентификации нелинейных объектов при наличии негауссовских помех, т.е. получение Парето-оптимального решения, существенно возрастает при применении робастных фитнес-функций. Для выбора оптимального решения из получаемого фронта Парето следует использовать какой-либо робастный информационный критерий.
ЛИТЕРАТУРА:
1. Руденко О.Г., Бессонов А.А. Идентификация нелинейных нестационарных объектов с помощью эволюционирующей радиально-базисной сети // Проблемы управления и информатики - 2012. - №4.
- С. 5-14.
2. Хьюбер П. Робастность в статистике. - М.:Мир, 1984. - 304 с.
3. Rissanen J. Order estimation by accumulated prediction errors // In Essay in Time Series and Allied Processes (Gam J. and Priestley H.B., eds) // J. Appl. Probab. - 1989. - 23 A. - P. 55-61.
4. Qian G., Kunsch H.R. On model selection in robust linear regression // Research Report 80, ETH Zentrum, Zurich, 1996. - 33 p.
5. Qian G. Computing minimum description length for robust linear regression model selection // Pacific Symposium of Biocomputing, 1999: Big Island of Hawaii, USA. - 1999. - 4. - P.314-325.
6. Akaike H.A. A new look at statistical model identification // IEEE Trans. on Automatic Control. - 1974. - 19.
- P.716-723.
БЕССОНОВ Александр Александрович - к.т.н., доцент, кафедра ЭВМ, Харьковский национальный университет радиоэлектроники
Научные интересы: искусственные нейронные сети, искусственные иммунные системы
РУДЕНКО Сергей Олегович - аспирант, кафедра ЭВМ, Харьковский национальный университет радиоэлектроники
Научные интересы: искусственный интеллект, интеллектуальные системы
