Научная статья на тему 'Метод аналізу стійкості динамічної рекурентної нейронної мережі'

Метод аналізу стійкості динамічної рекурентної нейронної мережі Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

CC BY
75
9
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по электротехнике, электронной технике, информационным технологиям, автор научной работы — Кузьменко Д. М.

Розроблено метод аналізу стійкості динамічної рекурентної нейронної мережі як основи моделювання функцій пристроїв системи залізничної автоматики.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Разработан метод анализа устойчивости динамической нейронной сети как основы моделирования функций устройств железнодорожной автоматики.

Текст научной работы на тему «Метод аналізу стійкості динамічної рекурентної нейронної мережі»

Л1тература

1. Бадер М.П. Электромагнитная совместимость. М.: Транспорт, 2002 - 637 с.

2. Бурков А.Т. Электронная техника и преобразователи. М.: Транспорт, 1999 - 464 с.

2. Ковалев Ф.И., Мосткова Г.П. Полупроводниковые выпрямители. М.: Энергия, 1967 - 480 с.

4. Шалимов М.Г. Двенадцатипульсовые полупроводниковые выпрямители тяговых подстанций.- М.: Транспорт, 1990 - 127 с.

Анотацн:

Проаналiзований вплив комутацп на гармотч-ний склад вихщно1 напруги випрямляючо1 установки з вольтододавальним перетворювачем в симетричному та асиметричному режимах роботи.

Проанализировано влияние коммутации на гармонический состав выходного напряжения выпрямительной установки с вольтодобавочным преобразователем в симметричном и асимметричном режимах.

The authors analyze the influence of switching on the harmonic composition of output voltage of a rectifying installation with a buck converter in the symmetrical and asymmetrical modes.

УДК 656.25:681.3.07

КУЗЬМЕНКО Д.М., астрант (УкрДАЗТ),

Метод анал1зу ctihkqcti динам1чно1 рекурентно! неиронно! мереж!

Вступ, анал1з публжацш, постановка задач1 досл1дження

У колi сучасних задач, якi потребують моделювання функцiй систем i пристроив заль знично'1 автоматики, як правило, присутш елементи невизначеностi. Це обумовлено рiз-ними факторами, насамперед, суттевим роз-ширенням можливостей теоретичного апара-ту, з одного боку, з шшого - яюсною змiною елементно'1 бази реалiзацii засобiв автоматиза-цп. Одним iз проявiв такого явища е викорис-тання обмеженого набору елементарних фун-кцш, що застосовуються в процес моделювання. Як правило - це тшьки бiнарнi лопчш, характернi для релейних систем. З шшого боку, наявш сучасш програмно-апаратнi засоби реалiзацii дозволяють суттево розширити коло математичних методiв та моделей. Протирiччя виявляеться в недостатньому теоретичному обгрунтуваннi вибору саме такого вигляду елементарних математичних функцш та син-тезовано'1' структури системи керування при-строями автоматики [1].

У зв'язку з цим слщ вщзначити матема-тичний апарат теори нейронних мереж (НМ), який останшм часом динамiчно розвиваеться й досить широко впроваджуеться в засобах автоматизацп технологiчних процесiв [2]. Основна мотиващя його застосування - усунення апр^ш^ невизначеностi вхщно'1 або вихщно'1' шформацп, структурно'1' оргашзацп тощо. З шшого боку, реалiзацiя неч^ш^ системи керування, особливо на залiзничному транспорту потребуе обгрунтованого доказу надшносп та безпеки засобiв, що використовуються при синтезi систем та пристроив [3]. Але в кон-текстi теорп нейронних мереж тд характеристикою надiйностi здебiльше розумiеться оцш-ка стiйкостi процесу навчання, а не функцю-нування моделi вцiлому з урахуванням 11 реа-лiзацii засобами обчислювально^ технiки [2].

Задача дослщження

Розробка методу анал1зу стшкосп дина-м1чно'1 рекурентно'1 нейронно'1 мереж1, яка мо-

же стати основою при моделюванш функцiй динамiка яко! формалiзуeться наступним чи-

пристро!в системи залiзничноi автоматики. ном [5]:

__y(n + 1) = F(y(n),...,y(n- q + 1),u(n),..,u(n- q + 1)), (1)

°сн°вний матерiал__де F - деяка нелiнiйна функцiя власних

аргумешив; q - розмiрнiсть лшп затримки; n

Розглянемо динамiчну нейронну мережу - дискретний промiжок часу (рисунок 1). Í3 зовнiшнiми зворотними зв'язками (NARX),

Рисунок 1. - Структура динамiчноi нейронно! мережi NARX

Як вiдомо з роботи [6], у процес на-вчання мереж NARX розраховуються значен-ня вагових коефщеш!в за методом зворотно-го розповсюдження помилки в часi. Для вра-хування дп лiнiй затримок за вхщними зна-

ченнями z

та вихiдними

z 1Y ( рису-

нок 1) у алгоршм передбачено розгортання мережi на Ц + 1 етапiв навчання.

При навчанш нейронно'1' мереж ваговi коефщенти розраховуються методом градiен-тного спуску за поверхнею помилки [7]. Як правило, зупинка алгоритму виконусться за критерieм мiнiмуму середньоквадратично'1 помилки за вама значеннями еталонного та отриманого вихiдного вектору. При цьому кь лькiсть реалiзацiй нейронно'1 мережi для вирь шення одше'1 задачi не дорiвнюe одиницi, у загальному випадку вона може бути необме-жена [2]. У зв'язку з цим розглянемо метод ощнки отримано'1 в результат навчання мере-жi NARX за критерieм стiйкостi з позицп кла-сично'1' теорп автоматичного керування.

Слщ зазначити, що визначення анал^и-чного виразу передаточно'1' функци як у загальному вигляд^ так i для конкретно'' реалiзацii мереж NARX е досить нетривiальною задачею. У зв'язку з цим слщ зупинитись на кри-

терп стiйкостi Найквiста, який дозволяе вико-нувати аналiз за виглядом амплитудно-фазово! частотно! характеристики (АФЧХ) системи в цшому, як результат реакцп на вхщш сигнали.

Для отримання АФЧХ розглянемо структуру моделi (рисунок 2), де на вхщ нейронно!

мереж u(n), яка дослщжуеться, у кожний дискретний момент часу n з генератора (Г) подаеться сигнал з нормованою амплiтудою ( A = 1) та частотою С = 2ftf, де

f= 10 1 F

i — i,^max , тобто

u(n) = A sin(con) . (2)

Вихщний сигнал мереж перемножуеться з квадратурними сигналами цього ж генератора [8]:

g(n) = Asin(con), g(n) = Acos(on), (3)

тодi миттевi значення амплiтуди та фази вихщного сигналу наступнi [8]:

s(n) = Vg20(n) + g20(n) , (4)

(p(n) = arctg

go(n) go(n)

(5)

де go(n) та g0(n) вiдповiднi виходи пристро!в множення.

g(n) = Asinf от )

g(n) = Acos( úwi)

X

!\

и(п) Мер ежа NARX,

\ яка досл1джуеться У

g0(n)

g0 i")

С

О 5? ¡с

ы

+ Смэ

£ Й>

О У

13

II N

£

s(n)

n)

Рисунко 2. - Структура моделi аналiзу стiйкостi нейронно! мереж

Розглянемо декшька реалiзацiй динамiчноi нейронно! мережi NARX, отриманих як результат моделювання функцiй базового елементу (БЕ) системи зашзнично! автоматики. При цьо-му основним призначенням моделi БЕ е стутн-чате реагування на поступове зростання ампль туди вхiдного сигналу з захистом вщ впливу

завад, так, щоб поодиною сплески на впливали на роботу мереж1. Для реалiзацii тако^ функцю-нальностi розроблена навчальна послщовтсть -цiльова функщя, яка складаеться з множин дис-кретних значень входу (рисунок 3, а) та еталон-них вихщних (рисунок 3, б).

Рисунок 3. - Навчальна послщовшсть мережi NARX моделi базового елементу

При мшмальнш конф^раци нейронной мереж1, тобто один схований шар, один еле-мент затримки за входом та один за виходом (рисунок 1), процес навчання за модифшова-ним алгоритмом зворотного розповсюдження помилки склався зi 100 ^ерацш. Отримано загальну енерпю середньоквадратично^ поми-лки за всiма навчальними прикладами -

1,93478401. Результат функщонування моделi БЕ пiсля закiнчення процесу навчання при вхь днiй послiдовностi (рисунок 3, а) зображений на рисунку 4.

Як видно з графшу залежносп вихiдного

значення моделi БЕ y(n), вщ вхiдного u(n), який послщовно подано на вхiд у дис-

кретний момент часу П — 1,2,..., Nтах -нейронна мережа досить адекватно вщтворюе висунутi вимоги.

Для аналiзу стшкосп отримано'' реалiза-цп БЕ встановимо iнварiантнi значення у мо-деш (2) - (5): А — 1, Гтх — 1000 (Гц ). З метою усунення впливу перехщних процеав об'ем вхщно! послiдовностi при кожнiй часто-

Ti

f

встановимо, виходячи з припущення,

що за п ять перiодiв коливань динамiка моделi

F

стабшзуеться [8], тодi n = 5■ ^ .

Амплитудно-фазову частотну характеристику БЕ, отриману як результат функцiонування моделi (2) - (5), зображено на рисунку 5.

0,2

V. п

ГМ СЧ СЧ СЧ

Рисунок 4. - Послщовшсть значень виходу моделi БЕ (реалiзацiя №1)

Рисунок 5. - АФЧХ моделi БЕ (реалiзацiя №1)

Як видно з АФЧХ модель БЕ представляв собою фшьтр нижшх частот i е стiйкою

f ■ 1 lF

f вiд 1 до 2 тах ха-

тому, що при ЗMiHi

рактеристика не охоплюе точку з координатами j0) - основна вимога критер^ Найквюта виконуеться.

При наступнiй реалiзацiï нейронно'1 ме-режi з аналопчною топологiею отримано де-що менше значення загальноï енергп серед-ньоквадратичноï помилки - 1.49552191. При цьому вигляд АФЧХ моделi зазнав незначних змш, загалом система залишилась стшкою (рисунок 6).

Рисунок 6. - АФЧХ моделi БЕ (реалiзацiя №2)

Узагальнюючи аналiз стiйкостi реалiза-цш моделi базового елементу мережею NARX з мшмальною топологiею, слiд вщзначити, що вона завжди е стшкою за критерiем Найк-вiста. В залежносп вiд реалiзацiï змiнюеться вигляд АФЧХ на частотах вхщного сигналу

f > 1 F

^ max.

Додавання до структури нейронноï ме-режi ще одного схованого шару приводить до вирiвнювання частотноï характеристики, при цьому аналiз АФЧХ дозволяв зробити висно-вок про стшюсть моделi БЕ (рисунок 7).

Рисунко 7. - АФЧХ моделi БЕ з двоша-ровою мережею NARX

Слщ вiдзначити, що збiльшення кшькос-тi лiнiй затримок за вхщними z_1U та вихщ-ними z 1Y значеннями ( рисунок 1) приво-

дить до бшьш точшшо! апроксимацп щльово! функцп, вiдповiдно, зменшення загально! ене-ргп середньоквадратично! помилки. З шшого боку, така модифшащя структури мереж обумовлюе пiдсилення зворотних зв'язкiв, i знаходження адекватного компромюу мiж !х позитивним i негативним впливом у широкому дiапазонi частот вхщних сигналiв е досить нетривiальною задачею.

Так, в результатi дослщження декiлькох реалiзацiй моделi БЕ, яка побудована на ме-режi NARX з одним прихованим шаром i дво-ма лшями затримки за входами та виходами, зроблено висновок про вщсутшсть стшкосп, яка обумовлена значною нерiвномiрнiстю АФЧХ на частотах вхщного сигналу

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

f > 0JFmax (рисунок 8).

Рисунок 8. - Характерний приклад АФЧХ моделi БЕ з одношаровою мережею NARX i двома лшями затримки за входами та виходами

З цього випливае, що збшьшення кшько-ст лшш затримки повинне застосовуватись тiльки у випадку нагально! необхiдностi, на-приклад, при необхщносп врахування не тшь-ки попереднього стану системи, а ще за бшь-ший термш функцiонування.

Загальш висновки

Таким чином у робот розроблено метод аналiзу стiйкостi динамiчноi рекурентно! ней-ронно! мереж як основи моделювання функцш пристро'1'в системи зашзнично! автоматики.

Показано, що для доказу адекватносп моделi базового елементу, побудованого на основi мереж NARX, недостатньо досягнення найбшьшо! точностi апроксимацп цшьово! функцп, повинен виконуватися аналiз ii стш-Л1тература

1. Чепцов М.М, Бойшк А.Б., Кузьменко Д.М. Методи синтезу сигнально-процесорно'1' централiзацii стршок i сигналiв: Монографiя.

- Донецьк: "Дон1ЗТ", - 2010. - 181 с.

2. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр. : Пер. с англ. - М.: ООО «И.Д. Вильямс», 2006. - 1104 с.

3. ДСТУ 4178-2003. Комплекси техшч-них засобiв систем керування та регулювання руху поiздiв. Функцiйна безпечнiсть i надш-нiсть. Вимоги та методи випробування. -Введ. 09.04.2003. - К.: Держспоживстандарт Украши, 2003. - 31 с.

4. Сапожников В. В. Теоретические основы железнодорожной автоматики и телемеханики: Учеб. для вузов / В.В.Сапожников, Ю.А. Кравцов, Вл.В. Сапожников; Под ред. Вл.В. Сапожникова. - М.: Транспорт, 1995. -320 с.

5. Leontaritis I. Input-output parametric models for nolinear systems: Part I: Deterministic nolinear systems. // I. Leontaritis, S. Billings / International Jornal of Control, - 1985, - vol. 41,

- p. 303-328

косп. При цьому доцшьно об'еднати розраху-нок загально'1 енергп середньоквадратично'1 помилки за аналiзом стшкосп, та сумюно !х застосувати в якостi критерiю зупинки проце-су навчання нейронно'1 мережъ

6. Werbos P.J. Beyond regression: New tools for prediction and analysis in the behavioral sciences, Ph.D. Thesis, Harvard University, Cambridge, MA, 1974.

7. Kramer A.H. Efficient parallel learning algorithms for neural networks. // A.H. Kramer, A. Sangiovanni-Vincentelli / Advances in neural Information Processing Systems, San Mateo, CA: Morgan Kaufman, - 1989, - vol.1, - p. 40-48

8. Гоноровский И.С. Радиотехнические цепи и сигналы / И. С. Гоноровский [Учебник для вузов]. Изд. 2-е, пер. и доп. М.: «Советское радио», - 1971. - 672 с.

Анотацн:

Розроблено метод анал1зу стшкосп динам1чно1 рекурентно! нейронно! мереж1 як основи моделювання функцш пристро1в системи зал1знично1 автоматики.

Разработан метод анализа устойчивости динамической нейронной сети как основы моделирования функций устройств железнодорожной автоматики.

Designed analysis method of stability on dynamic neural network as bases of modeling functions of devices railway automation.

i Надоели баннеры? Вы всегда можете отключить рекламу.