CC BY
133
ОБЧИСЛЮВАЛЬНІ СИСТЕМИ
УДК 621.8:681.5
О.М. РІЗНИК
ДИНАМІЧНІ РЕКУРЕНТНІ НЕЙРОННІ МЕРЕЖІ
Abstract: State of the in the area of recurrent neural networks, that have features of both deterministic and open dynamic research systems, is analyzed. Review of structure, work principles and training methods of known recurrent neural network models is given. Problem of resources, required for their training, is discussed, and new approach to its solution is considered. New model of open recurrent neural network, and non-iterative method of its training, are proposed.
Key words: recurrent neural network, dynamic recurrent network, training, feedback connection, error back propagation, reservoir neural network.
Анотація: Розглянуто стан досліджень рекурентних нейронних мереж, в яких поєднані властивості детермінованих та відкритих динамічних систем. Подано огляд архітектури, принципів дії та методів навчання відомих моделей рекурентних нейромереж. Розглянуто проблему ресурсоємності їх навчання та запропоновано новий підхід до її вирішення. Запропоновано нову модель відкритої рекурентної нейромережі та неітеративний метод її навчання.
Ключові слова: рекурентна нейронна мережа, динамічна рекурентна нейромережа, навчання, зворотний зв'язок, зворотне поширення похибки, резервуарна нейромережа.
Аннотация: Рассмотрено состояние исследований рекуррентных нейронных сетей, в которых соединены свойства замкнутых и открытых динамических систем. Дан обзор архитектуры, принципов работы и методов обучения известных моделей рекуррентных нейросетей. Рассмотрена проблема ресурсоемкости их обучения, и предложен новый подход к ее решению. Предложены новая модель открытой рекуррентной нейросети и неитеративный метод ее обучения.
Ключевые слова: рекуррентная нейронная сеть, динамическая рекуррентная нейросеть, обучение, обратная связь, обратное распространение ошибки, резервуарная нейросеть.
1. Вступ
Рекурентними називають штучні нейронні мережі, в яких, поряд із прямими зв'язками, направленими від входів (рецепторів) мережі до її виходів (ефекторів), є зворотні, що мають протилежний напрямок. На відміну від штучних нейромереж прямого поширення, які здійснюють статичну проекцію поданих на входи векторів даних (стимулів) у вихідні вектори (реакції), рекурентні нейромережі є динамічними системами, що оперують з послідовностями вхідних даних, перетворюючи їх на послідовності реакцій. Поведінка рекурентних нейромереж віддзеркалює набуті при навчанні стереотипи, що робить їх близькими до цілеспрямованих адаптивних динамічних систем, запрограмованих на досягнення заздалегідь визначених цілей. Але на відміну від останніх програмування поведінки рекурентних нейромереж здійснюється шляхом навчання на прикладах, що не потребує формального визначення цілей. Вони здатні ефективно діяти в умовах невизначеності, зокрема, вирішувати задачі адаптивного керування поведінкою складних систем у нестаціонарному оточенні, приймати оперативні рішення в системах ситуаційного управління тощо.
За архітектурою та здатністю адаптуватись до умов оточення рекурентні нейромережі нагадують нервову систему живих організмів. Тому їх дослідження має не тільки прикладне, але і загальнонаукове значення для розуміння явищ адаптації в живій природі, розкриття механізмів пам'яті, інтерпретації відомих даних нейрофізіології, розробки нових методів діагностики та лікування нервових і психічних захворювань.
© Різник О.М., 2009
ISSN 1028-9763. Математичні машини і системи, 2009, № 3
З
Вивчення нейронних мереж із зворотними зв'язками почалось ще в 60-ті роки минулого століття. В перших дослідженнях з моделювання нервової системи [1] вивчались в основному статистичні властивості потоків нервової активності, тому функції зворотних зв'язків часто залишались поза увагою. Вперше рекурентну організацію було застосовано Д. Хопфілдом [2], яка надала створеній ним нейромережі властивостей асоціативної пам'яті. Термін “рекурентна нейронна мережа” набув поширення наприкінці 80-х років, коли було запропоновано методи навчання нейромереж із зворотними зв'язками та визначено основні проблеми, що вимагали вирішення на шляху до їх реалізації та практичного застосування [3-5]. Найбільші складності викликали висока ресурсоємність та незадовільна результативність процесу навчання, а також відсутність гарантії стабільності поведінки рекурентних нейромереж. За минулі два десятиріччя досягнуто суттєвого прогресу у вирішенні цих проблем. Розроблено більш ефективні методи навчання та тестування рекурентних нейромереж, розвинуто загальну теорію динамічних рекурентних нейромереж, запропоновано нові архітектурні рішення, які дозволяють поєднувати рекурентні структури з відомими нейропарадигмами і одержувати нейромережі з новими властивостями [6-10]. Створено експериментальні моделі рекурентних нейросистем для адаптивного керування складними промисловими та транспортними об'єктами. Прикладом успішного застосування рекурентної нейромережі для вирішення надскладної технічної задачі стала продемонстрована фірмою Bouing експериментальна нейросистема керування гіперзвуковим літаком зі змінною геометрією крила [11]. Інші приклади практичного їх використання в системах автоматизованого керування різними об'єктами можна знайти в роботах [12-14].
У даній роботі розглянуто архітектуру та методи навчання найбільш відомих моделей рекурентних нейромереж. Подано стислий огляд результатів досліджень у цій галузі, включаючи нові дані по відкритих рекурентних нейромережах, одержані у відділі нейротехнологій ІПММС НАН України, розглянуто проблеми та перспективи розвитку цієї швидко прогресуючої галузі нейротехнології.
2. Структура та принцип дії рекурентних нейронних мереж
Будову рекурентної нейронної мережі схематично зображено на рис. 1 [15]. Її входам та виходам відповідають шари рецепторних та ефекторних нейронів або просто лінії передачі даних. Між цими шарами розташовано один або кілька шарів прихованих нейронів. Входи нейронів кожного шару мають прямі зв'язки з виходами нейронів попереднього шару та можуть мати зворотні зв'язки з виходами нейронів свого та наступних шарів.
Зворотні зв'язки, як правило, містять елементи затримки, що надає нейромережі властивостей оперативної пам'яті. Нейрони різних шарів можуть бути однаковими або відрізнятись за типом активаційних функцій та характером нейропарадигми. Завдяки наявності затриманих зворотних зв'язків рекурентні мережі є динамічними системами, поведінка яких має зовнішню складову, що відповідає спостережуваним значенням входу та виходу, та приховану, яка характеризує внутрішній стан нейромережі. Ці складові поведінки представляють двома рівняннями, перше з яких є рівнянням вхід-вихід, а друге - рівнянням стану [16]:
Y(t) = F [Z (t), X (t)], (1)
7(і) = ф[7(і0), х;о], (2)
де У(1) , 2(1), Х(1) - значення відповідно виходу, стану та входу динамічної системи в момент 1;
X‘ - реалізація стимулу на вході системи в інтервалі часу (і0,і].
X (і)
Рис. 1. Загальна структура рекурентної нейронної мережі Поняття стану динамічної системи віддзеркалює її' попередню поведінку. У випадку рекурентних нейронних мереж це поняття може мати різні значення, залежно від тривалості інтервалу спостереження (і0,і]. При і — і0 ® 0 вектор 2(1) визначає поточний стан нейромережі
як сукупність значень реакції нейронів. При і — і0 2(1) представляє глобальний стан,
зафіксований в архітектурі нейромережі та значеннях ваги зв'язків між нейронами. Глобальний стан відповідає змісту довготривалої пам'яті, сформованому при навчанні нейронної мережі, тоді як поточний - змісту її оперативної пам'яті, що визначає поведінку нейромережі в даний момент часу. Поділ на поточний та глобальний стани має сенс, коли процеси навчання та тестування нейронної мережі відділені. В більшості випадків такий поділ існує, але іноді, наприклад, у задачах адаптивного керування, рекурентна мережа має безперервно коригувати міжнейронні зв'язки, відповідно до змін поведінки керованого об'єкта [12]. Ми будемо дотримуватись першого визначення і представляти стан рекурентної нейромережі сукупністю поточних та затриманих значень реакцій нейронів, які в даний момент діють на входи (синапси) нейронів мережі.
3. Архітектура рекурентних нейромереж
За архітектурою рекурентні нейромережі можна поділити на три типи: 1) відкриті рекурентні нейромережі; 2) рекурентні перцептрони; 3) ядерні рекурентні нейромережі.
Відкритими є рекурентні нейромережі, що не мають прихованих нейронів. Прикладом може служити нейронна мережа Хопфілда, що має лише один шар зв'язаних між собою нейронів [2]. Її структуру представлено на рис. 2, де величини у ,5 та Ь позначають відповідно входи,
постсинаптичні потенціали та пороги нейронів, а w■■ - вагу зв'язків між нейронами.
У
Виходи нейронів можуть мати значення +1 або -1. Іноді в мережі Хопфілда замість знакової активаційної функції використовують сигмоїду. Вага зв'язків між нейронами обчислюється за формулою Хопфілда:
N-'е у,” у т,
”=1
де N позначає число нейронів мережі, а М - кількість векторів навчальної послідовності. Ці
вектори визначають стійкі стани
У
У,Г
у і (і) = Ь і(і)- Ь і (і)],
8 і (і ) = Е WУ■ У і (і - 1) .
і=1
Рис. 2. Нейромережа Хопфілда
(атрактори) нейромережі. Якщо її стан не збігається з жодним з атракторів, відбувається процес конвергенції, тобто нейромережа послідовно змінює стан, доки не досягне найближчого атрактора. Конвергенція нагадує процес асоціативного пошуку зразком, заданим у вигляді початкового стану нейромережі. Здатність до конвер-
генції дозволяє використовувати мережу Хопфілда як асоціативну пам'ять для відновлення збурених або частково зруйнованих даних.
На рис. 3 зображено двосторонню асоціативну пам'ять [17], що є прикладом відкритої двошарової рекурентної нейромережі. Її атракторами є пари векторів, що представляють реакції обох шарів нейронів.
У 2 (і) = sign
= sign
ZN , \ N і , _ ч
=і wijsign (Е *=і *(і - 2)
Рис. 3. Двостороння асоціативна пам'ять Навчання відкритих нейромереж здійснюється шляхом розрахунку значень вагових коефіцієнтів на основі аналітичного рішення рівняння їхньої стабільності. Таке рішення існує за умови, що кількість атракторів не перевищує число нейронів мережі.
Найбільш відомим типом рекурентної нейромережі є багатошаровий рекурентний перцептрон (РМІР-РесиггеП МиШ-Іауег Регсеріїоп). На рис. 4 дано схему рекурентного перцептрона, призначеного для апроксимації часових залежностей, який має лише один прихований шар нейронів та один ефекторний нейрон [14]. Для ефекторних нейронів мережі РМЬР звичайно використовують лінійну активаційну функцію, а для прихованих - сигмоїдну. Прихований шар складається з N нейронів, на входи яких надходять затримані сигнали, що подаються на вхід
мережі, затримані сигнали з виходів мережі, а також поріг Ь(1. Така нейромережа здійснює відображення
у (і +1) = ¥ [Ь(1), Ь(2), х(і), х(і - г),..., х(і - ^г), у (і - г),..., у (і - £ г)] , де т - крок затримки, ^ та £ - кількість затримок сигналів на вході та виході мережі.
Вхід x(t) 0 .... K ^1
Рис. 4. Архітектура мережі РМЬР
На рис. 5 представлено рекурентну нейромережу Ельмана [18], яка придатна для роботи з багатовимірними векторними даними і має відповідну кількість зовнішніх входів та виходів (N та М). Щоб надати мережі необхідні динамічні властивості, у зворотні зв'язки включено елементи затримки. Зворотні зв'язки, які називають контекстним шаром, разом із зовнішніми входами утворюють вхід прихованого шару нейронів.
Вихід у() .. . yм(t)
Рис. 5. Архітектура мережі Ельмана Мережа Ельмана та РМЬР є базовими моделями, що стали основою для розробки ядерних рекурентних нейромереж, в яких застосовуються різні способи перетворення вхідних даних з метою поліпшення роботи рекурентного шару нейронів. У роботах [19, 20] розглядаються рекурентні нейромережі, що містять шар радіально-базисних нейронів, який може самостійно виконувати функції контекстного шару або виконувати обробку даних на вході рекурентного шару. В роботі [21] пропонується рекурентна нейромережа на основі нейропарадигми карти Кохонена. Популярним є
використання методів мінімізації розмірності векторів на вході рекурентного шару за допомогою адаптивної послідовності лінійних проекцій [22]. Це забезпечує використання всієї наявної інформації про вирішувану задачу та характер вхідних даних для досягнення її рішення.
Типовою можна вважати рекурентну нейромережу, що має L шарів по N1 нейронів у
кожному, тобто загалом NS = 1=N1 нейронів. На входи (синапси) кожного нейрона надходять
реакції від усіх нейронів попереднього шару (прямі зв'язки), а також можуть надходити затримані реакції від нейронів свого та наступних шарів (зворотні зв'язки). Загальне число синапсів (або
зв'язків) N* включає також зовнішні входи (рецептори) нейромережі. Її стан можна представити
N*-вимірним вектором Z(ty.{zln(t — t)}^^=1L=0, де zL(t) - значення реакції n-го нейрона /-го шару,
тє0 - величина затримки реакції. Його компоненти zL(t) визначають реакції ефекторних нейронів
або виходи нейромережі, а z°(t) - стимули, які діють на її входи. Поточне значення реакції довільного нейрона /-го шару можна представити як
z, (t)=f'„ (t)],
s'n w=I I 4 A(t-т)+Ц=о <AA (0, <3)
де fln (.) - активаційна функція нейрона;
sl (t) - величина постсинаптичного потенціалу (ПСП);
wn j - вага зв'язку між входом n -го нейрона /-го шару та виходом j -го нейрона (шар, до якого
належить j -й нейрон, може бути будь-яким);
0n j - множина затримок зв'язків між виходом j -го нейрона та входом n -го.
Перша складова ПСП визначає внесок зворотних зв'язків нейромережі, а друга - прямих зв'язків з нейронами попереднього шару. Величину порога віднесено до прямих зв'язків. Її
представляє складова W^z'l(t), яку можна асоціювати з впливом додаткових зовнішніх входів
нейромережі.
Реакція zn (t), що визначає поточний стан даного нейрона, є сталою за умови:
Э^(t V Э = (f7 ^n) ^n(t VЭt =0. (4)
Оскільки fln (.) - монотонна функція, її похідна є позитивною величиною:
ЭШ Ц = fl'=1 >0 , |sll <¥.
Тому умову (4) можна представити як Эsln (t)/ Эt = 0 або як
s'n (<)=2L=, I=i X,0.wn Л ((- т) +Ii=0w *z?(t)=const <5)
Для бінарної активаційної функції f (s) = sign(s) умова (4) набуває вигляду
sign(s'n (t)) = const,
тобто в цьому випадку суттєвим є лише стабільність знаку ПСП нейрона.
Виконання умови (6) для даного нейрона означає синхронізацію активності нейронів, що мають зв'язки з його входами. При цьому реакції нейронів попереднього шару, які надходять через прямі зв'язки, нейтралізуються реакціями інших нейронів, що надходять через зворотні зв'язки. Виконання умови (4) одночасно для всіх нейронів рекурентної нейромережі відповідає стану
динамічного атрактора, індукованого дією зовнішнього стимулу Z0(t). При збуренні зовнішнього
стимулу, тобто коли поточне значення Z0(t) відрізняється від очікуваного, нейромережа може
нейтралізувати збурення і продовжити перебування у стані динамічного атрактора. Стійкість до збурень (робастність) зумовлена характером міжнейронних зв'язків рекурентної нейромережі, які віддзеркалюють стереотипи поведінки, засвоєні нею при навчанні. Здатність відтворювати раніше засвоєну поведінку дає можливість застосовувати рекурентні нейромережі для вирішення багатьох прикладних задач, пов'язаних з обробкою та відновленням збурених даних у реальному часі.
4. Відкриті рекурентні нейромережі
Відкриті рекурентні нейромережі поділяються на статичні, прикладами яких є мережа Хопфілда та двостороння асоціативна пам'ять, або динамічні, що мають зворотні зв'язки з елементами затримки, які надають їм динамічних властивостей.
На рис. 6 схематично зображено відкриту динамічну рекурентну нейромережу, яка має
N1 нейронів і відповідно N1 бінарних виходів. Число входів нейромережі № може відрізнятись від числа нейронів. Вважатимемо, що сигнали на входах також є бінарними. Кількість затриманих виходів NT може відрізнятись від числа нейронів (NT < N1). Також вважатимемо, що величини затримки сигналів т однакові.
Рис. 6. Відкрита динамічна рекурентна нейромережа Сукупність прямих та затриманих сигналів, що одночасно діють на входи всіх нейронів, визначає N - вимірний вектор стану динамічної нейромережі X *(ґ) = {г**}^, де
N* = N1 + NT + N0. Розглядаючи послідовності станів у дискретні моменти часу ...t-1,t,t +1... , поточне значення реакції нейромережі представимо вектором
Z‘(І +1) = F[S\t)] = {f(si«I'‘ , (б)
де f (.) - активаційна функція нейрона;
S '(t) - вектор постсинаптичних потенціалів (ПСП):
S1 (t) = W11Z1 (t) + W1TZ1 (t -t) + W10Z0 (t), (7)
де Z 1(t) , Z 1(t -1) - вектори поточних та затриманих значень реакції нейронів;
Z 0(t) - вектор входу нейромережі;
Wu,WlT та W10 - матриці ваги зв'язків між входами та виходами нейронів, входами та
затриманими виходами, а також зовнішніми входами динамічної рекурентної нейромережі.
Умовою перебування нейромережі в стані атрактора є виконання рівності
Z1 (і ) = Z1 (І +1) = F[S '(і )] = {f (sn (І £1. (8)
Для статичної нейромережі це означає, що значення виходу, а відповідно і постсинаптичного потенціалу нейронів перестає залежати від часу. Для рекурентної нейромережі, яка має затримані зворотні зв'язки, це неможливо. Її динамічні атрактори є послідовностями атракторних станів, які є реакціями на відповідні послідовності зовнішніх стимулів. Позначимо m -й
вектор такої послідовності як R*m. Компонентами його є три вектори: R}’m - поточних значень
виходів нейронів, Rlm-1 - попереднього (m-1)-го атрактора, який відповідає затриманим виходам
w . r>0,m
нейронів, R - поточних значень зовнішнього стимулу.
Враховуючи монотонність активаційної функції, умову (8) можна записати як
R1m1 =L[W nRl’m + W lrRlm-1 + W10 R0m ], (9)
де Л - деяка позитивно визначена діагональна матриця N 1 X N1 (1ii > 0).
Якщо вектори R1,m,Rlm-1 та R0,m відомі, то це рівняння можна вирішити відносно матриць
W11, Wltта W0. Для цього представимо статичну симетричну нейромережу, що має N* нейронів.
Вектор стану такої нейромережі Zn(t) має три компоненти: Zl(t) , Zl(t -t) та Z0(t). ПСП уявної нейромережі можна представити матричним рівнянням:
S'(t) W11 WlT W10 Z1(t) W1 Z1 (t) + WltZl (t -1) + WltZ0 (t)
S •(!) = S'(t-t) = WT1 Wtt Wt0 Z\t-t) = WtlZ1 (t) + WTZZl (t -1) + Wt0Z0 (t)
S 0(t) W01 W0t W00 Z 0(t) WmZl (t) + W TZl (t -1) + W0tZ0 (t)
Припустимо, що вектори її атракторних станів тотожні тим, що утворюють динамічні атрактори динамічної рекурентної нейромережі. Розглядаючи динамічні атрактори як послідовності векторів, що змінюють один одного в дискретні моменти часу ...і — т,і,і + т..., встановимо
відповідність між станами динамічної нейромережі та її атракторами: Z'(І) о R1,
Zl(t-t) о Rl m-1. Тепер послідовність атракторних станів можна представити у вигляді матриці
%
Ru... R 1,m R1м
R1,0... R 1,m-1 jr 1 ,ім-1
R0,1... R
0,m R ^
стовпчиками якої є вектори статичних атракторів уявної нейромережі. Користуючись аналогією з рівнянням (9), запишемо узагальнене рівняння атракторного стану уявної нейромережі:
% * =Л W *. (10)
Вирішуючи його відносно W* одержимо
W * =Л-1% *(%*) + , (11)
де (%*)+ - псевдообернена матриця [23]. Оскільки вектори Rhm та R0’m є бінарними, то можна вважати Л =І.
Для обчислення матриці W * звичайно застосовують псевдоінверсне правило [24, 25]:
(12)
w*m +1 = wnm + (Г;
1, J
m+1 - sm+1)( г"+1 - sm+1)/d
m +1
ZN
k=1
N m+1
k= Wik rk
jm+1 X 'N -*m+1 / m+1 m+1 \
d = 2~ik=1 rk (rk - sk ) ,
m+1 tY
де rk - компонента вектора R
nm+1
Матриця Ж * =<^*(<^*)+ є проекційною в лінійному просторі 3 , напнутому на М векторів з . Вона має такі властивості:
Ж * = (Ж *)2; <. = ^ )2 , ТгЖ * = ^ = М ,
М
м
N
1 - м
N*
> (w*j )2 >
1-м
N
(13)
М(М -1)
Величина недіагональних елементів знаходиться в межах між верхньою оцінкою, яка відповідає розрідженій матриці, більшість елементів якої мають значення, близькі до нуля, та нижньою, що відповідає відносно рівномірному розподілу значень її елементів. Діагональні елементи визначають вагу позитивних зворотних зв'язків нейронів. При збільшенні відношення
М/М * нейрони втрачають чутливість до зовнішніх збуджень, що приводить до зупинки процесу
конвергенції і появі хибних атракторів.
При відсутності затримок зворотних зв'язків (т = 0) розрахована за формулами (12)
симетрична нейромережа відповідає моделі асоціативної пам'яті, керованої порогом [26], яка має
М < М1 головних атракторів, представлених парами векторів (я1т, Я0,т. Якщо така нейромережа опиняється в нестабільному початковому стані, то відбувається процес конвергенції -
s
послідовних змін стану в бік найближчого головного атрактора. Цей процес може не досягти головного атрактора через зупинку в локальному (хибному) атракторі. Імовірність такої зупинки зростає зі збільшенням співвідношення М/М. У мережі Хопфілда процес конвергенції зупиняється при М/М > 0,14 [6, 7]. При обчисленні зв'язків за псевдоінверсним правилом зупинка настає при М/М > 0,25 [27]. Застосування до такої нейромережі методу рознасичення синаптичної матриці [25, 28] дозволяє підняти цей рівень до М/М »0,7.
При наявності затриманих зворотних зв'язків у матриці Ж * залишаються блоки Ж11 ,Жт та
Ж10, які відповідають реальним зв'язкам. У такій нейромережі процес конвергенції обмежений першим кроком переходу нейронів з поточного в наступний стан. Таке обмеження не заважає існуванню динамічних атракторів рекурентної нейромережі, для яких наступний стан є іншим атрактором. Динамічний атрактор може починатись з будь-якого вектора послідовності,
представленою матрицею , і закінчуватись останнім її вектором Я*’М. Якщо початковий стан не є атрактором, ситуація виявляється більш складною, оскільки на відміну від симетричної статичної нейромережі, стан якої при конвергенції наближається до найближчого атрактора монотонно, поведінка динамічної рекурентної нейромережі поза динамічним атрактором може бути не монотонною.
5. Процес конвергенції в статичній рекурентній нейромережі
Ітерація конвергенції в статичній нейромережі представляє послідовність лінійних та нелінійних перетворень вектора стану. Повертаючись до формул (6, 7) і вважаючи, що ітерація конвергенції здійснюється за одиницю часу, запишемо
X'(і +1) = -^‘(і)] = {/(« (і)}=,,
де «ДО = Е,.і —1)+(і). (14)
Ітерація включає лінійну операцію обчислення значення ПСП та його перетворення в реакцію нейромережі нелінійною активаційною функцією, яку будемо представляти ступеневим рядом:
/[«■] = аі« + аз«3 + а2р+1«2Р+ .... = « ЕР=0а2Р+1«2Р . (15)
Оскільки ця функція звичайно є монотонною і непарною, то коефіцієнти ряду мають різні знаки, а їх абсолютні значення швидко зменшуються. Це можна бачити на прикладі гіперболічного тангенса:
ікх = х — іх3 +15х5 — 37-х1 +....
Розглянемо ітерацію конвергенції для компоненти вектора ПСП:
* «)=2 -1)+2 І Р )=
=Е >< дЕі Ч^('—2)+Е=і Л(‘—1)]Е» а р.А2 Р}+Е=і и'° а0 (і).
Переставляючи члени і враховуючи, що для матриць, розрахованих за псевдоінверсними
N
=1 Wi ^ І к = ^і к ,одержимо
«(і) ^ Л(і—2)+Е і(і)+(і—1)]+Е=і ^‘-,к[ЕТ=о а р+і«к2 р ].
Перші дві складові є проекціями попередньої реакції X'(і — 2) та накопиченого значення
зовнішнього стимулу X0(і) + а‘Х0(і) в лінійний простір матриці Ж1. Остання складова визначає
проекцію суми старших членів ряду (15), які утворились при нелінійному перетворенні попереднього значення ПСП. Наслідки цієї проекції стають зрозумілими, якщо представити ортогональний
розклад матриці Ж1:
ж 1 = убут,
де У - матриця Ь XN, Ь < N, стовпчиками якої є власні вектори, а Б - діагональна матриця, що представляє спектр матриці Ж1. Власні вектори У утворюють базис лінійного простору, в який проектується вектор X(і) :
£ (і) = Ж X (і) = У^‘(і),
де ^(і) = ЭУТX (і) - спектр поточного значення ПСП.
При нелінійному перетворенні ПСП виникають комбінаційні компоненти, частина яких є
ортогональними до лінійного простору Ж1. Наступне лінійне проектування звільнює спектр ПСП від цих компонент і залишає комбінаційні компоненти, які віддзеркалюють спектральний склад попереднього ПСП. Завдяки нелінійному перетворенню в цьому залишку підсилюються найбільші складові та послаблюються найменші. При наступних ітераціях конвергенції диференціація складових спектра ПСП зростає, поки не залишиться одна компонента, яка визначатиме атракторний стан нейромережі.
Якщо власні числа матриці Ж відрізняються від 0 або 1, то у спектрі проекції посилюватимуться складові, які відповідають найбільшим власним значенням матриці Ж. При цьому проекція вектора стану може віддалятись від оригіналу, заданого зовнішнім стимулом, і наближатись до найбільшого власного вектора матриці Ж. Тому при порушенні проекційності матриці Ж нейромережа може втратити свої асоціативні властивості.
6. Ітеративне навчання рекурентних нейромереж
Для рекурентної нейромережі, що має приховані нейрони, неможливо заздалегідь визначити вектори атракторних станів. Тому значення ваги міжнейронних зв'язків у таких нейромережах обчислюють ітеративно, шляхом поступового коригування параметрів нейромережі в напрямку антиградієнта похибки. Найбільш ефективним є метод зворотного поширення похибки, який використовується для навчання багатошарових нейромереж. Застосування цього методу до рекурентної нейромережі ускладнюється тим, що будь-яка корекція параметрів нейромережі викликає зміни попередніх значень реакції нейронів. Для подолання цих ускладнень розроблено метод зворотного поширення похибки в часі [3-5], за яким послідовність операцій над даними в часі
розгортається у вигляді багатошарової нейромережі прямого поширення, до якої для кожного кроку затримки в часі додають новий шар нейронів. Навчання такої нейромережі проводять за критерієм мінімуму величини похибки, яку визначають як
Е = М (Лт — 7Ь,т )2
Е 22-і т=12-і п=1(Л« -п ) ,
де - очікувана реакція нейромережі;
Ь,т
іп - дійсне значення реакції;
Мь - число ефекторів (виходів) мережі;
М - розмір (число векторів) епохи навчання.
Коригування вагових коефіцієнтів здійснюється за дельта-правилом:
(Ч,д)пер = (Ч,д)аШ -тЕ/дм1р ч , (16)
де /і - коефіцієнт швидкості навчання.
дЕ = дЕ д-р = ^ м і ^ д-р
і ,т
дН д-7 дн1 ^-‘т=1 р д~м1
р ,<2 р р ,, р ,,
„і д7Ь-т
,т /Лт -Ьт\и^п
=і , (17)
~і,т /т „Ьт\
ЧР = Еп=1(Лп — 7п )
'р -<:_^п=1ч п п -т
и^р
Тут 7рт - значення реакції р -го нейрона /-го шару мережі при надходженні т -го вектора навчальної послідовності:
_і,т гі /х '„р , ..і
71т = /1 (у УрН1 7т) , (18)
р •> р'/—! 1=0 р. 1 1 ' 4 '
де Мр- множина нейронів, що мають зв'язки з входами цього нейрона. Індекс зв'язку ] = 0
позначає вхід порога, який вважається постійною величиною. Решта зв'язків поділяється на прямі, що ідуть від попереднього шару, та зворотні, які ідуть від нейронів наступних шарів, тобто тих, що більш наближені до виходу мережі. Оскільки реакції останніх надходять із затримкою, то їхні значення відповідають попереднім елементам навчальної послідовності:
7™ — для _ прямих _ зв язків і 7т-г — для _ зворотних _ зв язків
^ ІУ ( § І ІУУ и V ( 1 І .Л у V » .......
7, = { 1 _ (19)
1 ^ т—г _______ у/
де г - величина затримки для даного зворотного зв'язку.
Така різниця між прямими та зворотними зв'язками ускладнює процес обчислень за формулою (17). Якщо для прямих зв'язків діє звичайне ланцюгове правило, то у випадку зворотних зв'язків необхідно враховувати залежність поточної реакції даного нейрона від затриманих
попередніх значень реакції інших нейронів. Наприклад, якщо нгр - вага затриманого на г кроків
зворотного зв'язку входу р -го нейрона з виходом , -го нейрона /+1-го шару, похідна обчислюється
як
К/Н*=/47Н,=/'-Г". (20)
У4\ ~\£І ґ і.^^л і,т і,т і
р = дЛ(*р V, *р = А=онр,і7і,
де N - множина входів р -го нейрона, яка включає як прямі, так і зворотні звязки.
Коригування ваги зв'язків за формулою (16) приводить до зміни попередніх значень ПСП, а
т—г
відповідно і попередніх значень реакції нейронів . Щоб врахувати ці зміни, застосовують
зображену на рис. 7 послідовну схему корекції ваги прямих (Ж ж) та зворотних (Ж ж) зв'язків. При обчисленні за цією схемою доводиться зберігати значення виходів нейронів мережі для кожного з М елементів навчальної послідовності. На практиці звичайно користуються скороченою
процедурою, за якою враховують лише останні 10-20 елементів навчальної послідовності, а решту відсікають. Як показують експерименти, в більшості випадків таке обмеження практично не впливає на результати навчання.
Рис. 7. Схема корекції ваги прямих (Шж) та зворотних (Ми) зв'язків за методом зворотного поширення в часі Метод зворотного поширення в часі звичайно застосовують для навчання в пакетному (кумулятивному) режимі. Множину даних навчальної послідовності поділяють на послідовні епохи. Корекція вагових коефіцієнтів здійснюється один раз за епоху, розмір якої обирається набагато меншим навчальної послідовності. Звичайно розміри епохи обмежують величиною 20-50 векторів, що відповідає скороченій процедурі навчання з відсіканням. Для кожної епохи послідовно для кожного моменту часу обчислюють значення локальних градієнтів похибки. Одержані значення градієнтів підсумовують у межах епохи і після її завершення проводять коригування ваги зв'язків. Ця процедура повторюється для кожної наступної епохи. Навчання по епохах багаторазово повторюють на всій навчальній послідовності, доки похибка реакції нейромережі не зменшиться до задовільного рівня.
Відомий також некумулятивний метод рекурентного навчання в реальному часі [12], що не потребує поділу навчальної послідовності на окремі епохи. Цей метод передбачає обчислення градієнта похибки для кожного елемента навчальної послідовності при відсіканні решти її елементів, крім попереднього. Застосування цього методу поєднують з використанням елементів
затримки сигналів як на вході нейромережі, так і в зворотних зв'язках. Це дозволяє повніше використовувати дані навчальної послідовності і наблизитись до режиму кумулятивного навчання з відсіканням.
При використанні рекурентних нейромереж для адаптивної обробки потоків даних у реальному часі застосовують метод безперервного рекурентного навчання, за яким модифікацію параметрів нейромережі проводять послідовно для кожного елемента вхідного потоку даних, без повторів. Процес модифікації ніколи не закінчується, а його результати оцінюють за величиною похибки на виході нейромережі. Безперервне навчання застосовують для моделювання нестаціонарних процесів, зокрема, процесів мовлення, коли не існує можливості зупинитись для повторення фрагментів вхідних даних.
Загалом градієнтні методи навчання рекурентних нейромереж характеризуються малою швидкістю навчання та відсутністю гарантії збіжності цього процесу. Тому пошук задовільних рішень вимагає значних зусиль. Існує кілька евристик для збільшення ефективності такого пошуку. Однією із них є принцип поступовості у збільшенні обсягу навчальної послідовності та розмірів рекурентного шару нейронної мережі. За цим принципом додавання нових елементів можливе лише за умови досягнення прогресу на попередній стадії навчання. Інший принцип, що називається підсиленням вчителем, полягає в тому, що при навчанні за методом зворотного поширення в часі всі попередні реакції мережі, які надходять по зворотних зв'язках, замінюють очікуваними значеннями цих реакцій. Враховується лише значення похибки, одержане для останньої реакції нейромережі. Іноді це дозволяє значно скоротити тривалість процесу навчання за рахунок уникнення утворення проміжних похибок.
8. Динамічні рекурентні нейромережі
Динамічними називають мережі, побудовані з динамічних нейронів. Схематичне зображення динамічного нейрона представлено на рис. 8, де резистори Я, + Я„ та Я імітують вагу синаптичних
зв'язків, а конденсатор С - інерційність мембрани нервової клітини.
Реакцію динамічного нейрона визначає співвідношення
^- Ь],
де / [...] - активаційна функція;
^(ґ) - постсинаптичний потенціал нейрона (ПСП);
Ь - порогова величина.
Величину ПСП динамічного нейрона описує диференціальне рівняння
8(І) + ЯСдs(t)/дt = X^(Я/Я,)X (0 ,
де добуток ЯС є постійною часу, яка визначає інерційність поведінки нейрона.
Залежність ПСП від постійної часу, яка для різних нейронів може відрізнятись, дозволяє реалізувати більш складну поведінку рекурентної нейромережі. Однак це потребує збільшення
кількості налагоджуваних параметрів та ускладнення процесу навчання, якии має враховувати динаміку неИронів мережі.
Рис. 8. Модель динамічного неИрона ЗвичаИно поведінку динамічного неИрона у складі рекурентної нейромережі представляють рівняннями [7]:
^ а)=/, а)],
д&'і (і)/ді = -аі&'і (і) + кг (і), і = 1,2...N,
(21)
(22)
кг(і) = Хі (і-вг)+Е,=0 * ;2;(і),
де si (і) - поточне значення ПСП ;
а > 0 - коефіцієнт інерційності неИрона;
", - число прямих входів і-го неИрона (включаючи вхід порога ; = 0);
"іг - число зворотних входів;
*і , - вага зв'язку ; -го входу і -го неИрона;
2,(і) - поточне значення реакції ; -го неИрона;
(.) - активаціИна функція ; -го неИрона;
вг - час затримки для г -го зворотного зв'язку і -го неИрона.
ПоточниИ стан динамічної рекурентної мережі визначає вектор
г £ (і ) = [*,(/ -в) ]”=;,„ві,
компонентами якого є поточні значення реакції неИронів та значення реакціИ, затриманих у ланцюжках зворотного зв'язку. Ззовні стан неИромережі представляє вектор реакціИ ефекторних неИронів:
(і) = к‘ (і ) Г=, І (0=Ш (і)]- (23)
Навчання динамічної рекурентної неИромережі виконують шляхом коригування параметрів неИромережі в напрямку зменшення функції похибки:
Е(Ш, А, і) = 1(і)]2, є, (,) = ^ (і) - 4 (і),
(24)
&=*,«]"
де п = *і,;,в,;=1вєС з - матриця вагових коефіцієнтів;
А=[а Е - вектор коефіцієнтів інерціИності неИронів;
(і), йп (і) - спостережуване та очікуване значення реакції ефекторних неИронів.
Пошук мінімуму функції похибок здіИснюють за методом градієнтного спуску, за яким швидкість коригування параметрів а, та н,, визначається співвідношеннями
да, д дЕ дні,, д дЕ
-* =1аді да ’ "ді- = -1ад*’ (25)
і з
де г/а та Лм - коефіцієнти швидкості градієнтного спуску;
дЕ/да = УМІ еп дгЧда , дЕ/Эм , = У ^ єп дгЧдм, , . (26)
І г ^^п=1 п п! г ’ / г,з ^^п=1 п п / г,з ' '
Обчислення градієнтів дЕ/да та дЕ/дм, починають з ефекторних нейронів, спираючись на
відповідні значення похибок єп. Для прихованих нейронів значення похибок перераховують за
методом зворотного поширення похибки.
Розглянемо задачу налагодження параметрів на прикладі одного динамічного нейрона, для
якого вважатимемо відомим приведене значення похибки є*.
д дЕ = У^є А.ді = є* д£і_ = є* /' , (27)
дґ да =1 п дґ да ' дґ д^г. да ' ' дґ да
д дЕ * г, д ді’,
--------= є. /------— , (28)
дґ дм , ' ' дґ дм . ,
ЬУ l>J
де /' = д2і |дsi = д/)/дsj - похідна активаційної функції і -го нейрона.
Знайдемо похідну по а обох частин рівняння (21). Користуючись комутативністю операції диференціювання, одержимо
(д^і /дґ)/да = д8а,і/дґ =~Я, + (дк, /д^і -а)8а,г ,
де 8а,г = ^г /да .
Величина похідної дЬ{ /дsi існує лише для складових Иг (ґ) , що представляють затримані зворотні зв'язки даного нейрона:
д^г (ҐV^г = МгУЛ д/[^г (Ґ - вг)]/д^г = ЧгМг,г/г' ,
де чі - коефіцієнт, що враховує вплив затримки зворотного зв'язку.
Тепер формула (27) набуває вигляду
■ = єЧі' [(Ч і м,і/ І -а )8а,і - *і ]. (29)
д дЕ
' 'м..
дґ да
Переходячи до градієнта похибки по м , візьмемо похідні рівняння (21) помг ,:
,з
(Э^. /дґ)/дмг,з = д8м,і/дґ = (Ч, мі,і/3,і-а ) 8м,і ,
де gн,l = ^і /дні,; .
Підставимо це значення в (29):
ді д*-=е*/і1[(д, *і, і /іі ,-а ) gw,г ] - (30)
г,;
Підставляючи знаИдені значення похідних функції похибки в формули (25), одержимо правила коригування параметрів динамічного неИрона:
а(і+А)=а(і)-іаІ+Ае*(т)/' (т)[(я1 ,(г)-а ШаЛт) - ^ (Г)К (зі)
(і + А) = *,,; (і)-1а\‘і+А Єг(^)/г ^їкчг Нг,г/г' (0 - а (<^н,г ■ (32)
Тут величина А позначає тривалість епохи при кумулятивному навчанні.
При навчанні рекурентних динамічних неИромереж дискретного часу похідні ПСП по і представляють як величини приросту на одиничному інтервалі:
дs(і)/ді ^ 5(і) - 5(і - 1) . (33)
Користуючись дискретним аналогом формули (21)
5, (і + 1) = (1 - а )5 г (і) + И , (і) , (34)
знаходимо похідні ПСП:
д^, (і+1)/дц. = (1 -а) д5, (і)/да - (і)+ди, (і )/да,
д5г(і+1)/дні,; =(1 - а) д5г(і Удн, ,; + дИ,(і Удн, ,;, які дозволяють одержати формули для коригування параметрів динамічного неИрона:
а(і+1)=ц(і)-іае*/ ,[(1-а) (іУда - (о+ди (іУда], (35)
Н; (і + 1) = *,; (і)-1нег/г' к1-^ дг (іУ Н +дИ (іУ дн, ;■ ] . (36)
9. Проблема стабільності рекурентних динамічних нейромереж
Рекурентна неИронна мережа є нелініИною динамічною системою із зворотніми зв'язками, поведінку якої можна представити траєкторією у багатовимірному просторі станів. Атракторні стани мережі, визначені рішеннями рівняння (4), поділяються на стоки, в яких траєкторії закінчуються, що відповідають сталим станам мережі, та джерела, що є ізольованими станами. СталиИ стан оточує непуста область атракції, з якої мережа переходить у відповідниИ сталиИ стан. Траєкторії, які пролягають поза межами областеИ атракції, можуть бути замкненими, що відповідає циклічніИ поведінці неИромережі (динамічні атрактори), або мати хаотичниИ характер (так звані дивні атрактори). При навчанні рекурентної динамічної неИромережі розташування її' атракторів та областеИ атракції змінюється і змінюються умови появи різних типів атракторів.
Поведінка динамічної рекурентної неИромережі відповідає нелініИному диференціальному рівнянню
дг(і) = Е (2 (і),Ж, 5), (37)
ді
де 2(ґ) = |гг.(ґ)|- вектор поточного стану нейромережі, 2(ґ) є ^ы;
Е(2(ґ),Ж,Я) - безперервна векторно-значна функція, Е : ы Х^ы — ^ы;
N, N
Ж = ж. . - матриця вагових коефіцієнтів, ж . є ^ ;
’, }\ і, ] =і ., ^
Я = |^.| = - вектор порогів та зовнішніх стимулів, Я є .
Умовою атрактора (стану рівноваги) є рівність нулю обох частин рівняння (37):
д2 (і)
0 — Е(2і,Ж,Я) = 0 , (38)
- ——
дґ
де 21 - вектор стану рівноваги динамічної системи.
Система (37) вважається стабільною, якщо для кожного є > 0 існує величина 5 = 5(є) > 0 така, що
||2(0) - 2/|| < 5 ^ ||2(ґ) - 2/|| < є, "ґ > 0 ,
де ||2(0) -2<\ = 2"[2(0) -2/]2.
Локально асимптотично стабільною називають систему, якщо вона стабільна і величину 5 можна обрати таким чином, щоб
||2(0) - 2/|| < 5 ^ 1ітґ—¥|2(ґ) - 2/|| = 0.
Тобто для локально асимптотично стабільної системи можна обрати таку константу 5 > 0, що будь-яка траєкторія з початком в 5 -околі вектора 21 буде закінчуватись в 21:
В1 (20) ° {20 :1ітґ2(20,ґ) = 2і}. (39)
Окіл Bf(20) називають областю асимпотичної стабільності системи (37). Система є глобально асимптотично стабільною, якщо Bf (20) збігається з областю визначення 20.
Через нелінійність системи (37) точне рішення для області Bf(20) часто знайти не вдається, тому для оцінки стабільності користуються методом Ляпунова, що базується на оцінці характеру траєкторії стану системи в околі точки рівноваги. Таку оцінку у випадку безперервно диференційованої функції Е(2(ґ),Ж,Я) дає аналіз значень власних чисел якобіана:
J (2і) = ^ Е (2 ,Ж, Я) . (40)
д2 2=2/
Система (37) є асимптотично стабільною, якщо для всіх власних чисел якобіана J(2і)
виконується нерівність Ке[Д^(2і)]< 0. Система є нестабільною, якщо дійсна частина для одного
або більше власних чисел J (2і) має позитивне значення.
Якщо значення власних чисел є уявними, то висновок відносно стабільності системи зробити неможливо. В таких випадках використовують більш загальний метод оцінки стабільності, оснований на теоремі Д. Ляпунова, яка стверджує, що визначений рівнянням (38) стан рівноваги
2 / є глобально асимптотично стабільним, якщо існує безперервно диференціИована функція V(і) : ^м ® ^ (функція Ляпунова), яка задовольняє вимогам:
• V(2/) = 0 & V(2) > 0, "2 Ф 2/ ;
• V(2) якщо 2 ;
• ^(2< 0 , "2 Ф 2/ .
ді
Для доведення глобальної асимптотичної стабільності системи достатньо знаИти або довести існування відповідної функції Ляпунова для цієї системи. ТакиИ підхід застосовано в багатьох дослідженнях [7-9, 29-31], присвячених питанням стабільності різних типів рекурентних неИромереж. Показано, що стабільність поведінки динамічної неИромережі залежить від співвідношення між значеннями прямих та зворотних зв'язків, які можуть змінюватись у процесі навчання. Зокрема, для неИромереж, що відповідають рівнянням (21-22), умова глобальної асимптотичної стабільності має вигляд [7]
Незважаючи на значну кількість проведених досліджень, методи оцінки стабільності неИромереж залишаються досить складними, що практично унеможливлює прогнозування поведінки великих динамічних неИромереж. Не вирішеною поки залишається проблема підтримки стабільності динамічних неИромереж у процесі їх навчання.
10. Проблема ресурсоємності навчання рекурентних нейромереж
Основною проблемою, що стримує практичне застосування більшості рекурентних неИромереж, є складність та висока трудомісткість процесу їх навчання. Виключенням є відкриті рекурентні неИромережі, але їх застосування обмежено задачами, в яких множина динамічних образів є фіксованою. Обчислювальна складність навчання за методом зворотного поширення в часі
3 4 2
становить від О(И ) до О(И ), що значно перевищує оцінку О(И ) для статичних неИромереж [32]. НаИбільші витрати ресурсів припадають на коригування зворотних зв'язків неИромережі, тому вирішення цієї проблеми потребує суттєвого удосконалення архітектури та методів коригування зворотних зв'язків рекурентної неИромережі або взагалі відмови від їх модифікації у процесі навчання. Дослідження з удосконалення архітектури привели до створення гібридних рекурентних неИромереж із застосуванням неИропарадигм радіально-базисних функціИ [19, 20], мапи Кохонена [21], нечіткої логіки [33]. Деякі з цих моделеИ показали вражаючу ефективність: тривалість навчання складала лише кілька десятків епох [19]. Більша ефективність цих неИромереж пояснюється можливістю кращого пристосування до характеру вирішуваної задачі. При збільшенні розмірності вирішуваної задачі або зростанні ступеня невизначеності вхідних даних їхні переваги втрачаються. ІншиИ шлях удосконалення процесу навчання базується на апроксимації нелініИної динаміки рекурентної неИромережі послідовністю лініИних моделеИ, реалізованих за допомогою фільтра Калмана [6, 34] або методів динамічного програмування [35]. Як і гібридні неИромережі, такі методи апроксимації нелініИної динаміки ефективні лише для відносно простих рекурентних неИромереж
при незначному відхиленні аналізованих або прогнозованих процесів від послідовностей, використаних при навчанні.
Радикальним вирішенням цієї проблеми може бути повна відмова від коригування зворотних зв'язків при навчанні рекурентної нейромережі. Цю ідею покладено в основу запропонованої Джагером рекурентної нейромережі ESN (Echo State Network) [36-37], схематично зображеної на рис. 9. При її' навчанні модифікуються лише прямі зв'язки нейронів прихованого шару
з ефекторами. Прямі та зворотні зв'язки між нейронами прихованого шару не змінюються. Деякі моделі ESN можуть мати також постійні зворотні зв'язки між виходами ефекторів та входами нейронів прихованого шару.
Рис. 9. Нейромережа Echo State Nenwork
Зв'язки прихованого шару мережі встановлюються при її створенні і мають постійні випадкові значення. Оскільки при навчанні модифікуються лише прямі зв'язки з ефекторними нейронами, то реакції ефекторних нейронів мережі ESN віддзеркалюють лінійні композиції динамічних реакцій нейронів прихованого шару. Останні створюють динамічну мозаїку, яка відображає динаміку процесу на вході нейромережі. Це дає підстави розглядати прихований шар мережі ESN як деякий резервуар, що містить фрагменти динамічних образів, з яких формуються реакції нейромережі. Тому нейромережу ESN часто називають резервуарною, або рідинною (Liquit State Machine) [38].
Головною перевагою мережі ESN є можливість застосування до них звичайних методів навчання, розроблених для мереж прямого поширення, зокрема, перцептронів. Але при цьому існує проблема швидкого збільшення спектрального радіуса синаптичної матриці ефекторних нейронів, тобто необмеженного зростання відстані між мінімальними та максимальними значеннями ваги зв'язків [36]. Ця проблема пов'язана з неможливістю повного усунення похибок реакції ефекторів за рахунок перерозподілу ваги зв'язків з нейронами прихованого шару, реакції яких у процесі навчання не змінюються. Відомі два підходи до її вирішення: 1) створення мультифункціональних рекурентних нейромереж, контекстний шар яких представляє множину нелінійних динамічних модулів [39-41]; 2) декореляція реакцій контекстного шару нейронів [32] з використанням методу, близького до методу узгоджених градієнтів (conjugate gradients [6]). Обидва підходи базуються на припущенні про консервативність контекстного шару, властивості якого змінюються набагато повільніше, ніж реакції нейромережі на зміни зовнішніх стимулів, яке відповідає уявленню про
довготермінову пам'ять як резервуар, що містить динамічні компоненти, з яких формується цілісна поведінка нервової системи.
11. Підсумки та перспективи досліджень рекурентних нейромереж
Незважаючи на безперечні досягнення, одержані за останні 30 років у розробці теорії та практичній реалізації рекурентних нейромереж, вони залишаються об'єктом подальших інтенсивних досліджень. Такий стабільний науковий інтерес стає зрозумілим, якщо розглядати рекурентні нейромережі як втілення проголошеного Н. Вінером загального принципу зворотного зв'язку, покладеного в основу науки кібернетики [42]. Рекурентні нейромережі поєднують властивості формальних систем (автоматів, цілеспрямованих динамічних систем), поведінка яких є детермінованою, із здатністю до навчання та самоорганізації, притаманною відкритим системам, зокрема, живим організмам. Такий дуалізм був помічений в 1982 році, коли рекурентну нейромережу, запропоновану Д. Хопфілдом, порівнювали або зі спіновим склом -мультистабільною фізичною системою, або з асоціативною пам'яттю-моделлю нервової системи мозку. Тривалий час на нього не звертали уваги, оскільки нейронні мережі розглядались як засіб вирішення прикладних задач шляхом навчання, в цьому нейромережа Хопфілда значно поступалась більш гнучким багатошаровим мережам прямого поширення.
Ситуація змінилась на початку 90-х років, коли було розроблено метод зворотного поширення похибки в часі, який дозволив створювати багатошарові динамічні рекурентні нейромережі для роботи з процесами в реальному часі та вирішення прикладних задач нелінійної динаміки, для яких аналітичних методів розв'язку не існує. Протягом наступного десятиріччя було створено та випробувано десятки експериментальних моделей рекурентних нейромереж і прикладних нейросистем різного призначення. Але результати випробувань не завжди підтверджували сподівання. Найбільших успіхів було досягнуто для мереж з кількох нейронів при вирішенні відносно простих задач нелінійної динаміки. При ускладненні задач та збільшенні числа нейронів тривалість навчання стрімко зростало, а досяжна точність реакції зменшувалась. Оскільки численні спроби подолати цю тенденцію не мали успіху, подальші дослідження рекурентних нейронних мереж стали концентруватись навколо проблеми зменшення ресурсоємності їх навчання.
Зараз є очевидним, що універсального шляху вирішення цієї проблеми не існує. Вибір архітектури рекурентної нейромережі та методів її навчання залежить від характеру та обсягу вирішуваної прикладної задачі. Для порівняно простих прикладних задач автоматичного керування можуть застосовуватись гібридні рекурентні нейромережі, які дозволяють найбільш повно використовувати апріорні дані про вирішувану задачу для поліпшення роботи нейромережі. Для прискорення процесу навчання таких нейромереж можна застосувати методи динамічної лінійної апроксимації, зокрема, фільтр Калмана. Перспективним є використання відкритих рекурентних нейромереж, навчання яких здійснюється неітеративно, шляхом розрахунку. Дослідження цих нейромереж тільки розпочато, але вже одержані нами результати підтверджують здатність таких нейромереж виконувати функції динамічної асоціативної пам'яті, забезпечувати аналіз потоків даних у реальному часі та оперативне формування рішень.
Коренем проблеми ресурсоємності навчання є рівень складності моделі оточення, яку будує нейронна мережа у процесі навчання. Для звичайних статичних нейромереж оточення і його модель є статичними замкненими системами. Елементами навчальної послідовності для рекурентної нейромережі є скінченні часові відтінки процесів, значення яких за межами відтінку невідоме. Модель оточення, сформована при навчанні, відповідає елементам навчальної послідовності в межах їхніх часових інтервалів. Вона є адекватною за умови відповідної синхронізації вхідних процесів. Але, як правило, навчання та тестування виконується в асинхронному режимі, тому рекурентна нейромережа має формувати асинхронну модель, інваріантну до моменту надходження елементів даних. У такій моделі елементу навчальної послідовності відповідає множина представлень цього елемента для всіх можливих моментів надходження. Потужність цієї множини залежить від спектру, тобто статистичних властивостей процесів навчальної послідовності. Формування інваріантної моделі оточення поглинає левову частку обчислювальних ресурсів, а його результати залежать не стільки від обраного типу рекурентної мережі, як від різноманітності властивостей оточення. Застосування методів адаптивної фільтрації, зокрема, фільтра Калмана, дозволяє зменшити цю різноманітність за рахунок звуження спектру процесу. Аналогічний результат дає застосування гібридних рекурентних нейромереж, побудованих з використанням апріорних даних про вирішувану задачу.
Найбільш радикальне вирішення проблеми ресурсоємності обіцяє концепція ЕБЫ-резервуарної рекурентної нейромережі, за якою зв'язки нейронів рекурентного шару при навчанні не змінюються, а модифікуються лише прямі зв'язки з шаром ефекторів. Реакції нейронів рекурентного шару ЕБЫ виступають як первинні ознаки, для формування реакцій ефекторів за лінійними правилами. Вибір інформативних ознак в ЕБЫ нагадує перцептрон Розенблатта [43], де первинні ознаки формувались шляхом порівняння випадково обраних елементів рецептивного поля. Згідно з [44], випадковий спосіб вибору інформативних ознак в перцептроні не є ефективним, тому питання про переваги резервуарних нейромереж порівняно з іншими типами рекурентних нейромереж потребує подальшого вивчення.
В останні роки нейропарадигму резервуарної нейромережі застосовують до спайкових, тобто імпульсних штучних нейромереж, які є більш точною моделлю нервової системи живих організмів [38]. Поєднання нейропарадигм резервуарної та спайкової нейромереж є цілком природним з огляду на проблему навчання, яка в обох випадках залишається невирішеною. Існуючі підходи типу правила Хебба, псевдоінверсного алгоритму або методу зворотного поширення похибки ефективні на локальному рівні для порівняно невеликих груп нейронів, при переході до великих, складно структурованих динамічних нейросистем втрачають ефективність. Виникає необхідність у принципово іншому підході до вирішення цієї проблеми. На наш погляд, він має базуватись на визнанні за нейроном властивостей живої клітини, тобто індивіда, який у своїй поведінці керується власним критерієм оцінки навколишньої ситуації. Зміна параметрів нейромережі у процесі навчання має відповідати концепції розвитку багатоклітинних систем, розвинутій, зокрема, в нашій роботі [45]. Послідовне застосування принципів розвитку до інтерпретації будови та процесів, які відбуваються в нервовій системі живих істот, дозволить
виявити приховані механізми Природи, які забезпечують ефективну взаємодію мільйонів нервових клітин, що формують нашу свідомість та поведінку.
СПИСОК ЛІТЕРАТУРИ
1. Статистическая электрофизиология // Материалы симпозиума 12-18 августа 1968 г. - Паланга, Вильнюс, 1968. - Ч. 1. - С. 752.
2. Horfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. of the National Academy of Sciences USA. - 1982. - Vol. 79. - P. 2554 - 2558.
3. Pineda F.J. Generalization of Back-propagation to Recurrent Neural Networks // Physics Review Letters. - 1987. -Vol. 18. - P. 2229 - 2232.
4. Werbos P.J. Generalization of Back-propagation with Application to a Recurrent as Market Model // Neural Networks. - 1988. - Vol.1. - P. 339 - 356.
5. Williams R.J., Zipser D., Learning A. Algorithm for Continually Running Fully Recurrent Neural Networks // Neural Computation. - 1989. - Vol. 1. - P. 270 - 280.
6. Haykin S. Neural Networks. A comprehensive Foundation. - Prentice Hall, Inc. N.J. - 2ed. - 1999.
7. Gupta M.M., Jin L., Homma N. Static and Dynamic Neural Networks, From Fundamentals to Advanced Theory. -John Willey&Sons inc. Hobokeh NJ. - 2003. - 751 p.
8. Cao J., Wang J. Absolute exponential stability of recurrent neural networks with Lipschitz-continuous activation functions and time delays // Neural Networks. - 2004. - Vol. 17, N 3. - P. 379 - 390.
9. Lu H., He Z. Global exponential stability of delayed competitive neural networks with different time scales // Neural Networks. - 2005. - Vol.18, N3. - P. 243 - 250.
10. Hu S., Liu D. On the global output convergence of a class of recurrent neural networks with time-varying inputs // Neural Networks. - 2005. - Vol. 18, N 2. - P. 171 - 178.
11. Nelson E.B. First Flight Test Demonstration of Neural Network Software // AFRL Technology Horizons. - 2000. -Vol. 1, N 1. - P. 7 - 8.
12. Омату Сигеру, Халид Марзуки, Юсоф Рубия НеИроуправление и его приложения. - М.: ИПРЖР, 2001. -272 с.
13. НеИронные сети в системах автоматизации / В.И. АрхангельскиИ, И.Н. Богаенко, Г.Г. ГрабовскиИ и др. -Киев: Техника, 1999. - 363 с.
14. ОсовскиИ С. НеИронные сети для обработки информации. - М.: Финансы и статистика, 2004. - 343 с.
15. Boden М. A Guide to recurrent neural networks and backpropagation // The DALLAS project. Report from the NUTEC-supported project AIS-8: Application of Data Analysis with Learning Systems, 1999-2001. А. Host (ed.), SICS Technical Report T2002:03, SICS. - Kista, Sweden, 2002.
16. Месарович М., Такахара Я. Общая теория систем. Математические основы. - М.: Мир, 1978. - 310 с.
17. Kosko В. Bi-directional associative memories // IEEE Transactions on Systems, Man and Cybernetics. - 1987. -Vol.18, N 1. - P. 49 - 60.
18. Elman J.L. Finding structure in time // Cognitive Science. - 1990. - Vol.14. - P. 179 - 211.
19. Cheung Y. A new recurrent radial basis function network // Neural Information Proceeding, ICONIP’02. - 2002. -Vol. 2. - P. 1032 - 1036.
20. Muezzinoglu M.K., Zurada J.M. A Recurrent RBF Network Model for Near Neighbour Classificftion // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P. 343 - 348.
21. Baier V. Motion Perception with Recurrent Self-Organizing Maps Based Models // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P. 1182 - 1186.
22. Chen Y-P., Wang J-S. A Novel Neural Network with Minimal Representation for Dynamic System Identification // Proceeding of IJCNN’04. - Budapest, 2004. - P. 849 - 854.
23. Albert A. Regression and the Moor-Penrose Psevdoinverse / Academic Press. - N.-Y., 1972.
24. Personnaz L., Guyon I., Dreyfus G. Collective computational properties of neural networks: new learning mechanisms // Physical Review A. - 1986. - Vol. 34. - P. 4217 - 4228.
25. Reznik A.M. Non-Iterative Learning for Neural Networks // Proc. International Joint Conference on Neural Networks. - Washington DC, 1999. - July 10-16.
26. Reznik A.M. Projection learning algorithm for threshold-controlled neural networks // Cybernetics and System
Analysis. - 1994. - Vol. 30, N 4. - P. 603 - 613.
27. Weinfield W. A fully digital integrated CMOS Hopfield network including the learning algorithm // Proc. of Intern.
Workshop on VLSI for Art. Intel. - Univ.Oxford, 1988. - July 20 - 22. - P. 1 - 11.
28. Gorodnichi D.O., Reznik A.M. Increasing Attraction of Pseudo-Inverse Autoassociative Networks // Neural Processing Letters. - 1997. - Vol. 5, N 2. - P.123 - 127.
29. Zhao H. Global asymptotic stability of Hopfield neural network involving distributed delays // Neural Networks. -2004. - Vol. 17, N 1. - P. 48 - 53.
30. Zhao H., Cao J. New conditions for exponential stability of cellural neural networks with delays // Neural Networks. - 2005. - Vol.18, N 10. - P. 1332 - 1340.
31. Base A.M., Pilugin S.S., Wismuller A. Stability Analis of self-Organizing Neural Network with Feedforward and
Feedback Dynamics // Proc. of IJCNN’04. - Budapest, 2004. - P.1505 - 1511.
32. Steil J. Backpropagation-Decorelation: online recurrent learning with O(N) complexity // Proc. of IJCNN’04. -
Budapest, 2004. - P. 843 - 849.
33. Juang C.F., Ku K.C., Chen S.K. Temporal Hand Gesture Recognition by Fuzzified TSK-Type Recurrent Fuzzi Network // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P.1848 - 1853.
34. Yu W., Rubio J., Li X. Recurrent Neural Network Training with Stable Risk-Sensitive Kalman Filter Algorithm // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P. 700 - 705.
35. Mizutani E., Dreyfus S.E. Two stochastic dynamic programming problems by model-free actor-critic recurrent-network learning in non-Markovian setting // Proc. of IJCNN’04. - Budapest, 2004. - P. 1079 - 1085.
36. Jaeger H. Reservoir Riddles: Suggestion for Echo State Network Research // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P. 1460 - 1462.
37. Cernansky M., Macula M. Feed-forward Echo State Networks // Proc. of IJCNN’05. - Monreal, Canada, 2005. -
July 31- Aug. 4. - P. 1479 - 1482.
38. Towards the Modeling of Dissociated Tissue in the Liquid State Machine Framework / D. Goswami, K. Schuch,
Y. Zheng et al. // Proc. of IJCNN’05. - Monreal, Canada, 2005. - July 31 - Aug. 4. - P. 2179 - 2183.
39. Prokhorov D., Feldcamp L., Tyukin I. Adaptive behavior with fixed weights in recurrent neural networks: An
overview // Proc. of IJCNN’02. - Honolulu, HI: IEEE Hress, 2002.
40. Santiago R.A. Context Discerning Multifunction Networks: Formulation Fixed Weight Neural Networks // Proc. of IJCNN’04. - Budapest, 2004. - P. 189 - 194.
41. Echo state network-Scholarpedia // http://www.sholarpedia.org/article/Echo state network.
42. Винер Н. Кибернетика. - М.: Советское радио, 1958.
43. Розенблатт Ф. Принципы неИродинамики (перцептроны и теория механизмов мозга). - М.: Мир, 1965. -480 с.
44. Глушков В.М. К вопросу о самообучении в перцептроне // Журнал вычислительноИ математики и математическоИ физики. - 1962. - № 2.
45. Різник О.М. Загальна модель розвитку // Математичні машини і системи. - 2005. - № 1. - С. 84 - 98.
Стаття надійшла до редакції 27.01.2009
