CC BY
46
УДК 621.8: 681.5
0.М. РІЗНИК, Д.О. ДЗЮБА
ДИНАМІЧНА АСОЦІАТИВНА ПАМ’ЯТЬ НА ОСНОВІ ВІДКРИТОЇ РЕКУРЕНТНОЇ НЕЙРОМЕРЕЖІ________________________________________________________________________________________
Abstract. Mathematical model of open dynamic recurrent neural network, that hasn't got hidden neurons, is described, and concept of “freezing” of its dynamic attractors is proposed. Solution of generalized stability equation is found and non-iterative method for training of this type of networks is developed. On the basis of this method a new model of neural associative memory is created, estimations of attraction radius and memory capacity are obtained. Size of dynamic attractor's trajectory is estimated and possibility of managing of dynamic attractors by changing level of influence of different feedback components is shown. Software model of dynamic associative memory is developed, and experimental confirmation of theoretical analysis is obtained. An analogy between dynamic attractors and neural activity patterns is remarked.
Key words: neural networks, associative memory, recurrent networks, non-iterative learning.
Анотація. Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його основі створено нову модель нейронної динамічної асоціативної пам’яті, одержано оцінки атракторного радіуса та обсягу пам’яті. Оцінено розміри траєкторії динамічних атракторів і виявлено можливість управління динамічними атракторами шляхом зміни впливу різних складових зворотного зв’язку. Створено програмну модель динамічної асоціативної пам’яті та одержано експериментальне підтвердження результатів теоретичного аналізу. Відзначено аналогію між динамічними атракторами та цугами нервової активності мозку.
Ключові слова: нейронні мережі, асоціативна пам'ять, рекурентні мережі, неітеративне навчання.
Аннотация. Рассмотрена модель открытой рекуррентной нейросети, отличающейся отсутствием скрытых нейронов, и предложен метод “замораживания” ее динамических аттракторов. Получено решение уравнения устойчивости и разработан метод неитеративного обучения таких нейронных сетей. На его основе разработана новая модель нейронной динамической ассоциативной памяти, получены оценки величины аттракторного радиуса и объема памяти. Оценены размеры траектории динамических аттракторов и показана возможность управления динамическими аттракторами путем изменения влияния различных составляющих обратной связи. Создана программная модель динамической ассоциативной памяти и получено экспериментальное подтверждение результатов теоретического анализа. Отмечена аналогия между динамическими аттракторами и цугами нервной активности мозга. Ключевые слова: нейронные сети, ассоциативная память, рекуррентные сети, неитеративное обучение.
1. Вступ
Асоціативні властивості рекурентних нейронних мереж, зокрема, мережі Хопфілда, базуються на їх мультистабільності [1, 2]. Стабільні стани (атрактори) такої нейромережі можна розглядати як запам’ятовані образи, а процес конвергенції, тобто послідовних змін стану в напрямку найближчого атрактора, - як пошук рішення за асоціацією з образом, заданим початковим станом нейромережі. У динамічних рекурентних нейромережах, міжнейронні зв’язки яких мають елементи затримки, атракторами є стійкі послідовності станів-реакцій на відповідні послідовності зовнішніх стимулів [35]. Такі послідовності можна розглядати як динамічні образи, а саму динамічну рекурентну нейромережу - як динамічну асоціативну пам’ять, що здатна розпізнавати та відтворювати запам’ятовані динамічні образи.
Навчання динамічних рекурентних нейромереж здійснюють за ітеративним методом зворотного поширення похибки в часі [6-8]. Цей процес вимагає значних витрат часу та обчислювальних ресурсів, оскільки формування рекурентних зв’язків часто не є монотонним, а його результати не завжди стабільні. Складності виникають і при інтерпретації результатів навчання динамічних рекурентних нейромереж, оскільки методи та критерії, розроблені для статичних нейромереж, не завжди придатні для оцінки поведінки.
5Q
Це дає підстави для детального вивчення відносно простих відкритих динамічних рекурентних нейромереж, стан яких доступний для постійного контролю, оскільки вони не мають прихованих нейронів. До них можуть бути використані відомі аналітичні методи дослідження та неітеративні методи навчання [9], які не потребують значних обчислювальних ресурсів. Прозорість відкритих нейромереж робить їх перспективними для моделювання елементів нервової системи, зокрема, асоціативних полів та рекурентних структур зорової кори мозку [8]. Вони можуть скласти конкуренцію іншим, більш складним, динамічним нейромережам при створенні прикладних систем, зокрема, динамічної асоціативної пам’яті.
У даній роботі пропонується нова модель динамічної асоціативної пам’яті на основі відкритої динамічної рекурентної нейромережі. В розд. 2 розглянуто структуру та поведінку таких нейромереж, запропоновано концепцію уявної статичної нейромережі, яка дозволяє застосувати до них неітеративні методи навчання. Розділ 3 містить оцінку асоціативних властивостей відкритих динамічних рекурентних нейромереж. В розд. 4 розглянуто роботу рекурентної нейромережі як динамічної асоціативної пам’яті. Розділ 5 містить результати експериментів, виконаних на створеній програмній моделі відкритої рекурентної нейромережі, що демонструють функціонування механізму динамічної асоціативної пам’яті і дозволяють припускати існування аналогічних механізмів у латеральних нейроструктурах мозку.
2. Відкрита динамічна рекурентна нейромережа
Відкритою називатимемо рекурентну нейромережу без прихованих нейронів, в якій значення всіх сигналів на входах нейронів є доступними для зовнішнього спостереження. Прикладами відкритих нейромереж можуть служити мережа Хопфілда та двостороння асоціативна пам’ять [1, 10]. Якщо зворотні зв’язки такої нейромережі містять елементи затримки, вона має динамічні властивості.
На рис. 1 представлено схематичне зображення відкритої динамічної рекурентної
нейромережі, яка має N нейронів і відповідно
N1 бінарних виходів. Число входів нейромережі
№ може відрізнятись від числа нейронів. Вважатимемо, що сигнали на входах також є бінарними. Кількість затриманих зв’язків
нейромережі N може відрізнятись від числа
нейронів (ЖЖ') . Також вважатимемо, що величини затримки сигналів т однакові.
Сукупність прямих та затриманих сигналів, що одночасно діють на входи всіх
Рис. 1. Відкрита динамічна рекурентна нейромережа (ВДРН)
нейронів, визначає N - вимірний вектор стану нейромережі Z'(ї) = {г'п}ып=1, де
N * = N1 + Nт + N0. Розглядаючи послідовності станів у дискретні моменти часу ...ї -1, ї, ї +1..., поточне значення реакції нейромережі представимо вектором
Z '(t) = F[S '(t -1)] ={f (s'n (t - №, (1)
де f (.) - активаційна функція нейрона;
S 1(t) - вектор постсинаптичних потенціалів (ПСП):
S1 (t) = W11Z1 (t) + WlrZ1 (t -т) + W10Z0(t), (2)
де Z 1(t), Z 1(t - т) - вектори поточних та затриманих значень реакції нейронів;
Z0(t) - вектор входу нейромережі;
Wп,Wт та W10 - матриці ваги зв’язків між входами та виходами нейронів, входами та
затриманими виходами, а також зовнішніми входами динамічної рекурентної нейромережі.
Умовою перебування нейромережі у стані атрактора є виконання рівності
Z '(t) = F[ S '(t)] ={f (s'n (t )}=1.
(З)
Для статичної нейромережі це означає, що значення виходу, а відповідно і постсинаптичного потенціалу нейронів, перестає залежати від часу. У динамічної нейромережі, яка має затримані зворотні зв’язки, це неможливо. Її динамічні атрактори є послідовностями атракторних станів нейромережі, що є реакціями на відповідні послідовності зовнішніх стимулів.
Позначимо m -й вектор такої послідовності, як R*m. Його компонентами є три вектори: R1,m -
поточних значень виходів нейронів, R1,m-1 - попереднього (m-1)-го атрактора, який відповідає
ч, . j-y0,m .
затриманим виходам нейронів, R - поточних значень зовнішнього стимулу.
Враховуючи монотонність активаційної функції, умову (3) можна записати як
-y1,m1 а ГІГ/"" T)1,m , ттг1т п 1,m-1 , ттг1,0 r>0,m^
R1m1 = Л[W R m + WnRl,m-1 + w ,°R ,m ] де л - деяка позитивно визначена діагональна матриця N 1 x N1 (Ліі > О).
(4)
Якщо вектори R1,m, R1,m 1 та R0,m відомі, то це рівняння можна вирішити відносно матриць W11, Wтта W0. Для цього уявімо статичну симетричну нейромережу, що має N* нейронів. Вектор стану такої нейромережі Z*(t) має три компоненти: Z 1(t), Z 1(t -т) та Z0(t). ПСП уявної нейромережі можна представити матричним рівнянням:
S\t) W11 W1т W10 Z\t) WllZl (t) + WlzZ1 (t -т) + WlzZ0 (t)
S\t) = S'(t -т) = Wrt Wrr Wr0 Z\t -т) = Wr1Z1 (t) + WrrZ1 (t -т) + Wr0 Z0 (t)
S 0(t) W01 W°r W00 Z 0(t) WmZ1 (t)+W°Z1 (t -т) + W rZ0 (t)
Припустимо, що вектори її атракторних станів тотожні тим, що утворюють динамічні атрактори динамічної рекурентної нейромережі. Розглядаючи динамічні атрактори як послідовності векторів, що змінюють один одного в дискретні моменти часу ...t-т,t,t + т..., встановимо
відповідність між станами динамічної нейромережі та її атракторами: Zl(t) ^ R1,m;
Zx(t-т) ^ R1,m-1. Представимо послідовність атракторних станів у вигляді матриці:
етn =
Rl,°... R 1,m-1 r 1,м-1
R0,1... R 0,m R
стовпчиками якої є вектори статичних атракторів уявної нейромережі. Користуючись аналогією з рівнянням (4), запишемо узагальнене рівняння атракторного стану уявної нейромережі:
етn = лw *ет *, (б)
Вирішуючи його відносно W*, одержимо
w * = Л~1ет\ет*) +, (6)
де (ет*) + - псевдообернена матриця ет* [11]. Оскільки вектори R1,m та R0,m є бінарними, то можна
вважати Л = І.
Для знаходження елементів матриці W* застосуємо псевдоінверсний алгоритм [12, 13]:
w
*т + 1
' i,}
wZ + ( г?+1 - s?+^( rm+1 - sm+1)/d
im +1
(7)
m+1
_ X^N -u,*^m+1 Jm+1 ^N m+1 / m+1 m+1\
= ^ik=1 wikrk , d = ^ik=1 ik (rk Sk )
m+1 n*'
де rk - компонента вектора R
nm+1
Матриця № = ^ (^ ) є проекційною в лінійному просторі 3 , напнутому на М векторів з . Вона має так властивості:
W * = W)2, w*i =^jwn, Y , TW ^ w*. = м,
— = м м
Wi,i = N7, N*
1-
м
N
м
N (N-1)
1-
м
N
i * J.
(В)
Величина недіагональних елементів знаходиться в межах між верхньою оцінкою, що відповідає розрідженій матриці, більшість елементів якої мають значення, близькі до нуля, та нижньою, що відповідає відносно рівномірному розподілу значень її елементів. Діагональні елементи визначають вагу позитивних зворотних зв'язків нейронів. При збільшенні відношення
M/N* нейрони втрачають чутливість до зовнішніх збуджень, що приводить до зупинки процесу
конвергенції і появи хибних атракторів.
При відсутності затримок зворотних зв’язків (т = 0) розрахована за формулами (7)
симетрична нейромережа відповідає моделі асоціативної пам’яті, керованої порогом [13], яка має
M < N1 головних атракторів, представлених парами векторів , R0 m • Якщо така
нейромережа знаходиться в нестабільному стані, відбувається процес конвергенції - послідовних змін стану в напрямку найближчого головного атрактора.
При наявності затриманих зворотних зв'язків у матриці W* залишаються блоки W11, W1т
та W10, які відповідають реальним зв’язкам. У такій нейромережі процес конвергенції обмежений
першим кроком переходу нейронів з поточного в наступний стан. Таке обмеження не заважає існуванню динамічних атракторів рекурентної нейромережі, для яких наступний стан є іншим атрактором. Динамічний атрактор може починатись з будь-якого вектора послідовності,
представленої матрицею ет*, і закінчуватись останнім її вектором R*M . Якщо початковий стан не є атрактором, ситуація виявляється більш складною, оскільки, на відміну від симетричної статичної нейромережі, наближається до найближчого атрактора монотонно, поведінка динамічної рекурентної нейромережі поза динамічним атрактором може бути не монотонною.
3. Атракторний радіус динамічної рекурентної нейромережі
Поведінка статичної рекурентної нейромережі залежить від заповнення її асоціативної пам’яті, визначеної як відношення числа атракторів до числа нейронів м/N. Процес конвергенції в ній може зупинитись, не досягнувши головного атрактора, причому зі збільшенням співвідношення м/N імовірність такої зупинки зростає. В мережі Хопфілда конвергенція припиняється при м/N > 0,\4 [1, 2, 7]. При застосуванні псевдоінверсного алгоритму ця межа наближається до 0,25 [14]. Найбільше значення м/N«0,1 досягнуто при застосуванні спеціального методу рознасичення синаптичної матриці [15].
Для оцінки атракторних властивостей статичної нейромережі в [12] запропоновано поняття атракторного радіуса, визначеного як число нейронів, що змінюють свій вихід на останньому кроці конвергенції у стан головного атрактора. Цей критерій відповідає моделі синхронного обчислення стану нейромережі, коли спочатку обчислюються ПСП всіх нейронів, а потім одночасно - значення їхніх виходів. В [2] показано, що він є ефективним і при асинхронному обчисленні стану нейромережі .
Спробуємо застосувати цей критерій для динамічної рекурентної нейромережі. Для цього скористаємось введеною нами моделлю уявної нейромережі і розглянемо її поведінку на
останньому кроці конвергенції при досягненні стану головного атрактора. Нехай zj та zj -значення виходу та входу j -го нейрона уявної нейромережі перед переходом у стан атрактора, а
= 1. Користуючись рівністю для стану атрактора
r1 та rj - після переходу. Вважатимемо, що \rj
і враховуючи, що при переході у стан атрактора знаки ПСП та виходу кожного нейрона збігаються, представимо умову досягнення атрактора в такому вигляді:
r si (t) = r
X~~N * X""N *
Jnfj
wr ->::1 tfjiy -zj(t)] = (r f -2>Уг,у rj >0, і = 1,2...n*,
(9)
де H - число елементів векторів Z*(t) і R*, знаки яких є протилежними.
Для нейронів, вихід яких змінює знак при досягненні нейромережею стану атрактора, це співвідношення можна записати так:
2 > wі .r r. < 1 - 2wі і.
£^fo=1 *,J * J z,z
Підсилюючи цю нерівність шляхом заміни членів суми їх середніми абсолютними значеннями, знайдемо верхню межу для величини атракторного радіуса:
Н < 1 + (І- )/2|
(10)
Цей результат ми одержали на основі аналізу лише одного останнього кроку переходу
уявної нейромережі у стан головного атрактора, в якому брали участь усі N уявних нейронів цієї
нейромережі. Виокремлюючи з них N реальних нейронів, для яких ця нерівність, безумовно, виконується, ми одержимо ту саму нерівність, яка відповідає кроку переходу динамічної рекурентної нейромережі з будь-якого стану у стан атрактора.
з (8), одержимо оцінку середньої величини
Підставляючи в нерівність (10) значення атракторного радіуса:
ж
Н < 1 +
2
- м
N * -1
ум (N * - м )
1+
N *
24м '
(11)
Для відкритої динамічної рекурентної нейромережі ця нерівність визначає максимальну відстань між сусідніми векторами навчальної послідовності, при якій ще можливе існування динамічних атракторів. Оскільки кожен з цих векторів містить компоненту зовнішнього стимулу, то динамічний атрактор можна розглядати просто як реакцію нейромережі на відповідну послідовність стимулів. Величина атракторного радіуса визначає максимальне відхилення векторів стимулу від їх еталонних значень, за яких динамічний атрактор відповідатиме навчальній послідовності.
4. Динамічна нейронна асоціативна пам’ять
Розглядаючи рекурентну нейромережу як динамічну асоціативну пам’ять, спробуємо оцінити її здатність запам’ятовувати послідовності векторів та відтворювати їх за асоціацією із послідовностями стимулів, що діють на її входи.
Представлятимемо поведінку такої нейромережі послідовністю кадрів, кожен з яких містить
N * - вимірний вектор її поточного стану Z *(і) . Кадри надходять з інтервалом т , який відповідає
часу затримки зворотних зв’язків нейромережі. Навчальна послідовність включає М кадрів, які
■ ■ т~ь* т г т'іі т т'іі т—1 т~і0 т і ■ т~і0т
містять вектори атракторів Я _ [Я , Я , Я ]. В кожному кадрі вектор Я є ключем до наступного атракторного стану нейромережі, тому у випадку автоасоціативної динамічної пам’яті
Я*т [Я^Ш Я^т~1 Я^т+1 ]
Розглянемо поведінку відкритої динамічної рекурентної нейромережі, яка в початковий момент і знаходилась у стані атрактора Я*т _ [Я^т,Я1т\Я0т+1]. Цей стан нейромережа зберігала до моменту і + т, коли затримане значення вектора Я1,т надійшло на входи нейронів. За цей момент зовнішній стимул також змінив значення з Я0т на Z°(і + т), внаслідок чого ПСП нейромережі набуло нового значення:
£1 (і + т) _ ЖиЯ1’т + ЖиЯ1’т + Ж10Z°(і + т) _ Я1т+1 + А11 + А0, (12)
Рис. 2. Перехід ВРДН з атракторного стану
Я^т в Я^т+1
А11 _ Ж (Я[т1 - Яш+1), А0 _ Ж 1и[Z(і + т) - Я°’т+1].
Цю ситуацію зображено на рис. 2, де позначено атракторні стани нейромережі та виділено їхні області притяжіння, обмежені
ТТ*
величиною атракторного радіуса Н . Вектори А11 та А0 визначають переміщення вектора ПСП,
ч, туїт
який перед тим мав значення атрактора Я .
В зображеній ситуації вектор ПСП в момент і + т опиняється в області притяжіння
Г)1т+1
атрактора Я , який стає наступним станом нейромережі при завершенні ітерації. Якщо в зображеній ситуації зовнішній стимул залишити
незмінним: А0 т (і + т) _ 0 , то при завершенні ітерації динамічна нейромережа повернеться у стан
туїт
попереднього атрактора Я .
При меншій величині атракторного радіуса вектор ПСП може опинитись за межами областей притяжіння головних атракторів. Тоді подальша поведінка нейромережі залежатиме від
співвідношення між складовими ЖиЯ1,т , Ж 1тЯ1,т та Ж10Z°(і + т). Змінюючи їх вагу, можна у
значних межах коригувати динамічні властивості нейромережі. Збільшення ваги складової Ж11Яі,т наближує вектор ПСП до попереднього атрактора, що робить імовірним повернення нейромережі в
попередній стан Я1,т. При зростанні складової ЖІТЯ1’т більш імовірним стає перехід у наступний
стан Я1,т+1. Динамічна нейромережа і далі намагатиметься переходити в наступні стани відповідно до порядку їх розташування в навчальній послідовності. При домінуванні цієї складової нейромережа буде постійно перебувати у стані динамічного атрактора, повторюючи фрагменти
навчальної послідовності. Підсилення складової Ж10Z°(і + т) веде до повністю керованої поведінки, коли динамічна нейромережа повторює стани, задані зовнішнім стимулом, незалежно від їх розташування в навчальній послідовності.
Розглянемо більш детально співвідношення (12) для пересічного нейрона
її+т) _ г;т'~ ї£„і
лН „,11 „1.т+1
Жі Л
-Ті_0 ж і [г"м - * 0 +т)],
(13)
де Н11 - відстань за Хеммінгом між векторами Я1т та Я1т+1.
Наступним станом нейромережі буде Я1т+1 лише за умови s](і у1 т +1 > 0 , і _ 1.2...N1 або
^жїїг+£И ж>г- *0 а+4
1,т+1 <
Підсилимо цю нерівність, беручи середні абсолютні значення складових і виділяючи складову зворотного зв’язку нейрона :
2Г
ЬФі гі,к
+ 7 , [1т+1 - *0 (і + т)]\ < 1 - 2\ж1 11
£^1_0\ .3^3 1 ' 'А І и І ■
її
Найбільш сприятливою для виконання цієї нерівності є умова, що зовнішній стимул має однакове значення з очікуваним атрактором
z0 (t + т) = г°,"+1 . (14)
Вважаючи цю умову виконаною, вирішимо нерівність (18) відносно H11:
H11 < 1 + (1 -2м1і)/2м^1] .
Одержане співвідношення повторює формулу (10) для атракторного радіуса уявної
нейромережі, що є очікуваним, оскільки матриця W11 є діагональним блоком W*.
Величина H11 є верхньою межею відстані по Хеммінгу між сусідніми кадрами навчальної
послідовності. Оскільки H11 залежить від числа векторів цієї послідовності, то можна оцінити допустиме число таких векторів, а відтак і можливу тривалість динамічного атрактора. Вирішуючи нерівність (11) відносно м , одержимо
N * H11 -1
м <—(1 - ----------) (15)
2У ЛП-1 . (15)
З цього видно, що число векторів навчальної послідовності динамічної рекурентної нейромережі зменшується при зростанні атракторного радіуса і не може перевищувати половини числа нейронів уявної нейромережі. До цього висновку приводить і аналогія із статичною нейромережею, яка при
м > N */2 втрачає здатність до конвергенції.
Розглянуті співвідношення характеризують поведінку відкритої динамічної рекурентної нейромережі, в якій присутні як затримані, так незатримані зв’язки. Якщо вилучити незатримані зв’язки, то формула (12) набуває вигляду
S1 (t + т) = W1Rim + W10 Z 0(t + т) = S1 (t) + А1т + А0, (16)
Аі,т = W1 (Rlm - Rlm-1), А0 = W10[Z(t + т) - R0m-1].
— r)1m-1 « . « . « . , T)1m
Тут R - вектор стану нейромережі, який надходив на вхід нейронів у момент t; R -вектор, що надходить у момент t + т .
Для пересічного нейрона
sj(t + т) = si (t) - 2ZHWr^"—l - IN=0 w0j J - z0 (і + т)],
де H1 - відстань за Хеммінгом між атракторами Rlm та Rlm-1.
Умовою для повернення в попередній стан є sj(t + т)rj,m > 0 , і = 1,2...N1:
s'.(tу" > 2г'"liwW-^rj,mlN0w0;l\r^;■" -z°(I + т)].
Підсилимо цю нерівність, замінюючи члени суми їх абсолютними значеннями:
N 0
-'(і)rj " > 2H1 'wlh +1 I w0j[r0" - z0(t + т)] l
S (I)r■' > 2H w,j, + Lj=i> I W
Найсприятливішим для її виконання є рівність значень зовнішнього стимулу і попереднього атрактора: z° (t + т) = rfm. За цієї умови
Н1 т < в)(іу;,т/2< , і * Н. (17)
Оскільки в даному випадку кількість зворотних зв’язків скорочено наполовину порівняно з уявною
нейромережею, то добуток 5г'(ґ)г1,т « 0,5 . Підставляючи в (17) оцінку величини з (8), знайдемо
Ні т < N Ч N * -1 Н < —і * =. (18) ЦМ (N - М) ^ ’
Порівнюючи з оцінкою (11), одержаною для уявної нейромережі, можна відзначити практично однаковий характер залежності від числа нейронів та розмірів навчальної послідовності. В даному випадку атракторний радіус є вдвічі меншим через скорочення кількості зв’язків нейромережі. Він визначає максимальне відхилення вектора стану нейромережі або зовнішнього
стимулу від попереднього атрактора Я1т, при якому вона ще повертається в попередній стан. При перевищенні цієї межі динамічна нейромережа переходить у наступний стан, заданий зовнішнім стимулом. При відсутності зовнішнього стимулу вона переходить у стан динамічного атрактора, відтворюючи решту ланцюга станів навчальної послідовності.
5. Експериментальні результати
Експериментальне дослідження динамічної асоціативної пам’яті проводилось за допомогою створеної авторами програмної моделі відкритої рекурентної нейромережі. Нейромережа за архітектурою відповідала рис. 1 і включала 100 нейронів зі знаковою активаційною функцією. Обчислення стану нейронів виконувалось у синхронному режимі, тобто спочатку обчислювались значення постсинаптичних потенціалів, а потім одночасно встановлювались нові значення їх реакції. Величину затримки зворотного зв’язку т можна було встановлювати в 2 - 6 разів більшою, ніж період обчислення стану нейромережі, що дозволяло виконувати за час затримки кілька локальних ітерацій конвергенції. Навчальна послідовність включала кілька динамічних атракторів,
_ ■ _ ■ _ ті*т г літ ті1т-1 ті1т+1 т ■ ■
що представляли послідовності кадрів у вигляді триплетів к = [л ,К ,К ] і відрізнялись
розмірами та формою зображення, ступенем схожості складових триплету. Використовувались зображення в формі прямих ліній та кілець, що переміщувались у кадрі, а також послідовності латинських літер.
На рис. 3 представлено два
динамічні атрактори у вигляді кілець, що переміщуються по схрещених траєкторіях. Такі перехрещення приводять до інтерференції відбитків у пам’яті рекурентної нейромережі. Це видно на рис. 4, де верхній ряд представляє зовнішній стимул, а нижній - розподіл ПСП нейронів при проходженні пункту перетину. Залежно від напрямку руху стимулу розподіл ПСП в околі пункту перетину змінюється.
(1а) (2а) (За) (4а) (5а) (6а) (7 а)
(1Ь) (2Ь) (ЗЬ) (4Ь) (5Ь) (6Ь) (7Ь)
Рис. 3. Динамічний атрактор з одним спільним кадром (4а = 4Ь )
(І1а)
(р1а)
(І2а)
(І3а)
(р2а)
(р3а)
Рис. 4. Входи мережі (зверху) і відповідні постсинапси (знизу) при відтворенні динамічного атрактора із серії (а)
Рис. 5. Збурені входи (зверху) і відповіді мережі (знизу) для рівня шуму Н = 10
Метою експериментів було оцінити здатність динамічної асоціативної пам’яті нейтралізувати збурення зовнішніх стимулів. Збурення вводилось шляхом зміни полярності Н випадково обраних елементів вектора входу. На рис. 5 наведено приклад нейтралізації збурення для динамічного атрактора у вигляді послідовності з 8 літер при Н = 10. Верхній ряд представляє діючі стимули, а нижній - відповідні реакції у вигляді розподілу ПСП нейронів. На окремих зображеннях простежується вплив збурення.
80
70
60
50
40
30
20
10
0
Рис. 6. Залежність атракторного радіуса від кількості запам'ятовуваних векторів і їх типу
На рис. 6 наведено експериментальні оцінки залежності величини атракторного радіуса Н від числа запам'ятовуваних кадрів М, одержаних для різних типів динамічних атракторів при т = 2. Величина аракторного радіуса визначалась у серіях з 10 експериментів як найбільший рівень збурень Н, при якому всі кадри динамічного атрактора відтворювались безпомилково. Для порівняння наведено теоретичну оцінку
атракторного радіуса за формулою (11). Можна відзначити, що теоретична та експериментальні залежності мають однаковий характер, але експериментальні дані істотно відрізняються для різних типів даних. Атракторний радіус виявився найбільшим для ортогональних векторів у вигляді прямих ліній, а найменшим - у зображень літер та цифр, що значною мірою перекривались.
6. Висновки
Проведені експерименти показали, що величина атракторного радіуса зростає при збільшенні величини т . Це можна пояснити впливом локальної конвергенції нейромережі. Крім того, на поведінку нейромережі суттєво впливає співвідношення між зовнішньою та затриманою
компонентами ПСП. Відключення зовнішнього входу та підвищення компоненти зворотного зв’язку часто приводило до переходу мережі у стан динамічного атрактора, причому іноді спостерігались комбінації кількох динамічних атракторів, що нагадувало хибні атрактори в мережі Хопфілда [1]. Ці експерименти вказують на можливість провокувати появу фрагментів динамічних атракторів, які повторюють елементи навчальної послідовності. Вони нагадують цуги нервової активності, що спостерігаються при подразненні нервової тканини. Аналогії, які виникають при порівнянні поведінки динамічної асоціативної пам’яті з нервовою системою, підтверджують висловлену в [16] гіпотезу, згідно з якою щільні шари нервових клітин кори мозку складаються з локальних нейронних ансамблів, структура яких відповідає моделі динамічної рекурентної нейромережі. Подібні ансамблі, здатні не тільки підтримувати, але і відновлювати втрачені атракторні стани, становлять основу довготривалої пам’яті, забезпечуючи тривале збереження фрагментів нервової активності [17].
Роботу виконано за підтримки міжнародного гранту УНТЦ Р-357 (EOARD 088008).
СПИСОК ЛІТЕРАТУРИ
1. Horfield J.J. Neural networks and physical systems with emergent collective computational abilities / J.J. Horfield // Proc. of the National Academy of Science 79:2бб4-б8. - 1982. - Р. 2554 - 2558.
2. Gupta M.M. Static and Dynamic Neural Networks / Gupta M.M., Jin L., Homma N. // From Fundamentals to Advanced Theory. - John Willey&Sons inc. Hobokeh NJ, 2003. - 751 p.
3. Cao J. Absolute exponential stability of recurrent neural networks with Lipschitz-continuous fcnivation functions and
time delays / J. Cao, J. Wang // Neural Networks. - 2004. - Vol.17, N 3. - P. 379 - 390.
4. Lu H. Global exponential stability of delayed competitive neural networks with different time scales / H. Lu, Z. He //
Neural Networks. - 2005. - Vol. 18, N 3. - P. 243 - 250.
5. Zhao H. Global asymptotic stability of Hopfield neural network involving distributed delays / H. Zhao // Neural
Networks. - 2004. - Vol. 17, N 1. - P. 48 - 53.
6. Pineda F.J. Generalization of Back-propagation to Recurrent Neural Networks / F.J. Pineda // Physics Review
Letters. - 1987. - Vol. 18. - P. 2229 - 2232.
7. Haykin S. Neural Networks. A comprehensive Foundation / S. Haykin // Prentice Hall, Inc. N.J. - 2ed. - 1999. -P. 690.
8. Yazdanbakhsh A. Fast synchronization of perceptual grouping in laminar visual cortical circuits / A. Yazdanbakhsh, S. Grossberg // Neural Networks. - 2004. - Vol. 17, N 5-6. - P. 707 - 718.
9. Reznik A.M. Non-Iterative Learning for Neural Networks / A.M. Reznik // Proc. International Joint Conference on
Neural Networks (Washington DC, July 10-16 1999). - Washington, 1999. - Vol. 2. - P. 1374 - 1379.
10. Kosko B. Bi-directional associative memories / B. Kosko // IEEE Transactions on Systems, Man and Cybernetics. - 1987. - Vol. 18, N 1. - P. 49 - 60.
11. Albert A. Regression and the Moor-Penrose Psevdoinverse / A. Albert // Academic Press. - N-Y, 1972. - P. 97.
12. Personnaz L. Collective computational properties of neural networks: new learning mechanisms / L. Personnaz, I. Guyon, G. Dreyfus // Physical Review A. - 1986. - Vol. 34. - P. 4217 - 4228.
13. Reznik A.M. Projection learning algorithm for threshold-controlled neural networks / A.M. Reznik // Cybernetics and System Analysis. - 1994. - Vol. 30, N 4. - P. 603 - 613.
14. Weinfield W. A fully digital integrated CMOS Hopfield network including the learning algorithm / W. Weinfield // Proc. of Intern. Workshop on VLSI for Art. Intel. (Univ. Oxford, July 20-22, 1988). - Oxford, 1988. - E1. - P.1 - 11.
15. Gorodnichi D.O. Increasing Attraction of Pseudo- Inverse Autoassociative Networks / D.O. Gorodnichi, A.M. Reznik // Neural Processing Letters. - 1997. - Vol. 5, N 2. - P.123 - 127.
16. Reznik A.M. Hopfield ensembles in Lateral neurostructures of the cerebral cortex / A.M. Reznik // Mathematical Machines and Systems. - 2006. - N 1. - P. 3 - 12.
17. Reznik A.M. Associative Memories with "Killed" Neurons: the Methods of Recovery / A.M. Reznik, A.S. Sitchov, O.K. Dekhtyarenko [et al.] // Proc. of the International Joint Conference on Neural Networks (Portland, Oregon, July 20-24, 2003). - Portland, Oregon, 2003. - Vol. 1. - P. 634 - 639.
Стаття надійшла до редакцї 17.02.2010
