Самонавчанна фаззі-спайк-нейронна мережа на основі дискретних динамічних ланок другого порядку для нечіткої кластеризації Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.7:004.8

Бодянський Є. В. 1, Долотов А. І. 2, Малишева Д. М. 3

1 Д-р техн. наук, професор Харківського національного університету радіоелектроніки 2Канд. техн. наук, молодший науковий співробітник Харківського національного університету радіоелектроніки

3Студентка Харківського національного університету радіоелектроніки

САМОНАВЧАННА ФАЗЗІ-СПАЙК-НЕЙРОННА МЕРЕЖА НА ОСНОВІ ДИСКРЕТНИХ ДИНАМІЧНИХ ЛАНОК ДРУГОГО ПОРЯДКУ ДЛЯ ___________________________НЕЧІТКОЇ КЛАСТЕРИЗАЦІЇ________________________________________

Розглянуто гібридні нейронні мережі, що засновані на ідеї поєднання спайк-нейронних мереж та принципів нечіткої логіки. У статті запропоновано архітектуру самонавчанної фаззі-спайк-нейронної мережі на основі дискретних динамічних ланок другого порядку. Запропоновано опис спайк-нейронної мережі в рамках теорії автоматичного керування. Синапси спайк-нейрона представлені як ланки другого порядку, а сома як система порогового виявляння. Спайк-нейронна мережа, реалізована таким чином, є аналогоцифровою нелінійною динамічною системою, що передає та обробляє інформацію і в часоімпульсній, і в часонеперервній формах.

Ключові слова: нечітка кластеризація, спайк, фаззі-спайк-нейронна мережа, теорія автоматичного керування, ланка другого порядку, система порогового виявляння.

ВСТУП

Серед розмаїття засобів обчислювального інтелекту для оброблення даних за умов відсутності апріорної інформації [1, 2] самонавчанні спайк-нейронні мережі (8Ь8№№, ССНМ) привертають дедалі більшу увагу як в якості більш реалістичних біологічних моделей ніж ней-ронні мережі попередніх поколінь [3, 4], так і як порівняно швидкі й обчислювально значно потужніші системи оброблення інформації [5, 6]. Протягом останнього десятиріччя 8Ь8М№ успішно використовувалися задля вирішення проблем комплексного аналізу даних, зокрема для опрацювання зображень, отриманих від сателітів. Крім того, гібридні інтелектуальні системи на основі поєднання 8Ь8№№ та концепції нечіткої методології, відомі як самонавчанні фаззі-спайк-нейронні мережі (8ЬР8М№), виявили нову галузь, де спайк-нейронні мережі можуть бути успішно застосовані, а саме - нечітку кластеризацію [7-10]. Незважаючи на те, що спайк-ней-ронні мережі стають все більш популярним інструментом обчислювального інтелекту для вирішення різних технічних проблем, їх архітектура та функціональність розглядаються радше з точки зору нейрофізіології, ніж з точки зору певного інструментарію технічних наук.

У цій роботі представлено опис фаззі-спайк-нейрон-ної мережі на основі апарату теорії дискретного автоматичного керування. Запропоновано описувати спайк-нейронну мережу на основі відомого інструментарію класичної теорії автоматичного керування: перетворення Лапласа та г-перетворення. Такого роду опис дає можливість, з одного боку, використовувати його в якості аналого-цифрової системи у вирішенні технічних про-блем,а з іншого боку, спростити подальші теоретичні дослідження у галузі спайк-нейронних систем.

1. АРХІТЕКТУРА САМОНАВЧАННОЇ СПАЙК-НЕЙРОННОЇ МЕРЕЖІ

Самонавчанну спайк-нейронну мережу зображено на рис. 1. Як видно, це - гетерогенна тришарова нейронна мережа з бічними зв’язками у другому прихованому шарі.

Перший прихований шар виконує перетворення (п х і)-вимірного вхідного образу х (к) (тут к = 0,1, . . ., N -

номер образа) у вектор спайків 5(ґ - (0 (х (к)Д, де кожен спайк визначається його часом збудження (§(•) -дельта-функція Дірака). Перетворення здійснюється шляхом популяційного кодування, яке передбачає, що вхід хі (к), і = 1,2,...,.п обробляється одночасно сукупністю нечітких рецепторних нейронів FRNli, І = 1,2,..., к.

Виявляння кластерів відбувається у другому прихованому шарі, який складається з т спайк-нейронів SN j , ] = 1,2,..., т (т - кількість кластерів,що їх необхідно знайти). Вони з’ єднані з нейронами попереднього шару синапсами MS^ Після фази навчання спайк-ней-

рон SNj генерує вихідний спайк 5(ґ - ґ0 (х (к)Д для кожного вхідного образа х (к), причому час збудження нейрона визначає відстань між вхідним образом та центром нейрона.

Третій шар обробляє відстані між вхідними образами та центрами нейрона, виконує нечітке розбиття та обчислює рівні належності цj (х(к)), j = 1,2,...,т.

Варто відзначити, що два перших прихованих шари формують звичайну архітектуру 8Ь8№Ы [11]. У разі такої реалізації мережі, кластер, якому належатиме вхідний образ, визначається першим збудженим спайк-нейроном.

© Бодянський Є. В., Долотов А. І., Малишева Д. М., 2012

Рис. 1. Архітектура самонавчанної спайк-нейронної мережі

2. НЕЧІТКІ РЕЦЕПТОРНІ НЕЙРОНИ

Архітектура нечітких рецепторних нейронів першого прихованого шару [9] аналогічна тій архітектурі нейронів, що була запропонована для популяційного кодування в 8Ь8М№ [11]. Різниця між ними полягає в інтерпретації їх функціювання та в способі налаштування активаційної функції.

Як правило, активаційна функція рецепторного нейрона має дзвонувату форму (зазвичай Ґавсіан) , а активаційні функції нейронів в межах сукупності перетиня-ються між собою. У загальному випадку час збудження нейрона, що його було поширено рецепторним нейро-

ном, знаходиться в інтервалі

G, t

[G]

який називається

інтервалом кодування й визначається виразом

t

(к О

[G]

t[G]

(1 -ц| xj(к д- cf\,°j))

де у (•, •), та Оj є активаційна функція рецепторно-

го нейрона, її центр та ширина відповідно.

Можна відзначити, що шар пулу рецепторних нейронів тотожний першому шару нечітких нейронних систем, таких як мережа Такагі-Суґено-Канґа, А№!8 та ін. [12].

Інтерпретуючи функцію активації у і ( (к )) як функцію належності, шар рецепторних нейронів може розглядатися як такий, що перетворює вхідні дані у нечітку множину, яка визначається значеннями активаційної

функції належності у іі (хі (к)) і виражається в часовому просторі у вигляді спайків /[0] (хі (к)). Насправді, кожен

пул рецепторних нейронів виконує нечітке висновуван-ня нульового порядку Такаґі-Суґено [12]

IFXj (к)lSXu THEN OUTPUT IS t™ ,

де Xі, нечітка множина з функцією належності цц (x, (к)). Використовуючи такий підхід, можна інтерпретувати пул рецепторних нейронів як певну лінгвістичну змінну, а кожен рецепторний нейрон (точніше, нечіткий рецепторний нейрон) у пулі - як лінгвістичний терм з функцією

належності цц (x, (к)). Таким чином, не маючи ніяких апріорних знань про структуру даних, можна налаштувати активаційну функцію першого шару нейронів для того, щоб вона відповідала ним і, у такий спосіб, отримати кращі результати кластеризації.

3. СПАЙК-НЕЙРОН ЯК НЕЛІНІЙНА ДИНАМІЧНА СИСТЕМА

Спайк-нейрон як нелінійну динамічну систему зображено на рис. 2. Складений синапс MSj, спайк-нейрона SNj перетворює вхідний сигнал з часоімпульсної форми у часонеперервну, а його сома перетворює вхідний сигнал з часонеперервної назад до часоімпульсної форми.

З позиції класичної теорії автоматичного керування [1315], складений синапс MS j, є динамічною системою, яка складається з різних часових затримок, критично згасної ланки другого порядку та підсилювача, що їх з’єднано паралельно. Кожна група з часової затримки, ланки другого порядку та підсилювача формують підсинапс складеного синапсу. У відповідь на вхідний спайк підсинапс генерує

зважений постсинаптичний потенціал із затримкою uJ,, (t), а декілька синапсів генерують загальний постсинаптичний потенціал , що надходить до соми спайк-нейрона.

Передатна функція ланки другого порядку з дійсними коренями та одиничним коефіцієнтом підсилювання є

G (S )= 1 = 1

(T1s + 1)(т2s +1) т4 S2 +Т3 + 1

Т3 Т3 2 /-ч

де Ті 2 = ~-Т4,Ті -т2,т3 - 2Т4, а її імпульсна

перехідна функція

( t t л

\(t ) =

т1 -т2

Припускаючи, що Ті = Т2 та застосовуючи Лопітале ве правило, отримуємо

( t t л

є (t )= lim

1

т2 ^т1 т1 т2

л

д

дт2

lim

д^ (т1 -т2 )

Скоротивши попереднє рівняння отримаємо:

є (t ) = -Y e Ті

Якщо порівняти функцію відгука на спайк [4] є (t ) = te

(1)

де т - часова константа згасання потенціалу мембрани, та імпульсну перехідну функцію(1), отримуємо співвідношення

є( ґ) = етє (ґ).

Отже передатна функція ланки другого порядку з дійсними тотожними коренями(критично згасна ланка другого порядку), що її імпульсна перехідна функція збігається з функцією відгуку на спайк, є

єт

GW='/ *2

(ts +1)

(2)

Зважаючи на (2), передатна функція р-го підсинапсу складеного синапсу ШЗ^ набуває такої форми:

U% (s) = j-d'‘G (s) =

V -1 ■

j11

j1-dPS (ts +1)2

(3)

де ^Г’ІІ та ір- ваги синапсу та часова затримка підсинапсу.

Перетворювання Лапласа спайку 5(ґ - (хі (к)))

має вигляд :

,{s(t - ((xi(к))

=AiKx(к ))s

= e

(4)

а врахувавши передатну функцію складеного синапсу

MS

jli , можна записати

q q TWP/-dPs

U,l, (s )=T Ujli (s ) = Tj-T

P=1

P=1 (ts + l)

(5)

де q - кількість щдсинапсів усередені складеного синапсу.

Перетворювання Лапласа сигналу на виході складеного синапсу можна у кінцевій формі виразити так:

U(s) = e-'"(l(к°'Ujt(s):

tLGJx ,, \\ q twp1.pl d s

= e и (xi(к))s v__________J—

1-(tli0J(xi(к))+ dP )s

ir,.e

SJl1______= T jll

/ -ч2 _ ^ I ,\2

wx.(к))s q TwJlie q TwJjlie

P=1 (ts +1) P=1 (ts +1)

(б)

Рис. 2. Аналогово-цифрова архітектура спайк-нейронна

У дискретному часі, проквантувавши згідно з теоремою Шеннона-Котельнікова інтервал кодування 0,4°^ на N підінтервалів з тактом розбиття 7), так що

0ґ[0]

^шах

= N7 » 70,ґ = к^0,к = 1,2,...,N, можна пере-

писати передатну функцію (2) у вигляді

ет

— І г“2 -2— 1 + — I2_1 +1 1 + —

Т0

701 7

-1,

де г у даному випадку - оператор зсуву назад, далі за аналогією:

- передатна функція р-го підсинапсу (3):

р(£, Д)

ір_

7

т 1 г“2 -2 —| 1 + — I2_1 +| 1 + Т

т) Т) у т,

- г-перетворення спайку (4):

Т0

| 4 (хі(и+

'{S(ґ - ґ((хі (и+)}

- передатна функція складеного синапсу (5):

и

Уіі

р Т0

р=1 ^-Г]2 г-2 - 2-тІ1 + 0 г-1+І1+^л2

Т01 Т)

7

- г-перетворення сиґналу на виході складеного синапсу (6):

и

Уіі

тwp,.ez

]Іі

4°](х(и д)+ір

7,

р=1 [-Г]2 г-2 -2-^1 + ^1 г-1 +Г] +^Л2

Варто зазначити, що позаяк на практиці неможливо використовувати 5-функцію [14], її зручно моделювати імпульсом трикутної форми, що його наведено на рис. 3. Такий імпульс схожий на біологічний і тотожний до 5-функцл за умови

ііш а(,А) = 8().

А^-0

Рис. 3. Трикутний імпульс а (, Д)

Тоді перетворення Лапласа для потенціалу мембрани спайк-нейрона ,■ може бути виражене у формі:

и

-(іо](хі (к о)+іР)"

у (*) = Ш

і=11=1 р=1

Поведінку порогового виявляння у нейроновій сомі можна змоделювати ланкою реле із зоною нечутливості 95, що її визначає нелінійна функція

/(и + =

sign (и -93) +1

(7)

та похідною частиною з активаційною функцією

О (5) = S,

які з’єднані послідовно.

У випадку, коли мембранний потенціал соми и]- (?) сягає порогу збудження 95, елемент (7) генерує функцію Ґевісайда на виході.

Диференцюючи останній вираз, отримуємо вихідний

спайк 5 ґ

-ґ[1](х (к )Д.

Таким чином, сома спайк-ней-

рона функціонує як система порогового виявляння.

Протягом фази навчання на кожній епосі часове правило Гебба оновлює ваги спайка нейрона-переможця таким чином [5, 11]: ваги підсинапсів, що сприяли збудженню нейрона , посилюються, а ваги тих підсинапсів, що не сприяли збудженню, послаблюються. Отже, ваги налаштовуються так, щоб перемістити центр нейрона-переможця ближче до вхідного образа.

Бічні гальмівні зв’язки другого прихованого шару використовуються тільки під час навчання для реалізації механізму «Переможець Отримує Все» (WTA). Після завершення фази навчання латеральні зв’язки блокуються.

2

4. ІІІ ЧІТКИИ ВИХІДНИИ ШАР КЛАСІЕРИЗАЦП

Вихідний шар, він же нечіткий вихідний шар кластери-

зації, приймає спайки - ( (х(к))), що надходять з

другого шару, і здійснює нечітке розбиття вхідних образів х (к), використовуючи спайк-ймовірнісний підхід [7, 8]:

цj (x (k)) =

( (x (k )))Т

І(( У

l=1

2_

-Z

2

де С фаззіфікатор, який визначає межу між кластерами та контролює рівень нечіткості кінцевого розбиття даних за кластерами [10, 16].

Відповідно для можливісного випадку можна записати:

( (

Цj(x (k)) =

1 +

2 ЛІ 1

у (k

T 4 ( (к))

к=1 v '

J T $ (x(k))

к=1

Треба зауважити, що вихідний шар оцінює нечітку належність аналогічно до відомих методів нечітких с-се-редніх та можливісних с-середніх [17] - в залежності від використовуваного підходу.

Нечіткий вихідний шар кластеризації відключений під час фази навчання і використовується тільки у фазі клас-теризації.

ВИСНОВКИ

Спайк-нейронні мережі більш схожі на моделі реальних нейронних систем ніж штучні нейронні мережі попередніх поколінь. Тим не менш, вони можуть бути описані строго технічним чином. Трактування спайк-ней-ронної мережі в рамках теорії автоматичного керування дає змогу побачити, що синапси спайк-нейрона є ніщо інше, як ланки другого порядку, а сома - система порогового виявляння. Спайк-нейронна мережа, реалізована на їх основі, є аналого-цифровою нелінійною динамічною системою, яка передає та обробляє інформацію і в часоімпульсній, і в часонеперервній формах. Такий формальний опис архітектури і функціонування спайк ней-ронної мережі є кроком на шляху еволюції теорії штучних нейронних мереж як частини парадигми обчислюваного інтелекту.

СПИСОК ЛІТЕРАТУРИ

1. Haykin, S. Neural Networks. A Comprehensive Foundation / S. Haykin. - Upper Saddle River : Prentice Hall, 1999. - 842 p.

2. Sato-llic, M. Innovations in Fuzzy Clustering / M. Sato-llic, L.C. Jain. - Berlin-Heidelberg-New York : Springer, 2GG6. - 152 p.

3. HoPfield, J. J. Pattern recognition computation using action potential timing for stimulus representation / J. J. Hopfield // Nature. - 1995. - 37б. - P. 33-3б.

4. Gerstner, W. Spiking Neuron Models / W. Gerstner, W. M. Kistler. - Cambridge: The Cambridge University Press, 2GG2. - 4GG p.

5. Natschlaeger, T. Spatial and temporal pattern analysis via spiking neurons / T. Natschlaeger, B. Ruf // Network : Computations in Neural Systems. - 1998. - 9. - P. 319-332.

6. Maass, W. Networks of spiking neurons: the third generation of neural network models / W. Maass // Neural Networks. -1997. - Vol. 1G. - P. 1б59-1б71.

7. Bodyanskiy, Ye. Image processing using self-learning fuzzy spiking neural network in the presence of overlapping classes / Ye. Bodyanskiy, A. Dolotov // Tallinn, Proc. 11th Int. Biennial Baltic Electronics Conf. «ВЕС 2GG8» (October б-8, 2GG8, Tallinn, Estonia), University of Technology. - 2GG8. - P. 213-21б.

8. Bodyanskiy, Ye. A self-learning spiking neural network for fuzzy clustering task / Ye. Bodyanskiy, A. Dolotov // Scientific Journal of Riga Technical University: Information Technology and Management Science. - 2GG8. - 3б. - P. 27-33.

9. Бодянский, Е. В. Применение фаззи-рецепторных нейронов в самообучающейся спайк-нейронной сети / Е. В. Бодянский, А. И. Долотов, И. П. Плисс // Матеріали Міжнародної науково-технічної конференції «Автоматизація: проблеми, ідеї, розв’язки 2GG8», (8-12 вересня 2GG8 р., Севастополь). - Севастополь : СевНТУ. - 2GG8. - С. 12-14.

1G. Bodyanskiy, Ye. Fuzzy possibilistic clustering using selflearning spiking neural network / Ye. Bodyanskiy, A. Dolotov,

I. Pliss, Ye. Viktorov // Wissenschaftliche Berichte der Hochschule Zittau/Goerlitz. - 2GG8. - Heft 1GG. - Nr. 236G-2395. - P. 53-6G.

11. Bohte, S. M. Unsupervised clustering with spiking neurons by sparse temporal coding and multi-layer RBF networks / S. M. Bohte, J. S. Kok, H. La. Poutre // IEEE Trans on Neural Networks.- 2GG2. - 13. - P. 42б-435.

12. Jang, J.-S. R. Neuro-Fuzzy and Soft Computing / J.-S.R. Jang, C.-T. Sun, E. Mizutani. - Upper Saddle River : Prentice Hall. -1997. - б14 p.

13. Goodwin, G. C. Control Systems Design / G. C. Goodwin,

S. F. Graebe, M. E. Salgado. - Upper Saddle River : Prentice Hall, 2GG1. - 9G8 p.

14. PhilliPs, C. L. Feedback Control Systems / C. L. Phillips, R. D.Harbor. - Upper Saddle River : Prentice Hall, 2GGG. - б58 p.

15. Dorf, P. C. Modern Control Systems / P. C. Dorf, R. H. Bishop // Upper Saddle River : Prentice Hall, 2GG8. - 1G18 p.

16. Bodyanskiy, Ye. A multilayered self-learning spiking neural network and its learning algorithm based on ‘Winner-Takes-More’ rule in hierarchical clustering / Ye. Bodyanskiy, A. Dolotov // Scientific Journal of Riga Technical University : Information Technology and Management Science. - 2GG9. - 4G. - P. бб-74.

17. Bezdek, J. C. Fuzzy Models and Algorithms for Pattern Recognition and Image Processing / J. C. Bezdek, J. Keller, R. Krishnapuram, N. R. Pal. - New York : Springer, 2GG5. - 77б p.

Стаття надійшла до редакції 22.G8.2G12.

Бодянский Е. В., Долотов А. И., Малышева Д. М.

САМООБУЧАЯЩАЯСЯ ФАЗЗИ-СПАЙК-НЕЙРОННАЯ СЕТЬ НА ОСНОВЕ ДИСКРЕТНЫХ ДИНАМИЧЕСКИХ ЗВЕНЬЕВ ВТОРОГО ПОРЯДКА ДЛЯ НЕЧЕТКОЙ КЛАСТЕРИЗАЦИИ

Рассмотрены гибридные нейронные сети, основанные на идее объединения спайк-нейронных сетей и принципов нечеткой логики. В статье предлагается архитектура самообучающейся фаззи-спайк-нейронной сети на основе дискретных динамических звеньев второго порядка. Спайк-нейронная сеть описана в рамках теории автоматического управления. Синапсы спайк-нейрона представлены как звенья второго порядка, а сома как система порогового определения. Спайк-нейронная сеть в рамках этой теории - аналого-цифровая нелинейная динамическая система, передающая и обрабатывающая информацию в времяимпульсной и времянепрерывной формах.

Ключевые слова: нечеткая кластеризация, спайк, фаззи-спайк-нейронные сеть, теория автоматического управления, звенья второго порядка, система порогового определения.

Bodyanskiy Ye., Dolotov A. I., Malysheva D. M.

SELFLEARMNG FUZZY SPIKING NEURAL NETWORK BASED ON DISCRETE SECOND-ORDER CRITICALLY DUMPED RESPONSE UNITS FOR FUZZY CLUSTERING TASKS

Hybrid neural networks based on the idea of combining spiking neural networks and the principles of fuzzy logic are considered. The architecture of self-learning fuzzy spiking neural network based on discrete second-order critically damped response units is proposed.

It is proposed to define a spiking neural network in terms of apparatus of classical automatic control theory based on the Laplace transform and z-transform. It is shown that a spiking neural network is a pulse-position threshold detection system based on second-order damped response units. Such kind of description allows using it as an analog-digital system in technical problems solving.

The output layer takes firing times of spikes arriving from the second layer, and either performs fuzzy partitioning of the input patterns using probabilistic approach

Key words: fuzzy clustering, spike, fuzzy spiking neural network, classical automatic control theory, second-order damped response units, pulse-position threshold detection system.

REFERENCES

1. Haykin S. Neural Networks. A Comprehensive Foundation, Upper Saddle River: Prentice Hall, 1999, 842 p.

2. Sato-llic M., Jain L. C. Innovations in Fuzzy Clustering, Berlin-Heidelberg-New York: Springer, 2006, 152 p.

3. Hopfield J.J. Pattern recognition computation using action potential timing for stimulus representation, Nature, 1995, pp. 33-36.

4. Gerstner W., Kistler W. M. Spiking Neuron Models, Cambridge, The Cambridge University Press, 2002, 400 p.

5. Natschlaeger T., Ruf B. Spatial and temporal pattern analysis via spiking neurons, Network, Computations in Neural Systems, 1998, pp. 319-332.

6. Maass W. Networks of spiking neurons: the third generation of neural network models, Neural Networks, 1997, vol. 10, pp. 1659-1671.

7. Bodyanskiy Ye., Dolotov A. Image processing using selflearning fuzzy spiking neural network in the presence of overlapping classes, Tallinn, Proc. 11th Int. Biennial Baltic Electronics Conf. «BEC 2008» (October 6-8, 2008, Tallinn, Estonia), University of Technology, 2008, pp. 213-216.

8. Bodyanskiy Ye., Dolotov A. A self-learning spiking neural network for fuzzy clustering task, Scientific Journal of Riga Technical University: Information Technology and Management Science, 2008, pp. 27-33.

9. Bodyanskij E. V., Dolotov A. I., Pliss I. P. Primenenie fazzi-receptorny’x nejronov v samoobuchayushhejsya spajk-nejronnoj seti, Materialy Mizhnarodnoi naukovo-tekhnichnoi konferentsii «Avtomatyzatsiia: problemy, idei, rozviazky 2008», (8-12 veresnia 2008 r, Sevastopol'), Sevastopol’, SevNTU, 2008, pp. 12-14.

10. Bodyanskiy Ye. , Dolotov A. , Pliss I., Viktorov Ye. Fuzzy possibilistic clustering using self-learning spiking neural network, Wissenschaftliche Berichte der Hochschule Zittau/ Goerlitz, 2008, pp. 53-60.

11. Bohte S. M., Kok J. S., Poutre H. La. Unsupervised clustering with spiking neurons by sparse temporal coding and multilayer RBF networks, IEEE Trans on Neural Networks, 2002, pp. 426-435.

12. Jang J.-S. R., Sun C.-T., Mizutani E. Neuro-Fuzzy and Soft Computing, Upper Saddle River, Prentice Hall, 1997, 614 p.

13. Goodwin G. C., Graebe S. F., Salgado M. E Control Systems Design, Upper Saddle River, Prentice Hall, 2001, 908 p.

14. Phillips C. L., Harbor R. D. Feedback Control Systems, Upper Saddle River, Prentice Hall, 2000, 658 p.

15. Dorf P. C., Bishop R. H. Modern Control Systems, Upper Saddle River, Prentice Hall, 2008, 1018 p.

16. Bodyanskiy Ye., Dolotov A. A multilayered self-learning spiking neural network and its learning algorithm based on ‘Winner-Takes-More’ rule in hierarchical clustering, Scientific Journal of Riga Technical University, Information Technology and Management Science, 2009, pp. 66-74.

17. Bezdek J. C., Keller J., Krishnapuram R., Pal N. R. Fuzzy Models and Algorithms for Pattern Recognition and Image Processing, New York, Springer, 2005, 776 p.