CC BY
102
УДК 004.032.026
А.І. ДОЛОТОВ, аспірант каф. штучного інтелекту, ХНУРЕ (м. Харків)
ГІБРИДНА СИСТЕМА ОБЧИСЛЮВАЛЬНОГО ІНТЕЛЕКТУ, ЩО
САМОНАВЧАЄТЬСЯ, НА ОСНОВІ СПАЙК-НЕЙРОННОЇ МЕРЕЖІ
Розглянуто гібридні системи обчислювального інтелекту, що самонавчаються, на основі спайк-нейронної мережі. Запропоновано узагальнену архітектуру такої системи, що дозволяє виконувати ієрархічну нечітку кластеризацію даних. На основі узагальненого Геббового правила самонавчання запропоновано алгоритм навчання гібридної системи. Синтезовану гібридну систему викладено у термінах Лапласового перетворення. Іл.: 1. Бібліогр. 26 назв.
Ключові слова: гібридна система обчислювального інтелекту, що самонавчається, спайк-нейронна мережа, Геббове правило самонавчання, Лапласове перетворення.
Постановка проблеми. Кластеризація даних, чи в більш ширшому розумінні задача самонавчання, посідає одне з найважливіших місць серед проблем штучного інтелекту [1]. З теоретичної точки зору, парадигма штучного інтелекту намагається досягти у вживаних методах та засобах вирішення цієї задачі якомога більшої реалістичності, схожості з біологічними системами [2]. З практичної ж точки зору, сьогодення вимагає від технічних систем, а надто інтелектуальних, швидкісного вирішення поставлених задач (як правило, у реальному часі). Крім того, доволі часто трапляються випадки, коли самонавчання має відбуватися за умов апріорної та поточної невизначеності. Таким чином, до інтелектуальних систем, що здатні ефективно вирішувати сьогочасні задачі самонавчання, можна висунути три основні вимоги, а саме: реалістичність, швидкодія та стійкість до невизначеності.
Класичні методи обчислювального інтелекту, що вирішують задачу самонавчання, - штучні нейронні мережі (Когоненові мапи, що самонавчаються, АРТ-нейронні мережі, нейромоделі "Brain-State-in-a-Box" тощо) [3] та методи кластеризації на основі нечіткої логіки (алгоритм нечітких C-середніх, алгоритми Ґустафсона-Кесселя, Яґера-Філева, Клявонна-Геппнера тощо) [4, 5] - не відповідають чи то одній, чи то кільком сформульованим вище вимогам.
Беручи до уваги новітні відкриття в нейрофізіології [6], штучні нейронні мережі виявляються занадто "штучними", такими, що досить умовно схожі на нейросистеми живих істот. Наявність невизначеності доволі негативно впливає на здатність штучних нейронних мереж ефективно обробляти дані. До того ж, самонавчання штучних нейронних мереж досить повільне.
Алгоритми нечіткої кластеризації незважаючи на математичну строгість деяких з них далекі від тих, що використовують живі істоти у своєму навчанні. Та й швидкість навчання таких алгоритмів не дозволяє використовувати їх для розв’язання задач у реальному часі.
Нове, третє покоління штучних нейронних мереж, відоме як спайк-нейронні мережі [7], запропонувало науковцям та дослідникам найбільш реалістичні штучні нейронні мережі з усіх відомих [6]. Окрім своєї
реалістичності, спайк-нейронні мережі в апаратній реалізації виявилися вельми швидкодіючими, що дозволило використовувати їх у системах реального часу [8]. Таким чином, спайк-нейронні мережі задовольняють двом із трьох згаданих вище критеріїв. Але, як і всі інші штучні нейронні мережі, спайк-нейронні мережі не мають стійкості до невизначеності, що значно звужує їх практичний ужиток. З огляду на це, постає проблема побудови сучасних систем самонавчання на основі спайк-нейронних мереж, які здатні вирішувати задачі обробки даних за умов невизначеності.
В обчислювальному інтелекті доволі поширений підхід побудови гібридних систем, які, виявляючи синергетичні властивості, можуть поєднувати в собі можливості кількох різноманітних методів обробки інформації [9]. Ідучи за прикладом класичних нейро-фаззі-систем [10], наведену вище проблему можна сформулювати як проблему побудови гібридних систем, що самонавчаються, на основі спайк-нейронної мережі. Тут є сенс зазначити, що вирішення цієї проблеми започаткує нове покоління гібридних систем обчислювального інтелекту - фаззі-спайк-нейронні мережі.
Побіжною проблемою до побудови гібридних систем на основі спайк-нейронної мережі є розробка загальної архітектури спайк-нейронної мережі в термінах апарату технічних наук, аби мати змогу складати апаратні реалізації запропонованих гібридних систем.
Аналіз літератури. Уперше принцип функціонування спайк-нейронної мережі, що самонавчається, був уведений Дж. Гопфілдом у [11]. На основі запропонованих ідей було побудовано першу архітектуру спайк-нейронної мережі, що самонавчається, яка була здатна вдало кластеризувати дані в тих випадках, коли кількість класів не перевищувала розмірність вхідного простору [12]. У цій же роботі міститься перша здогадка використовувати час збудження спайк-нейронів для визначення ступенів належності поданого на вхід образу до кількох класів. Обмеження на кількість класів, що можуть бути виявлені, було знято в архітектурі спайк-нейронної мережі, яка використовує популяційне кодування вхідних даних [13].
У [14, 15] уперше було запропоновано використовувати центри спайк-нейронів у нечіткому виведенні, що є першою відомою спробою побудови гібридної системи на базі нового покоління штучних нейронних мереж. Але через проблему адекватного визначення центру спайк-нейрона згадані системи не виявили потрібної ефективності. Розвиваючи ідею [12], у [16] було синтезовано систему нечіткого ймовірнісного виведення на основі спайк-нейронної мережі, ефективність застосування якої наведено у [17]. Далі було показано, що, крім імовірнісного, таким же чином можна побудувати можливісне нечітке виведення [18] та його адаптивний варіант [19]. Підтверджений результатами практичного застосування підхід до побудови систем нечіткої кластеризації на базі шару спайк-нейронів було послідовно використано для розв’язання таких більш складних задач, як виявлення нових кластерів [20], кластеризація методом гіпереліпсоїдів [21], адаптивний варіант
алгоритму нечіткої кластеризації Ґустафсона-Кесселя [22]. Крім того, уперше було запропоновано розглядати шар рецепторних нейронів як шар фаззифікації на основі лінгвістичних змінних у [23], що дало змогу змістовної інтерпретації процесу популяційного кодування.
З огляду на необхідність оновлювати кілька спайк-нейронів на кожній епосі самонавчання, що є більш природним підходом при нечіткій кластеризації, у [24] було вперше запропоновано загальний вигляд доволі відомого Геббового правила самонавчання.
Зв’язок спайк-нейронної мережі, що самонавчається, з класичною теорією автоматичного керування на ґрунті Лапласового перетворення було викладено у [25]. Такий підхід уперше вможливив синтез загального вигляду архітектури спайк-нейронної мережі у термінах теорії автоматичного керування.
Мета статті - синтез загальної архітектури гібридної системи, що самонавчається, на основі спайк-нейронної мережі.
Аналізуючи та підсумовуючи наявні спроби побудови гібридних систем, що наведені вище, гібридна система, що самонавчається, на основі спайк нейронної мережі (або самонавчальна фаззі-спайк-нейронна мережа) у загальному випадку має поєднувати в собі здатність обробки нечітких даних, обчислювальні та швидкісні властивості спайк-нейронів, стійкість до невизначеності, засіб регулювання кількості спайк-нейронів (тобто можливість адаптивного налаштування кількості кластерів) та можливість ієрархічної кластеризації даних. Крім того, задля досягнення найбільш можливої ефективності та швидкодії архітектура такої системи має бути простою для апаратної реалізації.
У цій роботі пропонується гетерогенна багатошарова спайк-нейронна мережа прямого поширення, що містить у собі такі функціональні підсистеми-шари: шар фаззифікації вхідних даних, підсистема ієрархічної кластеризації, вихідний шар нечіткої кластеризації та контур адаптивного регулювання кількості спайк-нейронів у підсистемі ієрархічної кластеризації (рис.).
Шар фаззифікації вхідних даних складається з пулів фаззі-рецепторних нейронів [23], які незалежно від природи вхідних даних (чіткі або нечіткі) виконують перетворення вхідного сигналу в часо-імпульсну форму.
Підсистема ієрархічної кластеризації утворена кількома шарами спайк-нейронів. Кількість таких шарів залежить від потрібного розміру ієрархії кластерів даних. Перший шар спайк-нейронів поєднаний із шаром фаззифікації складеними синапсами, кожен з яких складається з паралельно з’єднаних груп часових затримок, формувачів постсинаптичних потенціалів та вагових коефіцієнтів [13]. Шари спайк-нейронів також поєднані між собою складеними синапсами. Навчання у підсистемі ієрархічної кластеризації відбувається на основі узагальненого Геббового правила самонавчання [24], застосування якого дозволяє усунути бічні зв’язки в кожному із шарів спайк-нейронів.
Рис. Загальний вигляд гібридної системи, що самонавчається, на основі спайк-нейронної мережі: 1 - шар фаззифікіції, 2 - підсистема ієрархічної кластеризації, 3 -шар нечіткої кластеризації, 4 - контур адаптивного регулювання кількості спайк-нейронів, - рецепторний нейрон, БК - спайк-нейрон, X - вхідна вибірка, ц(х) -нечітке розбиття вибірки X
Критерій оптимізації, що лежить в основі Геббового правила, співпадає за формою з гіперболічним тангенсом - однієї з найпоширеніших функцій активації штучних нейронних мереж другого покоління, що вказує на спорідненість спайк-нейронних мереж з класичними нейронними мережами.
Вихідний сигнал підсистеми ієрархічної кластеризації надходить на вхід вихідного шару нечіткої кластеризації, який у залежності від поставленої задачі може працювати у ймовірнісному [16] чи можливісному [18] режимі, або у режимі гепереліпсоїдної кластеризації [21, 22], виконуючи або пакетну обробку даних, або адаптивну [19]. Контур адаптивного регулювання кількості спайк-нейронів складається з двох підсистем: підсистеми зменшення кількості спайк-нейронів, що функціонує на основі алфавітних критеріїв оптимізації [21], та підсистеми збільшення кількості спайк-нейронів, що функціонує на основі алгоритму нечіткої можливісної кластеризації [20]. Архітектура та функціонування шарів спайк-нейронів описуються в термінах Лапласового перетворення, зокрема спайк представлено дельта-функцією, синапс спайк-нейрона моделюється аперіодичною ланкою другого порядку з дійсними коренями, сома спайк-нейрона синтезована як релейна система зі зворотнім зв’язком. Такий підхід дозволяє, використовуючи стандартні технічні засоби, конструювати апаратні реалізації запропонованої гібридної системи. Застосовуючи ^^функцію Лямберта, можна дещо спростити використання моделі самонавчальної гібридної системи у програмній реалізації при розв’язанні практичних задач [26], проте це потребує від системи моделювання значних обчислювальних потужностей.
Ефективність застосування самонавчальної фаззі-спайк-нейронної мережі та її складових доводиться їхніми успішними практичними застосуваннями при обробці супутникових зображень поверхні Землі [16 - 18].
Висновки. У роботі вперше синтезовано гібридну систему, що самонавчається, на основі спайк-нейронної мережі у загальному вигляді, яка дозволяє швидко й ефективно виконувати адаптивну ієрархічну кластеризацію чітких або нечітких даних. Архітектура запропонованої гібридної системи викладена з позиції теорії автоматичного керування, що вможливлює конструювання та використання її апаратної реалізації для вирішення реальних технічних проблем. Перспектива подальших досліджень пов’язана із синтезом подібних гібридних систем, що навчаються з учителем.
Список літератури: 1. Engelbrecht A.P. Computational Intelligence. An Introduction.
/ A.P. Engelbrecht. - New York: John Wiley & Sons, 2007. - 597 p. 2. Konar A. Computational Intelligence: Principles, Techniques, and Applications / A. Konar. - Berlin, Heidelberg: Springer, 2005. -708 p. 3. Haykin S. Neural Networks: A Comprehensive Foundation / S. Haykin. - Upper Saddle River: Prentice Hall, 1999. - 842 p. 4. Bezdek J.C. Fuzzy Models and Algorithms for Pattern Recognition and Image Processing / J.C. Bezdek, J. Keller, R. Krishnapuram, N.R. Pal. - New York: Springer, 2005. -776 p. 5. Sato-Ilic M. Innovations in Fuzzy Clustering / M. Sato-Ilic, L.C. Jain. - Berlin, Heidelberg, New York: Springer, 2006. - 152 p. 6. Gerstner W. Spiking Neuron Models / W. Gerstner, W.M. Kistler.
- Cambridge: The Cambridge University Press, 2002. - 400 p. 7. Maass W. Networks of spiking neurons: the third generation of neural network models / W. Maass // Neural Networks. - 1997. - 10. - P. 16591671. 8. Maass W. Pulsed Neural Networks / W. Maass, C.M. Bishop. - Cambridge: The MIT Press, 1998, 408 p. 9. Tsoukalas L.H. Fuzzy and Neural Approaches in Engineering / L.H. Tsoukalas, R.E. Uhrig. - New York: John Wiley & Sons, 1997. - 587 p. 10. Jang J.-Sh. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence / J.-Sh. Jang, Ch.-T. Sun, E. Mizutani. - Upper Saddle River: Prentice Hall, 1997. - 614 p. 11. Hopfield J. Pattern recognition computation using action potential timing for stimulus representation / J. Hopfield // Nature. - 1995. -376. - P. 33-36. 12. Natschlaeger T. Spatial and temporal pattern analysis via spiking neurons / T. Natschlaeger, B. Ruf // Network: Computations in Neural Systems. - 1998. - 9. - P. 319-332. 13. Bohte S.M. Unsupervised clustering with spiking neurons by sparse temporal coding and multi-layer RBF networks / S.M. Bohte, J.S. Kok, H. La Poutre // IEEE Transactions on Neural networks. - 2002. -13. - P. 426-435. 14. Бодянський Є.В. Самонавчальна спайк-нейронна мережа з нечітким виведенням у синапсі на основі центрів за Натчлеґером-Руфом / Є.В. Бодянський, А.І. Долотов // Системний аналіз та інформаційні технології: матеріали X міжнар. наук.-техн. конф., 20-24 травня 2008 р., Київ. - К.: НТУУ "КПІ", 2008. - С. 173. 15. Авдиенко Л.С. Самообучающаяся спайк-нейронная сеть с нечетким выводом в синапсе на основе центров по Горену / Л.С. Авдиенко, А.И. Долотов, И.П. Плисс // Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI'2008): Тези доповідей міжнар. наук. конф., 19-23 травня 2008 р., Євпаторія. - Херсон: ХНТУ, 2008. - Т. 3. - Ч. 1. - С. 11-14. 16. Bodyanskiy Ye. A selflearning spiking neural network for fuzzy clustering task / Ye. Bodyanskiy, A. Dolotov // Sci. Proc. of Riga Technical University: Information Technology and Management Science. - 2008. - 36. - P. 27-33. 17. Bodyanskiy Ye. Image processing using self-learning fuzzy spiking neural network in the presence of overlapping classes / Ye. Bodyanskiy, A. Dolotov // Biennial Baltic Electronics Conf. "BEC 2008": Proc. 11th int. conf., October 6-8, 2008, Tallinn/Laulasmaa. - Tallinn: Tallinn University of Technology, 2008.
- P. 213-216. 18. Bodyanskiy Ye. Fuzzy possibilistic clustering using self-learning spiking neural network / Ye. Bodyanskiy, A. Dolotov, I. Pliss, Ye. Viktorov // Wissenschaftliche Berichte der Hochschule Zittau/Goerlitz. - 2008. - Heft 100. - Nr. 2360-2395. - S. 53-60. 19. Бодянський Є.В. Алгоритм адаптивної можливісної кластеризації на базі спайк-нейронної мережі / Є.В. Бодянський, А.І. Долотов, І.П. Плісс // Теорія прийняття рішень: праці IV міжнар. школи-семінару, 29 вересня -4 жовтня 2008 р., Ужгород. - Ужгород: УжНУ, 2008. - С. 25-26. 20. Долотов А.И. Выявление
новых кластеров на основе спайк-нейронной сети с выходным слоем возможностной кластеризации / А.И. Долотов, Е.В. Бодянский // Математичне та програмне забезпечення інтелектуальних систем: тези доповідей VI міжнар. наук.-практ. конф., 12-14 листопада 2008 р., Дніпропетровськ. - Дніпропетровськ: ДНУ ім. О. Гончара, 2008. - С. 108. 21. Bodyanskiy Ye. Fuzzy spiking neural network and design of experiments alphabetical optimality criteria using in data clustering problem / Ye. Bodyanskiy, A. Dolotov // Intellectual Systems for Decision Making and Problems of Computational Intelligence (ISDMCI'2009): Proc. int. conf., May 18-22, 2009, Yevpatoria. - Kherson: Kherson National Technical University, 2009. - Vol. 2. - P. 154-157. 22. Bodyanskiy Ye. Adaptive Gustafson-Kessel fuzzy clustering algorithm based on self-learning spiking neural network / Ye. Bodyanskiy, A. Dolotov, I. Pliss // Intelligent Information and Engineering Systems. - Rzeszow: Rzeszow University of Technology, 2009. - P. 17-24. 23. Бодянский Е.В. Применение фаззи-рецепторных нейронов в самообучающейся спайк-нейронной сети / Е.В. Бодянский, А.И. Долотов, И.П. Плисс // Автоматизація: проблеми, ідеї, рішення: матеріали міжнар. наук.-техн. конф., 8-12 вересня 2008 р., Севастополь. - Севастополь: СевНТУ, 2008. - С. 12-14. 24. Bodyanskiy Ye.V. Hebbian learning of fuzzy spiking neural network based on 'Winner-Takes-More' rule / Ye. V. Bodyanskiy, A.I. Dolotov // System Analysis and Information Technologies: Proc. the XI int. conf. on sci. and tech, May 26-30, 2009, Kyiv. - Kyiv: ESC "IASA" NTUU "KPI", 2009. - P. 271. 25. Bodyanskiy Ye. Selflearning fuzzy spiking neural network as a nonlinear pulse-position threshold detection dynamic system based on second-order critically damped response units / Ye. Bodyanskiy, A. Dolotov, I. Pliss // Intelligent Processing. - Sofia: Institute of Information Theories and Applications FOI ITHEA, 2009. - P. 63-70. 26. Бодянський Є.В. Аналітичний вигляд залежності моменту збудження спайк-нейрона від вхідних спайків на основі W-функції Ламберта / Є.В. Бодянський, А.І. Долотов, В.І. Долотов, К.О. Чеботарьова // Інформаційні технології та інформаційна безпека в науці, техніці та навчанні: матеріали міжнар. наук.-практ. конф., 7-12 вересня 2009р., Севастополь. - Севастополь: СевНТУ, 2009. - С. 205-206.
Статтю подав д.т.н. проф. ХНУРЕБодянський Є.В.
УДК 004.032.026
Самообучающаяся гибридная система вычислительного интеллекта на основе спайк-нейронной сети / Долотов А. И. // Вестник НТУ "ХПИ". Тематический выпуск: Информатика и моделирование. - Харьков: НТУ "ХПИ". - 2009. - № 43. - С. 62 - 67.
Рассмотрены самообучающиеся гибридные системы вычислительного интеллекта на основе спайк-нейронной сети. Предложена обобщенная архитектура такой системы, позволяющая выполнять иерархическую нечеткую кластеризацию данных. На основе обобщенного правила самообучения Хебба предложен алгоритм обучения гибридной системы. Синтезированная архитектура гибридной системы представлена в терминах преобразования Лапласа. Ил.: 1. Библиогр.: 26 назв.
Ключевые слова: самообучающаяся гибридная система вычислительного интеллекта, спайк-нейронная сеть, правило самообучения Хебба, преобразование Лапласа.
UDC 004.032.026
Self-learning hybrid system of computational intelligence based on spiking neural network / Dolotov A. I. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkiv: NTU "KhPI". - 2009. - №2 43. - P. 62 - 67.
The self-learning hybrid systems of calculable intellect are considered on the basis of spiking neural network. Generalized architecture of such system that allows of hierarchical fuzzy clustering is proposed. Based on the generalized Hebb rule of self-learning, a learning algorithm of the hybrid system is proposed. Synthesized architecture of the hybrid system is stated in terms of the Laplace transform. Figs: 1. Refs: 26 titles.
Key words: self-learning hybrid system of computational intelligence, spiking neural network, the Hebb rule of self-learning, the Laplace transform.
Надійшла до редакції 25.10.2009.
