Ассоциативная нейронная сеть арт Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.383.8.032.26

АССОЦИАТИВНАЯ НЕЙРОННАЯ СЕТЬ АРТ

Национальный технический университет «Харьковский политехнический институт»

В.Д. ДМИTPИEHКО А.Ю.ЗАКОBОPОTHЫЙ ВАБРЕЧ^

Разработана новая нейронная сеть адаптивной резонансной теории, которая реализует принципы ассоциативной памяти с возможностью восстановления по входной информации множества ассоциативных друг другу и входным данным изображений. Новая нейронная сеть обладает свойствами дообучения, стабильного и компактного хранения запомненной ранее информации, что позволяет эту сеть использовать для разработки специализированных баз знаний, использующих ассоциативную информацию.

e-mail:

[email protected]

Ключевые слова: нейронная сеть адаптивной резонансной теории, ассоциативная память.

Постановка проблемы и анализ литературы. Для решения задач нахождения ассоциативных образов в настоящее время существует множество разнообразных методов и алгоритмов. В связи с этим в теории искусственного интеллекта предпринимаются попытки создания универсальных подходов, позволяющих решать широкие классы задач поиска и запоминания ассоциативной информации. Один из таких подходов связан с использованием искусственных нейронных сетей. Их эффективное применение для решения различных задач во многом основывается на том, что традиционные трудности решения разнообразных задач облегчены применением универсальных алгоритмов обучения нейронных сетей на обучающих выборках.

Многие нейронные сети можно рассматривать как ассоциативную память, в которой входные изображения порождают ассоциации на выходе. Обычный перцептрон, реализующий отображение У = f (x ) , где уk = (У 1, у2 ,..., У 1) - выходной вектор нейронной сети для k-го входного вектора сети x = (xi , x2, ..., xn ) , k = 1, Р , где p - число пар векторов (x , y ) ,

k г- nn k пт

x ^ R , y ^ R , также может рассматриваться как однонаправленная ассоциативная память.

Известная нейронная сеть - двунаправленная ассоциативная память, в которой не только входное изображение вызывает появление ассоциативного изображения, но и это выходное изображение может вызывать появление ассоциативного изображения на выходе. Однако в настоящее время не известны нейронные сети, где входное изображение вызывает появление нескольких ассоциативных изображений, которые ассоциативны между собой.

Если информация об ассоциациях достаточно полна, то для создания ассоциативных систем может использоваться значительное число различных нейронных сетей. Однако при разработке систем для реальных технических объектов разработчики сталкиваются с тем, что информация об объекте далека от полноты и будет уточняться в процессе функционирования объекта. Это резко сужает круг сетей-кандидатов, которые целесообразно использовать в подобных системах, поскольку во многих сетях обучение новой ассоциации в общем случае требует полного переобучения сети [1-4]. Невозможность с помощью указанных нейронных сетей решить проблему чувствительности (пластичности) к новой информации при сохранении (стабильности) имеющейся информации привели к разработке принципиально новых конфигураций нейронных сетей на основе адаптивной резонансной теории (АРТ) [5].

Нейронные сети АРТ относят входное изображение к одному из известных классов, если оно в достаточной степени похоже на прототип этого класса. Если найденный прототип соответствует входному изображению с заданной точностью, то он модифицируется, чтобы стать более похожим на предъявленное изображение. Если входное изображение сети АРТ не похоже в достаточной степени ни на одно из изображений, хранящихся в весах связей нейронной сети, то на его основе создается новый класс. Это возможно благодаря наличию в сети избыточных нейронов, которые не используются до тех пор, пока в этом нет необходимости (если избыточных нейронов нет и входное изображение не относится ни к одному из известных классов, то оно не вызывает реакции сети). Таким образом, нейронные сети АРТ могут запоминать новую информацию без искажения имеющейся информации или переобучения сети. Это свойство нейронных сетей АРТ можно использовать и для запоминания новых ассоциаций.

Цель доклада. Разработка памяти на основе нейронных сетей АРТ с возможностью восстановления по входной информации множества ассоциативных друг другу и входным данным изображений, которые представлены в виде векторов с дискретными составляющими.

Основные результаты. Новая самообучающаяся ассоциативная память (рисунок 1) состоит из X модулей, каждый из которых представляет собой дискретную нейронную сеть АРТ-1 [5]. Нейросетевая память включает в себя слои интерфейсных элементов 1 -1 /• ^ ^ jj,. ^ ^ -£\

' ,. ^ 1 , e ( , ..., ; , ..., ; , ..., f ) , нейроны которых связаны с соответствующими

St\..., Sf 1, Sf (i = 1, ..., n; l = 1, ..., k; e = 1, ..., f ) й

им элементами сенсорных слоев i ’’l ’ e v > > j >, парами бинарных двунаправленных связей, слои распознающих элементов

Y■,..., Y , Y ( j = 1 m' g = 1 m' e = 1 m)

j g e , нейроны которых связаны с каждым из элементов в соответствующих им интерфейсных слоях

^ 1 -1 /• \ ft' I 1 k,' 1

i ,. ^ l , e ( , ..., ; , ..., ; , ..., f ) парами двунаправленных взвешенных связей с

непрерывными весовыми коэффициентами.

Модуль X

Рис. 1. Самообучающаяся нейросетевая память для хранения множественных ассоциаций

Архитектура нейросетевой ассоциативной памяти содержит также слой промежуточных

Р Ш = 1, т) „ „

нейронов а , который связывает все X модулей нейронной сети парами двунаправлен-

г^Х-1 /-1Х-1 /—<Х /-1Х /-*1 /^ X-1 /-1Х

ц, ц, ..., ц , ц , ц , ц9, ц, ц , ц

ных взвешенных связей, управляющие нейроны 1 2 1 ’ 2 ’ 1 2 3 3 ’ 3

К1 КХ-1 КХ

и решающие нейроны ,.^ , , которые связаны возбуждающими и тормозящими связями со

всеми элементами сенсорных

SiV.^ Six-1, SeX (i = 1, ..., n; l = 1, ..., k; e = 1, ..., f )

интерфейсных

2) ,..- ^-1 , ^Х О' = 1, . ., п; I = 1, ..., к; е = 1, ..., /)

и распознающих слоев

7у ,. ., К-1 , 7еХ и = 1 ..., т; # = 1, ..., т; е = 1, ..., т)

я ’*е („/ 1, ..., т; ё ассоциативной нейронной сети.

Самообучающаяся ассоциативная память может работать в трех основных режимах: режим № 1 - обучения ассоциативной памяти; режим № 2 - распознавание входного изображения и определение ассоциативных ему изображений в памяти нейронной сети; режим № 3 - по входным

С ,й = 1, т ч

данным, подаваемым на входы а ( ’ ), одновременное восстановление из памяти нейрон-

ной сети множества ассоциативных друг другу изображений.

Режим № 1 используется для обучения нейронной сети множеству ассоциативных друг другу изображений. Режим № 2 используется для распознавания изображения поданного на входы любого из X модулей нейронной сети и восстановления из памяти нейронной сети всех ассоциативных ему векторов (изображений). Данный режим не предполагает одновременную подачу входных изображений на несколько модулей ассоциативной нейронной сети. Режим № 3 используется для одновременного восстановления из памяти нейронной сети по данным, поступающим

Cd

на входы d

( d = 1, m ), множества ассоциативных друг другу изображений.

Выводы.Таким образом, разработана память на основе нейронных сетей АРТ обладающая возможностью восстановления из памяти нейронной сети по входной информации множества ас- социативных друг другу и входным данным изображений, которые представлены в виде векторов с дискретными составляющими. Ассоциативная память обладает также свойством компактного хра- нения информации, дообучения и стабильного хранения при этом запомненной ранее информа- ции, что позволяет эту сеть использовать для разработки баз знаний, использующих ассоциатив- ную информацию.

Литерату

Ра

1. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектура,

обучение,

применения. - Харьков: ТЕЛЕТЕХ, 2004. - 372 с.

2. Буш Г.Я. Основы эвристики для изобретателей. Ч. 1, 2. - Рига: Знание, 1977- - 95 с.

3. Оссовский С. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2002.

-344 с.

4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. -382 с.

5. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive

Science. - 1987. - Vol. 11. - P. 23 - 63.

ASSOCIATION NEURAL NETWORK ART

V.D. DMITRIENKO A.YU. ZAKOVOROTNYI V.A.BRECHKO

National Technical University «Kharkiv Polytechnic Institute»

e-mail:

[email protected]

The new neural network of adaptive resonant theory that realizes the principles of annex storage with possibility of renewal great number associative to each other and input images data using input information is designed. The new neural network possesses properties of finish learning, stable and compact storage of the information memorized before. These properties allow using this network for the development of the specialized knowledge bases using which use associative infor- mation.

Keywords: neural network of adaptive resonant theory, annex storage.