CC BY
84
УДК 621.391
В.Д. ДМИТРИЕНКО, д-р техн. наук,
А.Ю. ЗАКОВОРОТНЫЙ, НТУ “ХПИ”,
М.В. ЛИПЧАНСКИЙ, НТУ “ХПИ”
ДВУНАПРАВЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ НА ОСНОВЕ
НЕЙРОННЫХ СЕТЕЙ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ
Розроблено нову дискретну нейронну мережу адаптивної резонансної теорії, що володіє властивостями двунаправленої асоціативної пам'яті. Нова мережа дозволяє вибирати з пам'яті асоціації не тільки для окремих зображень, але й для класів зображень. При цьому запропонована мережа не має недоліків двунаправленої асоціативної пам'яті, у якої запам'ятовування нової інформації вимагає повного перенавчання мережі.
The new discrete neuron network of adaptive resonance theory, possessing properties of bidirectional annex storage, is developed. A new network allows restoring from memory of association not only for the separate images but also for the classes of images. The thus offered network does not have the lacks of bidirectional annex storage at which memorizing of new information requires complete teaching of network.
Постановка проблемы и анализ литературы. Управление сложными техническими объектами невозможно без ассоциаций, для запоминания которых в настоящее время все чаще используются ассоциативные нейронные сети [1 - 4]. Если информация об управляемом объекте достаточно полна, то для запоминания ассоциаций могут использоваться непрерывные и дискретные сети прямого распространения [3, 4], непрерывные и дискретные сети, получившие название двунаправленной ассоциативной памяти [1 - 4] и нейросетевая ассоциативная память СМАС [5]. Однако при разработке новых систем управления информация об объектах далека от полноты и может уточняться в процессе их функционирования. Необходимость уточнения в процессе эксплуатации имеющейся информации или запоминание новой существенно затрудняет применение в системах управления известных ассоциативных нейронных сетей, поскольку запоминание новых ассоциаций требует полного и часто весьма трудоемкого переобучения этих сетей [3, 4]. Кроме того, эти нейронные сети не в состоянии отделить новые образы от искаженных или зашумленных известных образов.
Невозможность решить проблему чувствительности (пластичности) к новой информации при сохранении (стабильности) уже имеющейся информации характерно и для большинства других известных нейронных сетей. Это привело к разработке принципиально нового типа нейронных сетей - сетей адаптивной резонансной теории [3 - 7]. Эти сети в известной мере решают проблему пластичности - стабильности.
Нейронные сети адаптивной резонансной теории (АРТ) относят входное изображение к одному из известных классов изображений, если оно в
достаточной степени подобно или резонирует с прототипом этого класса. Если найденный прототип с определенной точностью, задаваемой специальным параметром сходства, соответствует входному изображению, то в режиме обучения он модифицируется, чтобы стать более похожим на предъявленное изображение, а в режиме распознавания остается в активном состоянии соответствующий распознающий нейрон. Когда входное изображение недостаточно подобно ни одному из имеющихся прототипов, то на его основе и в режиме обучения, и в режиме распознавания создается прототип нового класса. Это возможно благодаря наличию в сети большого числа избыточных нейронов, которые не используются до тех пор, пока в этом нет необходимости (если избыточных нейронов нет, то входное изображение не вызывает реакции сети). Таким образом, новые образы могут запоминаться сетью без искажения уже запомненной ранее информации.
В настоящее время разработан целый ряд нейронных сетей адаптивной резонансной теории [3 - 13], однако отсутствуют нейронные сети АРТ со свойствами двунаправленной ассоциативной памяти.
Целью статьи является разработка дискретной нейронной сети адаптивной резонансной теории, обладающей свойствами двунаправленной ассоциативной памяти.
Основной раздел. Двунаправленная ассоциативная память, построенная на основе нейронных сетей АРТ, состоит из двух параллельно работающих модулей, каждый из которых представляет собой дискретную нейронную сеть АРТ-1 (рис. 1).
Базовая архитектура сети АРТ-1 (рис. 1) состоит из входного слоя S-элементов, который принимает изображения и передает полученную информацию нейронам интерфейсного Z-слоя и управляющим нейронам G1, G2 и R. Элементы интерфейсного слоя Zi (i = 1,...,n) связаны с элементами Yj (j = 1,...,m) распознающего слоя взвешенными связями с весами Wj и Wj'2-Слой Y является слоем соревнующихся нейронов, в котором каждый элемент Yj (j = 1, ...,m) может находиться в одном из трех состояний: активном, неактивном, заторможенном. В результате распознавания входного изображения активным остается только один нейрон распознающего слоя. Элементы Gi и G2 используются для обеспечения управления нейронами Z- и Y-слоев. С помощью нейрона R определяется параметр сходства и затормаживаются нейроны Y-слоя [4, 8, 9].
Нейронная сеть АРТ-1 (рис. 1) ориентирована на работу с бинарными изображениями. Все веса связей нейронов являются бинарными за исключением весов связей W1 между интерфейсными Z и распознающими Y-
нейронами. Связи от входного слоя S-нейронов к нейронам R, G1, G2 и Z-слоя, а также от нейронов G1, G2 и R к нейронам слоев Z и Y являются возбуждающими, а сигналы, которые передаются от интерфейсных
2-нейронов к ^-нейрону и от распознающих 7-нейронов к нейрону 0\ являются тормозящими.
Каждый элемент в интерфейсном и распознающем слое имеет по три источника входных сигналов, например, произвольный нейрон 7-слоя получает сигналы от ^-нейрона, от элементов 2-слоя и от нейрона 02. Выходной сигнал нейрона интерфейсного или распознающего слоя определяется по “правилу два из трех”, то есть для перевода нейрона в активное состояние требуется наличие на его входах возбуждающих сигналов минимум из двух различных источников.
Рис. 1. Архитектура нейронной сети АРТ-1
Новая нейронная сеть, приведенная на рис. 2, разработана на основе дискретных нейронных сетей АРТ-1 и обладает свойствами двунаправленной ассоциативной памяти.
197
Рис. 2. Двунаправленная ассоциативная память на основе нейронных сетей АРТ-1
Архитектуру сети, кроме двух модулей на основе нейронных сетей АРТ-1, определяет слой промежуточных нейронов р (1 = 3, ...,т), который
связывает два модуля сети, и два дополнительных управляющих нейрона О3 и
01. На этапе обучения первый и второй модули новой нейронной сети будут запоминать пары ассоциативных изображений. При этом, на ряду с установлением значений весов связей внутри каждого из модулей, будут устанавливаться и матрицы весовых коэффициентов промежуточного слоя нейронов ^ = \,...,т), который связывает два модуля нейронной сети. На
основе этих весовых коэффициентов будет осуществляться ассоциативная связь между запомненными изображениями двух модулей. Процесс обучения новой нейронной сети считается законченным, когда по окончанию очередной эпохи обучения отсутствуют изменения весовых коэффициентов:
V'2 (г = 3, ...,п; j = 3,...,т;I = 3,...,к) - соответственно весов связей от
элементов интерфейсного слоя к элементам распознающего слоя и весов связей от элементов распознающего слоя к элементам интерфейсного слоя, первого и второго модуля нейронной сети. Матрицы весов связей между элементами распознающих слоев двух модулей нейронной сети и элементами промежуточного слоя на условие останова обучения не влияют.
В режиме распознавания входных изображений и определения им ассоциативных изображений п- или ^-мерные входные вектора могут подаваться соответственно на входы ^ - или Б? -элементов первого или второго модуля новой нейронной сети. При работе нейронной сети не предполагается подача изображений на оба поля входных элементов одновременно. Нейрон-победитель любого из модулей определяется в результате соревнования нейронов распознающего слоя, при этом его вектор весовых коэффициентов в соответствии с заданным значением параметра сходства должен соответствовать входному изображению. Нейрон-победитель другого модуля определяется не в результате соревнования нейронов распознающего слоя, а активизируется с помощью нейрона 03 нейроном-победителем первого модуля, через связи элементов Р-слоя. Этот нейрон-победитель с помощью нисходящих связей и управляющего нейрона 03, переведенного в активное состояние нейроном О, восстановит в слое 2-
элементов хранящееся в его памяти изображение. Это изображение повторится и на слое ^-элементов и поступит на выходы модуля. Таким образом, произойдет выбор изображения ассоциативного входному изображению, подаваемому на вход другого модуля нейронной сети.
Алгоритм обучения двунаправленной ассоциативной памяти построенной на основе нейронных сетей АРТ-1:
В алгоритме приняты следующие обозначения: т - максимальное число пар ассоциативных изображений; п - число бинарных компонент во входном векторе первого модуля; к - число бинарных компонент во входном векторе второго модуля;
Ь - константа, превосходящая единицу, рекомендуемое значение: Ь = 2; р1, р2 - параметры сходства между входным вектором и вектором, хранящемся в весах связей победившего нейрона, соответственно первого и второго модуля; диапазон допустимых значений параметров: 0 < р1, р2 < 1; q - число пар запоминаемых ассоциативных изображений;
3 (г = 3,...,п;j = 3, ...,т; I = 3,...,к) - веса связей от элементов
интерфейсного слоя к элементам распознающего слоя соответственно первого и второго модуля; диапазон допустимых начальных значений:
0 < Щ <------3---, 0 < <-----3---; рекомендуемое начальное значение при
г Ь - 3 + п 1 Ь - 3 + к
обучении: Щ = —^, Ц = -3- ;
г 3 + п 1 3 + к
’ У# - веса связей от элементов распознающего слоя к элементам
интерфейсного слоя соответственно первого и второго модуля; рекомендуемое начальное значение при обучении: = 3
(г = 3,...,п; j = 3,...,т;I = 3,...,к);
и 73, и (] = 3, ...,т) - выходные сигналы распознающих
элементов соответственно первого и второго модуля нейронной сети;
и 3,и 2 (г = 3,...,п;I = 3,...,к) - выходные сигналы элементов 5-
вых. Б3 вых. Б!
слоя соответственно первого и второго модуля нейронной сети;
и 3, и 2 (г = 3,...,п;I = 3, ...,к) - входные сигналы элементов
вх.2г вх.2!
интерфейсного слоя соответственно первого и второго модуля нейронной сети;
и 3, и 2 (г = 3, ...,п;I = 3, ...,к) - выходные сигналы элементов
вых.23 въъх.2^
интерфейсного слоя соответственно первого и второго модуля нейронной сети;
(Б3,Б3),(^,^2), ...,($3,$2) - пары запоминаемых соответственно первого и второго модуля сети ассоциативных изображений;
Б} = (Б^3,...,Б1п), Б2 = (Б^,...,БГк), г = 3,...,ц - бинарные входные вектора г-й пары ассоциативных изображений соответственно для первого и второго модуля нейронной сети;
X - норма вектора X;
Р У = 1,...,т) - нейроны промежуточного слоя, которые связывают два модуля ассоциативной нейронной сети;
Н1, (/ = 1,..., т; t = 1,..., т) - веса связей от элементов
распознающего слоя к элементам промежуточного слоя соответственно первого и второго модуля нейронной сети;
Н^, О (/ = 1, ...,т; t = 1, ...,т) - веса связей от элементов
промежуточного слоя к элементам распознающего слоя соответственно
первого и второго модуля нейронной сети.
Алгоритм обучения новой нейронной сети, предполагает выполнение следующих шагов:
Шаг 1. Инициируются параметры Ь, р\, р2 и веса связей Wj, Уу и
(/' = 1,...,п;]' = 1,...,т;I = 1,...,к) .
Шаг 2. Задаются нулевые выходные сигналы всех распознающих элементов обоих модулей нейронной сети:
и 1 = 0 ; и 2 = 0 ; / = 1,...,т.
вЫX.Yj вЫХ.У^у
Шаг 3. Для каждой пары входных изображений Б] = (Б]1,..,Б]п),
Гк)
Б? = (Б^,...,Б^), г = 1,...,д выполняются шаги 4 - 13.
Шаг 4. Входными векторами Б] и Б^ определяются выходные сигналы элементов Б] и Б2 входных слоев обоих модулей:
и , = Б], ; и 2 = БІ, і = 1,... ,п;I = 1, ...,к,
вых. Б] гі ’ вых. Б2 г1’ ’ ’ ’ ’ ’
Шаг 5. Вычисляются нормы векторов выходных сигналов нейронов входного слоя обоих модулей:
к
и Л = У и 1 ; и 2 = У и
II вых.Б || выхБ,- || въыс.Б || въы, Б
і=1 1=1
2 II = / У ?2.
Шаг 6. Формируются входные и выходные сигналы элементов интерфейсных слоёв первого и второго модуля нейронной сети:
и 1 = и 1; и 2 = и 2 ; i = 1,...,п;I = 1,...,к;
вх.21 вых.БI вх.21 вых.Б^
и ; = и , ; и 2 = и 2 ; г = = 1,...,к.
вых.21 вх.2г вых.2[ вх.2^
Шаг 7. Для каждого незаторможенного распознающего 7-нейрона первого и второго модуля нейронной сети, рассчитываются его выходные сигналы:
и 1 = '^Г^)и 1 , если и 1 Ф—1, ] = 1, ...,т ;
выхУ 1 1 вЫХ. 2; выхУ ]
] ¿=; 1 ]
к
и 2 = Уу1и 2 , если и 2 Ф — 1, ] = 1,....т .
выхУ ,• 1 вых.2, выхУ
] ]= 1 ]
Шаг 8. Пока не найдены нейроны-победители обоих модулей, весовые вектора которых в соответствии с заданными значениями параметров сходства
р\ и р2 соответствуют входным векторам Б) и Хг2, выполняются шаги 9 - 12 (для обоих или одного из модулей).
Шаг 9. В 7-слоях обоих модулей определяются нейроны УА и
Лт2
132, удовлетворяющие условию:
и 1 >и 1 , и 2 >и 2, 1 = 1...,т .
выхУл выхУj выхУу 2 выхУу
Если таких элементов несколько, то выбирается элемент с
наименьшим индексом. Если и ; = — 1 или (и) и 2 = — 1, то
выхУл выхУJ 2
все элементы одного из модулей (обоих модулей) заторможены и одно (оба) входные изображения не могут быть запомнены.
Шаг 10. Рассчитываются выходные сигналы элементов интерфейсного слоя 2) (г = 1, ...,п) и 2/ (I = 1, ...,к) соответственно первого и второго модуля нейронной сети:
и ; = и Ж1,, г = 1,... ,п;
вых.21 вых.Б1 1
и 2 = и 2У%,, I = 1,...,к.
вых.2! вых.Б^ 2>
Шаг 11. В обоих модулях вычисляются нормы векторов выходных сигналов нейронов интерфейсного слоя:
п
\\и ! =Уи ; ;
|| вых.2 || вых.2^
1=1
и Л=Т.и
вых.А в1
I=1
Шаг 12. Проверяется по параметрам сходства р1 и р2
правильность выбора нейронов-победителей 2 и ^
соответственно первого и второго модуля нейронной сети. Если
р =
и
и
< р, то условие не выполняется,
элемент у)1
вы1х£
затормаживается: и
= -1; осуществляется переход к шагу 8
алгоритма. Если р > р1, то условие, подтверждающее правильность выбора нейрона-победителя У}г первого модуля выполняется и осуществляется переход к следующему шагу алгоритма. При этом нейрону-победителю присваивается единичное значение выходного сигнала и^у1 = 1, а все остальные нейроны, распознающего слоя
первого модуля, переводятся в неактивное состояние: и 1 = 0 ,
вы^^х.У^^
] = 1,...,т , ] ФЛ1 .
Аналогичным образам проводится проверка правельности выбора нейрона-победителя второго модуля нейронной сети.
Шаг 13. Адаптируются веса связей элементов У]г и У^2:
2
ьи ,
ЩГ1 __ вЫхА!
ьи
ь -1 + и 71 вЫ1Х.2г
^2 =и выж.2
Л
ь-1 +
вых.2,
и
г = 1, ...,п; I = 1,...,к;
г = 1, ...,п; I = 1, ...,к.
2
2
Шаг 14. Проверяется условие окончания обучения обоих модулей сети, если они не выполняются, то продолжается обучение одного или обоих модулей сети, в противном случае осуществляется переход на следующий шаг алгоритма с целью определения весов связей нейронов Р-слоя.
Шаг 15. Для каждой пары входных изображений (Б1, Б?), г = 1,...& выполняются шаги 16 - 18.
Шаг 16. Входными изображениями Б]., Б2, подаваемыми соответственно на входы первого и второго модуля нейронной сети,
определяются нейроны-победители YJJr , Y^2r первого и второго модуля сети.
Шаг 17. Определяются веса связей между нейроном-
победителем Y)lr и элементами Р-слоя:
HJ1r, J1r = HJ1r, J1r = 1 ;
HJ1r,j = HJ1r,j = 0 , J = , J Ф J1r-
Шаг 18. Определяются веса связей между нейроном-
победителем Yj2r и элементами Р-слоя:
QJJr, J 2r = QJ 2r, J1r = 1;
QJ1r,k = Qj2r, j = 0 , k, J = J ■■■,m ; k Ф J2r, J Ф JJr-
Шаг 19. Останов.
Алгоритм работы новой нейронной сети в режиме определения
ассоциативных изображений, предполагает выполнение следующих шагов: Шаг 1. Инициируются параметры L, p1, р2 и веса связей
wJ, Wl, vJ, vjt, hJt, hJ, f Q (i = J■■■n; j = 1 ■■■m;i = j...,k;t = j ...m).
Шаг 2. На вход любого из модулей сети подается входное изображение.
Допустим, что входное изображение SJ подается на вход первого модуля сети. Тогда аналогичным образом, как и в алгоритме обучения, определяется нейрон-победитель YJJr первого модуля сети.
Шаг 3. Определяется нейрон-победитель Yj2r второго модуля нейронной сети. Он выделяется не в результате соревнования между распознающими элементами второго модуля, а единичным сигналом элемента PJ1r, который, в
свою очередь, в активное состояние переводится нейроном-победителем YJJr : U 2 = 1, U 2 = 0, j = 1, ■■■m, j Ф J2r.
6blX.Yj2r 6blX.Yj
При этом выходному сигналу нейрона-победителя YJ2r присваивается единичное значение U 2 = 1, а все остальные нейроны, распознающего
6blX.Y jrs
слоя второго модуля, переводятся в неактивное состояние: и 2 = 0,
вЫЫХ.У'у
У = 1,...,т ,у Ф22 .
Шаг 4. Рассчитываются выходные сигналы элементов интерфейсного слоя 2^ (I = 1,...,к) второго модуля нейронной сети:
и 2 = У?2г!, I = 1, ...,к.
вых.22 2 2г’ ’
Шаг 5. Формируются входные и выходные сигналы элементов входного слоя (I = 1,...,к), второго модуля нейронной сети:
и 2 = и 2, I = 1,...,к,
вх.Б1 выых.21
и 2 = и 2, I = 1,...,к.
вЫ1х.Б[ вх.Б[
Полученное на выходе второго модуля изображение = (Б^,...,Б^к),
является ассоциацией изображению 5^ = (5^,...,Б\п) (г = 1,...,ц), которое подается на элементы входного слоя первого модуля нейронной сети.
Шаг 6. Останов.
В предложенную архитектуру нейронной сети вместо модулей на основе нейронных сетей АРТ-1 можно включить модули (один или два) на основе нейронных сетей АРТ-1У, позволяющих запоминать классы изображений. Такая архитектура сети дает возможность работать с классами изображений, что может эффективно использоваться при разработке систем управления и диагностики динамических объектов.
Математическое моделирование архитектуры и алгоритмов
функционирования двунаправленной ассоциативной памяти построенной на основе дискретных нейронных сетей адаптивной резонансной теории при выборе ассоциаций для различных режимов функционирования динамических объектов подтвердили работоспособность предложенной нейронной сети.
Следующим шагом в развитии разработанного метода, является реализация архитектуры и алгоритмов функционирования двунаправленной ассоциативной памяти построенной на основе непрерывных нейронных сетей адаптивной резонансной теории (АРТ-2).
Выводы. Таким образом, на основе дискретных нейронных сетей адаптивной резонансной теории разработана новая двунаправленная ассоциативная память, способная в отличии от известных нейронных сетей запоминать новую информацию без переобучения нейронной сети.
Список литературы: 1. Оссовский С. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2002. - 344 с. 2. Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. - Харьков: ТЕЛЕТЕХ, 2002. - 317 с. 3. Круглов В.В., БорисовВ.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. - 382 с. 4. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall Int., Inc., 1994. - 461 p. 5. Руденко О.Г., Кессонов А.А. Нейросетевая сеть СМАС и ее применение в задачах идентификации и управления динамическими объектами // Кибернетика и системный анализ. - 2005. № 5. - С. 16 - 28. 6. Carpenter G.A., Grossberg S. A. massively parallel architecture for self-organising neural pattern recognition machne // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 -115. 7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23 - 63. 8. Дмитриенко В.Д., Расрас Р.Д., Сырой А.М. Специализированное вычислительное устройство для распознавания динамических режимов объектов управления // Інформаційно-керуючі системи на залізничному транспорті. - 2002. - № 1. - С. 15 - 22. 9. Дмитриенко В.Д., Корсунов Н.И. Основы теории нейронных сетей. - Белгород: БИИММАП, 2001. - 159 с. 10. Костылев А.В., Мезеушева Д.В. Опыт разработки систем управления на основе нейронных сетей для асинхронных электроприводов // Электротехника. -2004. - № 9. - С. 39 - 42. 11. Ланкин Ю.П. Самоадаптирующиеся нейронные сети./ Препринт ТО № 3. - Красноярск: Институт биофизики СО РАН, Теоротдел, 1997. - 21 с. 12. Ланкин Ю.П. Адаптивные сети с самостоятельной адаптацией./ Препринт ТО № 4. - Красноярск: Институт биофизики СО РАН, Теоротдел, 1998. - 17 с. 13. Басканова Т.Ф., Ланкин Ю.П. Алгоритмы самостоятельной адаптации для нейронных сетей./ Препринт ТО № 5. - Красноярск: Институт биофизики СО РАН, Теоротдел, 1998. - 14 с.
Поступила в редакцию 25.10.2005
