CC BY
34
УДК 681.3.07
В.Д. ДМИТРИЕНКО, д-р техн. наук, НТУ "ХПИ",
И.П. ХАВИНА, НТУ "ХПИ"
ВЫЧИСЛИТЕЛЬНАЯ СЕТЬ ДЛЯ РЕШЕНИЯ ЗАДАЧ
РАСПОЗНАВАНИЯ С НЕСКОЛЬКИМИ РЕШЕНИЯМИ
Розробляється проблемно-орієнтована дискретна нейронна мережа адаптивної резонансної теорії для розв’язання задач розпізнавання з декількома рішеннями.
The specialized discrete neural network of the adaptive resonant theory for the decision of a problem of identification with several possible decisions is created.
Постановка проблемы и анализ литературы. Системы распознавания на основе нейронных сетей широко применяются для решения разнообразных задач во многих областях науки и техники. Многими авторами они рассматриваются как альтернатива классическим системам распознавания. В настоящее время известен целый ряд нейронных сетей, пригодных для разработки высокоэффективных систем распознавания [1 - 6]. Большой интерес к нейросетевым системам распознавания связан с тем, что они имеют ряд полезных свойств, которых часто трудно добиться с помощью других методов. В частности, речь идет об их универсальности, о возможности построения нейронных сетей под задачу, о возможности обучения на примерах, о самообучении и обобщении, распознавании новой информации, об использовании ассоциаций, о распознавании зашумленных изображений, возможности обработки данных различной природы и т.д. [1 - 8]. В тоже время существуют и определенные проблемы при разработке систем распознавания на основе нейронных сетей. В первую очередь, это связано с особенностью обучения большинства нейронных сетей, которая, за редким исключением, требует наличия всей исходной информации, поскольку обучение новому образу методом обратного распространения ошибки или генетическими алгоритмами, или другими методами требует, как правило, полного переобучения сети. То есть устройства распознавания на основе таких нейронных сетей нельзя (или весьма проблематично) использовать в сложных системах с существенной априорной неопределенностью, где принципиально необходимо обучение в процессе функционирования системы. Проблема стабильности - пластичности, то есть проблема восприятия новой информации при сохранении уже имеющейся, решена в немногих нейронных сетях, к числу которых относятся и дискретные нейронные сети адаптивной резонансной теории АРТ-1 [6 - 10]. Поэтому проблемы распознавания, в частности, режимов функционирования динамических объектов и адаптация системы распознавания в процессе эксплуатации могут решаться на основе нейросетей адаптивной резонансной теории (APT).
Второй недостаток систем распознавания на основе нейронных сетей, в том числе и сетей АРТ, - получение единственного решения даже в тех случаях, когда имеется два или более равноценных решения.
Целью статьи является разработка новой архитектуры и алгоритмов функционирования дискретных нейронных сетей адаптивной резонансной теории, позволяющих определять два или более равноценных решения в задачах распознавания.
Архитектура и алгоритмы функционирования сети АРТ-1.
Архитектура нейронной сети АРТ-1 приведена на рисунке в прямоугольнике, нарисованном пунктирной линией. Основой архитектуры сети являются три слоя нейронов:
- слой чувствительных S'-нейронов, воспринимающих входную информацию в виде черно-белых изображений или бинарных входных векторов;
- слой бинарных интерфейсных Z-нейронов;
- слой распознающих 7-нейронов.
Кроме этого имеются еще три управляющих нейрона: R, Gi и G2.
В любой момент времени нейроны S и Z (i = 1, n), Gi и G2 находятся в одном из двух состояний: 0 или 1.
Нейроны 7-слоя с помощью дополнительной нейронной сети, на рисунке не показанной, образуют слой конкурирующих нейронов. Каждый элемент
Y ■ (j = 1, m) распознающего слоя может находиться в одном из четырех состояний:
- активен, сеть АРТ-1 функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал ивых^
удовлетворяет условию 0 < < 2 и определяется выходными сигналами
Z-элементов;
- активен, ивых^, = 1, нейрон Y.■ является победителем при текущем
j j предъявлении входного изображения;
- неактивен, UBbIx7 = 0, нейрон установлен в начальное состояние или
проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;
- заторможен, С/вых^. =-1, информация, хранящаяся в весах связей
нейрона, не удовлетворяет текущему входному изображению по величине параметра сходства, поэтому нейрон исключен из соревнования.
Все связи нейронной сети АРТ-1 являются возбуждающими, за исключением связей от 7-элементов к нейрону Gi и от интерфейсных Z-элементов к нейрону R, которые передают тормозящие сигналы.
Рис. Архитектура дискретной нейронной сети АРТ для поиска нескольких решений в задачах распознавания
Эта сеть относит предъявленное изображение к одному из запомненных классов только в случае, если оно достаточно похоже на прототип этого класса, то есть на изображение, хранящееся в весах связей нейронной сети. Если такое свойство, установленное с помощью специального параметра сходства между двумя изображениями, имеет место в режиме обучения, то найденный прототип модифицируется, чтобы стать более похожим на предъявленное сети входное изображение. В режиме распознавания -параметры сети не меняются, а только фиксируется класс, к которому относится входное изображение. При отсутствии достаточного сходства между предъявленным изображением и прототипами всех имеющихся
классов, оно запоминается сетью как прототип нового класса. Это возможно благодаря тому, что информация об изображении-прототипе хранится в весах связей одного распознающего Г-нейрона, и сеть имеет значительное число неиспользуемых распознающих нейронов, избыток которых уменьшается по мере поступления новой входной информации. Наличие избыточных распознающих нейронов является принципиальной особенностью сетей APT, поскольку при их отсутствии новые входные изображения просто теряются. Taким образом, локальное хранение информации и наличие избыточных распознающих нейронов позволяет запоминать новую информацию (новые образы), не искажая или теряя уже имеющуюся [8 - 12].
Выход каждого бинарного нейрона S (i = І, n ) входного слоя связан однонаправленной связью с единичным весовым коэффициентом с бинарным нейроном Z{ (i = І, n ) интерфейсного слоя и входами управляющих нейронов R, G1 и G2. Каждый интерфейсный нейрон Z (i = І, n) связан со всеми элементами Yj (J = І, m) распознающего слоя и с управляющим нейроном R. Связи с весовыми коэффициентами Wj (i = І, n; J = І, m), О < W^ < І передают сигналы с выхода каждого Z-элемента на входы каждого Г-нейрона. Бинарные связи с весовыми коэффициентами WJ2 (J = І, m ; i = І, n;) связывают выход
каждого распознающего нейрона с входом каждого интерфейсного нейрона. На входы каждого Z-элемента по связям с единичными весовыми коэффициентами поступает также сигнал с выхода бинарного управляющего нейрона G1. Сигналы с выходов всех Z-элементов по связям с единичными весовыми коэффициентами поступают на входы управляющего нейрона R. Taкими же связями выходы всех распознающих нейронов соединены со входами нейрона G1 , а их входы - с выходами управляющих нейронов G2 и R.
Z- и Г-нейроны получают сигналы из трех источников: Z-нейроны - от управляющего нейрона G1 и от нейронов слоев S и Г; Г-нейроны - от управляющих нейронов G2, R и от Z-нейронов. Z- и Г-элементы переходят в активное состояние по правилу "два из трех", то есть только при наличии сигналов из двух различных источников.
Для обучения дискретных нейронных сетей обычно используется метод быстрого обучения, при котором равновесные веса связей нейронов определяются за одно предъявление входного изображения [6 - В, 11].
Недостаток нейронной сети АРТ-1 поясним с помощью следующего примера.
Пример. Пусть n = В, параметр сходства изображений равен 0,8 (р = 0,8) и в весах связей нейронов Y1 и Y2 после режима быстрого обучения хранятся изображения S1 = (І,І,І,І,О, О, О, І), S2 = (О, І,І,І,І,О, І,О), а веса связей сети
= 1,66З; Ubky3 = ивхy4 = ••• = UBKYm = 0,111- З = 0,ЗЗЗ.
имеют следующие значения: W1 = 1/(1 + n) = 0,111 (i = 1, В; j = 3, m );
W1 = 0,333 (i = 1, 2, 3, 4, В); W1 = 0 (i = З, 6, 7); W2 = 0,333 (i = 2, 3, 4, З, 7);
W2 = 0 (i = 1, 6, В); W]2 = 1 (i = 1, 2, 3, 4, В); Wj2 = 0 (i = З, 6, 7); W22 = 1
(i = 2, 3, 4, З, 7); W22 = 0 (i = 1, 6, 8).
При подаче на вход сети изображения S3 = (1, 1, 1, 1, 0, 0, 1, 0) на входах распознающих нейронов будут следующие сигналы: U^ = U^ = 0,333 - З =
вх Y3 = ивх Y4 = ••• = ивх Ym
В силу алгоритма функционирования сети победителем станет нейрон Y1, при этом параметр сходства p будет иметь значение
P = IIuJ/Is3|| = 4/З = 0,В, где ||ивых^| - норма вектора выходных сигналов
нейронов слоя Z; ||s3|| - норма вектора S3^ Но точно такой же параметр
сходства был бы получен и в случае, если бы нейроном-победителем стал распознающий элемент Y2 •
Taким образом, при предъявлении входного изображения сеть относит это изображение к первому близкому изображению, хранящемуся в весах связей распознающих Г-нейронов, и тем самым определяет принадлежность входного изображения к одному из классов. Остальные возможные варианты решения задачи распознавания теряются.
Для расширения возможностей дискретной нейронной сети APT и получения всех возможных вариантов решения задачи распознавания добавим к базовой архитектуре APT-1 еще один управляющий нейрон R1, инвертирующий выходные сигналы нейрона R, и слой регистрирующих нейронов YJ (J = 1, m) Каждый нейрон YJ связан однонаправленной бинарной связью с соответствующим нейроном Y • Перед началом режима
распознавания нейроны YJ (J = 1, m), как и другие нейроны сети, переводятся в пассивное состояние по цепям связей, не показанным на рисунке. Нейроны
Y1 (J = 1, m) переходят в активное состояние по правилу "два из трех" - при наличии единичных сигналов на выходе нейронов Yj и управляющего нейрона R1 • Единичный сигнал с выхода нейрона Yj по цепи обратной связи фиксирует единичный выходной сигнал элемента Yj и затормаживает нейрон-победитель Yj • После этого в сети начинается поиск нового нейрона-
победителя. Процесс поиска продолжается до тех пор, пока все распознающие распределенные нейроны не окажутся заторможенными. При этом на выходах
нейронов слоя Y1 может не оказаться ни одного единичного сигнала, так как входное изображение не похоже ни на одно из изображений, хранящихся в весах связей сети, либо на выходах Y1 -нейронов может быть один или несколько единичных сигналов, указывающих на принадлежность входного изображения к одному или нескольким классам изображений.
Выводы. Taким образом, разработана новая архитектура и алгоритмы функционирования дискретной нейронной сети адаптивной резонансной теории, позволяющие определять два или более равноценных решения (если они существуют) в задачах распознавания. Перспективой дальнейших исследований является разработка непрерывных нейронных сетей APT, позволяющих определять два или более равноценных решения в задачах распознавания.
Список литературы: l. Хайкин С. Нейронные сети: полный курс. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 2. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. - М.: Горячая линия - Іелеком, 2002. - 94 с. 3. Круглов В.В., Борисов В.В. Искусственные нейронные сети: Іеория и практика. - М.: Іелеком, 2001. - 382 с.
4. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. - М.: Финансы и статистика, 2004. - 176 с. 5. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Іом 2. - М.: Горячая линия - Іелеком, 2004. - 464 с. б. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 7. Дмитриенко В.Д., Расрас Р.Д., Сырой А.М. Специализированное вычислительное устройство для распознавания динамических режимов объектов управления // Інформаційно-керуючі системи на залізничному транспорті. - 2002. - № 1. - С. 15 - 22. S. Моделирование и оптимизация систем управления и контроля локомотивов / Носков В.И., Дмитриенко В.Д., Заполовский Н.И., Леонов С.Ю. - Х.: ХФИ Хранспорт Украины, 2003. - 24В с. 9. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23 - 63. lO. Carpenter G.A., Grossberg
5. A massively parallel architecture for selforganizing neural pattern recognition machine // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 - 115. ll. Дмитриенко В.Д., Корсунов Н.И. Основы теории нейронных сетей. - Белгород: БИИММAП, 2001. - 159 с. l2. Дмитриенко В.Д., Носков В.И., Хавина И.П. Aлгоpитмы обучения дискретных сетей APT без адаптации весов связей распределенных распознающих нейронов // Вестник ШУ "ХПИ". - 2006.-№> 23. - С. 35 - 48.
Поступила в редакцию 16.03.2007
