CC BY
29
УДК 681.513
В.Д. ДМИТРИЕНКО, д-р техн. наук, HTy "ХПИ",
И.П. ХАВИНА, HTy "ХПИ"
СПЕЦИАЛИЗИРОВАННОЕ ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО
ДЛЯ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ
Pозроблена дискретна нейрона мережа адаптивної резонансної теорії, що дозволяє урахувати схожість чорно-білих зображень за усіма елементами зображень та визначати два або більш рівноцінних рішень у задачах розпізнавання.
The discrete neural network of the adaptive resonant theory was developed, allowing to define similarity of black-and-white images on all elements of images and to allocate two or more equivalent decisions in problems of recognition.
Постановка проблемы и анализ литературы. Нейронные сети успешно применяются для решения разнообразных сложных задач, в том числе, и задач распознавания. Известен целый ряд нейронных сетей, которые могут эффективно применяться при разработке различных систем распознавания при наличии полной информации о распознаваемых изображениях [1 - 6]. Tребование полноты исходной информации связано с тем, что большинство нейронных сетей не обладают свойством пластичности и стабильности (т.е. способностью воспринимать новую информацию без искажения или потери уже имеющейся) [6]. Поэтому системы распознавания на основе большинства нейронных сетей нельзя дообучить распознаванию даже одного нового класса изображений, а необходимо выполнить полное переобучение сети. Очевидно, что системы распознавания на основе таких нейронных сетей весьма проблематично использовать в реальных системах управления с существенной априорной неопределенности. Кроме того, такие системы распознавания, как правило, не могут выделять новую информацию, и любое входное изображение относят к одному из уже известных классов. Проблемы стабильности - пластичности и обнаружения новой информации решены в немногих нейронных сетях, к которым относятся и нейронные сети адаптивной резонансной теории (APT) [6 - 8]. Появление нейронных сетей APT существенно расширило возможности создания эффективных систем распознавания для работы в условиях, когда необходимо оперативно выделять и запоминать новую информацию. Однако и нейронные сети APT обладают недостатками. В частности, дискретная нейронная сеть APT-1, запоминающая и распознающая черно-белые изображения, при оценке сходства входного изображения и изображения, хранящегося в весах связей сети, использует только черные элементы изображений. Это накладывает заметные ограничения на область применения. Еще один недостаток систем распознавания на основе нейронных сетей APT-1 связан с тем, что эти сети
выдают единственное решение даже в случаях, когда имеется два или более равноценных решения.
Цель статьи - разработка новой архитектуры и алгоритмов функционирования дискретных нейронных сетей АРТ, определяющих сходство изображений по всем элементам черно -белых изображений и позволяющих определять два или более равноценных решения в задачах распознавания.
Архитектура и алгоритмы функционирования новой дискретной нейронной сети. Архитектура новой сети, обозначенной АРТ-lh, приведена на рис. 1. Ее основу составляют два модуля Мх и М2 (показано пунктиром), являющихся дискретными нейронными сетями АРТ-1 (рис. 2), архитектура и алгоритмы функционирования которых детально описаны в работе [8]. Каждый из модулей имеет три слоя нейронов:
- входной слой чувствительных S'-нейронов, воспринимающих бинарные входные векторы (или черно-белые изображения, где черное кодируется единицами, а белое - нулями);
- Z-слой интерфейсных бинарных нейронов;
- 7-слой распознающих нейронов.
Каждый модуль нейронной сети АРТ-lh имеет также по три управляющих нейрона R, Gi, G2. Будем кодировать нейроны и сигналы в модуле Mj верхним индексом "1", а в модуле М2 - верхним индексом "2". Сеть имеет также слой U выходных нейронов Ui, ..., Ud (d > m) и три управляющих нейрона G3, G4 и R2.
Нейроны Sp , Zp, Gf , Gp (p = 1, 2; i = 1, n), Uq (q = 1, d) , G3 , G4 и R2 в любой момент времени находятся в одном из двух состояний: 0 или 1.
Нейроны я} и R2 имеют по два выхода:
- бинарный выход (первый выход нейронов), единичный сигнал с которого затормаживает нейрон-победитель Yj своего модуля, если входное изображение и изображение, хранящееся в весах связей нейрона-победителя, не подходят к друг другу по параметру сходства (см. рис. 2);
- непрерывный выход, с помощью которого значение параметра сходства соответствующего модуля передается на вход нейрона R2.
Нейрон R2 имеет два бинарных выхода, возбуждающий сигнал с первого выхода поступает на входы нейронов U-слоя, если входное изображение и изображение, хранящееся в модуле нейронной сети, похожи по параметру сходства. В противном случае тормозящий сигнал со второго бинарного выхода нейрона затормаживает нейроны-победители в 7-слоях обоих модулей сети.
Рис. 1. Архитектура сети АРТ-1А
Рис. 2. Архитектура нейронной сети АРТ-1
Нейроны 7-слоев обоих модулей могут находиться в одном из следующих состояний:
- активен, модуль р (р = 1,2) сети функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал С/,,. гр удовлетворяет условию 0 < и„„е ¥р < 2 и определяется
выходными сигналами -элементов;
- активен, С„„е гР = 1, нейрон Ур является победителем в модуле
Мр (р = 1, 2) при текущем предъявлении входного изображения в результате латерального процесса в слое распознающих нейронов;
- активен, С/„б гР = 1, нейрон Ур переведен в активное состояние
нейроном-победителем соседнего модуля;
- неактивен, С„й0 уР = 0, нейрон установлен в начальное состояние или
проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;
- заторможен, С/„б гР = -1, нейрон исключен из соревнования при
текущем предъявлении входного изображения, поскольку хранящаяся в весах связей нейрона информация не удовлетворяет этому изображению.
Предположим, что сеть обучена и функционирует в режиме распознавания при предъявлении бинарного входного изображения
Сш = (ик ь Сш 2, • • •, Сш п). Вектор входных сигнал°в (иге 1, иге 2,..., и[е п)
поступает на входы нейронов S1 (г = 1, п) рассматриваемой сети:
и„„ „1 = , (г = 1, п). Выходные сигналы этих элементов
ао 81 ао 1 4 ’ у
и,„_ е1 = и , (г = 1, п) поступают на соответствующие входы нейронов
аио ао 8^
82 (г= 1, п). Нейроны слоя 82 инвертируют свои входные сигналы: и„_ 2 = „2 © 1, где I = 1, п, ® - операция сложения по модулю два.
аио 8 аО 8^
Сигналы с выходов всех нейронов слоя 8р (р = 1,2) поступают
соответственно на входы нейронов Ор , Ор (р = 1,2), 03, 04 (см. рис. 1, 2).
Нейроны Ор , Ор (р = 1,2) переводятся в активное состояние (т.е.
полагаем, что входной вектор иЮ содержит как единичные, так и нулевые входные компоненты). Если выполняется неравенство
п п
Уи„„_ ,1 -Уи... 2 >о, (1)
аио аио 81 ’ у '
г=1 г=1
то иш а = 1 и и„й0 а = 0, и запрещающий сигнал нейрона Оъ переводит нейрон О^ в неактивное состояние (и... аг = 0). Если
У и... ,1 -У и... 2 <0, (2)
аио 5 аио 5 ’ 4 7
;=1 1 I=1 1
то и„ = 0 и и„ = 1 и запрещающий сигнал нейрона О4 переводит
нейрон в/ в неактивное состояние. Таким образом, с помощью неравенств (1) и (2) определяется - каких элементов (единиц или нулей) в черно-белом изображении больше, и, следовательно, какой из модулей М1 или М2 должен стать ведущим, а какой - ведомым.
Пусть выполняется соотношение (1) тогда ^-нейроны, получившие единичные входные сигналы, переходят в активное состояние (и... ^ = 1). Их
возбуждающие выходные сигналы переводят нейроны 52 (I = 1, п), Ор и Ор (р = 1,2) в состояние “1”. Поскольку выполняется соотношение (1), то в активное состояние перейдет и нейрон Оъ, который своим единичным выходным сигналом переведет нейрон О12 в состояние “0”. Поскольку нейроны 2р -слоев (р = 1, 2) переходят в активное состояние по правилу “два
из трех”, т.е. при наличии единичных сигналов из двух различных источников, то все 2-нейроны модуля М2 будут иметь нулевые выходные сигналы.
Возбуждающие выходные сигналы элементов (I = 1, п) поступят и на входы
соответствующих интерфейсных нейронов Т.\ (I = 1, п). Элементы интерфейсного слоя 7х, получившие единичные сигналы от управляющего нейрона О1 и нейронов 5 (I = 1, п), по правилу “два из трех” переходят в активное состояние и посылают свои единичные возбуждающие сигналы и айб 21 (I = 1, п) по связям с весовыми коэффициентами ^ 1 (I = 1, п, у = 1, т)
на входы нейронов У1 (у = 1, т). Нейроны распознающего У1 -слоя,
получившие единичные сигналы, как от управляющего нейрона О1 , так и от нейронов интерфейсного слоя 7х, по правилу “два из трех“ переходят в активное состояние. Их входные и выходные сигналы определяются соотношением
п ___
Л\т
и... „1 = „1 =У,№1 1и... ., у = 1,т . (3)
аио У у ао У у У аио у 7
I=1
Затем в слое распознающих нейронов происходит латеральный процесс
выделения элемента У) с максимальным выходным сигналом. В результате этого процесса все нейроны, кроме победившего, переводятся в состояние и 71 = 0, у = 1, т; у Ф 3, а нейрон-победитель в состояние с единичным
выходным сигналом. Единичный сигнал нейрона У) затормаживает нейрон и поступает на входы всех нейронов Т.\ (/ = 1, п) интерфейсного слоя. Поскольку нейроны 2'-слоя переходят в активное состояние по правилу “два из трех”, то единичные сигналы появляются только на выходах тех интерфейсных нейронов, которые получат возбуждающие сигналы как из слоя распознающих, так и от слоя входных нейронов. Тормозящие выходные сигналы элементов 21-слоя и возбуждающие сигналы 8-слоя поступают на входы нейрона Я\, который по единичным компонентам входного
изображения рассчитывает параметр сходства входного изображения и изображения, хранящегося в весах связей нейрона У
Рі =
и,
аио 2
и
= У и„. „і / У и
аио 2; і
7=1
аио *
Если параметр сходства р меньше заданного значения, то нейрон У] затормаживается (и„„е у1 = -1) единичным выходным сигналом с первого
выхода управляющего нейрона Я; и начинается поиск нового нейрона-победителя в распознающем слое Г'-нейронов. Если параметр сходства р1 больше или равен заданному значению, то управляющий нейрон остается пассивным по своему первому выходу (и 1йзд1 = 0), и выходной сигнал
нейрона У] совместно с выходным сигналом нейрона 02, возбуждает нейрон У] модуля М2. Второй выходной сигнал нейрона Я1 передает на первый вход нейрона Я2 значения параметра сходства р1, на второй вход этого нейрона поступает значения параметра сходства р 2 со второго управляющего нейрона Я12. Параметр сходства р2 в модуле М2 по нулевым компонентам входного вектора рассчитывается аналогично параметру р в модуле М
Р2 =
и.
и.
= Уи„_ 72 / У и.
аио 2; а
Управляющий нейрон Я12 функционирует аналогично нейрону Я1 модуля М1 , однако его единичный сигнал с первого выхода не может затормозить нейрон Ур , поскольку на вход этого элемента поступает
/
/
2
7=1
возбуждающий сигнал с выхода нейрона У) . Нейрон К2 по входным сигналам со вторых выходов управляющих нейронов Я11 и Я21 , передающих значения параметров сходства р1 и р 2, рассчитывает общий параметр сходства р входного изображения и изображения, хранящегося в весах связей нейронов У) и У)2: р = / (р1, р2). Нейрон К2 имеет два выхода,
возбуждающий сигнал С/т , с его первого выхода поступает на входы всех
распознающих нейронов и 1, и2, ..., иа и-слоя, тормозящий сигнал
к со второго выхода нейрона Я2 поступает на входы всех нейронов
слоев У1 и У2. Если значение рассчитанного параметра сходства р равно или превосходит заранее заданное значение параметра сходства р9Й, то возбуждающий сигнал нейрона К совместно с выходными единичными сигналами и 1 , и 2 переводит в активное состояние один или
аио У) аио У, г
несколько нейронов слоя и, т.е. нейронная сеть определяет одно или несколько решений, соответствующих входному вектору и[3 . Если р < р - , то и„ , = 0, и = 1 и тормозящий сигнал нейрона К2 затормаживает
а1?а К^ 0101 К^ 2
нейроны У1 и У? (и,„_ = и... ,_2 = —1), а затем начинается поиск нового
г и и V аио Уу аио У/
нейрона-победителя в модуле М1.
Рассмотрим теперь режим обучения нейронной сети. Для упрощения описания этого режима будем полагать, что обучающие изображения для нейронной сети сформированы заранее и каждому классу изображений (образу) соответствует единственное черно-белое изображение, единичные компоненты которого запоминают нейроны модуля М1, а нулевые - нейроны
модуля М2. При этом обучающие изображения и1а1,..., и1а8 так расположены в последовательности, что обучение сети происходит за одну эпоху и без переобучения нейронов распознающего слоя У1 и У2 . Пусть также заданы значения параметров сходства р19Й, р 29Й и р 9Й для модулей М1 и М2 и всей нейронной сети и заданы начальные значения обучаемых весов связей модулей М1 и М2
^1 = ^2 = 7^ ^1 = ^2 = 1, (/ = 1п, У = 1^).
1 + п у у
При подаче первого входного обучающего изображения и1а 1 = (и}а 1, и2а1 ., ипа1 ) нейроны Оз и 04, как и в режиме распознавания,
с помощью неравенств (1) и (2) определяют, какой из модулей будет ведущим. Пусть выполняется неравенства (1), тогда ведущим будет модуль M1 и с
помощью единичных выходных сигналов нейронов GJ и S1 (і = і, n) по правилу “два из трех” будет переведена в активное состояние часть нейронов Z'-слоя, получивших на свои входы по два единичных сигнала. Нейроны слоя
Y1, получившие единичные сигналы с выхода нейрона G2 и 21-нейронов по
правилу “два из трех” переходят в активное состояние и рассчитывают свои входные и выходные сигналы по соотношениям (3). Поскольку при предъявлении первого обучающего изображения все Г'-нейроны имеют одинаковые веса связей и одинаковые входные сигналы, то все они будут иметь и одинаковые выходные сигналы, и победителем станет нейрон с наименьшим индексом Г1. Поскольку W1 = 1 (j = 1, m, і = 1, n), то
IU J = U J и p = 1. После этого происходит адаптация весов связей
auo Z у Ц auo S
нейрона-победителя Y11 и соответствующего ему нейрона Y12 в модуле M2 по известным соотношениям [В]. Затем аналогичным образом обучается пара распознающих нейронов Y21 и Y21 изображением Uia2 и т.д. пока не будут использованы все изображения обучающей последовательности.
Выводы. Таким образом, разработана дискретная нейронная сеть адаптивной резонансной теории, позволяющая при решении задач распознавания определять сходство черно-белых изображений по всем элементам изображений и выделять два и более равноценных решения.
Список литературы: 1. Хайкин С. Нейронные сети: полный курс. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 2. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. - М.: Горячая линия - Телеком, 2002. - 94 с. 3. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком,
2002. - 382 с. 4. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. -М.: Финансы и статистика, 2004. - 176 с. 5. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2. - М.: Горячая линия - Телеком, 2004. - 464 с. б. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 7. Дмитриенко В.Д., Расрас Р.Д., Сырой А.М. Специализированное вычислительное устройство для распознавания динамических режимов объектов управления // Інформаційно-керуючі системи на залізничному транспорті. - 2002. - № 1. - С. 15 - 22. S. Моделирование и оптимизация систем управления и контроля локомотивов I Носков В.И., Дмитриенко В.Д., Заполовский Н.И., Леонов С.Ю. - Х.: ХФИ Транспорт Украины,
2003. - 248 с.
Поступила в редакцию 20.09.2007
