CC BY
62
УДК 519.71:004.89
В.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ",
А.Ю. ЗАКОВОРОТНЫЙ, канд. техн. наук, доц., НТУ "ХПИ"
НЕЙРОННАЯ СЕТЬ, ИСПОЛЬЗУЮЩАЯ РАССТОЯНИЕ
ХЕММИНГА, ДЛЯ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ НА
ГРАНИЦАХ НЕСКОЛЬКИХ КЛАССОВ
Проанализированы недостатки известной нейронной сети Хемминга, не способной распознавать изображения, находящиеся на одинаковом минимальном расстоянии Хемминга от двух или большего числа эталонных изображений. Предложена новая нейронная сеть, использующая расстояние Хемминга и распознающая изображения на границах двух или трех классов. Ил.: 2. Библиогр.: 9 назв.
Ключевые слова: нейронная сеть Хемминга, расстояние Хемминга, изображение на границах двух или трех классов.
Постановка проблемы и анализ литературы. При классификации изображений с помощью нейронных сетей, как правило, получают единственное решение даже в случаях, когда имеется два или более равноценных решения. Это связано с тем, что во многих нейронных сетях, например, в перцептронах, сетях Хебба, Кохонена и др. [1 - 4] решение определяется не отдельным нейроном, а слоем выходных нейронов. В случае, когда решение определяется одним нейроном, например, в дискретных нейронных сетях адаптивной резонансной теории [5 - 8], имеется потенциальная возможность получения
нескольких решений. В работе [9] представлена архитектура и алгоритмы функционирования такой сети адаптивной резонансной теории. В нейронной сети Хемминга решение о принадлежности входного изображения к определенному классу также фактически определяется с помощью одного нейрона. В этой сети входные черно -белые изображения представляются в виде да-мерных биполярных векторов. Свое название сеть получила от расстояния Хемминга, которое используется в мере сходства Я входного и эталонных изображений, хранимых с помощью весов связей сети. Мера сходства определяется соотношением
Я = т - Ях, (1)
где т - число компонент входного и эталонных векторов; Ях - расстояние Хемминга между векторами.
Определение. Расстоянием Хемминга между двумя двоичными
© В.Д. Дмитриенко, А.Ю. Заковоротный, 2013
векторами называется число компонент, в которых векторы различны.
В силу определения расстояния Хемминга мера сходства изображений (1) может быть задана и как число а компонент двоичных векторов, в которых они совпадают: R = а.
Запишем для биполярных векторов S = sm) и Z = (z1,...,zm)
их скалярное произведение через число совпадающих и отличающихся компонент
m
SZ = ^ sizi = a - d, (2)
i=1
где а - число одинаковых компонент векторов; d - число различных компонент векторов S и Z.
Поскольку т - размерность векторов, то m = а + d, следовательно, скалярное произведение (2) можно записать в виде SZ = 2а - т. Отсюда несложно получить
. SZ m 1m
a = m2 + — = — + -Ls,z,. (3)
2 22 i=1
Правую часть выражения (3) можно рассматривать как входной сигнал нейрона, имеющего т синапсов с весовыми коэффициентами Zj/ 2 (i = 1, m) и смещением m/2. Синапсы нейрона воспринимают т компонент входного вектора S. Такая интерпретация правой части выражения (3) приводит к архитектуре подсети, изображенной в нижней части рис. 1. Одни авторы сеть, изображенную на рис. 1, называют сетью Хемминга, другие сетью Хемминга называют только ее нижнюю часть, считая, что приведенная сеть состоит из двух подсетей - Хемминга и Maxnet. Мы будем придерживаться первой точки зрения.
Сеть Хемминга имеет т входных нейронов Si, ..., Sm,
воспринимающих биполярные компоненты sq, ...,sq входных
изображений Sq (q = 1, L). Выходные сигналы S-элементов определяются соотношением
1 +1, если sf = 1,
U ebixSi = \ (4)
[-1, если sf = -1,
т. е. выходной сигнал S-элемента повторяет его входной сигнал:
U ebixSi U exSi si •
Рис. 1. Нейронная сеть Хемминга
Каждый нейрон & (/ = 1, т) связан со входом каждого элемента (р = 1,п). Веса этих связей ^к, Мтк содержат информацию о к-м эталонном изображении ук = У,....,укт), к = 1, Ь :
Щк = У1 /2 > ...>™тк = укт/2 .
Функции активации 2-элементов описываются соотношением
gz (и ех) = ■
где ивх - входной сигнал нейрона; кь П„ - константы.
0, если иех ^ 0,
^ ех, если 0 < и ех < ип ип, если и ех > ип,
(5)
При предъявлении входного изображения 5* = (5*,....,5*) каждый
2-нейрон рассчитывает свой входной сигнал в соответствии с выражением вида (3):
и с помощью функций активации, определяет выходной сигнал. Выходные сигналы ивых21 >---->ивых2П 2-элементов являются входными сигналами аь, ..., ап верхней подсети, которой является сеть Махпе! Функции активации нейронов Ар (р = 1, п) и веса их связей задаются соотношениями
где £ - константа, удовлетворяющая неравенствам 0 < £ < 1/п .
Сеть функционирует циклически, динамика нейронов описывается
итерационным выражением ивЬх (і +1) = 8(ивЬХі (і) ~ є
вых/ (і)) ,
Если среди входных сигналов а\, ..., ап нейронов Аі, ..., Ап имеется один наибольший сигнал ар (р є {1, 2, ..., п}), то в результате итерационного процесса в подсети Maxnet только один нейрон Ар останется с выходным сигналом, большим нуля, т.е. станет "победителем". Поскольку выходные сигналы Пвых\, ..., и^хр, ..., иеЫхп А-элементов поступают на входы 7-нейронов, которые имеют функцию активации вида
то в результате на выходе сети Хемминга только один нейрон 7р окажется с единичным выходным сигналом. Единичный выход этого нейрона и нулевые всех остальных и будут указывать на то, что
т
(7)
І=1
если І = ],
є, если І Ф І, І, і = 1, п,
п
І=1,І ФІ
і = 1, п, при начальных условиях
и вьхі(0) ®І ”вьіх2і, І 1,п .
(8)
если и вх > 0, если и вх ^ 0 ,
(9)
предъявленное изображение 5 * = (я* , ....,5т) наиболее близко, в смысле
заданной меры близости (1), к эталонному изображению ур = (ур ,...,у'т) ■
Заметный недостаток сети: она не выделяет два и более эталонных изображений, имеющих с предъявленным одинаковые максимальные меры близости. В этом случае подсеть Maxnet не сможет выделить единственній максимальній сигнал и в результате ее функционирования на всех выходах А- и 7-нейронов появятся нулевые сигналы.
Цель статьи - разработка нейронной сети, использующей расстояние Хемминга и распознающей изображения, находящиеся на минимальном расстоянии Хемминга от одного, двух или трех эталонных изображений, хранящихся в весах связей нейронной сети.
Архитектура нейронной сети, способной выполнить функции, указанные в цели статьи, приведена на рис. 2.
Архитектура предлагаемой нейронной сети отличается от архитектуры известной сети Хемминга, наличием двух дополнительных слоев нейронов: Х-слоя и Е -слоя.
Нейроны Х- и Е -слоя имеют функцию активации вида
где и - входной сигнал нейрона, имеющего функцию активации
Входные сигналы ивххр, р = 1, т нейронов Х-слоя описываются следующим выражением:
где и^^р , ивых^, (р = 1, т) - соответственно выходные сигналы нейронов Х- и 7-слоя; №ХрХр - вес обратной связи нейрона Хр (р = 1, т); ЩрХр - вес связи с выхода нейрона 7р на вход нейрона Хр (р = 1, т); Хр - вес связи от нейрона ЕІ (і = 0,3) к нейрону Хр (р = 1, т);
(10)
Е(”вх) .
3
UвхXp ивыхXpWXpXp ^ UвыхYpWYpXp ^ X 1 іХривыхЕі ^ ^0р *1, (11)
І=0
ивыхЕ О' = 0,3) - выходные сигналы нейронов Е -слоя; №др - вес связи сигнала смещения нейрона Хр (р = 1, т), Ш$р = -2 .
^2 ... Я ... Яп
Рис. 2. Нейронная сеть Хемминга, распознающая изображения на границах двух и
трех классов.
Входные сигналы нейронов Е -слоя описываются соотношениями:
т
р=1
т
(13)
р=1
т
р=1
т
где ивыхГр - выходной сигнал нейрона Ур, р = 1, т; Е - вес связи от
нейРона Ур к нейрону Е,, у =~1, р = \m, , = 0,3; ивыя, -
г •' р у и
выходной сигнал нейрона Еу-, , = 0, 3; Ш Е - вес связи от нейрона
Если на выходах четырех или большего числа А -нейронов имеются положительные выходные сигналы, которые вызывают единичные выходные сигналы на выходах соответствующих 7-нейронов, то сигналы ивХЕх, ивхЕ2, Пех^ отрицательны. В соответствии с функцией активации
(10) на выходах нейронов Е1, Е2, £3 будут нулевые выходные сигналы. Если на выходах только трех А -нейронов будут положительные сигналы, например, у нейронов Ар1, Ар2 и Ар3, то тогда в соответствии с
выражением (15) имеем: = 0 .
При нулевом входном сигнале ивх^ = 0 и функции активации нейрона Е3 вида (10) на выходе нейрона Е3 появится единичный выходной сигнал ивыхЕ = 1, который поступит на входы всех нейронов Х-слоя. В соответствии с выражением (11) на входах Х-нейронов будут
следующие входные сигналы: ивхх^ =-1, р = 1, т, р ф р1,р2,р3;
ивххр = 0, р = р^^р3-
Таким образом на выходах нейронов Хр (р = 1, т, р ф ръ р2, р3) будут нулевые выходные сигналы, а на выходах нейронов X ( р = р, р2 , р) будут единичные выходные сигналы.
При появлении на выходах нейронов Хр1, Хр2, Хр3 единичных сигналов эти сигналы по цепям обратных связей с весами ШХрХр = 2
(р = р, рг, р) поступают на входы этих нейронов. Сигналы обратной связи нейронов будут поддерживать неотрицательные входные сигналы даже тогда, когда будут выполняться условия ивых^з = 0;
ивыхУр1 = ивыхУр2 = ивыхУр3 = 0. Таким образом если входное
изображение находится на одинаковом минимальном расстоянии Хемминга от трех эталонных изображений, хранящихся в весах связей нейронов 1р1, 1р2, 1р3, то выходные сигналы нейронов Ар1, Ар2, Ар3
одновременно становятся равными нулю. При этом
ивыхАр1 ивыхЛр2 ивыхАр3 ^вых^3 0 и ивыхХр ивыхХ р2 ивыхХ р3 1 .
Следовательно, на выходе нейронной сети остаются единичные сигналы нейронов, указывающих от каких трех изображений находится входное изображение на минимальном расстоянии.
Если сигналы на выходах А-нейронов не одновременно становятся равными нулю, например, вначале на выходе одного нейрона Ар
(р = р\,р2,р3) появляется нулевой сигнал, например, ивыА =0, то тогда единичный сигнал на выходе нейрона Х р3 должен быть сброшен в
ноль. Это достигается следующим образом:
1. В соответствии с выражением (14) срабатывает нейрон Е2:
и вх^2 = 0 и и вых^2 = 1 .
2. Выходной сигнал нейрона Е2 затормаживает нейрон Е3, поскольку по соотношению (15) при ^213 =-4 имеем ивю£ =-3 и ивыхЕЪ(-3) = 0.
3. В соответствии с выражением (11) входной сигнал нейрона Хр3 будет отрицательным, а выходной - нулевым.
4. В соответствии с выражением (11) входные сигналы нейронов Хр1, Xр2 будут неотрицательны, а выходные - единичными.
5. Если сигналы ивыхА и ивыхА одновременно станут нулевыми, то на выходах нейронов Хр1, X 2 останутся единичные выходные
сигналы, указывающие на то, что входное изображение находится на одинаковом минимальном расстоянии от эталонных изображений, хранящихся в весах связей нейронов 2р1, .
Если сигналы ивыхАи иеых^ не обращаются одновременно в
нуль, а вначале, например, становится нулевым сигнал С/вых4 2, то в этом
случае единичный сигнал останется только на выходе нейрона Хр1,
указывая, что входное изображение находится на минимальном расстоянии Хемминга от эталонного изображения хранящегося в весах связей нейрона 2 р1. Действительно в этом случае имеем:
ивьхАр1 * 0; ивых¥р = 0, р = 1, т, р * Р1,
=Хивы„«,,ъ, =1'выхт,у,,£, =1-(-1) = -1;
р=1
ивы^ = <§"(ивхЕп = —1) = 0;
ивх11 = выхГр^1 + ивы^^1 + < -1 = 0;
р=1
ивыхь1 = ё(ивх^1 = 0) = 1;
ивхЕ2 - ^ ивых¥р ^Гр22 + ивыхЕ1 ^Е1Е2 + ивых20 ^Е0Е2 + ^02 -1 = —1;
р=1
ивых£? = 8(ивх^ = —1) = 0;
^2 04 вхЕ2 т
и вхЕз = и выхУр^Ур^з + и вых£2^^2^3 + ^ выхЕ1 ^Е^з +
р=1
+и выхЛхз + <з-1 = —1;
ивыхЕ, = ^вхХ = —1) = 0;
т
т
UвхХp = X UвыхI, WT.iXp + UвыхХp WXpXp + UвыхГ1, WYpXp + W0p '1 = 1;
P* Pl
i=0
U выхХ p = g (U вхХ p = 1) = 0;
P* Pl
3
UвхХpl X выуУ.,^У.,Тpl + UвыхХplWXplXpl + UвыхГpl^YplXpl + W0p1 1 2;
i =1
Uвы1хХр1 = g (UвхХ p1 = 2) = 1 ,
где WE0 X =-2 ; Z2 = ^ , Ез =-4 , X =-2, X =~з .
Таким образом, в этом случае только на выходе одного нейрона Х-слоя будет единичный выходной сигнал, указывающий на то, что входное изображение находится на минимальном расстоянии Хемминга от эталонного изображения, хранящегося в весах связей нейрона Z pl.
Выводы. Таким образом, разработана нейронная сеть, использующая расстояние Хемминга при распознавании черно-белых изображений и способная распознавать изображения, находящиеся на минимальном расстоянии Хемминга от одного, двух или трех эталонных изображений, хранящихся в весах связей нейронной сети.
Список литературы: 1. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 2. Камашинский В.И. Нейронные сети и их применение в системах управления и связи / В.И. Камашинский, ДЛ. Смирнов. - М.: Горячая линия - Телеком, 2002. - 94 с. 3. Барский АБ. Нейронные сети: распознавание, управление, принятие решений / АБ. Барский. - М.: Финансы и статистика, 2004. - 176 с.
4. Голушкин АИ. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае I АИ. Голушкин. - В 2-х томах. Том 2. - М.: Горячая линия - Телеком, 2004. - 464 с.
5. Fausett L. Fundamentals of Neural Network. Architectures, Algorithms and Applications I L. Fausett. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. б. Grossberg S. Competive learning: From interactive activation to adaptive resonance I S. Grossberg II Cognitive Science. - 1987. - Vol. 11. - P. 23-63. 7. Carpenter G.A. A massively parallel architecture for selforganizing neural pattern recognition machine I G.A. Carpenter, S. Grossberg II Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54-115. S. Дмитриенко В.Д. Алгоритмы обучения дискретных сетей АРТ без адаптации весов связей распределенных распознающих нейронов I В.Д. Дмитриенко, В.И. Носков, И.П. Хавина // Вестник НТУ "ХПИ". - 2006. - № 23. - С. 35-48. 9. Дмитриенко В.Д. Вычислительная сеть для решения задач распознавания с несколькими решениями I В.Д. Дмитриенко, И.П. Хавина // Вестник НТУ "ХПИ". - 2007. - № 19. - С. 58-63.
Поступила в редакцию 3.06.2013
УДК 519.71:004.89
Нейронна мережа, що використовує відстань Хеммінга для розпізнавання зображень на границах декількох класів / Дмитрієнко В.Д., Заковоротний О.Ю.
3
// Вісник НТУ "ХПІ". Серія: Інформатика та моделювання. - Харків: НТУ "ХПІ". - 2013. -№ 39 (1012). - С. 57 - 67.
Проаналізовані недоліки відомої нейронної мережі Хеммінга, що нездатна розпізнавати зображення, які знаходяться на однаковій мінімальній відстані Хеммінга від двох чи більшої кількості еталонних зображень. Запропонована нова нейронна мережа, що використовує відстань Хеммінга, яка розпізнає зображення на границах двох чи трьох класів. Іл.: 2. Бібліогр.: 9 назв.
Ключові слова: нейронна мережа Хеммінга, відстань Хеммінга, зображення на границах двох чи трьох класів.
UDC 519.71:004.89
The neural network that uses Hamming distance for image recognition on the border of several classes / Dmitrienko V.D., Zakovorotnyi A.Y. / Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". -2013. - №. 39 (1012). - P. 57 - 67.
Analyzed disadvantages known Hamming neural network not capable of recognizing the images in the same minimum Hamming distance between two or more reference images. A new neural network, using the Hamming distance and read the images on the border of two or three classes. Figs.: 2. Refs.: 9 titles.
Keywords: neural network Hamming, Hamming distance, the image on the boundary of two or three classes.
