CC BY
46
УДК 004.89 Б01: 10.20998/2411-0558.2017.50.05
B.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ",
А.Ю. ЗАКОВОРОТНЫЙ, д-р техн. наук, доц., НТУ "ХПИ",
C.Ю. ЛЕОНОВ, д-р техн. наук, проф., НТУ "ХПИ"
НЕЙРОННАЯ СЕТЬ ХЕММИНГА ДЛЯ РЕШЕНИЯ ЗАДАЧ С
НЕСКОЛЬКИМИ РЕШЕНИЯМИ
В статье изложены результаты анализа особенностей функционирования дискретной нейронной сети Хемминга, которая не может распознавать входные черно-белые изображения, находящиеся на одинаковом минимальном расстоянии от двух или большего числа эталонных изображений. Проанализированы недостатки нейронных сетей, использующих расстояние Хемминга и решающих эту задачу для изображений, находящихся на границах двух или трех классов изображений. Предложена модификация нейронной сети Хемминга, распознающей изображения на границах нескольких классов. Ил.: 2. Библиогр.: 9 назв.
Ключевые слова: нейронная сеть Хемминга; эталонные изображения; изображения на границах нескольких классов.
Постановка проблемы и анализ литературы. При
распознавании изображений с помощью нейронных сетей почти всегда получают одно решение даже в тех случаях, когда имеется несколько равноценных решений. Это объясняется тем, что во многих нейронных сетях, например, в перцептронах, сетях Ворда, ассоциативной памяти, нейронных сетях Элмана, Кохонена и др. [1 - 4] решение определяется не одним, а множеством выходных нейронов. В случае, если в нейронной сети решение определяется единственным выходным нейроном, имеется потенциальная возможность получения нескольких решений (нескольких реакций сети на входное изображение) [5 - 8]. Такая потенциальная возможность есть у нейронной сети Хемминга [1, 2, 6], изображенной на рис. 1. Сеть имеет четыре слоя нейронов:
1. Входной слой ¿'-нейронов, на входы которых подаются биполярные т-разрядные векторы: Б1 = (<11, ..., <1т), ..., Бн (dhl, •••, <!ктX Бг (4ь <гт).
2. Слой г-нейронов, имеющих функции активации ^(Цвх), описываемые соотношением
£г (Цвх ) =
0, если Цвх < 0,
кЦвх, если 0 < Цвх < Цп, (1)
ип, если ивх > ип,
где ивх - входной сигнал нейрона г-слоя; к1, Цп - константы.
Элементы 2-слоя рассчитывают свои входные сигналы по формуле
© В.Д. Дмитриенко, А.Ю. Заковоротный, С.Ю. Леонов, 2017
т т
ивх21 = т /2 + 2 ^Нк^кг = т /2 + 2 аЬк21к , где ивхй- - ВХодной сигнал ¿=1 к =1
нейрона (г = 1, и ), определяемый с помощью функции активации (1);
п - число элементов 2-слоя; Б = ■ ••, ) - биполярный
т-разрядный входной вектор; (■ .., ггт) - т-разрядный вектор,
хранимый в весах связей нейрона (г = 1, п ); - вес связи между
нейронами £к и .
51 £2 "' 5т
Рис. 1. Нейронная сеть Хемминга
3. Слой Л-нейронов, с помощью которого выделяется максимальный сигнал а(тах с выходов 2-нейронов. Слой Л-нейронов функционирует циклически. Динамика изменения выходных сигналов Л-нейронов ивых4г (■ = 1, п ) описывается итерационным выржением
п _
^выхЛ/ О +1) = £(ивх4/ ) = £(ивЪ1ХЛ] О) - (е 2 ивыхАк О/ = 1 п (2)
к=1, к ф /
при начальных условиях
ивхЛ] (0) = Цвыхг/ , у = 1, п ,
где g(Цвхлу) - функция активации нейрона Лу; е - положительная константа, удовлетворяющая неравенствам 0 < е < 1/ п.
При этом функции активации Л-элементов и веса их связей задаются следующими соотношениями:
Если среди выходных сигналов ивыхй (i = 1, n) имеется один наибольший сигнал ивых^- = max ивьк^-, в результате итерационного
процесса в слое Л-элементов останется только один нейрон Лу с
положительным выходным сигналом.
4. Слой 7-элементов - слой выходных нейронов сети Хемминга, которые имеют функции активации вида
Если в слое Л-элементов останется только один нейрон Лу с
положительным выходным сигналом ЦвыхЛу, то и на выходе нейронной
сети Хемминга только один нейрон Уу будет иметь единичный сигнал
на своем выходе, что и будет указывать на то, что входной вектор наиболее близок по расстоянию Хемминга к вектору, хранящемуся в весах связей нейрона г у.
Однако, если входной вектор сети Хемминга находится на одинаковом минимальном расстоянии Хемминга от двух или более эталонных векторов, хранящихся в весах связей нейронов г-слоя, то слой Л-нейронов не может выделить единственный максимальный сигнал и в результате его функционирования на выходах всех Л- и У-нейронов появятся нулевые сигналы.
Этот заметный недостаток нейронной сети Хемминга был преодолен в работах [6, 9], в которых описана нейронная сеть, использующая расстояние Хемминга и позволяющая выделять эталонные вектора, которые находятся на одинаковом расстоянии
wkj
1, если k = j, - e, если k Ф j, k, j = 1, n.
(3)
Хемминга от двух или трех векторов, хранящихся в памяти сети. Недостаток предложенной разработки - заметное усложнение сети при увеличении число ё (ё > 3) эталонных векторов, находящихся на одинаковом минимальном расстоянии Хемминга от входного вектора.
Цель статьи - разработка нейронной сети, использующей расстояние Хемминга и распознающей изображения, находящиеся на минимальном расстоянии Хемминга от одного до к эталонных изображений, хранящихся в весах связей нейронной сети, при однотипной архитектуре сети при любом к > 2.
Основная часть. Архитектура нейронной сети, использующей расстояние Хемминга и способной распознавать изображения, находящиеся на минимальном расстоянии Хемминга от одного, двух, трех и четырех эталонных изображений, хранящихся в памяти нейронной сети, приведена на рис. 2. Перед началом распознавания входного изображения все нейроны сети по цепям установки нейронов в ноль переводятся в пассивное состояние.
Нейроны 2к , к -1, 4 имеют функцию активации вида и =[1, если ивх2 к = к,
и вых 2 к | Л тт г (4)
[а если ивх 2 к ф к,
то есть на выходе нейрона 24 появляется единичный выходной сигнал только в том случае, когда на выходах любых четырех нейронов У-слоя имеются единичные выходные сигналы. Эти сигналы появляются в случае, если в результате итерационного процесса в Л-слое осталось только четыре Л-нейрона с ненулевыми выходными сигналами, которые по соотношению (3) обеспечивают единичные выходные сигналы на выходах соответствующих У-нейронов, например Уи , Ук2, Ук3, Ук4 .
Нейроны слоя У1 имеют функции активации вида
выхУ1
1, если и I > 2,
вхУ
0, если и 1 < 2.
вхУ
(5)
Поэтому единичные выходные сигналы нейронов Ук1 , Ук2 , Ук3 ,
Ук4 и 2к переводят нейроны Ук11 , Ук12 , Ук13 , Ук14 в состояние с единичным выходным сигналом. Все остальные нейроны этого слоя будут иметь нулевые выходные сигналы. Единичные выходные сигналы
с выходов нейронов Ук11 , Ук12 , Ук13 , Ук14 по цепям обратных связей фиксируют единичные выходные сигналы этих нейронов. Если в
результате итерационного процесса в слое Л-элементов на выходах Л-нейронов Лк1, Лк2, Лк3, Лк4 одновременно появятся нулевые
выходные сигналы, то единичные сигналы на выходах нейронов У^,
Ук2, Укз и Ук4 будут указывать на то, что входное изображение находится на одинаковом минимальном расстоянии Хемминга от четырех эталонных изображений, хранящихся в весах связей нейронов гк1, г к2, г к3 , г к4 . Если сигналы на выходах нейронов Лк 1, Лк2, Лк3, Лк 4 не все одинаковы, тогда при продолжении итерационного процесса в слое Л-нейронов возможно появление следующих трех ситуаций:
1 Три из четыре вых°дных сигналов иъыхЛкl, иъыхЛк2, ивыхЛкз, ЦвыхЛк4 становятся одновременно нулевыми. Без потери общности
можно полоЖить, что иВЫхЛк 1 = 1, ЦвыхЛк2 = ивыхЛкЗ = ЦвыхЛк4 = 0. В этом случае только один нейрон У 1 слоя У-нейронов будет иметь
единичный выходной сигнал, который переведет нейрон £1 в активное состояние. Единичный выходной сигнал нейрона £1 поступит на входы
12 3
установки в ноль всех нейронов У -, У -, У -слоев и нейронов £2, £3, £4 , £5 и £б. Установка в ноль большей части этих нейронов (за
исключением нейронов У 12 , У 13 , У 14 ) является излишней, но если перед
этим выходные сигналы Л-нейронов ивыхЛк2 , ивыхЛк3, ЦвыхЛк4 обнулялись не одновременно, а последовательно, то необходим сброс в
23
ноль и нейроны слоев У или У . Для упрощения алгоритма функционирования нейронной сети здесь и далее сигналы установки в
12 3
ноль подаются на входы всех нейронов слоев У , У , У и нейроны £2 , •••, £6.
В данном случае входное изображение находится на минимальном расстоянии Хемминга только от одного эталонного изображения, хранящегося в весах связей нейрона г 1 .
2. Два из четырех выходных сигналов ивыхЛк 1, ивыхЛк2 , ивыхЛк3,
ивыхЛ 4 во время итерационного процесса в слое Л-нейронов
одновременно становятся нулевыми. В этом случае два нейрона У-слоя будут иметь единичные выходные сигналы. Функционирование нейронной сети в этой ситуации будет рассмотрено далее.
Нейронная сеть Хемминга
Рис. 2. Нейронная сеть для распознавания изображений, находящихся на минимальном расстоянии Хемминга от одного до четырех эталонных
изображений
3. Один из четырех выходных сигналов ивыххлк1, ивыхАк 2, ивыхлк3, ивыхлк4 становится нулевым. Без потери общности можно положить, что ивыхАк4 = 0. В этом случае три единичных сигнала с выходов нейронов У-слоя переводят нейрон 23, имеющий функцию активации вида (4) при к = 3, в единичное состояние. Поскольку нейроны У -слоя имеют такие же функции активации (5), что и нейроны слоя У1 , то единичные выходные сигналы нейронов Ук1 , Ук2 ,
Ук3, и 2з переводят нейроны У- ( = 1, 2, 3) в активное состояние.
Единичные выходные сигналы элементов У2 ( = 1, 2, 3) по цепям
обратных связей фиксируют свои единичные выходные сигналы и
переводят в пассивное состояние все нейроны У1 -слоя с помощью нейрона 25, который имеет функцию активации вида
[1, если ивх > 1,
ивых 25 =]Л ТТ 1 (6)
5 [0, если ивх < 1.
2
Единичные выходные сигналы нейронов У к- (- = 1, 2, 3) переводят нейрон 25 в активное состояние, и его единичный выходной сигнал
поступает на входы сброса в нуль всех нейронов У1 -слоя. Таким образом, единичные выходные сигналы останутся только на выходах
2 2 3
трех нейронов: Уи, У к 2, У к 3. Если при продолжении итерационного
процесса в слое Л-элементов на выходах всех активных Л-нейронов одновременно появятся нулевые выходные сигналы (при этом во время итерационного процесса не перейдут в активное состояние нейроны
2 2 3
22 и 21 ), то единичные сигналы на выходах нейронов Ук1 , Ук2 , Ук3 будут указывать на то, что входное изображение находится на одинаковом расстоянии Хемминга от трех изображений, хранящихся в весах связей 7-элементов , 2к2, 2к3 .
Если при продолжении итерационного процесса в слое Л-нейронов еще один выходной сигнал Л-нейронов становится нулевым, например, без
потери общности можно показать, что ивыхАк 3 = 0, то в этом случае только два У-нейрона (Ук1 и У к 2) будут иметь единичные выходные сигналы. Эти сигналы переводят нейрон 22 , имеющий функцию активации
_1Х если ивх £2 = 2,
и вых £2 _ ТТ ^о
2 если ивх £2 * 2,
3
в активное состояние. Поскольку элементы У -слоя имеют такие же
12
функции активации (5), что и нейроны слоев У и У , то единичные
выходные сигналы нейронов Ук1 , Ук2 и £2 переводят нейроны Ук1 и
3
Ук2 в активное состояние. Сигналы и 3 , и 3 по цепям
выхУ^ выхУ^
обратных связей фиксируют единичные выходные сигналы нейронов
33
Ук1 и У к 2 и поступают на входы нейрона и £ 6, имеющего функцию активации вида (6). Единичный выходной сигнал нейрона £6 поступает
12
на входы сброса в ноль всех нейронов У - и У -слоев и нейрона £5 , переводя их в пассивное состояние. Нулевые сигналы будут и на выходах нейронов £3 и £4 , поскольку их функции активации описываются соотношение (4), а на выходах слоя У-нейронов будет только два единичных сигнала. Если при продолжении итерационного процесса в слое Л-элементов на выходах нейронов Ли и Лк 2
одновременно появятся нулевые выходные сигналы, то единичные
33
выходные сигналы Ук1 и Ук2 будут указывать, что входное изображение находится на одинаковом расстоянии Хемминга от двух эталонных изображений, хранящихся в весах связей нейронов г^ и гк2 .
Аналогично, если при продолжении итерационного процесса в слое Л-нейронов еще один выходной сигнал Л-элемента становится нулевым, например, ивыхЛк 2 = 0, то в этом случае только один нейрон Ук1 будет иметь единичный выходной сигнал, который переведет
нейрон £1 в активное состояние. Единичный выходной сигнал нейрона
12 3
£1 поступает на входы сброса в ноль всех нейронов У -, У -, У -слоев и нейронов £5 и £6 , переводя их в пассивное состояние. В этом случае входное изображение находится на минимальном расстоянии Хемминга от эталонного изображения, хранящегося в весах связей нейрона ги.
Таким образом, рассмотрен алгоритм получения от одного до четырех решений при распознавании изображений, находящихся на минимальном расстоянии от одного до четырех эталонных изображений, хранящихся в весах связей г-нейронов. При этом описан наиболее трудоемкий алгоритм, когда вначале с помощью итерационного процесса в слое Л-нейронов выделяются четыре
нейрона-кандидата в Y-слое, а затем последовательно анализируются возможности отнесения входного изображения к четырем, трем или двум различным классам изображений. Если входное изображение не находится на одинаковом расстоянии Хемминга от нескольких эталонных изображений, то выделяется единственное эталонное изображение, находящееся на минимальном расстоянии Хемминга от входного.
Аналогичным образом может быть проиллюстрировано функционирование нейронной сети и для других случаев, например, когда вначале выделяется не четыре, а три или два A-нейрона с положительными выходными сигналами, когда вначале выделяется четыре A-нейрона, а затем - два или один и т.д.
Выводы. Таким образом, разработана дискретная нейронная сеть, использующая расстояние Хемминга при распознавании черно-белых изображений и способная распознавать изображения, находящиеся на минимальном расстоянии Хемминга от одного до четырех эталонных изображений, хранящихся в весах связей нейронов Z-слоя. Сеть имеет однотипную наращиваемую с помощью дополнительных слоев нейронов архитектуру, которую можно обобщить и на распознавание изображений, находящихся на одинаковом расстоянии Хемминга от произвольного числа к (к > 5) эталонных изображений.
Список литературы: 1. Ямпольський Л. С. Нейротехнологп та нейросистеми / Л.С. Ямпольський. - К.: Монографiя. - "Дорадо-Друк, 2015. - 508 с. 2. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Издательский дом "Вильямс", 2006. -1104 с. 3. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б. Барский. - М.: Финансы и статистика, 2004. - 176 с. 4. Fausett L. Fundamentals of Neural Network. Architectures, Algorithms and Applications / L. Fausett. -New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 5. Dmitrienko V.D. Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm / V.D. Dmitrienko, A.Yu. Zakovorotnyi, S.Yu. Leonov, I.P. Khavina // Open Neurology Journal. - 2014. - Vol. 8. - P. 15-21. 6. Дмитриенко В.Д. Моделирование и оптимизация процессов управления движением дизель-поездов / В.Д. Дмитриенко, А.Ю. Заковоротный. - Харьков: Изд-во "НТМТ", 2013. - 248 с. 7. Дмитриенко В.Д. Вычислительная сеть для решения задач распознавания с несколькими решениями / В.Д. Дмитриенко, И.П. Хавина // Вестник НТУ "ХПИ". - 2007. - № 19. - С. 58-63. 8. Grossberg S. Competive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science. - 1987. - Vol. 11. - P. 23-63. 9.Дмитриенко В.Д. Нейронная сеть, использующая расстояние Хемминга для распознавания изображений на границах нескольких классов / В.Д. Дмитриенко, А.Ю. Заковоротный // Вюник НТУ "ХШ". Серiя: 1нформатика та моделювання. - Харшв: НТУ "ХШ". - 2013. - № 39 (1012). - С. 57-67.
References:
1. Yampolsky, L.S. (2015). Neurotechnology and Neurosystems. Monograph, Dorado-Print, Kiev, 508 p.
2. Haykyn, S. (2006), Neural networks: full course. Publishing House "Williams", Moskow, 1104 p.
3. Barsky, A.B. (2004), Neural networks: recognition, management, decision-making. Finance and statistics, Moskow, 176 p.
4. Fausett, L. (1994), Fundamentals of Neural Network. Architectures, Algorithms and Applications, Prentice Hall International, Inc., New Jersey, 461 p.
5. Dmitrienko, V.D., Zakovorotnyi, A.Yu., Leonov, S.Yu., and Khavina, I.P. (2014), "Neural Networks Art: Solving problems with multiple solutions and new teaching algorithm", Open Neurology Journal, Vol. 8, pp. 15-21.
6. Dmitrienko, V.D., and Zakovorotnyi, A.Yu., (2013), Modeling and optimization of processes of control of movement of diesel trains, Publishing house "NTMT", Kharkov, 248 p.
7. Dmitrienko, V.D., and Khavina, I.P., (2007), "A computer network for solving recognition problems with several solutions", Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling, Vol. 19, pp. 58-63.
8. Grossberg, S., (1987), "Competive learning: From interactive activation to adaptive resonance", Cognitive Science, Vol. 11, pp. 23-63.
9. Dmitrienko, V.D., and Zakovorotnyi, A.Yu., (2013), "Neural network using the Hamming distance to recognize images at the boundaries of several classes", Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling, Vol. 39, pp. 57-67.
Поступила (received) 03.11.2017
Статью представил д-р техн. наук, проф., заслуженный изобретатель Украины, зав. кафедрой "Системы информации" НТУ "ХПИ" Серков А.А.
Dmitrienko Valerii, Dr. Tech. Sci., Professor
National Technical University "Kharkov Polytechnic Institute"
Str. Kirpichova, 21, Kharkov, Ukraine, 61002
Tel.: +38 (057) 707-61-98, e-mail: valdmitrienko@gmail.com
ORCID ID: 0000-0003-2523-595x
Zakovorotniy Alexandr, , Dr. Tech. Sci., Docent
National Technical University "Kharkov Polytechnic Institute"
Str. Kirpichova, 21, Kharkov, Ukraine, 61002
Tel.: +38 (067) 546-35-27, e-mail: zakovorotniy@kpi.kharkov.ua
ORCID ID: 0000-0003-4415-838x
Leonov Sergey, Dr. Tech. Sci., Professor
National Technical University "Kharkiv Politechnical Institute"
Str. Kirpichova, 21, Kharkov, Ukraine, 61002
Tel.: (099) 911-911-3, e-mail: serleomail@gmail.com
ORCID ID 0000-0001-8139-0458
УДК 519.71:004.89
Нейронна мережа Хеммшга для luipiiiiciinu завдань з декшькома piiiiciiiiuMii / Дмитpienко В.Д., Заковоротний О.Ю., Леонов С.Ю. // Вiсник НТУ "ХШ". Сер!я: 1нформатика та моделювання. - Харшв: НТУ "ХП1". - 2017. - № 50 (1271). - С. 119 - 129.
У статп викладеш результата аналiзу особливостей функцiонування дискретно! нейронно! мереж Хеммшга, яка не може розтзнавати вхвдш чорно-бiлi зображення, що знаходяться на однаковш мiнiмальнiй вiдстанi вiд двох або бшьшого числа еталонних зображень. Проаналiзовано недолiки нейронних мереж, що використовують вщстань Хеммiнга i виршують цю задачу для зображень, яш перебувають на кордонах двох або трьох класiв зображень. Запропоновано модифжащя нейронно! мереж! Хеммiнга, що розшзнае зображення на кордонах к1лькох клаав. 1л.: 2. Б!блюгр.: 9 назв.
Ключовi слова: нейронна мережа Хеммшга; еталонш зображення; зображення на кордонах шлькох клаав.
УДК 004.89
Нейронная сеть Хемминга для решения задач с несколькими решениями / Дмитриенко В.Д., Заковоротный А.Ю., Леонов С.Ю. // Вестник НТУ "ХПИ". Серия: Информатика и моделирование. - Харьков: НТУ "ХПИ". - 2017. - № 50 (1271). - С. 119 - 129.
В статье изложены результаты анализа особенностей функционирования дискретной нейронной сети Хемминга, которая не может распознавать входные черно-белые изображения, находящиеся на одинаковом минимальном расстоянии от двух или большего числа эталонных изображений. Проанализированы недостатки нейронных сетей, использующих расстояние Хемминга и решающих эту задачу для изображений, находящихся на границах двух или трех классов изображений. Предложены модификация нейронной сети Хемминга, распознающей изображения на границах нескольких классов. Ил.: 2. Библиогр.: 9 назв.
Ключевые слова: нейронная сеть Хемминга; эталонные изображения; изображения на границах нескольких классов.
UDC 519.71:004.89
The Hamming neural network for solving problems with several solutions / Dmitrienko V.D., Zakovorotnyi A.Y., Leonov S.Yu. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2017. - № 50 (1271). - P. 119 - 129.
The article presents the results of an analysis of the features of the functioning of the discrete neural network of Hamming, which can not recognize input black-and-white images that are at the same minimum distance from two or more reference images. The shortcomings of neural networks using the Hamming distanceand solving this problem for images located on the boundaries of two or three classes of images are analyzed. A modification of the neural network of Hamming, recognizing images on the boundaries of several classes. Figs.: 2. Refs.: 9 titles.
Keywords: neural network of Hamming; reference images; images on the boundaries of several classes.
