Дискретная нейронная сеть арт с использованием расстояния Хемминга Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.383

DOI: 10.20998/2411-0558.2016.21.04

В.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ", А.Ю. ЗАКОВОРОТНЫЙ, канд. техн. наук, доц., НТУ "ХПИ", Н.В. МЕЗЕНЦЕВ, канд. техн. наук, доц., НТУ "ХПИ", Г.В. ГЕЙКО, ст. преп., НТУ "ХПИ"

ДИСКРЕТНАЯ НЕЙРОННАЯ СЕТЬ АРТ С ИСПОЛЬЗОВАНИЕМ РАССТОЯНИЯ ХЕММИНГА

Проанализированы недостатки меры близости изображений, используемой в дискретной нейронной сети адаптивной резонансной теории (АРТ) АРТ-1. Предложена дискретная сеть АРТ с использованием в качестве меры близости изображений расстояние Хемминга. Разработана стабильно пластичная нейронная сеть Хемминга, способная распознавать новую информацию на своих входах. Ил.: 2. Библиогр.: 9 назв.

Ключевые слова: нейронная сеть, адаптивная резонансная теория, расстояние Хемминга, мера близости изображений.

Постановка проблемы и анализ литературы. Дискретная нейронная сеть адаптивной резонансной теории АРТ-1 [1 - 4] имеет важные преимущества перед многими другими нейронными сетями, поскольку может дообучаться в процессе своего функционирования, сохраняя при этом накопленную ранее информацию, а также может обнаруживать на своих входах новую информацию, которая не соответствует ни одному вектору или чёрно-белому изображению, хранящемуся в её памяти. Этим она отличается от большинства нейронных сетей [5 - 9], в частности, перцептронов, которые для запоминания дополнительной информации требуют, как правило, своего полного переобучения и реагируют на любую входную информацию (новую или хранимую в памяти) выходными сигналами. Однако, дискретная нейронная сеть АРТ-1 (рис.1) обладает и определёнными недостатками:

- результаты её обучения классическим алгоритмом [1, 2] в общем случае зависят от порядка следования изображений в обучающей последовательности;

- мера близости изображений, хранимых в памяти сети и поступающих на её входы, определяется с помощью параметра сходства:

где - норма вектора (изображения) хранящегося в памяти сети, которая вычисляется как сумма его единичных компонент; ||£|| - норма

входного вектора (рис. 1).

Из определения параметра сходства следует, что близость чёрно-

© В.Д. Дмитриенко, А.Ю. Заковоротный, Н.В. Мезенцев, Г.В. Гейко, 2016

белых изображений определяется только расположением их единичных (чёрных) компонент.

Рис. 1. Дискретная нейронная сеть АРТ-1

Например, если два изображения 2, 5 содержит по 100 компонент, из которых у каждого изображения имеется только по 10 единичных компонент, причём, в обоих изображениях одинаково расположены только пять единичных компонент, то параметр сходства в этом случае равен:

р = |И/И = 5/10 - 0,5.

Такое значение параметра сходства указывает на то, что изображения 2 и И существенно отличаются друг от друга. Однако, применение других мер близости к этим изображениям, например, с использованием расстояния Хемминга, указывает на определённую близость этих изображений. Действительно, расстояние Хемминга в этом случае равно 10 (десять несовпадающих двоичных компонент изображений), а отношение числа совпадающих компонент к их общему числу равно 0,9. Таким образом, изображения отличаются только 10% своих компонент, что указывает на существенное сходство сравниваемых изображений.

В связи с этим, возникает проблема разработки дискретных нейронных сетей АРТ использующих меру сходства изображений с применением расстояния Хемминга.

Целью статьи является разработка дискретной нейронной сети АРТ, использующей для сравнения изображений все компоненты чёрно-белых изображений, в частности, расстояние Хемминга.

Архитектуру нейронной сети определяет три слоя нейронов: входной £-слой бинарных нейронов, интерфейсный слой Z-нейронов и выходной или распознающий слой Y-нейронов. Кроме этого, имеется два управляющих нейрона G\ и G2 и решающий нейрон R.

Различают два режима функционирования нейронной сети - режим обучения и режим распознавания. Если в памяти нейронной сети перед началом обучения не хранятся какие-либо изображения, то между нейронами Y- и Z-слоя задаются, обычно, следующие веса связей:

wj =-L, Wfi - 1, i-\Tn, j-im. (1)

1 + n

Веса всех остальных связей между нейронами могут быть приняты равными единице. Перед началом режима обучения выходные сигналы всех нейронов сети "обнуляются", а также задаётся требуемое значение параметра сходства рз. Обучение сети начинается с подачи на её входы

первого изображения S1 - (Sj, Sj, ..., Sj, ..., Sj), в результате чего

определяются входные и выходные сигналы нейронов £-слоя:

- Sj> i =1, n>

Uвых£г- - Uвх£г- > i - 1, n .

Выходные сигналы нейронов £-слоя поступают на входы решающего нейрона R, управляющих нейронов G1 и G2 и нейронов Z-слоя. С помощью сигналов элементов £-слоя нейрон R определяет

норму вектора (изображения) S1

^^ Uв,ыхSi i-1

и подготавливается для определения в дальнейшем параметра сходства р . Единичными сигналами с выходов ^-нейронов управляющие нейроны

0\ и G2 переводятся в активное состояние и подготавливают срабатывание нейронов Z- и 7-слоя. Определяются входные сигналы нейронов интерфейсного слоя:

ивх7, = ивых&, г = 1, п.

По правилу "два из трёх", то есть при наличии единичных сигналов из двух источников (с выходов ^-нейронов и управляющего нейрона 61), переводятся в активное состояние Z-элементы:

ивыхИ, = ивхИг- п ивыхС. , I = 1 п.

Выходные сигналы Z-элементов поступают на входы распознающих нейронов, где суммируются и определяют входные сигналы 7-элементов:

п _

ивхУ- выхИ, , 3 =1, т.

1 ■ 1 I =1

Элементы распознающего слоя также срабатывают по правилу "два из трёх", поскольку на их входы поступают единичные сигналы из двух

источников: из Z-слоя и с выхода элемента . Нейроны 7-слоя имеют

линейную функцию активации с единичным коэффициентом наклона, поэтому имеем:

ивыху- = ивху- , 3 = 1 т.

Затем, с помощью вспомогательной нейронной сети, на рис. 1 не показанной, выделяется нейрон-победитель 7Т , имеющий максимальный выходной сигнал. Если таких нейронов несколько, а в рассматриваемом случае все т элементов распознающего слоя имеют одинаковые выходные сигналы, то выделяется нейрон с минимальным индексом. В

нашем случае - у , выходной сигнал этого нейрона задаётся равным единице, а выходы всех остальных нейронов обнуляются:

ивыхУ1 = 1 ивых¥% = 0 3 = 2 т

Единичный выходной сигнал нейрона-победителя сбрасывает в нуль управляющий нейрон 61 и поступает на входы нейронов Z-слоя, которые срабатывают по правилу "два из трёх", но при этом учитывается единичный сигнал нейрона-победителя из 7-слоя, а не с выхода управляющего нейрона 61. Поскольку выполняется соотношение (1) для

весов связей Ж2-, то имеем:

ЦвыхИ,. = ^выхИ , - = ^ .

то есть в единичное состояние переходят все Z-нейроны, на входы которых поступают единичные сигналы с выходов элементов входного слоя.

Вектор выходных сигналов элементов Z-слоя (ишхг1 , ивых72, ивых7„ ) постУпает на вход решаюЩего нейрона Я, который вычисляет норму:

ивътхХ

выхб1,-

и величину параметра сходства р - ||ивых,г||/ 5*1 -1 > рз. Поскольку

определённое значение параметра сходства больше заданного, то на выходе Я-нейрона остаётся нулевой сигнал и нейрон ¥ может запомнить

в весах своих связей изображение ^ . При этом корректируются веса связей между нейроном-победителем ¥1 и нейронами Z-слоя:

Л 21вых^ . - ,

--, 1 - 1 П, Щ2 - ивЬ1х, , 1 - 1 П.

1 +

1 вы^

Если подаваемое на вход изображение ^ не является первым запоминанием изображения, то нейрон-победитель ¥j при первом

предъявлении изображения может не подойти по величине параметра сходства, поскольку может оказаться, что р < рз. В этом случае на выходе решающего нейрона появляется единичный выходной сигнал,

который затормаживает нейрон ¥; (1вых¥- -_1) и начинается поиск

^ j

нового нейрона-победителя. Если входное изображение является представителем нового класса изображений, то будут заторможены все распределённые У-нейроны, а новое изображение запомнит не распределённый распознающий нейрон с минимальным индексом.

Функционирование сети в режиме распознавания отличается, в основном, от её функционирования в режиме обучения только тем, что не меняются веса связей между У- и Z-нейронами.

Описанный алгоритм обучения нейронной сети имеет недостатки, которые поясним с помощью следующего примера.

Пример 1. Требуется с помощью нейронной сети АРТ-1 разделить множество М из десяти векторов

■-1 ■-1

М - {51 - (1,1,0,0,0,0,1,1), 52 - (0,1,0,0,0,0,1,1), 53 - (1,0,0,0,0,0,1,1), 54 - (1,1,0,0,0,0,0,1), 55 - (1,1,0,0,0,0,1,0), 56 - (0,0,1,1,1,1,0,0), 57 - (0,0,0,1,1,1,0,0), 58 - (0,0,1,0,1,1,0,0), 59 - (0,0,1,1,0,1,0,0), 510 - (0,0,1,1,1,0,0,0)}

на минимальное число классов. Напрашивается классификация из двух

классов: {51, 52, 53, 54, 55} и {56, 57, 58, 59, 510}, при которой векторы в каждом из классов отличаются друг от друга одной или двумя компонентами. Используем для классификации этих векторов нейронную сеть АРТ-1 с параметрами: п - 8 - число компонент входных векторов и одновременно число нейронов в 5- и Z-слое; т - 7 - число распознающих У-нейронов; параметр сходства рз - 0,5; начальные веса связей нейронной сети между слоями У- и Z-нейронов:

Ж'/ -

У 1 + п

1 ? — — - 0,11; Жу -1; I -1,8, у -1,7.

1 2 3 4 5

Обучение нейронной сети векторами 51,52, 53, 54,55 и расчет

матриц весовых коэффициентов сети приводит к следующим результатам:

) 0 00 011 011

1 1 0 0 0 0 0 0

0 0 0 0 0 0 1

0,50 0,00 0,11 . . 0,11

0,50 0,00 0,11 . . 0,11

0,00 0,00 0,11 . . 0,11

0,00 0,00 0,11 . . 0,11

0,00 0,00 0,11 . . 0,11

0,00 0,00 0,11 . . 0,11

0,00 0,50 0,11 . . 0,11

0,00 0,50 0,11 . . 0,11

Ж1 - "' , Ж2 - 1 1

1 1 1

Легко убедиться, что последующая подача векторов 51, 52, ..., 510 на вход сети в режиме обучения не приводит к изменению первых двух

1 2 столбцов матрицы Ж и первых двух строк матрицы Ж .

1 2

Из анализа матриц Ж и Ж следует, что множество векторов

51, 52, ..., 55 разбивается на два класса: {51, 52, 53} и {54, 55}.

Причем, результаты классификации зависят и от порядка векторов в

обучающей последовательности. Полученные результаты связаны с тем,

что нейронная сеть АРТ-1 запоминает пересечения входных бинарных векторов. А пересечение этих векторов даёт вектор с нулевыми компонентами:

51 П 52 П 53 П 54 П 55 - {0, 0, 0, 0, 0, 0, 0, 0}.

Поэтому нейронная сеть АРТ-1 с классическим алгоритмом обучения не способна исходное множество векторов М разделить на два класса.

Для преодоления этого недостатка были предложены алгоритмы обучения нейронной сети АРТ-1 с учителем и без адаптации весов связей распределённых распознающих нейронов. Для решения поставленной задачи классификации учитель должен обучить сеть запоминанию только

двух векторов: 51 и 56.

При параметре сходства рз - 0,75 нейронная сеть относит первые пять векторов к первому классу, а оставшиеся - ко второму, так как при сравнивании входных векторов с одним из запомненных получаются параметры сходства, равные единице. Эти же величины параметра сходства получаются и при подаче на вход нейронной сети векторов с единственной единичной компонентой, что может порождать ошибочные классификации входных векторов.

Для преодоления этого недостатка сети предлагается изменить архитектуру и алгоритмы функционирования нейронной сети АРТ-1:

1. Классический алгоритм обучения сети АРТ-1 заменяется заданием учителем эталонных изображений в весах связей распознающих нейронов (с определением весов связей между У- и Z-нейронами).

2. В режиме классификации входных векторов связи Ж^2 (I -1, п), с

выхода нейрона-победителя переключаются на входы решающего нейрона Я вместо входов Z-элементов.

3. Мера близости входного вектора (изображения) и вектора, хранящегося в весах связей победившего У-нейрона, определяется с помощью расстояния Хемминга Ях, которое сравнивается с предельно

допустимым расстоянием Хемминга Яхд. Если Ях < Яхд, то входное изображение относится к классу изображений (векторов), хранящихся в весах связей нейрона-победителя J. Если Ях > Яхд, то указанного

отношения нет и нейрон 1 должен быть заторможен единичным

сигналом с выхода решающего нейрона Я. Затем, как и в обычной сети АРТ-1, начинается поиск другого нейрона-победителя. Каждый У-нейрон

в сети АРТ-1 хранит или будет хранить информацию только об одном изображении.

Подобный слой запоминающих нейронов имеет и сеть Хемминга (рис. 2) [1, 2, 4], где каждый Z-нейрон в весах своих связей хранит информацию также об одном изображении, являющемся представителем (эталоном) своего класса (без нейрона Е и его связей).

Рис. 2. Нейронная сеть Хемминга (без нейрона 2 и его связей)

Если в слой Z-нейронов сети Хемминга ввести дополнительные Z-нейроны (и соответствующие им А- и У-нейроны), способные запоминать новую информацию (эталонные изображения новых классов), то такая сеть также сможет дообучаться и будет обладать свойствами стабильности и пластичности, то есть свойствами дискретной нейронной сети АРТ-1.

Еще одно достоинство нейронных сетей АРТ - возможность выделять новую информацию. Это достигается тем, что входное изображение сравнивается по величине параметра сходства с эталонными изображениями, хранящимися в весах связей распознающих нейронов.

Если входное изображение относится к новому классу, то при сравнении с любым эталонным изображением, хранящемся в весах связей распределенных распознающих нейронов, получается параметр сходства меньше минимально допустимого. Поэтому в результате такого сравнения все распределенные распознающие У-нейроны будут заторможены, что и является признаком того, что входное изображение несет новую информацию, которой нет в памяти нейронной сети АРТ.

В нейронной сети Хемминга сравнение изображений (или биполярных векторов) выполняется по числу компонент, в которых входное и эталонное изображения совпадают: a = n — Rx, где n - число компонент изображения; Rx - расстояние Хемминга между

изображениями. Поэтому по аналогии с нейронными сетями АРТ можно задать минимально допустимое значение числа совпадающих компонент amjn, при которых могут сравниваться входное и эталонное изображения, а при a < amjn входное изображение и эталонное несравнимы или, другими словами, входное изображение несет новую информацию по сравнению с изображением, хранящемся в весах связей нейронной сети. Учесть значение amin в архитектуре нейронной сети несложно - достаточно ввести дополнительное смещение на нейроны Z-слоя (точнее - изменить величину смещения n /2 ). При этом выходные сигналы Z-нейронов будут описываться соотношением (2):

n -Д

ивытх1р =- — amin +1 + nnSWip = a — amm + 1 Р = 1 Я > (2) 2 i=1

где q - число Z-нейронов, хранящих эталонные изображения.

Из(2)следует:

Uвыp

0, если a < amin,

1, если a = amin,

UeuxZp > 1, если a > amin •

Таким образом, если на выходе всех распределенных Z-нейронов выходные сигналы равны нулю (ивых^ - 0, р -1, ..., q), то входное

изображение по принятому критерию близости изображений не является похожим ни на одно из известных эталонных изображений и несет новую информацию.

Для аппаратного определения новизны входного изображения в архитектуру нейронной сети Хемминга достаточно ввести один нейрон Е, суммирующий выходные сигналы всех нейронов Z-слоя (рис. 2). Если после предъявления входного изображения на выходе нейрона Е нулевой выходной сигнал, то это означает, что входное изображение по расстоянию Хемминга находится далеко от эталонных изображений, хранящихся в весах связей нейронов Z-слоя, и является представителем нового класса изображений. Если после предъявления входного изображения выходной сигнал нейрона Е положителен, то это означает,

— <

что входное изображение является представителем известного класса изображений, хранящегося в памяти нейронной сети.

Выводы. Анализ функционирования дискретной нейронной сети АРТ-1 показал, что мера близости изображений, используемая в этой нейронной сети, обладает определёнными недостатками, поскольку использует для определения сходства изображений только единичные (чёрные) элементы чёрно-белых изображений. В связи с этим, для оценки сходства изображений предлагается в дискретной нейронной сети АРТ-1 использовать расстояние Хемминга, которое учитывает все элементы сравниваемых изображений. На основе модифицированной дискретной сети АРТ-1 предложена сеть Хемминга, обладающая свойством стабильности-пластичности и способная обнаруживать новую информацию на своих входах.

Список литературы: 1. Fausett L. Fundamentals of Neural Networks Architectures, Algorithms and Applications / L. Fausett - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 2. Дмитриенко В.Д. Основы теории нейронных сетей / В.Д. Дмитриенко,

H.И. Корсунов. - Белгород: БИИММАП, 2001. - 159 с. 3. Дмитриенко В.Д. Алгоритмы обучения дискретных сетей АРТ без адаптации весов связей распределённых распознающих нейронов / В.Д. Дмитриенко, В.И. Носков, И.П. Хавина // Вестник НТУ "ХПИ". - 2006. - №23. - С. 35-48. 4. Дмитриенко В.Д. Моделирование и оптимизация процессов управления движением дизель-поездов / В.Д. Дмитриенко, А.Ю. Заковоротный.- Х.: Изд. центр "НТМТ", 2013. - 248 с. 5. Sapozhnikova Elena P. ART-Based Neural Networks for Multi-label classification / E.P. Sapozhnikova // SpringerVerlag Berlin Heidelberg, 2009. - P. 167-177. 6. Рутковская Д.С. Нейронные сети, генетические алгоритмы и нечёткие системы / Д.С. Рутковская, М.В. Пилиньский, Л.П. Рутковский. - М.: Горячая линия - Телеком, 2004. - 452 с. 7. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б. Барский. - М.: Финансы и статистика, 2004. - 176 с. 8. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Издательский дом "Вильямс", 2006. - 1104 с. 9. Рутковский Лешек Методы и технологии искусственного интеллекта / Лешек Рутковский. - М.: Горячая линия - Телеком, 2010. - 520 с.

References:

I. Fausett, L. (1994), Fundamentals of Neural Networks Architectures, Algorithms and Applications. Prentice Hall International Inc., New Jersey, 461 p.

2. Dmitrienko V.D. and Korsunov N.I. (2001), Fundamentals theory of neural networks. BYYMMAP, Belgorod, 159 р.

3. Dmitrienko V.D., Noskov V.I. and Khavina I.P. (2006), "Learning Algorithms of discrete networks ART without adaptation of the weights distributed recognizing neurons". Herald of the NTU "KhPI", Vol. 23, pp. 35-48.

4. Dmitrienko V.D. and Zakovorotniy A.Y. (2013) Modelling and optimization of management processes diesel trains. Pub. center "NTMT", Kharkiv, 248 р.

5. Sapozhnikova, Elena P. (2009), "ART-Based Neural Networks for Multi-label classification", Springer-Verlag Berlin Heidelberg, pp. 167-177.

6. Rutkowska D.S., Pilinski М^. and Rutkowski L.P. (2004), Neural networks, genetic algorithms and fuzzy systems. Horiachaia lynyia - Telekom, Мoscow, 452 p.

7. Barsky, A.B. (2004), Neural networks: recognition, management, decision-making. Fynansy y statystyka, Moscow, 176 p.

8. Haykin, S. (2006), Neural Networks: a complete course. Pub. house "Williams", Moscow, 1104 p.

9. Rutkowski, L. (2010), Methods and techniques of artificial intelligence. Horiachaia lynyia -Telekom, Moscow, 520 p.

Поступила (received) 18.03.2016

Статью представил д-р техн. наук, академик Транспортной Академии наук Украины В.И. Носков

Dmitrienko Valerii, Dr. Tech.Sci., Professor

National Technical University "Kharkiv Polytechnic Institute"

Str. Kirpicheva, 21, Kharkiv, Ukraine, 61002

Tel.: +38 (057) 707-61-98, e-mail: [email protected]

ORCID ID: 0000-0003-2523-595X

Zakovorotniy Alexandr, Cand. Tech.Sci., Docent National Technical University "Kharkiv Polytechnic Institute" Str. Kirpicheva, 21, Kharkiv, Ukraine, 61002 Tel.: +38 (097) 967-32-71, e-mail: [email protected] ORCID ID: 0000-0003-4415-838X

Mezentsev Nikolay, Cand. Tech.Sci., Docent

National Technical University "Kharkiv Polytechnic Institute"

Str. Kirpicheva, 21, Kharkiv, Ukraine, 61002

Tel.: +38 (098) 859-88-98, e-mail: [email protected]

ORCID ID: 0000-0001-7834-2797

Gejko Gennadij, Senior Lecturer

National Technical University "Kharkiv Polytechnic Institute" Str. Kirpicheva, 21, Kharkiv, Ukraine, 61002 Tel.: +38 (098) 929-85-28, e-mail: [email protected] ORCID ID: 0000-0001-6958-8306

УДК 004.383

Дискретна нейронна мережа АРТ з використанням ввдстань Хеммшга / Дмш^енко В.Д., Заковоротний О.Ю., Мезенцев М.В., Гейко Г.В. // Вюник НТУ "ХШ". Серiя: 1нформатика та моделювання. - Харшв: НТУ "ХШ". - 2016. - № 21 (1193). - С. 29 - 40.

Проаналiзованi недолши ]шри близькостi зображень, яка використовуеться в дискретнiй нейроннiй мереж1 адаптивно! резонансно! теорп (АРТ) АРТ-1. Запропонована дискретна мережа АРТ з використанням в якосп мiри близькостi зображень вщстань Хеммiнга. Розроблена стабiльно пластична нейронна мережа Хеммшга, здатна розтзнавати нову шформацш на сво!х входах. 1л.: 2. Бiблiогр.: 9 назв.

Ключовi слова: нейронна мережа, адаптивна резонансна теорiя, ввдстань Хеммiнга, мiра близькостi зображень.

УДК 004.383

Дискретная нейронная сеть АРТ с использованием расстояния Хемминга / Дмитриенко В.Д., Заковоротный А.Ю., Мезенцев Н.В., Гейко Г.В. // Весник НТУ "ХПИ". Серия: Информатика и моделирование. - Харьков: НТУ "ХПИ". - 2016. - № 21 (1193). - С. 29 - 40.

Проанализированы недостатки меры близости изображений, используемой в дискретной нейронной сети адаптивной резонансной теории (АРТ) АРТ-1. Предложена дискретная сеть АРТ с использованием в качестве меры близости изображений расстояние Хемминга. Разработана стабильно пластичная нейронная сеть Хемминга, способная распознавать новую информацию на своих входах. Ил.: 2. Библиогр.: 9 назв.

Ключевые слова: нейронная сеть, адаптивная резонансная теория, расстояние Хемминга, мера близости изображений.

UDC 004.383

Discrete neural network ART using a Hamming distance / Dmitrienko V.D., Zakovorotniy A.Y., Mezentsev N.V., Gejko G.V. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2016. - № 21 (1193). - Р. 29 - 40.

Disadvantages of image proximity measure that is used in discrete neural network of adaptive resonance theory (ART) ART-1 are analyzed. The discrete network ART that uses the Hamming distance as an image proximity measure is proposed. Stable plastic Hamming neural network that is able to recognize the new information on its inputs is developed. Figs.: 2. Refs.: 9 titles.

Keywords: neural network, adaptive resonance theory, Hamming distance, image proximity measure.