CC BY
232
УДК004.383.8.032.26
Дмитриенко В. Д.1, Заковоротный А. Ю.2
1Д-р техн. наук, профессор, профессор кафедры вычислительной техники и программирования, Национальный
технический университет «Харьковский политехнический институт», Украина 2Канд. техн. наук, доцент, доцент кафедры вычислительной техники и программирования Национальный технический
университет «Харьковский политехнический институт», Украина
АРХИТЕКТУРЫ И АЛГОРИТМЫ ФУНКЦИОНИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ ХЕММИНГА И ХЕББА, СПОСОБНЫХ ДООБУЧАТЬСЯ И РАСПОЗНАВАТЬ НОВУЮ ИНФОРМАЦИЮ
Решена задача дообучения классических дискретных нейронных сетей Хемминга и Хебба без потерь запомненной ранее информации. Объектом исследования являются процессы распознавания и классификации образов в системах, построенных на основе искусственных нейронных сетей. Предметом исследования являются архитектуры и алгоритмы функционирования искусственных нейронных сетей. Цель работы: разработка стабильно-пластичных нейронных сетей Хемминга и Хебба. Разработаны архитектуры и алгоритмы функционирования дискретных стабильно-пластичных нейронных сетей Хемминга и Хебба, которые не только могут дообучаться в процессе функционирования, но и распознавать новую информацию. Новые сети могут стать альтернативой дискретным нейронным сетям адаптивной резонансной теории. Разработанный подход по дообучению может быть обобщен и на другие нейронные сети. Проведены экспериментальные исследования разработанных алгоритмов функционирования искусственных нейронных сетей. Результаты экспериментов подтверждают правильность предложенного подхода.
Ключевые слова: распознавание и классификация образов, стабильно-пластичные нейронные сети, нейронная сеть Хемминга, нейронная сеть Хебба, адаптивная резонансная теория.
НОМЕНКЛАТУРА
АРТ - адаптивная резонансная теория;
АРТ-1 - дискретная нейронная сеть адаптивной резонансной теории;
НС - нейронная сеть;
Ар -р-й входной сигнал нейронов;
а - число компонент, в которых совпадают входной и эталонный вектора в нейронной сети Хемминга;
а . - минимально допустимое значение числа совпадающих компонент входного и эталонного векторов в сети Хемминга;
^ - обобщенная функция числа нейронов весов связей нейронной сети и входного изображения;
Г - обобщенная функция;
8А (ивх) - функция активации А-нейронов сети Хем-минга;
87 (и вх) - функция активации 7-нейронов сети Хем-минга;
8 z (и вх) - функция активации 2-нейронов сети Хем-минга;
к - константа;
Ь - число дообучений нейронной сети Хебба;
т - число 7-нейронов сети Хебба;
М - множество из т пар входных распознаваемых изображений и соответствующих им выходных изображений нейронной сети Хебба;
п - количество входных нейронов сети Хемминга;
п^ - число нейронов в й-й группе 7-нейронов сети Хебба;
N - число групп распознающих нейронов сети Хебба;
N - число нейронов сети;
N - предельное число эпох обучения сети Хебба;
^б - число обученных нейронов в сети АРТ;
N изб - число избыточных нейронов в сети АРТ;
q - число Z-нейронов, хранящих эталонные изображения в сети Хемминга;
Я - расстояние по Хеммингу между входным и эталонным векторами;
5к - к-е входное изображение нейронной сети Хебба; - г-я биполярная компонента к - го входного изображения сети Хебба;
- г-й входной нейрон сети Хемминга;
5* - входное изображение;
* ~
7 - вектор выходных сигналов нейронной сети;
7 р - выходной вектор, сопоставленный р-му изображению;
7тр - т-я компонента выходного вектора 7 р;
ут - т-я компонента выходного вектора сети для изображения Бк;
/ - время;
1к - вектор выходных сигналов нейронной сети Хебба, соответствующий входному изображению Бк;
© Дмитриенко В. Д., Заковоротный А. Ю., 2014 100 БОТ 10.15588/1607-3274-2014-2-15
p-ISSN 1607-3274. Радюелектронжа, шформатика, управлiння. 2014. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2014. № 2
tm -
U в U в
k.
m-я компонента вектора входных сигналов I Ap - входной сигнал нейронаАр сети Хемминга; 1х Ар - выходной сигнал нейрона А сети Хемминга;
Umax - константа;
и вх х,- - входной сигнал элемента Б нейронной сети Хемминга;
и вых Б- - выходной сигнал элемента Б. нейронной
вых
сети Хемминга;
U в
. у. - входной сигнал нейрона Y. сети Хебба;
выхТ,- - выходной сигналы нейрона 7 сети Хебба; вых г/ - выходной сигнал нейрона г/ ^й группы
нейронов сети Хебба;
U в
: 2р - входной сигнал нейрона сети Хемминга; ивых 2 - выходной сигнал нейрона 2 сети Хемминга;
U в
вх £,
- входной сигнал нейрона сети Хебба;
Еd - выходной сигнал нейрона £ d сети Хебба;
W - множество весов связей нейронной сети;
- число обученных весов связей нейронной сети
АРТ;
WH36 - число избыточных весов связей нейронной сети АРТ;
WijA - вес связи между нейронами A. и A. в сети Хем-минга;
Wip - вес связи от /-го нейрона входного Б-слоя к p-му нейрону Z-слоя сети Хемминга;
Wij - вес связи от i-го нейрона Б-слоя кj-му нейрону У-слоя сети Хебба;
Wij (new) - новый вес связи нейронной сети Хебба;
Wj(old) - предыдущий вес связи нейронной сети Хебба;
У - вектор выходных сигналов нейронной сети;
Zp - p-й элемент слоя Z-нейронов сети Хемминга;
s - константа;
£ - дополнительный суммирующий нейрон сети Хемминга для обнаружения новой информации на входе сети.
ВВЕДЕНИЕ
Системы распознавания, классификации и управления на основе искусственных НС широко применяются для решения самых различных задач. Успешное применение НС при решении разнообразных задач обусловлено их универсальностью, возможностью замены различных традиционных проблем, возникающих при решении конкретных прикладных задач, обучением НС на примерах, возможностью самообучения и разработки НС под решаемую задачу, и т. д.
При наличии достаточно полной информации об объекте исследования, возможно использование целого ряда различных видов НС, подходящих для создания распознающих, классифицирующих и управляющих систем.
Однако при разработке систем для реальных объектов зачастую возникают ситуации, когда информация об объекте далеко не полная или будет уточняться в процессе функционирования объекта. Это обстоятельство резко сокращает круг НС, которые целесообразно использовать в таких ситуациях, поскольку обучение новому образу в общем случае приведет к полному переобучению НС. Также ограничение на применяемые сети накладывает и нечувствительность сетей к новым данным во входной информации. Все вышеперечисленное привело к разработке принципиально новых конфигураций НС использующих в своей основе АРТ и решающих проблему стабильности-пластичности, то есть проблему восприятия и запоминания новой информации при сохранении уже имеющейся.
Указанное достоинство сетей АРТ достигается за счет введения в архитектуру НС избыточных нейронов, которые используются только для дообучения сети. Введение избыточных нейронов может позволить решить проблему дообучения или проблему стабильности-пластичности и других НС.
Целью статьи является разработка стабильно-пластичных нейронных сетей Хемминга и Хебба.
1 ПОСТАНОВКА ЗАДАЧИ
Пусть некоторая нейронная сеть с п входными и р выходными нейронами обучена распознаванию множества входных изображений Б = {Б1 = (Б/,..., Бхп),
Б = {Б1 = (Б/,..., Б^),..., Бк = (Б1,..., бП )} каждому из которых на выходе нейронной сети соответствует свой выходной вектор 7р = (7^,..., 7т), р = 1, к. Тогда распознавание некоторого входного изображения
Б * = (Б*,..., Б*) сводится к вычислению соотношения
* *
7 = ^(Мн, W, Б ).
Поскольку при обучении нейронной сети, как правило, определяется все множество весов связей ^ц, Wl2,...} всех нейронов, то при необходимости до-обучить нейронную сеть распознаванию еще одного изображения Бк+1 приходится выполнять полное и трудоемкое обучение сети распознаванию множества изображений Б = {Б1,..., Бк, Бк+1}. Этот недостаток известных архитектур нейронных сетей привел к разработке нейронных сетей АРТ, в которых для запоминания новой информации вводились избыточные нейроны, благодаря которым не нужно менять веса связей, хранящих информацию об уже запомненных изображениях. Кроме того, сети АРТ обладают еще одним важным свойством - они могут обнаруживать на своих входах новые изображения, которых нет в памяти сети, а затем могут запоминать их как представителей новых классов. Фактически распознавание некоторого входного изображения Б* в сетях АРТ выполняется с помощью соотноше-* *
ния 7 = ^ (Моб, ^Изб, Wоб, WИзб, Б ).
Ставится задача определения функций // для нейронных сетей Хемминга и Хебба, которые превратили бы эти сети в стабильно-пластичные, т.е. сети, способные дообучаться и, кроме того, распознавать на своих входах новую информацию. Для этого необходимо модифицировать архитектуру и алгоритмы функционирования этих нейронных сетей, а также провести экспериментальные исследования разработанных модификаций нейронных сетей Хемминга и Хебба.
2 ОБЗОР ЛИТЕРАТУРЫ
Проблема стабильности-пластичности является одной из самых сложных и трудно решаемых. Характер восприятия получаемой информации постоянно связан с решением дилеммы, является ли некоторый образ «новой» информацией, и, следовательно, реакция на него должна быть поисково-познавательной, с сохранением этого образа в памяти, либо этот образ является вариантом «старой», уже запомненной информации, и в этом случае реакция должна соответствовать ранее накопленному опыту. Специальное запоминание этого образа в последнем случае не требуется. Таким образом, такое восприятие одновременно пластично, адаптировано к новой информации, и при этом оно стабильно, то есть не разрушает память о старых образах [1-7].
Не все нейронные сети приспособлены к решению этой задачи. Так, например, многослойный персептрон, обучающийся по методу обратного распространения, запоминает весь пакет обучающей информации, при этом образы обучающей выборки предъявляются в процессе обучения многократно. Попытки затем обучить персепт-рон новому образу приведут к модификации синапси-ческих связей с неконтролируемым разрушением памяти о предыдущих образах. Следовательно, персептрон не способен к запоминанию дополнительной информации, ему необходимо полное переобучение сети.
Аналогичная ситуация имеет место в сетях Хебба и сети Кохонена, обучающихся на основе самоорганизации. Сети Хебба, Кохонена, Хемминга и др. всегда выдают положительный результат при классификации. Тем самым, эти нейронные сети не в состоянии отделить новые образы (изображения) от искаженных или зашум-ленных версий старых образов.
Исследования по проблеме стабильности-пластичности привели к созданию нового научного направления -адаптивной резонансной теории и НС на ее основе. Принцип работы сетей АРТ заключается в следующем: нейронной сетью производится сопоставление входных изображений с изображениями известных классов, которые получены на этапе обучения сети и хранятся в ее весах связей. Этап сопоставления входных изображений с известными классами изображений осуществляется с определенной точностью, задаваемой специальным параметром сходства. Если параметр сходства входного изображения с одним из известных прототипов изображений превышает заданный порог, то в режиме обучения прототип данного класса модифицируется, чтобы стать более похожим на предъявленное изображение, а входное
изображение относится к данному классу изображений. В свою очередь, если параметр сходства входного изображения не достигает заданного порога при анализе всех запомненных классов изображений, то на основе входного изображения создается новый класс изображений, что становится возможным благодаря избыточным (нераспределенным) нейронам, входящим в структуру нейронной сети. Таким образом, новые образы могут создавать новые классы, без искажения запомненной ранее информации [8-12].
Указанное достоинство сетей АРТ достигается за счет введения в архитектуру нейронных сетей избыточных нейронов, которые используются только для дообучения сети. Введение избыточных нейронов может позволить решить проблему дообучения или проблему стабильности-пластичности и других нейронных сетей. Поэтому в данной работе разработаны архитектуры и алгоритмы функционирования дискретных стабильно-пластичных нейронных сетей Хемминга и Хебба, которые не только могут дообу-чаться, но и распознавать новую информацию. Новые сети могут стать альтернативой дискретным нейронным сетям адаптивной резонансной теории.
3 МАТЕРИАЛЫ И МЕТОДЫ
Стабильность дискретных нейронных сетей АРТ-1 [10] обеспечивается наличием дополнительных нейронов, на которые и записывается новая информация. При этом каждый распознающий нейрон хранит или будет хранить информацию в весах своих связей только об одном изображении. Подобный слой нейронов имеет и сеть Хем-минга (рис. 1), где каждый (р = 1,..., т) нейрон в весах своих связей хранит одно изображение, являющееся представителем своего класса.
Сеть Хемминга имеет п входных нейронов 51,..., Бп, воспринимающих бинарные компоненты входных изображений Б1 = (Б1,..., Б1), q = 1,..., Ь. Входные и выходные сигналы ^-элементов при входном изображении Б1 определяются соотношениями ивх 3 = Б1, ивых 5 = ивх 5, г = 1, ..., п.
72
1 J л к
... .
Б1 Б2 Б1 Рисунок 1 - Нейронная сеть Хемминга
Б
р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2014. № 2 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2014. № 2
При предъявлении входного изображения БЧ каждый 2-нейрон рассчитывает свой входной сигнал в соответствии с выражением вида (1):
п
ивх 2р = - + 1^,рБ?, Р = 1,..., т.
(1)
,=1
Функция активации 2-нейронов описывается соотношением (2):
(и вх ) =
0, если ивх < 0,
к1ивх, если 0 < к1ивх < иш
(2)
и „
, если к1ивх > иш
С помощью функции активации (2) определяются выходные сигналы нейронов 2-слоя: ивых 2 ,..., ивых 2 которые являются входными сигналами нейронов Ар (р = 1,. ., т). Функция активации нейронов Ар (р = 1,..., т) и веса их связей задаются соотношениями:
ё А (и вх ) =
ивх, если ивх > 0; 0, если ивх < 0,
А 11, если , = Г;
п^А =\
[-е, если, Ф А, ,, А = 1,..., т,
где 0 < е < 1/т.
Слой А -нейронов функционирует циклически, динамика элементов описывается итерационным выражением:
т
ивх Ар (1 +1) = ЧА (ивых Ар (г) -е Е ивых А. (1
}=1,1Ф р
р = 1,..., т, г = 0,1,2,...,
при начальных условиях: ивх Ар (0) = ивых 2р, р = 1,..., т.
Если среди входных сигналов нейронов А1,..., Ат окажется один наибольший сигнал ивых а , то в результате
итерационного процесса только один А-нейрон останется с выходным сигналом, большим нуля. Поскольку выходные сигналы А -элементов поступают на входы 7-ней-ронов, которые имеют функцию активации вида:
8у(и вх) =
1, если ивх > 0, 0, если ивх < 0,
то в результате на выходе сети Хемминга только один нейрон 7 р окажется с единичным выходным сигналом. Единичный выход этого нейрона и нулевые всех остальных и будут указывать на то, что предъявленное изображение БЧ наиболее близко, в смысле расстояния Хем-минга, к эталонному изображению, хранящемуся в весах связей нейрона 2 р. Если в слой 2-нейронов сети
Хемминга ввести дополнительные 2-нейроны (и соответствующие им А- и 7-нейроны), способные запоминать новую информацию (эталонные изображения новых классов), то такая сеть также сможет дообучаться и будет обладать свойствами стабильности и пластичности, то есть свойствами дискретной НС АРТ-1.
Еще одно достоинство нейронных сетей АРТ - возможность выделять новую информацию. Это достигается тем, что входное изображение сравнивается по величине параметра сходства с эталонными изображениями, хранящимися в весах связей распознающих нейронов. Если входное изображение относится к новому классу, то при сравнении с любым эталонным изображением, хранящемся в весах связей распределенных распознающих нейронов, получается параметр сходства меньше минимально допустимого. Поэтому в результате такого сравнения все распределенные распознающие 7-нейроны будут заторможены, что и является признаком того, что входное изображение несет новую информацию, которой нет в памяти нейронной сети АРТ.
В нейронной сети Хемминга сравнение изображений (или биполярных векторов) выполняется по числу компонент, в которых входное и эталонное изображения совпадают: а = п - Кх. Поэтому по аналогии с НС АРТ можно задать минимально допустимое значение числа совпадающих компонент а ., при которых могут сравниваться входное и эталонное изображения, а при а < а . входное изображение и эталонное несравнимы или, другими словами, входное изображение несет новую информацию по сравнению с изображением, хранящемся в весах связей нейронной сети. Учесть значение а . в архитектуре НС несложно - достаточно ввести дополнительное смещение на нейроны 2-слоя (точнее -изменить величину смещения п/2). При этом выходные сигналы 2-нейронов будут описываться модифицированным соотношением (1):
ивых 2 р 2 ашш +1 + Е Wip ивых Б, а ашш +1
,=1
р = I Ч.
(3)
Из (3) и (2) следует:
0, если а < аш
и
вых 2 р
1, если а = аш.п,
к1ивх 7р , если а > ашт и 0 < к1ивх 7 р < и, ишах, если а > ашт и к1ивх 7р > и:
р
шах.
Таким образом, если на выходе всех распределенных 2-нейронов выходные сигналы равны нулю (ивых 2 = 0, р = 1,..., ч), то входное изображение по
принятому критерию близости изображений не является похожим ни на одно из известных эталонных изображений и несет новую информацию. Для аппаратного определения новизны входного изображения в архитектуру нейронной сети Хемминга достаточно ввести один
нейрон 2, суммирующий выходные сигналы всех нейронов 2-слоя. Если после предъявления входного изображения на выходе нейрона 2 нулевой выходной сигнал, то это означает, что входное изображение по расстоянию Хемминга находиться далеко от эталонных изображений, хранящихся в весах связей нейронов 2-слоя, и является представителем нового класса изображений, который можно запомнить нераспространенным нейроном сети Хемминга. Если после предъявления входного изображения выходной сигнал нейрона положителен, то это означает, что входное изображение является представителем известного класса изображений, хранящегося в памяти нейронной сети.
Результаты, полученные по сети Хемминга, могут быть обобщены и на другие нейронные сети. Проиллюстрируем это на примере нейронной сети Хебба. Архитектура этой сети приведена на рис. 2 [10]. Основу архитектуры составляет группа из т бинарных или биполярных нейронов 11,..., Ут. Сеть может запоминать до 2т черно-белых изображений. Однако, применение этой сети для запоминания и распознавания 2т (или близких к 2т чисел) различных изображений во многих случаях приводит к неразрешимым проблемам адаптации весов связей нейросети. Поэтому часто рекомендуют использовать данную сеть для запоминания только т различных классов изображений, задавая каждое из них, единичным выходным сигналом на выходе только одного нейрона 1-слоя (выходные сигналы остальных (т - 1) элементов должны принимать значение «-1» для биполярных нейронов или «0» для бинарных).
Нейронная сеть обучается с помощью алгоритма на основе правила Хебба. Для биполярных нейронов алгоритм обучения имеет следующие основные шаги.
Шаг 1. Задается множество м = {(я1, г1),..., (Бт, )}, состоящее из т пар (входное изображение
Бк = (Б1,..., ), необходимый вектор выходных сигналов ^ = (/к,..., ^), к = 1,..., т), задаются нулевые выходные сигналы нейронов 1-слоя: ивыхуу = 0, у = 1,..., т.
Задается предельное число эпох Ж^ обучения сети. Инициируются веса связей нейронов:
= 0, I = 0,1,...,п, у = 1,...,т.
Шаг 2. Начинается обучение нейронной сети правильной реакции на каждое входное изображение. Последовательно каждая пара (Бк, /*), к = 1,..., т, проверяется на правильность реакции нейронной сети на входное изображение. Если полученный выходной вектор сети
(у1!,..., )>т) отличается от заданного гк = (/к,..., ^), то
выполняются шаги 3-5 алгоритма. Если выходной вектор сети совпадает с требуемым, то осуществляется переход к следующей паре. Если выходной вектор совпадает с заданным и проверяемая пара является последней, та переход на шаг 7 алгоритма.
Шаг 3. Инициируется множество входных нейронов:
х0 = 1, Xi = Sk, i = 1,..., n.
Шаг 4. Инициируется множество выходных нейронов сети: Uвых7. = tj, j = 1,..., m.
j j
Шаг 5. Корректируются веса связей нейронов сети по правилу Хебба: Wj (new) = Wij (old) + xitkj, i = 0,1,..., n, j = 1,..., m.
Шаг 6. Если скорректированы веса связей для последней пары (Sm, tm), то переход на шаг 7 алгоритма. В противном случае - на шаг 2 алгоритма.
Шаг 7. Проверяется условие останова, то есть правильность функционирования сети при предъявлении каждого входного изображения. Если сеть функционирует правильно, то переход на шаг 8 алгоритма. Если сеть функционирует неправильно, то проверяется достижение предельного числа эпох обучения сети N . Если Nне достигнуто, по переход на шаг 2 алгоритма, в противном случае - переход на следующий шаг алгоритма.
Шаг 8. Останов.
Для обеспечения стабильности в нейронных сетях АРТ при запоминании новой информации используются дополнительные нейроны, введение которых и позволяет запоминать новую информацию, и не разрушать уже имеющуюся. Этот же эффект может быть достигнут и в нейронной сети Хебба при введении дополнительных распознающих нейронов.
Когда нейронная сеть Хебба обучается распознаванию
множества из n0 (n0 > 3) изображений M0 = {S1,..., Sn°}, каждое из которых кодируется на выходах Y-нейронов (Y1 ,..., Yn„) одним единичным сигналом и n -1) сигналами «- 1». Суммарный выходной сигнал нейронов Y1 , ... , Yn , правильно распознающих одно из изображений, относящихся к множеству М0, в этом случае равен:
n0
U ¿—t i i=1
вых7(
= -(n0 - 2).
(4)
Если при предъявлении нейронной сети изображения
*
Б соотношение (4) не выполняется, то это является признаком появления на входе нейронной сети новой информации (представителя нового класса изображений). При накоплении некоторого множества таких изображений
Мх = {Бп° +1, Бп°+2,..., Бп° +П1}, где п > 3, могут быть обучены с помощью алгоритма Хебба следующие п1 нейронов
сети. Признаком того, что некоторое входное изображение
*
Б относится к множеству М1 являются соотношения (5):
X2 Xi
Рисунок 2 - Нейронная сеть Хебба
n0
U
i=1
вых Yi
(S ) - 2);
р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2014. № 2 е-ЕЗБЫ 2313-688Х. Каёю Е1е^гоп^, Coшputer Заепое, Contro1. 2014. № 2
Еивых Г1(Б*) = -(П1 - 2).
(5)
,=1
Появление изображений, для которых не выполняются соотношения (4) и (5) указывает на необходимость следующего дообучения нейронной сети. Число N шагов дообучения практически не ограничено.
На рис. 3 приведена архитектура нейронной сети Хеб-ба, которая может дообучаться N раз. Сеть состоит из слоя входных нейронов Х1,..., хп и 7-слоя распознающих нейронов. Нейроны 7-слоя разбиты на (М + 1) группу, каждая из которых может содержать разное число нейронов (но не меньше трех) и формироваться в процессе функционирования сети.
Первая группа нейронов 71°,..., 7° используется для запоминания исходной информации в виде множества изображений М 0. Вторая и последующие группы нейронов (7/,..., 7^), ..., (71М,..., 7N) используются для обучения нейронной сети по мере накопления новой информации и последовательного запоминания множеств изображений М1, М2, ..., Мм. В каждой группе нейронов выходные сигналы 7-нейронов поступают на входы управляющего нейрона, имеющего функцию активации вида (6):
и
вых
па
0, если ивх ^ = Еивых 7* =-п - 2);
к=1 к (6)
1, если и вх V. Ф-п - 2), а = 0,1,..., N.
В начале режима распознавания обнуляются выходные сигналы 2 -нейронов и блокируется работа нейронов 711,7о,...,7м .
1 ' 2' пм
При подаче на вход нейронной сети, которая дообуча-лась Ь раз (1 < Ь < N), некоторого изображения Б * вначале активируются нейроны первой группы 710 , ... , 7п0 , выходные сигналы которых поступают на входы управляющего нейрона 2 0. Если выполняется соотношение (7):
п0
и,
вх V
= Еи
]
к=1
вых 7к
= -(п0 - 2),
(7)
'о Х| X, Хп
Рисунок 3 - Архитектура нейронной сети Хебба, которая может дообучаться N раз
то ивых V = 0 и входное изображение Б относится к множеству изображений М 0, а конкретный класс изображе-
7 0
ний определяют выходные сигналы нейронов 71
00 ? 7 , ..., 7.. .
Если соотношение (7) не выполняется, то и
= 1,
вых £0
что указывает на то, что входное изображение Б* не принадлежит множеству М0. Единичный выходной сигнал нейрона 20 по цепи обратной связи фиксирует единичный выходной сигнал нейрона 20 и поступает на входы нейронов первой группы, блокируя их. Одновременно этот же единичный сигнал управляющего нейрона поступает на входы распознающих нейронов 711,..., второй группы и переводит их в активное состояние. Выходные сигналы нейронов 7/,..., 7^ поступают на входы управляющего нейрона 21, с помощью которого определяется принадлежность изображения Б * к множеству М1 . Если выполняется соотношение (8):
и
вх V.
= Е и „1 =-(п1 - 2),
1 вых 71 К 1
к=1
(8)
то изображение Б принадлежит множеству М1, а конкретный класс изображений определяют выходные сигналы нейронов 711, ... , 7п1 . Если равенство (8) не выполняется, то изображение Б* не принадлежит множеству М1 и ивых 21 =1. Сигнал ивых Е1 блокирует нейроны
711,..., 7п1 и подключает к распознаванию нейроны третьей группы и т. д. В результате этого процесса входное изображение либо будет отнесено к одному из известных множеств изображений М0, М1, М2, ..., Мь , либо будет воспринято как новое изображение, которое необходимо запомнить сетью на (Ь + 1)-м дообучении НС.
4 ЭКСПЕРИМЕНТЫ
Выполним экспериментальные исследования разработанного принципа обеспечения стабильности-пластичности НС Хебба. Для этого сначала произведем обучение НС. Продемонстрируем работоспособность предложенного подхода на НС Хебба, которая состоит из восьми 7-нейронов (рис. 4), имеющих следующую функцию активации:
и,
вых 7
11, если ивх 7 > 0;
а |-1, если ивх 7 < 0.
Обучим изображениями Б1, Б2, Б3 (рис. 5) нейроны 71,72,73 . Нумерация, элементов изображений отображена на изображении Б0 рис. 5. Затем продемонстрируем процесс работы обученной НС Хебба при предъявления на ее входы изображений Б1,. .., Б9 (рис. 5).
Рисунок 4 - Нейронная сеть Хебба с дополнительными запоминающими нейронами
32 ¿1
50
У
1 2 3
4 5 6
7 8 9
53 56 57
Рисунок 5 - Изображения, запоминаемые нейронной сетью Хебба
Для обучения нейронной сети изображениями 51, 52, 53 необходимо выполнить следующие шаги:
Шаг 1. Задается множество
М = {(51,г1), (52,г2),(53,г3)} = {((1, -1, 1, 1, 1, 1, -1, -1,
1), (1, -1, -1)), ((1, 1, 1, 1, -1, 1, 1, -1, 1), (-1, 1, -1)), ((1, 1, 1, -1, 1, -1, -1, 1, -1), (-1, -1, 1))}. Задаются нулевые выходные сигналы всех У-нейронов и нулевые значения весов всех связей, задается начальный момент времени:
ивыхУ; = »у = О, I = 0,1,..., 9, ] = 1,..., 8; г = г0.
Шаг 2. Начинается обучение нейронной сети парой
(51, г1).
Шаг 3. Инициируется множество входов нейронной сети изображением 51: Х" = 1, = 1, Х2 =-1, Х3 = 1,
Х4 = 1, Х5 = 1, Хб = 1, Ху = -1, Х8 = -1, Х9 = 1.
Шаг 4. Инициируется множество выходных нейронов сети вектором требуемых выходных сигналов г1 пары
(5', г'): ивыХ у = у = г} = 1;
и
вых У2
Л 1 = У2 = г2 =-1;
и
вых У3
= Уз = г] =-1.
Шаг 5. Определяются веса связей нейронов У1, У2, Уз сети по правилу Хебба.
Затем должны выполняться шаги алгоритма, связанные с предъявлением изображений и 53.
Подобным образом нейронная сеть обучает распознаванию и других изображений.
В результате эксперимента должно произойти правильное распознавание нейронами У1, У2, Уз изображений 51,
2 3 4 8 9 4
59, несмотря на то, что изображения 5 , 58, 59 имеют дефекты. Кроме того, выполним процесс дообучения нейронов У4, У5, У6 НС Хебба, изображениями 55, 56, 57 и нейронов У у, У8 изображениями 510, 511.
5 РЕЗУЛЬТАТЫ
Результаты экспериментов по обучению и работе обученной НС Хебба при предъявления на ее входы изображений 51,..., 511 приведены в таблицах 1-5.
Таблица 1 - Результаты расчетов весов связей нейронов У^ У2, У3 НС Хебба после обучения изображениями 51, 52, 53
10
5
5
5
Вес связи »01 »11 »21 »31 »41 »51 »61 »71 »81 »91 »02 »12 »22 »32 »42
Значение -1 -1 -3 -1 1 1 1 -1 -1 1 -1 -1 1 -1 1
Вес связи »52 »62 »72 »82 »92 »03 »13 »23 »33 »43 »53 »63 »73 »83 »93
Значение -3 1 3 -1 -1 -1 -1 1 -1 -3 1 -3 -1 3 -3
Таблица 2 - Результаты распознавания изображений 51, ..., 59
Нейроны Выходные сигналы нейронов при п эедъявлении изображений
51 52 53 5 4 55 56 5 7 58 59
У1 1 -1 -1 -1 1 1 1 1 -1
У2 -1 1 -1 1 -1 1 -1 -1 -1
У3 -1 -1 1 -1 1 1 1 -1 1
Результат распознавания + + + + - - - + +
Таблица 3 - Результаты расчетов весов связей нейронов У4 , У5 , У6 после обучения изображениями 55 , 56, 57
Вес связи »04 »14 »24 »34 »44 »54 »64 »74 »84 »94 »05 »15 »25 »35 »45
Значение -1 -1 1 3 1 1 1 1 -3 -3 -1 -1 1 -1 1
Вес связи »55 »65 »75 »85 »95 »06 »16 »26 »36 »46 »56 »66 »76 »86 »96
Значение -3 1 1 1 1 -1 3 1 -1 1 1 1 -3 1 1
р-КЗЫ 1607-3274. Радюелектронжа, шформатика, управлiння. 2014. № 2 е-ЕЗБЫ 2313-688Х. Каёю Екойопга, Сошриег Заепое, СоПго1. 2014. № 2
Таблица 4 - Результаты распознавания изображений 55, Б6, Б7, Б10 и Б11
Нейроны Выходные сигналы нейронов при предъявлении изображений
О 5 О 6 о7 О10 о11
¥4 1 -1 -1 1 1
¥5 -1 1 -1 1 1
¥6 -1 -1 1 -1 -1
Результат распознавания + + + - -
Таблица 5 - Результаты расчетов весов связей нейронов ¥7, ^ после обучения изображениями Б10
Вес связи W07 »17 »27 »37 »47 »57 »67 »77 »87 »97
Значение 0 2 -2 -2 -2 0 2 2 -2 0
Вес связи »08 »18 »28 »38 »48 »58 »68 »78 »88 »98
Значение 0 -2 2 2 2 0 -2 -2 2 0
6 ОБСУЖДЕНИЕ
В табл. 1 приведены результаты расчетов весов связей нейронов ¥1, ¥2, ¥3, после обучения сети изображениям О1, Б2, Б3. Эти веса связей используются при расчете данных для следующих таблиц.
В табл. 2 представлены результаты предъявления обученной нейронной сети изображений Б1,..., Б9. Знаки «+» и «-» в табл. 2 означают, что соответствующее изображение распознано и не распознано, соответственно.
Из анализа табл. 2 следует, что входные изображения С1 02 03 <?4 08 о9
о , Б , Б , б , о , о вызывают реакцию сети, при которой при предъявлении любого из этих изображений на выходе нейронной сети наблюдается один положительный единичный сигнал и два отрицательных единичных сигнала, то есть сеть относит входное изображение к одному из известных классов. Анализ данных табл. 2 и изображений показывает, что произошло правильное распознавание всех шести изображений, несмотря на то, что
три из них имеют дефекты (О4, О8, О9).
Нетрудно увидеть, что при отнесении входного изображения к одному из трех классов, представители которых хранятся в весах связей нейронов ¥1 , ¥2 , ¥3 , суммарный выходной сигнал этих нейронов равен минус 3
единице: выхт, =-1 ]=1
Если входное изображение не относится к классам изображений хранящихся в весах связей нейронов ¥1 ,
3
¥2, ¥3, то имеем вых¥. ^ -1, что служит признаком
]=1 .
новой информации (нового изображения) на входном слое нейронов и необходимости обучения следующей группы ¥-нейронов распознавать эту входную информацию. При этом обученные распознающие нейроны должны быть заблокированы в режиме распознавания и заблокированы или игнорироваться в режиме обучения следующей группы нейронов.
Нейроны ¥4, ¥5, ¥6 несложно обучить распознаванию изображений о5, О6, О7 алгоритмом Хебба. Результат обучения приведен в табл. 3. При этом множество М1 из обучающих пар задавалось следующим образом:
м = {(О5, г5), (О6, г 6),(О7, г7)} = {((-1, -1,1, -1,1,-1,1, -1, -1), (1, -1, -1)), ((-1, -1, -1, -1, -1, -1, 1, 1, 1), (-1, 1, -1)), ((1, -1, -1, -1, 1, -1, -1, 1, 1), (-1, -1, 1))}.
В табл. 4 приведены результаты распознавания изображений О5, О6, О7, О10 и о11. Знаки «+» и «-» в табл. 4 означают, что соответствующее изображение распознано и не распознано, соответственно.
Из анализа табл. 4 следует, что нейроны ¥4 , ¥5, ¥6 относят изображения О5, О6, О 7 к известным классам, эталоны которых хранятся в весах связей этих нейронов.
Изображения Б 10 и Б 11 нейронами ¥4, ¥5, ¥6 распознаются как не принадлежащие к этим классам, это же наблюдается и при предъявлении изображений О10, О11 и первой группе нейронов ¥[, ¥2, ¥3. Таким образом, для распознавания изображений О 10, О 11 необходимо обучить еще два ¥-нейрона: ¥7, ¥8. В табл. 5 приведены результаты расчетов весов связей нейронов ¥7, ¥8 после предъявления изображений О10, О11.
Нейроны ¥7, ¥8 будут распознавать указанные изображения после того, как при попытке их распознавания будут заблокированы сначала нейроны ¥1, ¥2, ¥3, а затем нейроны ¥4^5, ¥6.
ВЫВОДЫ
В работе решена актуальная задача разработки новых классов стабильно-пластичных нейронных сетей на основе нейронных сетей Хемминга и Хебба.
Научная новизна работы состоит в следующем:
- впервые для нейронной сети, использующей при распознавании входного изображения расстояние Хем-минга, предложена архитектура и алгоритмы функционирования, обеспечивающие, в отличии от сети Хем-минга, свойство дообучения нейронной сети и распознавание новой информации на своих входах;
- впервые для нейронной сети, обучающейся с помощью правила Хебба, предложена архитектура и алгоритмы функционирования, обеспечивающие, в отличии от известной нейронной сети Хебба, свойство стабильности-пластичности нейронной сети и распознавание новой информации на своих входах;
- впервые для нейронной сети, обучающейся с помощью правила Хебба, предложена модульная архитектура, обеспечивающая возможность многократного дообучения нейронной сети.
Практическая ценность полученных результатов состоит в том, что разработанные архитектуры нейронных сетей и алгоритмы их функционирования открывают возможность для создания систем распознавания, классификации, управления и поддержки принятия решений для объектов в условиях существенной априорной неопределенности, когда планируется оперативное дообучение разработанных систем по мере накопления информации об объекте.
Перспектива дальнейших исследований состоит в разработке новых классов стабильно-пластичных нейронных сетей, в частности, перцептронов с любым числом слоев нейронов, имеющих непрерывные функции активации.
БЛАГОДАРНОСТИ
Работа выполнена в рамках научно-исследовательских работ кафедры «Вычислительная техника и программирование» Национального технического университета «Харьковский политехнический институт» в соответствии с госбюджетной прикладной темой по плану Министерства образования и науки Украины «Разработка интеллектуальных систем поддержки принятия решений для диагностики, управления и оптимизации технических и биотехнических объектов» (ГР №2 0113Ш00449). Авторы выражают благодарность МОН Украины и НТУ «ХПИ» за финансовую поддержку проводимых исследований.
СПИСОК ЛИТЕРАТУРЫ
1. Suzuki K. Artificial Neural Networks: Architectures and Applications / K. Suzuki. - Publisher: InTech, 2013. - 256 p.
2. Bianchini M. Handbook on Neural Information Processing (Intelligent Systems Reference Library) / M. Bianchini. -Publisher : Springer, 2013. - 499 p.
3. Cirrincione M. Power Converters and AC Electrical Drives with Linear Neural Networks (Energy, Power Electronics, and Machines) / M. Cirrincione, M. Pucci, G. Vitale. -Publisher : CRC Press, 2012. - 631 p.
4. Галушкин А. И. Нейронные сети. Основы теории /
A. И. Галушкин. - М. : Горячая линия. - Телеком, 2012. - 496 с.
5. Капля В. И. Системы искусственного интеллекта : учебное пособие. - Волгоград : ИУНЛ ВолгГТУ. - 2011. - 97 с.
6. Russell S. Artificial Intelligence: A Modern Approach, Third Edition / S. Russell, P. Norvig. - Publisher : Prentice Hall, 2010. - 1152 p.
7. Девятков В. В. Системы искусственного интеллекта / Гл. ред. И. Б. Федоров. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2001. - 352 с.
8. Carpenter G. A. Massively parallel architecture for self-organising neural pattern recognition machne / G. A. Carpenter, S. A. Grossberg // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54-115.
9. Grossberg S. Competitive learning: From interactive activation to adaptive resonance / S. Grossberg // Cognitive Science. -1987. - Vol. 11. - P. 23-63.
10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications / L. Fausett. - New Jersey : Prentice Hall Int., Inc., 1994. - 461 p.
11. Дмитриенко В. Д. Нейросетевое устройство направленных ассоциаций / В. Д. Дмитриенко, А. Ю. Заковоротный, Хавина И. П. // Научные ведомости. Серия : История, политология, экономика, информатика. - Белгород : БГУ, 2010. - № 7(78), Вып. 14/1. - С. 110-119.
12. Дмитриенко В. Д. Ассоциативная нейронная сеть АРТ /
B. Д. Дмитриенко, А. Ю. Заковоротный, В. А. Бречко // Сборник трудов Международной молодежной конференции «Прикладная математика, управление и информатика». - Белгород : ИД «Белгород», 2012. - Т. 1. - С. 115-118.
Статья поступила в редацию 18.11.2014.
После доработки 17.10.2014.
Дмитрieнко В. Д.1, Заковоротний О. Ю.2
1Д-р техн. наук, професор, професор кафедри обчислювально! технжи та програмування Нацюнального техшчного ушвер-ситету «Харювський полтехшчний шститут», Укра!на
2Канд. техн. наук, доцент, доцент кафедри обчислювально! технжи та програмування Нацюнального техшчного ушверситету «Харювський полтехшчний шститут», Укра!на
АРХ1ТЕКТУРИ ТА АЛГОРИТМЫ ФУНКЦ1ОНУВАННЯ НЕЙРОННИХ МЕРЕЖ ХЕММ1НГА I ХЕББА, ЗДАТНИХ ДОНАВЧАТИСЯ Й РОЗП1ЗНАВАТИ НОВУ 1НФОРМАЦ1Ю
Виршена задача донавчання класичних дискретних нейронних мереж Хеммшга та Хебба без втрат шформацй, що вже була запам'ятована. Об'ектом дослщження е процеси розтзнавання та класифжацй образiв в системах, що побудоваш на основi штучних нейронних мереж. Предметом дослщження е архтектури та алгоритми функцюнування штучних нейронних мереж. Мета роботи: розробка стабшьно-пластичних нейронних мереж Хеммшга та Хебба. Розроблеш архтектури та алгоритми функцюнування дискретних стабшьно-пластичних нейронних мереж Хеммшга та Хебба, яю не тшьки можуть донавчатися в процес функцюнування, а й розтзнавати нову шформащю. Новi мережi можуть стати альтернативою дискретним нейронним мережам адаптивно! резонансно! теорй. Розроблений тдхщ по донавчанню може бути узагальнений й на iншi нейронш мережг Проведено експериментальш дослщження розроблених алгоритм1в функцюнування штучних нейронних мереж. Результати експерименив тдтверджують правильшсть запропонованого шдходу.
Ключовi слова: розтзнавання та класифжащя образiв, стабшьно-пластичш нейронш мереж^ нейронна мережа Хеммшга, нейронна мережа Хебба, адаптивна резонансна теорiя.
p-ISSN 1607-3274. PagioeneKTpomKa, rn^opMaTHKa, ynpaBmHHA. 2014. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2014. № 2
Dmitrienko V. D.1, Zakovorotniy A. Yu.2
1Dr. Sc., Professor, Professor of department Computer Science and Programming, National Technical University «Kharkiv Polytechnic Institute», Ukraine
2PhD, Associate Professor, Associate Professor of department Computer Science and Programming, National Technical University «Kharkiv Polytechnic Institute», Ukraine
ARCHITECTURE AND ALGORITHMS OF NEURAL NETWORKS HAMMING AND HEBB, CAPABLE LEARN AND IDENTIFY NEW INFORMATION
The problem of the classical discrete neural networks Hamming and Hebb lossless previously stored information additional training. The object of research is the process of recognition and classification of images on systems that are based on artificial neural networks. The subject of research is the architecture and algorithms of artificial neural networks. Objective: To develop a stable and plastic neural networks Hamming and Hebb. The architecture and algorithms of discrete stable and plastic neural networks Hamming and Hebb, which not only can be trained during functioning, but also to recognize the new information. New networks can be an alternative to discrete neural network adaptive resonance theory. The developed approach for training can be generalized to other neural networks. Experimental investigations of the functioning of the developed algorithms of artificial neural networks. The experimental results confirm the validity of the proposed approach.
Keywords: recognition and classification of images, stable and plastic neural networks, Hamming neural network, Hebb neural network, adaptive resonance theory.
REFERENCES
1. Suzuki K. Artificial Neural Networks: Architectures and Applications. Publisher, InTech, 2013, 256 p.
2. Bianchini M. Handbook on Neural Information Processing (Intelligent Systems Reference Library). Publisher, Springer, 2013, 499 p.
3. Cirrincione M., Pucci M., Vitale G. Power Converters and AC Electrical Drives with Linear Neural Networks (Energy, Power Electronics, and Machines). Publisher, CRC Press, 2012, 631 p.
4. Galushkin A. I. Nejronnye seti. Osnovy teorii. Moscow, Gorjachaja linija, Telekom, 2012, 496 p.
5. Kaplja V. I. Sistemy iskusstvennogo intellekta: uchebnoe posobie. Volgograd, IUNL VolgGTU, 2011, 97 p.
6. Russell S., Norvig P. Artificial Intelligence: A Modern Approach, Third Edition. Publisher, Prentice Hall, 2010, 1152 p.
7. Devjatkov V. V. Gl. red. I. B. Fjodorov. Sistemy iskusstvennogo intellekta. Moscow, Izd-vo MGTU im. N. Je. Baumana, 2001, 352 p.
8. Carpenter G. A., Grossberg S. A. Massively parallel architecture for self-organising neural pattern recognition machne, Computing, Vision, Graphics and Image Processing, 1987, Vol. 37, P. 54-115.
9. Grossberg S. Competitive learning: From interactive activation to adaptive resonance, S Cognitive Science, 1987, Vol. 11, pp. 23-63.
10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. New Jersey, Prentice Hall Int., Inc., 1994, 461 p.
11. Dmitrienko V. D., Zakovorotnyj A. Y., Havina I. P. Nejrosetevoe ustrojstvo napravlennyh associacij, Nauchnye vedomosti. Serija: Istorija, politologija, jekonomika, informatika. Belgorod, BGU, 2010, No. 7(78),Vyp. 14/1, pp. 110-119.
12. Dmitrienko V. D., Zakovorotnyj A. Yr., Brechko V. A. Associativnaja nejronnaja set' ART, Sbornik trudov Mezhdunarodnoj molodezhnoj konferencii «Prikladnaja matematika, upravlenie i informatika». Belgorod, ID «Belgorod», 2012, Vol. 1, pp. 115-118.
