Нейронные сети Хемминга и Хебба, способные дообучаться Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.71:004.89

В.Д. ДМИТРИЕНКО, д-р техн. наук, проф., НТУ "ХПИ",

A.Ю. ЗАКОВОРОТНЫЙ, канд. техн. наук, доц., НТУ "ХПИ",

B.А. БРЕЧКО, аспирант, НТУ "ХПИ"

НЕЙРОННЫЕ СЕТИ ХЕММИНГА И ХЕББА, СПОСОБНЫЕ

ДООБУЧАТЬСЯ

Впервые на основе нейронных сетей Хемминга и Хебба предложены архитектуры и алгоритмы функционирования дискретных стабильно-пластичных нейронных сетей, которые не только могут дообучаться, но и распознавать новую информацию. Новые сети могут стать альтернативой дискретным нейронным сетям адаптивной резонансной теории. Ил.: 5. Табл.: 4. Библиогр.: 10 назв.

Ключевые слова: нейронные сети Хемминга и Хебба, стабильно-пластичные нейронные сети, нейронные сети адаптивной резонансной теории.

Постановка проблемы и анализ литературы. Системы распознавания, классификации и управления на основе искусственных нейронных сетей широко применяются для решения самых различных задач. Успешное применение нейронных сетей при решении разнообразных задач обусловлено их универсальностью, возможностью замены различных традиционных проблем, возникающих при решении конкретных прикладных задач, обучением нейронных сетей на примерах, возможностью самообучения и разработки нейронных сетей под решаемую задачу, и т.д. [1 - 6].

При наличии достаточно полной информации об объекте исследования, возможно использование целого ряда различных видов нейронных сетей, подходящих для создания распознающих, классифицирующих и управляющих систем. Однако при разработке систем для реальных объектов зачастую возникают ситуации, когда информация об объекте далеко не полная или будет уточняться в процессе функционирования объекта. Это обстоятельство резко сокращает круг нейронных сетей, которые целесообразно использовать в таких ситуациях, поскольку обучение новому образу в общем случае приведет к полному переобучению нейронной сети. Также ограничение на применяемые сети накладывает и чувствительность сетей к новым данным при поступлении входной информации. Все вышеперечисленное привело к разработке принципиально новых конфигураций нейронных сетей использующих в своей основе адаптивную резонансную теорию [7 - 10] и решающих проблему стабильности - пластичности, то есть

© В.Д. Дмитриенко, А.Ю. Заковоротный. В.А. Бречко, 2013 30

проблему восприятия и запоминания новой информации при сохранении уже имеющейся.

Нейронные сети адаптивно резонансной теории относят входное изображение к одному из известных классов изображений, если оно в достаточной степени похоже на прототип этого класса. Степень сходства с прототипом класса при этом определяется по заданному параметру сходства. Если найденный прототип соответствует входному изображению с заданной точностью, то он модифицируется, чтобы стать более похожим на предъявленное изображение. Если входное изображение сети адаптивной резонансной теории (АРТ) не похоже в достаточной степени ни на одно из изображений, хранящихся в памяти нейронной сети (в весах связей), то на его основе создается новый класс. Это возможно благодаря наличию в сети избыточных нейронов, которые не используются до тех пор, пока в этом нет необходимости (если избыточных нейронов уже нет и входное изображение не относится ни к одному из известных классов, то оно не вызывает реакции сети). Таким образом, нейронные сети АРТ могут запоминать новую информацию без искажения запомненной ранее информации или переобучения сети.

Указанное достоинство сетей АРТ достигается за счет введения в архитектуру нейронных сетей избыточных нейронов, которые используются только для дообучения сети. Введение избыточных нейронов может позволить решить проблему дообучения или проблему стабильности - пластичности и других нейронных сетей.

Целью данной работы является разработка стабильно-пластичных нейронных сетей Хемминга и Хебба.

Стабильность дискретных нейронных сетей АРТ-1 [9] обеспечивается наличием дополнительных нейронов, на которые и записывается новая информация. При этом каждый распознающий нейрон хранит или будет хранить информацию в весах своих связей только об одном изображении. Подобный слой нейронов имеет и сеть Хемминга (рис. 1), где каждый Z-нейрон в весах своих связей хранит одно изображение, являющееся представителем своего класса.

Сеть Хемминга имеет n входных нейронов S ,...,Sn, воспринимающих бинарные компоненты входных изображений Sq = (Sf,...,Sf), q = 1,L. Выходные сигналы ^-элементов при входном изображении Sq определяются соотношениями: U^s = Sf,

ивых S, = ивх S , i = 1,...,n.

При предъявлении входного изображения каждый 2-нейрон рассчитывает свой входной сигнал в соответствии с выражением вида (1)

У1 '

и вх 2Р = - ^^^гр^! , Р = Х-,™, 2 г=1

(1)

где РУгр (г = 1,...,—) - веса связей от нейронов входного слоя к нейрону 2р, хранящему информацию о р-м эталонном изображении

Гр = (уР ,...,уР ).

51

&

Рис. 1. Нейронная сеть Хемминга.

Функция активации 2-нейронов описывается соотношением 0, если ивх < 0,

к1и вх , если 0 < и вх < и п

§2 (ивх ) =

вх ^тах ,

(2)

где ивх - входной сигнал 2-нейрона; к1,итах - константы.

С помощью функции активации (2) определяются выходные сигналы нейронов 2-слоя: и,

вых 21

...,и,

вых 2т

которые являются

5

п

входными сигналами нейронов Ар (р = 1, ...,т). Функция активации нейронов Ар (р = 1, ...,т) и веса их связей задаются соотношениями:

где е - константа, удовлетворяющая неравенствам 0 < е < 1 / т.

Слой А -нейронов функционирует циклически, динамика элементов описывается итерационным выражением

при начальных условиях ивх А^ (0) = ивых 2 , р = 1, ...,т.

Если среди входных сигналов нейронов А1,...,Ат окажется один наибольший сигнал ивх А^, то в результате итерационного процесса в

подсети Maxnet только один А -нейрон останется с выходным сигналом, большим нуля. Поскольку выходные сигналы А-элементов поступают на входы 7-нейронов, которые имеют функцию активации вида

то в результате на выходе сети Хемминга только один нейрон Yp

окажется с единичным выходным сигналом. Единичный выход этого нейрона и нулевые всех остальных и будут указывать на то, что

предъявленное изображение Sq наиболее близко, в смысле расстояния Хемминга, к эталонному изображению, хранящемуся в весах связей нейрона Z . Если в слой Z-нейронов сети Хемминга ввести

дополнительные Z-нейроны (и соответствующие им А- и 7-нейроны), способные запоминать новую информацию (эталонные изображения новых классов), то такая сеть также сможет дообучаться и будет обладать свойствами стабильности и пластичности, то есть свойствами дискретной нейронной сети АРТ-1.

Еще одно достоинство нейронных сетей АРТ - возможность выделять новую информацию. Это достигается тем, что входное изображение сравнивается по величине параметра сходства с эталонными

m

Uвх Ap (t + 1) = qA вых Ap « -£ Z Uвых Aj Ш

вых A

j=W ^ P p = 1, ...,m, t = 0,1, 2,

^Y (Uвх )

1, если ивх > 0,

0, если ивх < 0,

изображениями, хранящимися в весах связей распознающих нейронов. Если входное изображение относится к новому классу, то при сравнении с любым эталонным изображением, хранящемся в весах связей распределенных распознающих нейронов, получается параметр сходства меньше минимально допустимого. Поэтому в результате такого сравнения все распределенные распознающие 7-нейроны будут заторможены, что и является признаком того, что входное изображение несет новую информацию, которой нет в памяти нейронной сети АРТ.

В нейронной сети Хемминга сравнение изображений (или биполярных векторов) выполняется по числу компонент, в которых входное и эталонное изображения совпадают: a = n - Rx, где n - число компонент изображения; Rx - расстояние Хемминга между изображениями. Поэтому по аналогии с нейронными сетями АРТ можно задать минимально допустимое значение числа совпадающих компонент amin, при которых могут сравниваться входное и эталонное изображения, а при a < a^ входное изображение и эталонное несравнимы или, другими словами, входное изображение несет новую информацию по сравнению с изображением, хранящемся в весах связей нейронной сети. Учесть значение amn в архитектуре нейронной сети несложно -достаточно ввести дополнительное смещение на нейроны Z-слоя (точнее

- изменить величину смещения n /2). При этом входные сигналы Z-нейронов будут описываться модифицированным соотношением (1):

n П

ивхгр =~-amin + 1 + = a - amin + 1 Р = (3)

2 i=1

где q - число Z-нейронов, хранящих эталонные изображения.

Из (3) следует:

О, если a < amin,

1, если a = a

иш^р > 1, если a > am

Таким образом, если на выходе всех распределенных Z-нейронов выходные сигналы равны нулю (ивых 2 = 0, р = 1,...,д ), то входное

изображение по принятому критерию близости изображений не является похожим ни на одно из известных эталонных изображений и несет новую информацию. Для аппаратного определения новизны входного

изображения в архитектуру нейронной сети Хемминга достаточно ввести один нейрон X, суммирующий выходные сигналы всех нейронов Z-слоя. Если после предъявления входного изображения на выходе нейрона X нулевой выходной сигнал, то это означает, что входное изображение по расстоянию Хемминга находится далеко от эталонных изображений, хранящихся в весах связей нейронов Z-слоя, и является представителем нового класса изображений. Если после предъявления входного изображения выходной сигнал нейрона X положителен, то это означает, что входное изображение является представителем известного класса изображений, хранящегося в памяти нейронной сети.

Обобщение результатов по сети Хемминга на нейронную сеть Хебба. Результаты, полученные по сети Хемминга, могут быть обобщены и на другие нейронные сети. Проиллюстрируем это на примере нейронной сети Хебба. Архитектура этой сети приведена на рис. 2 [9]. Основу архитектуры составляет группа из т бинарных или биполярных нейронов У1,...,Ут. Сеть может запоминать до 2т черно-белых изображений. Однако, применение этой сети для запоминания и распознавания 2т (или близких к 2т чисел) различных изображений во многих случаях приводит к неразрешимым проблемам адаптации весов связей нейросети. Поэтому часто рекомендуют использовать данную сеть для запоминания только т различных классов изображений, задавая каждое из них, единичным выходным сигналом на выходе только одного нейрона 7-слоя (выходные сигналы остальных (т - 1) элементов должны принимать значение "-1" для биполярных нейронов или "0" для бинарных).

Рис. 2. Нейронная сеть Хебба

Нейронная сеть обучается с помощью алгоритма на основе правила Хебба. Для биполярных нейронов алгоритм обучения имеет следующие основные шаги:

Шаг 1. Задается множество М = ((Б1, ґ1),...,(Бт, ґт)} , состоящее из т пар (входное изображение Бк = (Б*,..., ), необходимый вектор

выходных сигналов tk = (tf,...,^), k = 1, ...,m , задаются нулевые выходные сигналы нейронов 7-слоя: С/вых^. = 0, j = 1, ...,m. Задается

предельное число эпох Жпр обучения сети. Инициируются веса связей нейронов: Wj = 0, i = 0,1, ...,n, j = 1, ...,m.

Шаг 2. Начинается обучение нейронной сети правильной реакции на каждое входное изображение. Последовательно каждая пара (Sk, t1), k = 1,...,m, проверяется на правильность реакции нейронной сети на входное изображение. Если полученный выходной вектор сети (yf,...,ykm) отличается от заданного tk = (tf,...,tkm), то выполняются шаги 3 - 5 алгоритма. Если выходной вектор сети совпадает с требуемым, то осуществляется переход к следующей паре. Если выходной вектор совпадает с заданным и проверяемая пара является последней, та переход на шаг 7 алгоритма.

Шаг 3. Инициируется множество входных нейронов:

х0 = 1, x = , i = 1, ...,n.

Шаг 4. Инициируется множество выходных нейронов сети:

^выхТ,. = tkj , j = 1,...,m.

Шаг 5. Корректируются веса связей нейронов сети по правилу Хебба:

Wj (new) = Wj (old) + xitkf, i = 0,1, ...,n, j = 1, ...,m.

Шаг 6. Если скорректированы веса связей для последней пары (Sm, tm), то переход на шаг 7 алгоритма. В противном случае - на шаг 2 алгоритма.

Шаг 7. Проверяется условие останова, то есть правильность функционирования сети при предъявлении каждого входного изображения. Если сеть функционирует правильно, то переход на шаг 8 алгоритма. Если сеть функционирует неправильно, то проверяется достижение предельного числа эпох обучения сети Жпр. Если Жпр не достигнуто, по переход на шаг 2 алгоритма, в противном случае -переход на следующий шаг алгоритма.

Шаг 8. Останов.

Для обеспечения стабильности в нейронных сетях АРТ при запоминании новой информации используются дополнительные

нейроны, введение которых и позволяет запоминать новую информацию и не разрушать уже имеющуюся. Покажем, что этот же эффект может быть достигнут и в нейронной сети Хебба при введении дополнительных распознающих нейронов. Продемонстрируем это на конкретном примере.

Пример 1. Пусть задана нейронная сеть Хебба, приведенная на рис. 3. Требуется запомнить изображения (Б1, Б2, 5е) приведенные на рис. 4 с помощью трех нейронов 71,72,73. Нумерация, элементов изображений отображена на изображении 5° (рис. 4).

Хо XI XI х9

Рис. 3. Нейронная сеть Хебба с дополнительными запоминающими нейронами

X0 X1 X2 X3

1 2 3

4 5 6

7 8 9

X4 X5 X6 X7

X8 X9 X10 X11

Рис. 4. Изображения, запоминаемые нейронной сетью Хебба

Для обучения нейронной сети изображениями X1, X2, X3 необходимо выполнить следующие шаги:

Шаг 1. Задается множество М = {(Б1,^), (Б2,(2),(Х3,(3)} = = {((1, -1, 1, 1, 1, 1, -1, -1, 1), (1, -1, -1)), ((1, 1, 1, 1, -1, 1, 1, -1, 1), (-1, 1, -1)), ((1, 1, 1, -1, 1, -1, -1, 1, -1), (-1, -1, 1))}. Задаются нулевые выходные сигналы всех 7-нейронов и нулевые значения весов всех связей, задается начальный момент времени: ивых у. = 0; ^ = 0,

г = 0,1, ...,9, J = 1, ...,8; t = /0.

Шаг 2. Начинается обучение нейронной сети парой (X1, /').

Шаг 3. Инициируется множество входов нейронной сети изображением X1: х0 = 1, ^ = 1, х2 =-1, х3 = 1, х4 = 1, х5 = 1, хб = 1,

х7 =-1, х8 =-1, х9 = 1.

Шаг 4. Инициируется множество выходных нейронов сети вектором требуемых выходных сигналов пары (X1, /'): итых у = у1 = ^ = 1;

ивых У2 = у2 = ^2 = -1; ивых У3 = у3 = ^3 = —1.

Шаг 5. Определяются веса связей нейронов у, У2, У3 сети по правилу Хебба.

Затем должны выполняться шаги алгоритма, связанные с предъявлением изображений X2 и X3. В табл. 1 приведены результаты этих расчетов.

Таблица 1

Результаты расчетов весов связей сети Хебба после предъявления изображений

X1, X2, X3

Вес связи ^01 ^,1 W41 ^61 ^71 ^,1 ^02 ^2 ^22 ^32 ^42

Значение -1 -1 -3 -1 1 1 1 -1 -1 1 -1 -1 1 -1 1

Вес связи ^52 ^62 ^72 ^82 ^92 ^03 ^3 ^23 ^33 ^43 ^53 ^63 ^73 ^83 ^93

Значение -3 1 3 -1 -1 -1 -1 1 -1 -3 1 -3 -1 3 -3

В табл. 2 представлены результаты предъявления обученной нейронной сети изображений Б1,..., X9. Результаты получены для случая, когда 7-нейроны имеют следующую функцию активации:

I1, если и вх > а

и = <! J

и вых У 1-1, если ивх 7 < 0,

где ивых 7 и ивх 7 - соответственно выходные и входные сигналы нейронов у, J = 1,2,3.

Из анализа таблицы следует, что входные изображения X1, X2, X3, X4, X8, X9 вызывают реакцию сети, при которой при предъявлении любого из этих изображений на выходе нейронной сети наблюдается один положительный единичный сигнал и два отрицательных единичных сигнала, то есть сеть относит входное изображение к одному из трех известных классов. Анализ данных табл. 2 и изображений показывает, что произошло правильное распознавание шести изображений, несмотря на то, что три из них имеют дефекты (X4, X8, X9).

Таблица 2

Результаты распознавания изображений X1, ..S9

Нейроны Выходные сигналы нейронов при предъявлении изображений

X1 X2 X3 X 4 X5 X6 X 7 X8 X9

У1 1 -1 -1 -1 1 1 1 1 -1

У2 -1 1 -1 1 -1 1 -1 -1 -1

Уз -1 -1 1 -1 1 1 1 -1 1

Результат распознавания + + + + - - - + +

Нетрудно увидеть, что при отнесении входного изображения к одному из трех классов, представители которых хранятся в весах связей нейронов У , У2, У3, суммарный выходной сигнал этих нейронов равен

3

минус единице: Хивых7,. =-!•

у=1

Если входное изображение не относится к классам изображений

3

хранящихся в весах связей нейронов У1, У2, У3, то имеем ^ивых7 Ф -1,

]=1 у

что может служить признаком новой информации (нового изображения) на входном слое нейронов и необходимости обучения следующей группы 7-нейронов распознавать эту входную информацию. При этом обученные распознающие нейроны должны быть заблокированы в режиме распознавания и заблокированы или игнорироваться в режиме обучения следующей группы нейронов.

Нейроны У4, У5, У6 несложно обучить распознаванию изображений

X5, X6, X7 алгоритмом Хебба. Результат обучения приведен в табл. 3. При этом множество М1 из обучающих пар задавалось следующим

образом: М = {(Б 5/),(Бб,/б),(Б7,/7)} = {((-1, -1, 1, -1, 1, -1, 1, -1, -1), (1, -1, -1)), ((-1, -1, -1, -1, -1, -1, 1, 1, 1), (-1, 1, -1)), ((1, -1, -1, -1, 1, -1, -1, 1, 1), (-1, -1, 1))}.

В табл. 4 приведены результаты распознавания изображений Б5, Бб, Б7 , Б10 и Б11.

Из анализа табл. 4 следует, что нейроны 74, 75, 7б относят

изображения Б5, Бб, Б7 к известным классам, эталоны которых хранятся в весах связей этих нейронов. Изображения Б10 и Б11 нейронами 74, 75, 7б распознаются как не принадлежащие к этим

классам, это же наблюдается и при предъявлении изображений Б10, Б11 и первой группе нейронов 7, 72, 73. Таким образом, для распознавания

изображений Б10, Б11 необходимо обучить еще два 7-нейрона: 77, 78.

Таблица 3

Результаты расчетов весов связей нейронов 74, 75 , 7б после предъявления изображений Б5, Бб , Б7

Вес связи ^04 ^4 W34 W44 ^54 ^64 W74 ^84 ^94 ^05 »15 »25 ^35 W45

Значение -1 -1 1 3 1 1 1 1 -3 -3 -1 -1 1 -1 1

Вес связи ^55 ^65 Т¥75 ^85 ^95 ^06 ^6 ^26 ^36 ^46 ^56 ^66 №П6 ^86 ^96

Значение -3 1 1 1 1 -1 3 1 -1 1 1 1 -3 1 1

Таблица 4

Результаты распознавания изображений Б5 , Бб , Б7 , Б10 и Б11

Нейроны Выходные сигналы нейронов при предъявлении изображений

Б 5 Б 6 Б 7 Б10 Б11

^4 1 -1 -1 1 1

^5 -1 1 -1 1 1

^6 -1 -1 1 -1 -1

Результат распознавания + + + - -

Нейроны 77, 78 будут распознавать указанные изображения после того, как при попытке их распознавания будут заблокированы сначала нейроны 71, 72, 73, а затем нейроны 74, 75, 7б.

Обобщим результаты примера 1 на случай, когда вначале нейронная сеть Хебба обучается распознаванию множества из п0 (п0 > 3)

изображений М0 = {Б1,...,БП0}, каждое из которых кодируется на

выходах 7-нейронов (710, ...,7^) одним единичным сигналом и (п0 -1)

сигналами "- 1". Суммарный выходной сигнал нейронов 710, ...,7п0 ,

правильно распознающих одно из изображений, относящихся к множеству Мо, в этом случае равен

п0

Iу„х,« =-П0 - 2). (4)

1=1 '

Если при предъявлении нейронной сети изображения Б* соотношение (4) не выполняется, то это является признаком появления на входе нейронной сети новой информации (представителя нового класса изображений). При накоплении некоторого множества таких

изображений М = {Бп0+1,Бп0+2,...,БП0+п1}, где п >3, могут быть

обучены с помощью алгоритма Хебба следующие п1 нейронов сети.

Признаком того, что некоторое входное изображение Б* относится к множеству М1 являются соотношения:

п0 П1

*-<п«-2) '<х‘) = -(п-2). <5>

1=1 г=1

Появление изображений, для которых не выполняются соотношения (4) и (5), указывает на необходимость следующего дообучения нейронной сети. Число N шагов дообучения практически не ограничено.

На рис. 5 приведена архитектура нейронной сети Хебба, которая может дообучаться N раз. Сеть состоит из слоя входных нейронов X, . ., хп и 7-слоя распознающих нейронов. Нейроны 7-слоя разбиты на ^ + 1) группу, каждая из которых может содержать разное число нейронов (но не меньше трех) и формироваться в процессе функционирования сети.

Первая группа нейронов 7]°,...,7И° используется для запоминания

исходной информации в виде множества изображений М0. Вторая и

последующие группы нейронов (7^,...,7/), ..., (7^,...,)

используются для обучения нейронной сети по мере накопления новой информации и последовательного запоминания множеств изображений М1, М2, Мм. В каждой группе нейронов выходные сигналы 7-нейронов поступают на входы управляющего нейрона, имеющего функцию активации вида

и V =< вых 2а

па

О, если ивх =Еин

= -(«а - 2Х

к=1

(6)

1, если ивх -2), а = 0,1,...,N,

где и вы

ивх1у/] - соответственно выходной и входной сигнал

нейрона 2а (а = 0,1,...,N); и

- выходной сигнал нейрона Ук

(ё = 0,1,...,N; к = 1, ...п); - число нейронов в группе 7/1

па'

4і1)

— •••

Рис. 5. Архитектура нейронной сети Хебба, которая может дообучаться N раз

а

к

а

к

Вначале режима распознавания обнуляются выходные сигналы

2 -нейронов и блокируется работа нейронов 7/, 72,..., 7^.

При подаче на вход нейронной сети, которая дообучалась Ь раз (1 < Ь < N), некоторого изображения Б * вначале активируются нейроны первой группы 71°,...,7п<° , выходные сигналы которых поступают на входы управляющего нейрона 20. Если выполняется соотношение

п°

Ц, 2° =2;и„ 7° =-(П° - 2), (7)

к=1 к

то ивых 2о = ° и входное изображение Б * относится к множеству изображений М , а конкретный класс изображений определяют выходные сигналы нейронов 70, ...,7 0 .

Если соотношение (7) не выполняется, то ивых £о = 1, что указывает

на то, что входное изображение Б * не принадлежит множеству М0. Единичный выходной сигнал нейрона 20 по цепи обратной связи фиксирует единичный выходной сигнал нейрона 20 и поступает на входы нейронов первой группы, блокируя их. Одновременно этот же единичный сигнал управляющего нейрона поступает на входы распознающих нейронов 7/,...,7^ второй группы и переводит их в

активное состояние. Выходные сигналы нейронов 7/,...,7^ поступают на входы управляющего нейрона ^, с помощью которого определяется принадлежность изображения Б * к множеству М1. Если выполняется соотношение

Цх 2> =2Цых7. =-(п1- 2) . (*)

к=1 к

то изображение Б * принадлежит множеству М1, а конкретный класс изображений определяют выходные сигналы нейронов 7/,..., 7^ . Если

равенство (8) не выполняется, то изображение Б * не принадлежит множеству М1 и ивых 2 = 1. Сигнал ишх 2 блокирует нейроны

y/ ,..., Y1 и подключает к распознаванию нейроны третьей группы и т.д.

В результате этого процесса входное изображение либо будет отнесено к одному из известных множеств изображений M0, Mj, M2, ..., ML, либо будет воспринято как новое изображение, которое необходимо запомнить сетью на (L +1) -м дообучении нейронной сети.

Разработанный подход для дообучения нейронной сети Хебба может быть обобщен и на другие нейронные сети, в частности, на перцептроны с нейронами, имеющими непрерывные функции активации.

Выводы. Tаким образом, впервые на основе нейронных сетей Хемминга и Хебба предложены архитектуры и алгоритмы функционирования дискретных стабильно-пластичных нейронных сетей, которые не только могут дообучаться, но и распознавать новую информацию. Новые сети могут стать альтернативой дискретным нейронным сетям адаптивной резонансной теории. Разработанный подход для дообучения нейронных сетей Хемминга и Хебба может быть обобщен и на другие нейронные сети, в частности, на перцептроны.

Список литературы: 1. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - М.: Изд. дом "Вильямс", 2006. - 1104 с. 2. Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применение / О.Г. Руденко, Е.В. Бодянский. - Харьков: TЕЛЕTЕХ, 2004. - 372 с. 3. Дмитриенко В.Д. Определение оптимальных режимов ведения дизель-поезда с использованием нейронных сетей APT / В.Д. Дмитриенко, В.И. Носков, М.В. Липчанский, А.Ю. Заковоротный // Вісник ШУ "ХПІ". - Харків: ШУ "ХПІ". - 2004.

- № 46. - С. 90 - 96. 4. Комашинский В.И. Нейронные сети и их применение в системах управления и связи / В.И. Комашинский, Д.А. Смирнов - М.: Горячая линия - Tелеком, 2002.

- 94 с. 5. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений IА.Б. Барский. - М.: Финансы и статистика, 2004. - 176 с. б. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае / А.И. Галушкин.

- В 2-х томах. ^м 2. - М.: Горячая линия - Tелеком, 2004. - 464 с. 7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance I S. Grossberg II Cognitive Science. - 1987. - Vol. 11. - P. 23 - 63. S. Carpenter G.A. A massively parallel architecture for selforganizing neural pattern recognition machine I G.A. Carpenter, S. Grossberg II Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 - 115.

- С. 42-51. 9. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications I L. Fausett. - New Jersey: Prentice Hall Int., Inc., 1994. - 461 p. lO. Дмитриенко В.Д. Вычислительная сеть для решения задач с несколькими решениями I В.Д. Дмитриенко, И.П. Хавина // Вестник ШУ "ХПИ", 2007. - N° 19. - С. 58 - 63.

Поступила в редакцию 7.11.2013

УДК 517.9:629.42

Нейронні мережі Хеммінга й Хебба, здатні донавчатися / Дмитрієнко В.Д., Заковоротний О.Ю., Бречко В.О. // Вісник ШУ "ХПІ". Серія: Інформатика і моделювання. - Харків: ШУ "ХПІ". - 2013. - № 19 (992). - С. 30 - 45.

Вперше на основі нейронних мереж Хемминга й Хебба запропоновані архітектури та алгоритми функціонування дискретних стабільно-пластичних нейронних мереж, які не

тільки можуть донавчатися, але й розпізнавати нову інформацію. Нові мережі можуть стати альтернативою дискретним нейронним мережам адаптивної резонансної теорії. Іл.: 5. Табл.: 4. Бібліогр.: 10 назв.

Ключові слова: нейронні мережі Хемінга й Хебба, стабільно-пластичні нейронні мережі, нейронні мережі адаптивної резонансної теорії.

UDC 517.9:629.42

Neural networks of Hamming and Hebb are capable to learn / Dmitrienko V.D., Zakovorotnyi A.Y., Brechko V-А. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2013. - № 19 (992). - Р. 30 - 45.

For the first time architectures and algorithms of the discrete stable and plastic neural networks based on neural networks Hemming and Hebb are proposed. And these algorithms and architectures can not only to learn, but also to recognize new information. New networks can be an alternative to discrete neural network adaptive resonance theory. Figs.: 5. Tabl.: 4. Refs.: 10 titles.

Keywords: neural networks of Hemming and Hebb, stable and plastic neural networks, neural network adaptive resonance theory.