CC BY
84
УДК 681.513:620.1
В.Д. ДМИТРИЕНКО, д-р техн. наук, НТУ "ХПИ" (г. Харьков),
О.А. ПОВОРОЗНЮК, НТУ "ХПИ" (г. Харьков)
НОВЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ ОДНО- И
МНОГОМОДУЛЬНЫХ ДИСКРЕТНЫХ НЕЙРОННЫХ СЕТЕЙ АРТ
Проанализированы недостатки алгоритмов обучения существующих дискретных нейронных сетей адаптивной резонансной теории (АРТ). Предложены новые алгоритмы обучения одно- и многомодульных дискретных нейронных сетей на основе генетических алгоритмов и алгоритмов обучения нейронных сетей АРТ без адаптации весов связей распределенных распознающих нейронов.
Ключевые слова: алгоритм обучения нейронных сетей, адаптивная резонансная теория (АРТ), нейронная сеть АРТ, генетический алгоритм.
Постановка проблемы и анализ литературы. Искусственные нейронные сети в последние 10 - 15 лет вызывают к себе повышенное внимание, поскольку с их помощью успешно решаются разнообразные сложные задачи, в том числе и задачи классификации [1 - 4]. Хотя многослойные перцептроны и целый ряд других нейронных сетей являются универсальными апроксиматорами функций и успешно используются во многих практических приложениях, однако они имеют и серьёзные недостатки:
- большое время обучения;
- не обладают свойством стабильности - пластичности, то есть способностью воспринимать и запоминать новую информацию без потери или искажения уже имеющейся;
- не могут выделять новую входную информацию, относя любой входной вектор (входное изображение) к одному из уже известных классов.
Эти недостатки существенно затрудняют использование нейронных сетей при решении практических задач, поскольку в реальных задачах, как правило, исходная информация на этапе обучения нейронной сети полностью неизвестна и может быть получена только при эксплуации реального объекта или системы, что требует многократного и трудоёмкого переобучения нейронной сети. Наличие этих существенных недостатков привело к разработке нового класса нейронных сетей - сетей адаптивной резонансной теории (Adaptive Resonance Theory (ART)), в которых в значительной мере решены проблемы стабильности - пластичности и обнаружения новой информации [3, 5].
Проблема большого времени обучения в нейронных сетях может решаться за счет использования модульного подхода, который характерен для мозга человека и высших животных [6] и широко используется в науке и технике. Этот подход предполагает разбиение сложной задачи на множество
отдельных подзадач, решение каждой из которых требует обучения существенно меньшей нейронной сети. Такой подход открывает и новые возможности в использовании нейронных сетей, например, создание иерархических систем распознавания и классификации. В частности, известны иерархические нейронные сети ART с разделением (Hierarchical ART with Splitting (HART-S)) и иерархические нейронные сети ART с объединением (Hierarchical ART with Joining (HART-J)).
На рис. 1 приведена сеть HART-J с тремя уровнями иерархии.
Рис. 1. Нейронная сеть HART-J с тремя уровнями иерархии
На каждом уровне иерархии используется дискретная нейронная сеть ART-1, архитектура которой приведена на рис. 2. Сеть ART-1 имеет три поля или слоя нейронов:
- поле или слой входных бинарных нейронов;
- слой бинарных интерфейсных нейронов, поля ^0 и Е\ часто рассматривают как одно поле и называют полем обрабатывающих нейронов;
^2 - поле непрерывных распознающих 7-нейронов.
Распознающие нейроны 7-слоя могут находиться в одном из следующих состояний:
- неактивен (ивыхТ = 0), нейрон установлен в начальное состояние или
проиграл соревнование с другими распознающими нейронами при предъявлении текущего входного изображения;
- заторможен (ииыхГ =-1), изображение, хранящееся в весах связей
нейрона 7' по параметру сходства не соответствует текущему входному изображению;
- активен (0 < ивыхГ < 2), выходной сигнал нейрона определяется
П __
в^іражением иЪых^ = Uвх.Yj =х ^(/ивьїх.Zi ’ ] 1,т ;
І=1
- активен (С/выхГ = 1, ивых1к = 0, к = 1,т, к Ф у), распознающий нейрон 1 является победителем при предъявлении текущего изображения.
Рис. 2. Архитектура нейронной сети ART-1
Архитектура нейронной сети ART-1 включает также три управляющих нейрона: R, G1 и G2. Нав рис. 1 нейроны G1 и G2 каждого модуля условно
показаны одним нейроном Gi (i = 1,3).
Большинство связей между нейронами сети ART-1 являются возбуждающими:
- все связи от нейронов входного слоя к Z-нейронам и управляющим нейронам G1, G2 и R;
- все связи между нейронами Y- и Z-слоев; при этом из-за наличия большого числа связей между нейронами на рис. 2 обозначена только одна
1 2
пара связей с весами Wj, Wji;
- от управляющих нейронов G1, G2 к нейронам Z- и Y- слоев.
Тормозящие сигналы передаются только по связям от интерфейсных
нейронов к управляющему нейрону R, от нейронов Y-слоя к нейрону G1 и от R-нейрона к распознающим нейронам. Все связи нейронной сети передают только бинарные сигналы.
Нейроны полей F1 и F2 переходят в активное состояние по правилу "два из трёх", то есть при наличии возбуждающих сигналов из двух различных источников. Y-нейроны переходят в активное состояние только при наличии
5З
единичных сигналов как от интерфейсных элементов, так и от управляющего нейрона 02; 2-нейроны переходят в активное состояние при наличии либо единичных сигналов от Б-нейрона и управляющего нейрона 01, либо единичных сигналов от элементов входного и выходного полей нейронной сети.
Нейронная сеть может работать в двух режимах - обучения и распознавания. Будем полагать, что в основу первого режима положен метод быстрого обучения [7], предполагающий, что веса связей победившего распознающего нейрона достигают равновесных значений при предъявлении любого входного изображения. На основе этого метода предложен алгоритм обучения дискретных нейронных сетей АЯТ-1 [7].
Цель статьи - анализ недостатков известных алгоритмов быстрого обучения дискретных одномодульных и иерархических сетей АРТ и разработка новых алгоритмов обучения этих нейронных сетей.
Общий алгоритм обучения дискретных нейронных сетей АКТ-1 и его анализ. Обозначения, принятые в алгоритме:
п - число нейронов во входном и интерфейсном слоях и число бинарных компонент во входных изображениях или векторах;
Б1 = (Б(, Л12, Б1п) - п-мерный входной вектор, I = 1, д ;
q - число обучающих векторов;
т - максимальное число распознаваемых образов (и число нейронов в поле ^2);
и , = (и ,, и ,, ..., и ,), и , = (и ,, и ,, ..., и ,) - со-
вх.Л вх.Б| вх.Б2 вх.Бп вых.Л вых.Л| вых.Л2 вых.Лп
ответственно п-мерный бинарный вектор входных и выходных сигналов элементов Б-слоя при подаче на его вход изображения Б1;
и-вх.2 = (иЕх^1 - ивх.22 ’ ...’ ивх.2п )’ ивых2 = (ивых^1 - ивых^2 ’ ивых_2п ) - соответственно п-мерный бинарный вектор входных и выходных сигналов нейронов интерфейсного слоя;
ивх.7 = (ивх.71 > ивх.Г2 , ..., ивх!п ), ивыхГ = (^вых! > ивыхГ2 , -., ивыхТп ) - соответственно т-мерный вектор входных и выходных сигналов элементов 1-слоя;
||Б|| - норма вектора Б;
р (0 < р < 1) - параметр сходства между двумя изображениями - входным и хранящемся в весах связей победившего распознающего нейрона;
м>!- веса связей, соответственно от нейрона к нейрону Т] и от
элемента Т] к элементу 2{,
Ь - константа;
ивыхЛ- ивых.С1 - ивых.02 - выходНЫе сигналы нейр°н°в Gl, G2, Я.
Шаг 1. Инициируются параметры р, Ь, веса связей м>1 ,м>2 и выходные сигналы нейронов Я, 01у 02 и Б-слоя. Рекомендуемые значения:
L = 2; w1 = 1/(1 + n); w2 = 1; і = 1,n; j = 1, m;
UBЫXR UB^IX.Gi UE^IX.G2 UBbIX.S; 0 i 1
Шаг 2. Выполняются шаги 3 - 12 алгоритма до тех пор, пока не выполнятся условия останова на шаге 12.
Шаг 3. Для каждого входного вектора Sl =(S(, Sl2, Sln), l = 1,q,
выполняются шаги 4 - 11 алгоритма.
Шаг 4. Задаются выходные сигналы всех 7-нейронов: ив^1х7 = 0,
j =1,m.
Активизируются входным вектором Sl нейроны входного слоя:
U i =Sl, i = 1,n, и вычисляется норма вектора сигналов U l :
вых .S' i r r вых-S1
III II II n
U i = S'l = ^ Sl. Определяются выходные сигналы управляющих
ИЛХ. i^
нейронов G1 и G2: ив^1х.о1 = Uвых.02 = 1, если |Sl > 1 .
Шаг 5. Определяются входные и выходные сигналы нейронов Z-слоя:
Uвx.Zi = Uвыx.Si ’ Uвыx.Zi = Uвx.Zi ^Uвыx.Gl, 1 =1,n-
Шаг 6. Для каждого распознающего незаторможенного 7-элемента
(ивых1^ * -1) в^1числяется его выходной сигнал: ивых1, = ^ивых 2.м>1, ] = 1,т.
і=1
Шаг 7. Пока не определен элемент 7/, вектор весов связей которого по величине параметра сходства р соответствует вектору Б1, выполняются шаги 8 - 10 алгоритма.
Шаг 8. В слое распознающих нейронов определяется элемент 7/, выходной сигнал которого удовлетворяет условию ивых^ > ивыхГ , ] = 1, т.
При наличии нескольких таких нейронов выбирается нейрон с наименьшим индексом. Нейрон 7/ становится победителем при текущем предъявлении изображения Б1 и ивіх г =1. Этот сигнал затормаживает управляющий нейрон
Оі. Если ивыхТ = -1, то входной вектор не может быть распознан и запомнен,
поскольку все нейроны распознающего слоя заторможены.
Шаг 9. По правилу "два из трех" определяются сигналы на выходах
г-элементов: uшлxZ =uJыlxS w2Jl, а затем - шрма вект°ра иЪЪ1х.2:
n
(^вых^Ц = ^^UBЫX.Zi • i=1
Шаг 10. С помощью заданного значения параметра сходства определяется условие возможности обучения выделенного элемента YJ
входным изображением Sl. Если ||UBbIxZ||/||sl|| < p, то обучение невозможно, нейрон Yj затормаживается (Uв^1хТ/ = -1,) и начинается поиск нового нейрона-
победителя в Y-слое переходом на шаг 7 алгоритма. Если fU^^I/ls1! > p , то
обучение элемента YJ возможно.
Шаг 11. Корректируются веса связей нейрона YJ с помощью соотношений:
1 вых Z, 2 -Л \
WJ = т Л Пгг--------ii , Wji = Uвых.Z,- , 1 = 1 n . (1)
L -1 + 1U въ^Ц '
Шаг 12. Проверяются условия останова работы алгоритма: отсутствие изменения весов связей нейронной сети в течение эпохи; достижение заданного числа эпох и т.д.
Шаг 13. Останов.
Если в режиме обучения найденный прототип, хранящийся в весах связей сети, модифицируется, чтобы стать более похожим на предъявленный
нейронной сети вектор, то в режиме распознавания веса связей,
распределенных на этапе обучения нейронов сети, остаются неизменными. В остальном алгоритмы обучения и распознавания сети ART-1 очень похожи [5]. Не распределенные во время обучения распознающие нейроны могут как накапливать новую информацию, так и не использоваться.
Зная алгоритмы функционирования нейронной сети ART-1, рассмотрим пример классификации с помощью нейронной сети HART-J (рис. 1) следующего множества двоичных векторов:
51 = (00001111), S5 = (00000111), S9 = (01110000), S13 = (00000011),
52 = (11111100), S6 = (00001101), S10 = (10110000), S14 = (11010000).
53 = (11110000), S7 = (00001011), S11 = (00111111),
54 = (11000000), S8 = (11100000), S12 = (00111100),
Пусть сеть ART-1 на первом уровне иерархии в сети HART-J имеет следующие параметры: m = 14; n = 8; q =14; L = 2; p = р1м = 0,75 - параметр сходства; м^1м)(0) = 1/(1 + n) = 0,111; (i =1,n; j = 1,m) - начальные веса связей от нейронов Z-слоя к распознающим Y-элементам модуля; W2M(0) = 1; (i = 1,n; j = 1,m) - начальные веса связей от распознающих Y-нейронов к Z-нейронам, где индекс 1м указывает на принадлежность
параметров первому модулю НАЯТ-.!.
Будем полагать, что модули второго и третьего уровней иерархии сети НАЯТ-1 отличаются от модуля первого уровня только параметрами сходства: р2м = 0,6 и р3м = 0,33, где р2м и р3м - соответственно параметры сходства для второго и третьего модулей сети НАЯТ-1.
Обучение сети НАЯТ! выполним с помощью алгоритма, обучающего модули иерархической сети последовательно, начиная с первого модуля. При этом, обучение каждого последующего модуля начинается только после окончания обучения предыдущего модуля. Обучающие двоичные вектора на вход сети НАЯТ! подаются циклически, начиная с Б1: Б1, Б2, ... , Б14, Б1, Б2, ...
При предьявлении первого вектора Б1 = (00001111) в результате выполнения шагов 1 - 11 алгоритма получим, что победителем будет нейрон
7]1м. Веса связей этого нейрона определяются по соотношениям (1):
41м) = 41м) = цм = 41м) = 0; 41м) = м$м) = 41м) = 41м) = 0,4;
М2|1м) = м^1м) = м^1 м) = >41м) = 0; м21м) = >41м) = м21м) = м21м) = 1.
В результате распределения первого распознающего нейрона, матрицы весов связей первого модуля примут вид, приведенный в табл. 1 и 2, где
^ 1(1м), W21м) - соответственно матрицы весов от 2-элементов к 7-элементам и от 7-элементов к 2-нейронам.
Таблица 1
Матрица весов связей W11м) после распределения первого распознающего
нейрона
Нейрон 7-слой ^1м у 1м 1 2 у1м М4
2-слой
2і1м 0 0,111 0,111
V 1м 22 0 0,111 0,111
V 1м 23 0 0,111 0,111
V 1м 24 0 0,111 0,111
251м 0,4 0,111 0,111
7 1м 26 0,4 0,111 0,111
271м 0,4 0,111 0,111
281м 0,4 0,111 0,111
Анализ структуры нейронной сети АРТ-1 (рис. 2), соотношений (1) и табл. 1 и 2 показывает, что матрица весов связей W2 любого модуля / (/ = 1,3) однозначно определяется по матрице W1, поэтому в дальнейшем будем анализировать только матрицу W1ш) / = 1,3 весов связей от элементов 2-слоя к распознающим элементам 7-слоя.
После предъявления второго входного вектора Б2 = (11111100) в
результате выполнения шагов 3 - 8 алгоритма нейроном-победителем в 7-слое становится нейрон 711м. Однако, определение параметра сходства
р1м = ||^ ^1м ||/||б 2|| = 2/6 < 0,75 показывает, что входной вектор недостаточно
похож на вектор, хранящийся в весах связей нейрона 7г 1м .
Таблица 2
Матрица весов связей Ж 21м^ после распределения первого распознающего
нейрона
Нейрон 2-слой 21м 1м 2 2 <-7 1м 2 3 1м 2 4 1м 2 5 1м 2 6 1м 2 7 1м 28
7-слой
71м 0 0 0 0 1 1 1 1
•у 1м 7 2 1 1 1 1 1 1 1 1
у 1м 714 1 1 1 1 1 1 1 1
Поэтому нейрон 711м затормаживается и распределяется нейрон 721м , веса связей которого корректируются по соотношениям (1):
»$“> = »«"> =.. .= »1‘") = 0,286; = »■«"' = 0;
»<2?") = ,*.|21“)= ...= ^-2б1м) = 1; = щ|8,“1 = 0.
После окончания первой эпохи обучения (последующего предъявления векторов Б3, Б4, ... , Б14) матрица весов связей Ж11м) принимает вид, приведенный в табл. 3.
Таблица 3
Матрица весов связей Ж11м) после первой эпохи обучения
Ней- рон 7-слой 71м 1м 1 2 у 1м 7 3 1м 7 4 у 1м 7 5 у 1м 7 6 у 1м 77 у 1м 78 у 1м 7 9 у 1м М0 у1м 714
2- слой
2Ы 0 0,667 0 0 0,5 0 0,5 0 0,5 0,111 0,111
2,1м 0 0,667 0 0 0,5 0,5 0 0 0,5 0,111 0,111
2з1м 0 0 0 0 0,5 0,5 0,5 0,4 0 0,111 0,111
241м 0 0 0 0 0 0,5 0,5 0,4 0,5 0,111 0,111
251м 0 0 0,5 0,5 0 0 0 0,4 0 0,111 0,111
V 1м 26 0 0 0,5 0 0 0 0 0,4 0 0,111 0,111
271м 0,667 0 0 0,5 0 0 0 0 0 0,111 0,111
V 1м 28 0,667 0 0,5 0,5 0 0 0 0 0 0,111 0,111
Во время второй эпохи обучения распределяется еще три 7-нейрона и матрица весов связей Ж11 м) приобретает окончательный вид (табл. 4).
После окончания обучения первого модуля иерархической сети ИЛЯТ-1 начинается обучение второго модуля, который имеет те же начальные параметры, что и первый модуль, за исключением параметра сходства, который для этого модуля меньше: р2м = 0,6. Обучение начинается с предъявления первому модулю сети входного вектора Б1 = (00001111). Нейроном-победителем первого модуля становится 73'м , а на выходе нейронов
2-слоя этого модуля появляется вектор и 1м = (00001101), который поступает на вход Б-нейронов второго модуля: и ,(2м) = и 2м , где индекс
вх .^ вых .£
2м указывает на принадлежность ко второму модулю сети ИЛЯТ-І
Таблица 4
Матрица весов связей W1(1м) после второй эпохи обучения
Ней- рон й о л с-
2- слой У11м у1м 1 2 у 1м 1 3 1м 1 4 1м 15 1м 1 6 1м 17 1м 18 1м 1 9 1м 110 1м 111 1м 112 1м 113 1м 114
211м 0 0,667 0 0 0,5 0 0,5 0 0,5 0,286 0 0 0,111 0,111
V 1м 22 0 0,667 0 0 0,5 0,5 0 0 0,5 0,286 0 0 0,111 0,111
V 1м 23 0 0 0 0 0,5 0,5 0,5 0,4 0 0,286 0 0,286 0,111 0,111
V 1м 24 0 0 0 0 0 0,5 0,5 0,4 0,5 0,286 0 0,286 0,111 0,111
251м 0 0 0,5 0,5 0 0 0 0,4 0 0,286 0 0,286 0,111 0,111
V 1м 26 0 0 0,5 0 0 0 0 0,4 0 0,286 0,5 0,286 0,111 0,111
271м 0,667 0 0 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111
V 1м 28 0,667 0 0,5 0,5 0 0 0 0 0 0 0,5 0,286 0,111 0,111
Распоз. вектора Б13 Б4 Б1, Б6 Б7 Б3, Б8 Б9 Б10 Б12 Б14 Б2 Б5 Б11 - -
При предъявлении первого обучающего вектора и 1(2м) второму модулю иерархической нейронной сети в результате выполнения шагов 1 - 11 алгоритма обучения победителем становится нейрон 72м . Веса связей этого нейрона по соотношениям (1), имеют следующие значения:
м12м) = 42м) = = м42м) = Ц(2м) = 0; 42м) = 42м) = ^1(2м) = 0,5;
^2(2м) = = ^2(2м) = >42м) = м22м) = 0; м^2м) = м22м) = ^2(2м) = 1.
Последующее предъявление на вход сети ИЛЯТ-І векторов Б1, Б2, ..., Б14 приводит к появлению на входе второго модуля обучающей последовательности векторов:
Б1(2м) = (00001101), Б5(2м) = (00000111), Б9(2м) = (01110000), Б13(2м) = (00000011),
Б2(2м) = (11111100), Б6(2м) = (00001101), Б10(2м) = (10110000), Б14(2м) = (11010000).
Б3(2м) = (11100000), Б7(2м) = (00001011), Б11(2м) = (00111111),
Б4(2«) = (11000000), Б8(2м) = (11100000), Б12(2м) = (00111100),
Обучение второго модуля иерархической нейронной сети выполняется за три эпохи, в результате чего получается матрица весов связей приведенная в табл. 5.
Таблица 5
Матрица весов связей W ^2м^ после окончания обучения второго модуля сети НАЯТ-1
Нейрон о л СJ 72м 2м 1 2 2м 73 2м 1 4 2м 1 5 2м 1 6 2м 1 7 2м 114
Z-слой
Z12м 0 0,бб7 0 0 0 0 0,111 0,111
Z22“ 0 0,бб7 0 0 0 0 0,111 0,111
Z32“ 0 0 0 0,667 0 0,4 0,111 0,111
Z42“ 0 0 0 0,667 0 0,4 0,111 0,111
Z52“ 0 0 0 0 0,667 0,4 0,111 0,111
V 2м ^б 0,бб7 0 0 0 0,667 0,4 0,111 0,111
Zy2“ 0 0 0,667 0 0 0 0,111 0,111
V 2м Z8 0,бб7 0 0,667 0 0 0 0,111 0,111
Распоз. вектора S1, S6 S3, S4, S8, S14 S5, S7 S13 S9, S10 - S2, S11 S12 - - -
Аналогично второму модулю сети HART-J обучается и ее третий модуль при параметре сходства р3м = 0,33. Входная последовательность для этого модуля (при неизменяемой входной последовательности обучения S1, S2, ... , S14 для первого модуля сети) будет следующая:
S11» = (00000101), S51» = (00000011), S91» = (00110000), S13(2h) = (00000011),
S2(2h) = (00111100), S5(2h) = (00000101), S10(2h) = (00110000), S141» = (11000000).
S3(2«) = (11000000), S7(2h) = (00000011), S111» = (00111100),
S4(2h) = (11000000), S8(2h) = (11000000), S12(2h) = (00111100),
В результате обучения третьего модуля получается матрица весов связей
W1зм, приведенная в табл. 6.
Таким образом, первый модуль сети HART-J разбивает исходные 14 векторов на 12 классов, второй - на пять и третий - на три. Рассмотрим детально результаты примера.
Анализ входной последовательности, алгоритма обучения нейронной
сети ART-1 и матрицы весов связей W1ім показывает, что если вектора S6, S7 во входной последовательности поменять местами, то разбиение входных векторов на классы первым модулем изменится, поскольку нейрон 731м будет относить к одному классу вектора S1 и S7, а вектор S5 запомнится нейроном
Г41м как представитель отдельного класса. Подобная ситуация возникает и в отношении тройки векторов S3, S8, S9, точнее, нужно рассматривать не три вектора, а пять: S3, S8, S9, S10, S14, поскольку класс из двух векторов с вектором
Б3 может (в зависимости от изменения порядка следования векторов & (/ = 1, 14) во входной последовательности) образовывать любой из векторов Б8, Б9, Б10, Б14, так как каждый из них отличается от вектора Б3 только одним единичным элементом.
Таблица 6
Матрица весов связей Ж1зм^ после окончания обучения ______________третьего модуля сети ИЛКТ-1_______________________
Нейрон -о о YЗм у Зм 1 2 у Зм 1З у Зм 1 4 у Зм 114
Z-слой
21Зм о о о,бб7 о,111 о,111
V Зм Z2 о о о,бб7 о,111 о,111
V Зм 2З о о,бб7 о о,111 о,111
V Зм Z4 о о,бб7 о о,111 о,111
о о о о,111 о,111
V Зм 2б о о о о,111 о,111
2Ъм о о о о,111 о,111
7 Зм Z8 1 о о о,111 о,111
Распоз. вектора S1, S5, S6, S7, Sn S2, S9, Sm, S11, S12 S3, S4, S8, S14 - - -
В связи с этим напрашивается алгоритм обучения одно- и многомодульных нейронных сетей ART с изменяющейся входной последовательностью. Поскольку q входных обучающих векторов можно упорядочить q! способами, то полный перебор всех входных последовательностей векторов реален только при небольших значениях q. Поэтому в реальных задачах при больших значениях q целесообразно использовать эволюционные методы поиска приемлемых решений, в частности, генетические алгоритмы. В генетических алгоритмах объекты эволюции - хромосомы, представляющие собой закодированные решения рассматриваемой задачи. Поэтому в качестве хромосом при генерировании начальной популяции в рассматриваемой задаче необходимо брать некоторое множество возможных входных последовательностей. Полученные особи (хромосомы) оцениваются одним или несколькими критериями и с помощью тех или иных операторов селекции [8, 9] лучшие из них отбираются для воспроизводства (репродукции) потомков с помощью генетических операторов: скрещивания (простого или одноточечного, двухточечного, упорядоченного, циклического и т. д.), мутаций (различных видов), инверсии (поворотов хромосом или ее участков на 180 градусов). Процесс селекции и воспроизводство потомков продолжается до тех пор, пока улучшается качество получаемых решений рассматриваемой задачи.
Видимо, несложно придумать задачу, где множество векторов S3, S8, S9, S10, S14 или векторов: S1, S5, S6, S7 должно относиться к одному классу, однако классические и генетические алгоритмы обучения дискретных сетей ART не
позволяют получить такие классы при любом порядке векторов S (i = 1, 14) во входной последовательности.
С целью расширения возможностей обучения дискретных нейронных сетей ART в работе [10] предложены алгоритмы обучения без коррекции весов связей распределенных нейронов. Однако запрет коррекции весов связей всех распределенных 7-нейронов имеет и свои отрицательные стороны. Например, если вектора S2 и S11 подать первыми, то все множество входных данных разобьется только на два класса (хотя в каких-то задачах классификации это может быть и лучшим решением). Если подавать входную последовательность векторов в первоначально заданном порядке, но запретить адаптацию весов связей нейронов, запомнивших векторы S1 и S3, то при р1м = 0,75 получим
следующую матрицу весов связей W1lH) и классы векторов (табл. 7).
Таблица 7
Матрица весов связей после окончания обучения
первого модуля сети ИЛКТ-1
Нейрон о л О 71м 1м 1 2 1м 11 1м 1 4 1м 1 5 1м 16 1м 114
Z-слой
211ш 0 0 0,4 0 0,286 0,111 0,111
v 1м Z2 0 0 0,4 0 0,286 0,111 0,111
v 1ш Z3 0 0,4 0,4 0,286 0,286 0,111 0,111
v 1ш Z4 0 0,4 0,4 0,286 0,286 0,111 0,111
2з1ш 0,4 0,4 0 0,286 0,286 0,111 0,111
v 1м Z6 0,4 0,4 0 0,286 0,286 0,111 0,111
і71ш 0,4 0 0 0,286 0 0,111 0,111
7 1м Z8 0,4 0 0 0,286 0 0,111 0,111
Распоз. вектора S1, S5, S6, S7, S13 S2 S3, S4, S8, S9, S10, S14 S11 S12 - - -
В соответствующие классы векторов вошли также векторы 54 и £13, хотя они отличаются соответственно от векторов ^ и £3 не одним, а двумя двоичными разрядами. Это связано с особенностью определения параметра сходства, которая становится существенной при запрещении адаптации весов связей распределенных нейронов. Рассмотрим определение параметра сходства р1м при подаче на вход обученного первого модуля сети вектора £13 . Нейроном победителем в этом случае станет нейрон 711м, а параметр сходства определится выражением
^1м=К^м (г11м ■ ^)||/и- (^11=К!м). о?13))/!^ о?13!
где и 1м (7/м, £13) - норма вектора выходных сигналов нейронов 2-слоя
ц вых.Л ц
при нейроне-победителе 711м и входном векторе сети З13; ||ивых5 С£13)| - норма вектора выходных сигналов нейронов ^-слоя при входном векторе сети £13; (^21^’ ^вых5С^3))- скалярное произведение вектора весов связей от
нейрона-победителя У11м к элементам Z-слоя и вектора выходных сигналов элементов S-слоя.
Поскольку ^72(!м) = (W 21м), ^2,(1м), ... , W 21м)) =(00001111) и
ивЫх.5 (S13) =(00000011), то
p1м = W2М, ^ (S13)) / (S13)|| = (І )/||(000000П)|| =
г=1
= 2/2 = 1.
Поэтому в тех случаях, когда запрещена адаптация весов связей всех или части распреденных распознающих нейронов и нежелательно формирование классов векторов с большим расстоянием по Хеммингу между ними, необходимо вводить дополнительный параметр сходства рх, учитывающий расстояние по Хеммингу, или отношение вида
p* =
Sв:
Wj2z
где р* - дополнительный параметр сходства; р“ Ц - норма входного вектора
нейронной сети; jjwfz || - норма весов связей от нейрона-победителя J к Z-слою нейронов.
Если в рассматриваемом примере использовать дополнительный параметр сходства, потребовав, например, чтобы расстояние по Хеммингу рх между входным вектором и вектором весов связей от нейрона-победителя YJ к элементам Z-слоя не превышало единицы или выполнялось условие р* > 0,75, то входные вектора S4 и S13 будут запомнены отдельными распознающими Y-нейронами, т. е. выделятся нейронной сетью как отдельные классы.
В заключение отметим, что генетические алгоритмы обучения нейронных сетей ART могут использоваться совместно с алгоритмами обучения нейронных сетей ART с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.
Выводы. Проанализированы недостатки известных алгоритмов обучения дискретных нейронных сетей адаптивной резонансной теории, не позволяющие их эффективно использовать в реальных системах распознавания и классификации. Впервые для обучения одно- и
многомодульных дискретных нейронных сетей ART предложены генетические алгоритмы, алгоритмы обучения с частичным запрещением адаптации весов связей распределенных распознающих нейронов, а также генетические алгоритмы с полным или частичным запрещением адаптации весов связей распределенных распознающих нейронов.
Список литературы: 1.Xaйкuн С. Нейронные сети: Полный курс. - М.: Вильямс, 2006. - 1104 с. 2. Бодянсшй Е.В., Руденко О.Г. Искусственные нейронные сети: архитектура, обучение, применение. - X.: TEЛETEX, 2004. - 372 с. 3. Комaрцовa А.Г., Maксuмов А.В. Нейрокомпьютеры. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 с. 4. ^луштн А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2. - М:. Горячая линия - Телеком, 2004. - 464 с. 5. Grossberg S. Competitive learning: from interactive activation to adaptive resonance // Cognitive Science. - 1987. - Vol. 11. - P. 23-63. б. Bartfai G. Whrite R. ART-based Modular Networks for Incremental Learning of Hierarchical Clustering. Technical Report CS-TR-96/11. Department of Computer Science. Victoria University of Wellington. New Zealand, 1996. - P. 1-28. 7. FausettL. Fundamentals of Neural Networks. Arhitectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p. 8. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновсшй, К.В. Мосо-^^ло, С.Н. Пemрaшeв, С.А. Сергеев - X.: Основа: 1997. - 112 с. 9. Глaдков Л.А., Курейчш В.В., Курейчш В.М. Генетические алгоритмы. - М.: Физматлит, 2006. - 320 с. 10. Дм^і^-^^е^^о В.Д., Носков В.И., Xaвuнa И.П. Aлгоритмы обучения дискретных сетей APT без адаптации весов связей распределенных распознающих нейронов / Вісник НТУ '^ПІ". Збірник наукових праць. Тем. вип.: Інформатика і моделювання. - Xарків: НТУ ^ПІ". - 2006.- № 23. - C. 35-48.
УДК 681.513:620.1
Нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж АРТ / Дмитрієнко В.Д., Поворознюк О.А. // Вісник НТУ '^ПІ". Тематичний випуск: Інформатика і моделювання. - Xарків: НТУ '^ПІ", 2008. - № 24. - С. 51 - 64.
Проаналізовано недоліки алгоритмів навчання існуючих дискретних нейронних мереж адаптивної резонансної теорії (APT). Запропоновано нові алгоритми навчання одно- та багатомодульних дискретних нейронних мереж на основі генетичних алгоритмів і алгоритмів навчання нейронних мереж APT без адаптації ваг зв'язків розподілених нейронів, що розпізнають. Іл.: 2. Табл.: 7. Бібліогр.: 10 джерел.
Ключові слова: алгоритм навчання нейронних мереж, адаптивна резонансна теорія (APT), нейронна мережа APT, генетичний алгоритм.
UDC 681.513:620.1
New algorithms of the education one- and multimodul discrete neural networks ART I Dmitrienko V. D., Povoroznyuk O. A. // Herald of the National Technical University "KhPI". Subject issue: Information science and modelling. - Kharkov: NTU "KhPI", 2008. - № 24. - P. 51 - 64.
It have been analysed defects of education algorithms of existing discrete neural networks for adaptive resonance theory (ART). It have been offered new algorithms of e education one- and multimodul discrete neural networks based on genetic algorithms and algorithm of education neural networks ART without adapting weight relations of portioned recognizing neurons. Figs: 2. Tabl.: 7. Refs: 10 sources.
Key words: algorithm of education neural networks, adaptive resonance theory (ART), neural network ART, genetic algorithm.
Посmуnuлa в рeдaкцuю 25.04.2008
