CC BY
126
УДК 681.513:620.1
НОВЫЕ АРХИТЕКТУРЫ И АЛГОРИТМЫ ОБУЧЕНИЯ ДИСКЕТНЫХ НЕЙРОННЫХ СЕТЕЙ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ
В. Д. ДМИТРИЕНКО
И. П. ХАВИНА
А. Ю. ЗАКОВОРОТНЫЙ
Национальный
технический
университет
«Харьковский
политехнический
институт»
Проанализированы достоинства и недостатки архитектур и алгоритмов обучения дискретных нейронных сетей адаптивной резонансной теории (АРТ). Предложены новые архитектуры нейронных сетей АРТ и алгоритмы обучения сетей АРТ без адаптации весов связей распределенных распознающих нейронов.
Ключевые слова: дискретные нейронные сети адаптивной резонансной теории, алгоритмы обучения.
e-mail: [email protected]
Постановка проблемы исследований
Системы управления, распознавания, классификации, прогнозирования, идентификации на основе искусственных нейронных сетей (НС) многими авторами рассматриваются как альтернатива классическим системам. В настоящее время известен целый ряд возможных архитектур для построения нейросетевых систем управления, а также систем управления, где нейрорегуляторы работают параллельно обычным регуляторам [1 - 4]. Большой интерес к нейросетевым системам управления связан с тем, что они имеют ряд полезных свойств, которых трудно добиться с помощью других методов. В частности, речь идет о робастности систем управления, об определении управлений в условиях, когда неточно известна модель объекта, более гибком реагировании на изменяющиеся внешние условия, возможности обработки данных различной природы. Можно также отметить, что для нейросетевых моделей не существует ограничений, связанных с нелинейностью системы, ее порядком или видом применяемого функционала.
Известен и целый ряд НС, пригодных для разработки высокоэффективных систем распознавания, классификации, прогнозирования, идентификации [3 - 6]. Большой интерес к нейросетевым системам распознавания, классификации и т.д. связан с тем, что они имеют ряд полезных свойств, которых часто трудно добиться с помощью других методов. В частности, речь идет об их универсальности, о возможности построения НС под задачу, о возможности обучения на примерах, о самообучении и обобщении, распознавании новой информации, об использовании ассоциаций, о распознавания и классификации зашумленных изображений, возможности обработки данных различной природы и т.д. [5 - 7]. В тоже время существуют и определенные проблемы при разработке систем на основе НС.
Для идентификации и управления в реальном времени динамическими объектами, содержащими в своих структурах "черные" и "серые" ящики применяются нейронные сети, основанные на аппроксимации нелинейностей, например, рядами Вольтера, Винера, полиномами Колмогорова-Габора, нелинейными разностными уравнениями. Однако в тех случаях, когда управление "черным" или "серым" ящиком должно осуществляться на распознавании ситуаций, которые определяются некоторым множеством динамических процессов, несмотря на большое число работ в этой области, до сих пор удовлетворительных систем управления разработать не удалось. Это связано с особенностью обучения НС, которая, как правило, требует наличия всей исходной информации, поскольку обучение новому образу методом обратного распространения ошибки или генетическими алгоритмами, или другими мето-
дами требует, как правило, полного переобучения сети. Этот же недостаток характерен и для других систем на основе НС: распознавания, классификации, прогнозирования и т.д. Все это требует совершенствования известных и разработки новых НС, позволяющих расширить область эффективного применения искусственных нейронных сетей.
Анализ последних исследований и публикаций
Невозможность с помощью уже известных НС [1 - 6] решить проблему восприятия новой информации при сохранении уже имеющейся (т.е. решить проблему стабильности - пластичности) привело к разработке принципиально новых конфигураций НС - сетей адаптивной резонансной теории (АРТ). Эти сети в определенной степени решают противоречивые задачи чувствительности (пластичности) к новым данным и сохранения полученной ранее информации (стабильности). Поэтому проблемы распознавания конкретных режимов динамических объектов и адаптация системы в процессе эксплуатации могут решаться на основе НС АРТ [5 - 9]. Однако известные дискретные нейронные сети АРТ имеют и существенные недостатки, если требуется запоминать сотни или тысячи реализаций одного и того же динамического процесса, поскольку матрица весов связей между 5- и /-нейронами размерностью п х т (п - число 5-нейронов входного слоя; т - число распознающих /-нейронов) хранит только одно изображение, полученное в результате пересечения запоминаемых динамических процессов. При малых значениях параметра сходства [7 - 11] в режиме распознавания память нейронной сети АРТ не имеет необходимого объема информации (наборов фрагментов изображений) для принятия обоснованных решений, а при больших значениях параметра аналогичные изображения, отличающиеся небольшим числом второстепенных деталей, запоминаются как прототипы разных классов изображений с помощью разных /-нейронов. Это делает практическое использование этих НС сомнительным из-за чрезмерно большого числа /-элементов распознающего слоя.
Другой недостаток сетей АРТ - связан с наличием только одного способа обучения НС путем адаптации весов связей распознающих нейронов, что может приводить к искажению или потере, хранящейся в памяти сети информации, нерациональной классификации входной информации. Еще одним недостатком сети АРТ-1 является отсутствие режимов обучения сети с учителем. Минусом НС АРТ является и невозможность получения нескольких решений, а также наличие только одного поля обрабатывающих нейронов.
Целью статьи является разработка новых архитектур и алгоритмов обучения дискретных нейронных сетей АРТ, позволяющих устранить существующие недостатки этих сетей и расширить область их эффективного применения.
Архитектура и алгоритмы функционирования сети АРТ-1
Архитектура нейронной сети АРТ-1 приведена на рис. 1 в прямоугольнике, нарисованном пунктирной линией. Эта сеть относит предъявленное изображение к одному из запомненных классов только в случае, если оно достаточно похоже на прототип этого класса, то есть на изображение, хранящееся в весах связей нейронной сети. Если такое свойство, установленное с помощью специального параметра сходства между двумя изображениями [7 — 11], имеет место в режиме обучения, то найденный прототип модифицируется, чтобы стать более похожим на предъявленное сети входное изображение. При отсутствии достаточного сходства между предъявленным изображением и прототипами всех имеющихся классов, оно запоминается сетью как прототип нового класса. Это возможно благодаря тому, что информация об изображениях-прототипах хранится локально, только в весах связей одного распознающего нейрона, и сеть имеет значительное число неиспользуемых распознающих нейронов, избыток которых уменьшается по мере поступления новой входной информации.
Наличие избыточных распознающих нейронов является принципиальной особенностью НС АРТ, поскольку при их отсутствии новые входные изображения просто теряются. Таким образом, локальное хранение информации и наличие избыточных распознающих нейронов позволяет запоминать новую информацию (новые образы), не искажая или теряя уже имеющуюся [7 — 10].
Основу архитектуры нейронной сети составляют три слоя нейронов: слой чувствительных 5-нейронов, воспринимающих входную информацию в виде чернобелых изображений или бинарных входных векторов; слой бинарных интерфейсных 1- нейронов; слой распознающих /-нейронов. 1- и 5-элементы объединяются в поле Я входных обрабатывающих нейронов. Кроме этого, имеются еще три управляющих нейрона: /?, 01 и О2 .
Выход каждого бинарного нейрона 5 / (/ = 1, п) входного слоя связан одной однонаправленной связью с единичным весовым коэффициентом с бинарным нейроном (/ = 1, п) интерфейсного слоя. Выходные сигналы всех чувствительных эле-
ментов поступают также по связям с единичными весовыми коэффициентами на входы управляющих нейронов 1, О1 и О2. Каждый интерфейсный нейрон 1-1 (/ = 1, п) связан со всеми элементами /у (у = 1, т) распознающего слоя и с управляющим нейроном /?. Связи с весовыми коэффициентами ( / = 1, п; у = 1, т), 0 < < 1 переда-
ют сигналы с выхода каждого 1-элемента на входы каждого /-нейрона. Бинарные связи с весовыми коэффициентами (У = 1, т ; / = 1, п) связывают выход каждого
распознающего нейрона с входом каждого интерфейсного нейрона. На входы каждого 1-элемента по связям с единичными весовыми коэффициентами поступает также сигнал с выхода бинарного управляющего нейрона 01. Сигналы с выходов всех 1-элементов по связям с единичными весовыми коэффициентами поступают на входы управляющего нейрона 1. Такими же связями выходы всех распознающих нейронов соединены со входами нейрона О1, а их входы - с выходами управляющих нейронов 02 и /?. В любой момент времени нейроны 5 I и 11 (/ = 1, п), 01 и 02 находятся в од-
ном из двух состояний: 0 или 1.
Нейроны /-слоя с помощью дополнительной нейронной сети, на рис. 1 не показанной, образуют слой конкурирующих нейронов. Каждый элемент /у (у = 1, т)
распознающего слоя может находиться в одном из четырех состояний:
— активен, сеть АРТ-1 функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал ивых/у удовлетворяет условию
0 < ивых/у < 2 и определяется выходными сигналами /-элементов:
— активен, ивых// = 1 , нейрон /у является победителем при текущем предъявлении входного изображения;
— неактивен, ивых/у = 0 , нейрон установлен в начальное состояние или проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;
— заторможен, ивых// = -1, информация, хранящаяся в весах связей нейрона,
не удовлетворяет текущему входному изображению по величине параметра сходства, поэтому нейрон исключен из соревнования.
и
Все связи нейронной сети АРТ-1 являются возбуждающими, за исключением связей от /-элементов к нейрону 01 и от интерфейсных 1-элементов к нейрону 1, которые передают тормозящие сигналы.
1- и /-нейроны получают сигналы из трех источников: 1-нейроны - от управляющего нейрона 01 и от нейронов слоев 5 и /; /-нейроны - от управляющих нейронов 02, /? и от 1-нейронов. 1- и /-элементы переходят в активное состояние по правилу "два из трех", то есть только при наличии сигналов из двух различных источников. Например, если /-нейрон получает только п единичных сигналов с выходов всех 1-элементов, но нет возбуждающего сигнала от управляющего нейрона G2, то перейти в активное состояние он не может.
Для обучения дискретных нейронных сетей АРТ-1 обычно используется метод быстрого обучения, при котором равновесные веса связей нейронов определяются за одно предъявление входного изображения [8 - 11].
Недостатки нейронной сети АРТ-1.
Поясним один из недостатков сети АРТ-1 с помощью следующего примера.
Пример 1. Пусть требуется с помощью сети разделить на два класса следующее множество векторов:
51 = (1,1,1,1,0,0,0,0), 52 = (0, 1, 1, 1, 0, 0, 0, 0), 53 = (1, 0, 1, 1, 0, 0, 0, 0),
54 = (1, 1, 0, 1, 0, 0, 0, 0), 55 = (1, 1, 1, 0, 0, 0, 0, 0), 56 = (0, 0, 0, 0, 1, 1, 1, 1),
57 = (0, 0, 0, 0, 0, 1, 1, 1), 58 = (0, 0, 0, 0, 1, 0, 1, 1), 59 = (0, 0, 0, 0, 1, 1, 0, 1),
510 = (0, 0, 0, 0, 1, 1, 1, 0).
Классификация приведенных векторов может быть выполнена многими способами. Один из наиболее напрашивающихся - отнести к первому классу вектора 51, 52, ..., 55, а ко второму классу - вектора 56, 51, ..., 510, то есть сформировать классы векторов, отличающиеся от векторов 51 и 56 не более, чем одним компонентом.
Возьмем сеть со следующими параметрами: т = 6 — число /-нейронов в распознающем слое сети; п = 8 — число нейронов во входном слое сети; р = 0,5 — параметр сходства; выбирается такое числовое значения исходя из того, что векторы 51, 52, ..., 55 и 56, 57, ..., 510 в каждом классе отличаются друг от друга не более, чем двумя компонентами; = 1/(1 + п) = 1/(1 + 8) = 0,111 - начальные значения весов
связей (/ = 1, 8; / = 1, 6); = 1 - начальные значения весов связей (' = 1, 8;
/ = 1, 6); - = 2 — константа, для коррекции весов связей (/ = 1, 8; / = 1, 6) в процес-
се обучения; щ = 10 — число классифицируемых входных бинарных векторов.
Нетрудно проверить, что в процессе обучения нейронной сети исходное множество векторов будет разбито на классы: {51, 52, 53}, {54, 55}, {56, 57, 58},
{59, 510}, если вектора будут подаваться на вход сети в порядке возрастания их номеров. Дополнительный анализ показывает, что разбиение векторов 51, 52, ..., 510 на классы при заданной величине параметра сходства зависит и от порядка их предъявления в обучающей последовательности. Например, нетрудно получить следующие классификации Кг векторов 51, 52, ..., 55: К1 = {{51, 52, 53}, {54, 55}}
(получена выше); К2 = {{51, 52, 54}, {53, 55}}; К3 = {{51, 52, 55}, {53, 54}};
К4 = {{51, 53, 55}, {52, 54}} и т.д.
Неудача с решением задачи классификации указанного множества векторов связана с особенностями архитектуры и алгоритма функционирования нейронной сети АРТ-1. Во-первых, сеть в весах связей распознающего нейрона запоминает пере-
сечение бинарных входных векторов. Во-вторых, близость бинарных векторов определяется с помощью параметра сходства, учитывающего только единичные элементы сравниваемых векторов. В анализируемом примере пересечением бинарных векторов 51, 52, ..., 55 (а также векторов 56, 57, ..., 510) является вектор со всеми нулевыми компонента: 50 = (0, 0, 0, 0, 0, 0, 0, 0).
Таким образом, при пересечении рассматриваемых множеств векторов полностью утеряна информация об единичных компонентах бинарных векторов. Запоминание информации в нейронной сети в виде пересечения входных векторов или изображений всегда приводит к потере информации. При малых значениях параметра сходства может теряться основная часть информации по классифицируемым или распознаваемым изображениям.
При запоминании множеств реализаций одного и того же динамического процесса, когда каждая реализация вносит что-то новое по сравнению с другими реализациями и когда запомнить каждую реализацию практически невозможно из-за их слишком большого числа, в памяти сети необходимо хранить не пересечения обучающих изображений, а комплексные изображения, полученные из исходных с помощью логической операции "ИЛИ", других математических операций, эвристик или комбинации указанных способов формирования обучающих изображений [11]. Частным случаем является запоминание информации в виде объединения, а не пересечения бинарных изображений или векторов. В рассматриваемом примере имеем 51 и 52 и 53 и 54 и 55 = 51. Запоминание единственного вектора 51 приводит к получению матриц весов связей М1, М2, с помощью которых могли бы правильно классифицироваться первые пять входных векторов, если бы после предъявления входных векторов не было, при наступлении резонанса, адаптации весов связей, меняющей память сети.
Обучение нейронной сети без адаптации весов связей распределенных распознающих /-нейронов при наступлении резонанса, когда первыми во входной последовательности предъявляются вектора 51, 56 , приводит к разбиению векторов 51, 52, ..., 510 на два естественных класса {51, 52, 53, 54, 55}, {56, 51, 58, 59, 510}.
Обобщая рассмотренный пример, можно предложить общий метод обучения НС АРТ-1 без адаптации весов связей при наступлении резонанса последовательностью входных изображений: 5к, 5к+\ 5к+2, ..., 5щ-1, 5щ, упорядоченных по убыванию величины нормы входного изображения, то есть ||5к|| > ||5к+1|| > ||5к+2|| > ... > |159-1|| > 1|59||.
Такой метод обучения разбивает исходное множество обучающих изображений на минимальное число классов.
При упорядочивании предъявляемых изображений по возрастанию величины
нормы входного изображения, то есть ||5к|| <||5к+1|| <||5к+2|| < ... <||59-1|| <||5^|, число классов изображений, как правило, возрастает. Если в рассматриваемом примере входные вектора предъявлять сети в порядке 52, 53, 54, 55, 51, 58, 59, 510, 51, 56, то в результате обучения сети при параметре сходства, равном 0,5, будет получено шесть классов: {52, 53}, {54, 55}, {57, 58}, {59, 510}, {51}, {56}.
Успешное функционирование предложенных алгоритмов обучения нейронной сети указывает на возможность алгоритмов обучения последовательностями изображений, упорядоченных учителем по величине их нормы, причем в обучающей последовательности могут использоваться подпоследовательности как с возрастанием, так и с убыванием нормы входных изображений. Возможно также использование во входной последовательности комплексных изображений, полученных учителем в результате применения к изображениям входной последовательности некоторых математических операций, эвристик или комбинации указанных способов формирова-
ния обучающих изображений. При решении реальных задач эффективно также запрещение адаптации весов связей при наступлении резонанса только части распознающих нейронов, которые могут быть выделены в отдельный слой [11].
Дискретные нейронные сети АРТ, определяющие множества равноценных решений
Еще один недостаток систем распознавания на основе нейронных сетей АРТ -получение единственного решения даже в тех случаях, когда имеется два или более равноценных решения. Поясним это с помощью следующего примера.
Пусть п = 8, параметр сходства р изображений равен 0,8 и в весах связей нейронов /1 и /2 после режима быстрого обучения хранятся изображения 51 = (1,1,1,1,0,0,0,1), 52 = (0,1,1,1,1,0,1,0), а веса связей сети имеют следующие значения: ^ = 1/(1 + п) = 0,111 (/ = 178; / = 3т); М]Л = 0,333 (/ = 1, 2, 3, 4, 8); М/} = 0 (/ = 5, 6, 7);
Мла = 0,333 (/ = 2, 3, 4, 5, 7); Мла = 0 (/ = 1, 6, 8); ^2 = 1 (/ = 1, 2, 3, 4, 8); ^2 = 0
(/ = 5, 6, 7); М22 = 1 (/ = 2, 3, 4, 5, 7); М22 = 0 (/ = 1, 6, 8).
При подаче на вход сети изображения 53 =(1,1,1,1,0,0,1,0) на входах распознающих нейронов будут следующие сигналы: и вх/1 = и вх/2 = 0,333 • 5 = 1,665,
В силу алгоритма функционирования сети победителем станет нейрон 71, при
||ивых7|| - норма вектора выходных сигналов нейронов слоя 1; ||53|| - норма вектора
53. Но точно такой же параметр сходства был бы получен и в случае, если бы нейро-ном-победителем стал распознающий элемент У2.
Таким образом, при предъявлении входного изображения сеть относит это изображение к первому близкому изображению, хранящемуся в весах связей распознающих У-нейронов, и тем самым определяет принадлежность входного изображения к одному из классов. Остальные возможные варианты решения задачи распознавания теряются. Для расширения возможностей дискретной нейронной сети АРТ и получения всех возможных вариантов решения задачи распознавания добавим к базовой архитектуре АРТ-1 еще один управляющий нейрон Я1, инвертирующий выходные сигналы нейрона Я (рис. 1), и слой регистрирующих нейронов У] (] = 1, т). Каждый нейрон У] связан однонаправленной бинарной связью с соответствующим нейроном
У]. Перед началом режима распознавания нейроны У] (] = 1, т), как и другие нейроны сети, переводятся в пассивное состояние по цепям связей, на рисунке не показанным. Нейроны У] (] = 1, т) переходят в активное состояние по правилу "два из трех" - при наличии единичных сигналов на выходе нейронов У] и управляющего нейрона Я1. Единичный сигнал с выхода нейрона У] по цепи обратной связи фиксирует единичный выходной сигнал элемента У]1 и затормаживает нейрон-победитель У]. После этого в сети начинается поиск нового нейрона-победителя. Процесс поиска продолжается до тех пор, пока все распознающие распределенные нейроны не окажутся заторможенными. При этом на выходах нейронов слоя У1 может не оказаться ни одного единичного сигнала, так как входное изображение не похоже ни на одно из изображений, хранящихся в весах связей сети, либо на выходах
и вхУ = 0,111 • 5 = 0,555.
вх Ут
этом параметр сходства р будет иметь значение
где
У1 -нейронов может быть один или несколько единичных сигналов, указывающих на принадлежность входного изображения к одному или нескольким классам изображений.
Сети АРТ с несколькими полями обрабатывающих нейронов
При разработке систем распознавании сложных динамических процессов проявляется еще один недостаток дискретных НС АРТ-1 - наличие только одного поля обрабатывающих нейронов, поскольку это не позволяет применять эти сети для разработки систем распознавания, где необходимо использовать разнородную информацию о процессах, существенно отличающуюся значениями параметра сходства [11]. Для распознавания сложных динамических режимов необходима нейронная сеть с несколькими полями чувствительных элементов и соответствующих им полей Z-нейронов. Эта сеть должна как воспринимать и распознавать отдельные компоненты входной информации, так и корректировать веса связей распознающих нейронов при условии, что все распознанные компоненты с заданными значениями параметров сходства согласовываются в одном комплексном изображении. На рис. 2 приведена архитектура сети АРТ с d параллельно работающими полями чувствительных и интерфейсных нейронов. Сеть имеет также и d групп управляющих нейронов: R1 , Gj,
G2, ..., Rd, Gj, G2d. Входы управляющих нейронов G2, R связаны с выходами соответственно нейронов Gq (q = 1, d) и Rq (q = 1, d).
Рис. 2. Дискретная нейронная сеть APT с d параллельно работающими полями обрабатывающих нейронов
Нейрон G2 переходит в активное состояние, обеспечивая работу распознающих нейронов по правилу "два из трех", только при активном состоянии всех управляющих нейронов Gq (q = 1, d). При определении нейрона-победителя в распознающем слое R-элемент не выдает запрещающего единичного сигнала нейрону-победителю только случае, когда на его вход не поступает ни одного единичного сигнала с выхода нейронов Rq (q = 1, d). Это возможно только при соответствии всех компонент входного изображения компонентам изображения, хранящегося в памяти нейронной сети.
Любое поле /-,q (q = 1, d) нейронной сети с параллельно функционирующими полями обрабатывающих нейронов выполняет функции, аналогичные функциям поля F сети АРТ-1 [11].
Каждый распознающий V-нейрон этой сети, как и сети АРТ-1, связан со всеми интерфейсными нейронами двумя видами связей, передающих информацию как от интерфейсных нейронов к распознающим, так и наоборот. Алгоритмы функционирования нейронной сети с параллельно работающими полями чувствительных и интерфейсных нейронов нетрудно восстановить, если известен алгоритм работы сети АРТ-1.
Принципиальное отличие и преимущество дискретной нейронной сети АРТ с параллельно функционирующими полями обрабатывающих нейронов по сравнению с сетью АРТ-1 состоит в том, что сложное изображение может быть разделено на нужное число фрагментов, и каждый фрагмент может распознаваться независимо со своим параметром сходства.
Метод, разработанный для обучения дискретной нейронной сети АРТ с одним полем чувствительных элементов и все алгоритмы, из него вытекающие, могут использоваться и в рассматриваемой нейронной сети. Однако число конкретных алгоритмов здесь существенно возрастает, поскольку в каждом поле может использоваться свой алгоритм определения весов связей распознающих нейронов.
Выводы
Таким образом, разработан новый метод обучения дискретных нейронных сетей АРТ без адаптации в процессе обучения весов связей распределенных распознающих нейронов и на его основе предложен ряд новых алгоритмов функционирования дискретных НС АРТ в режиме обучения как с учителем, так и без него. Эти алгоритмы открывают возможности компактного хранения больших объемов информации и расширяют возможности использования дискретных сетей АРТ для решения задач классификации и распознавания.
Разработана новая архитектура и алгоритмы функционирования дискретной НС АРТ, позволяющие определять два или более равноценных решения (если они существуют) в задачах распознавания. Предложена новая дискретная НС АРТ с параллельно работающими полями обрабатывающих нейронов. Принципиальное отличие и преимущество этой сети по сравнению с сетью АРТ-1 состоит в том, что сложное изображение может быть разделено на нужное число фрагментов, и каждый фрагмент может распознаваться независимо со своим параметром сходства.
Перспективой дальнейших исследований является разработка непрерывных НС АРТ, позволяющих определять два или более равноценных решения в задачах распознавания или классификации и работающих с несколькими полями чувствительных нейронов.
Литература
1. Комашинский В.И. Нейронные сети и их применение в системах управления и связи [Текст] / В.И. Комашинский, Д.А. Смирнов. - М.: Горячая линия - Телеком, 2002. - 94 с.
2. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P.
3. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений [Текст] / А.Б Барский. - М.: Финансы и статистика, 2004. - 176 с.
4. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2 [Текст] / А.И. Галушкин. - М.: Горячая линия - Телеком, 2004. - 464 с.
5. Хайкин С. Нейронные сети: полный курс [Текст] / С. Хайкин С. - М.: Издательский дом «Вильямс», 2006. - 1104 с.
6. Комарцова Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов [Текст] / Л.Г. Комарцова Л.Г., А.В. Максимов. - М.: Изд-во им. Н.Э. Баумана, 2002. - 320 с.
7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science - 1987. - Vol. 11. - P. 23 - 63.
8. Carpenter G.A., Grossberg S. A massively parallel architecture for selforganizing neural pattern recognition machine // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. -P. 54 - 115.
9. Дмитриенко В.Д., Корсунов Н.И. Основы теории нейронных сетей [Текст] / В.Д. Дмитриенко, Н.И. Корсунов. - Белгород: БИИММАП, 2001. - 159 с.
10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p.
11. Носков В.И. Моделирование и оптимизация систем управления и контроля локомотивов [Текст] / Носков В.И., Дмитриенко В.Д., Заполовский Н.И., Леонов С.Ю. -Х.: ХФИ Транспорт Украины, 2003. - 248 с.
NEW ARCHITECTURES AND TRAINING ALGORITMS OF DISCRETE NEURAL NETWORKS
OF ADAPTIVE RESONANCE THEORY
V. D. DMITRIENKO I. P. KHAVINA А. Y. ZАKОVОRОTNYI
In article analyzed lacks and advantages of architecture and training algorithms of Adaptive Resonance Theory (ART) discrete neural networks. Offered new architectures of ART neural networks and training algorithms of these networks without adaptation weights connections of distributed recognizing neurons.
National Technical University «Kharkov Polytechnic Institute»
Key words: adaptive resonance theory discrete neural networks, training algorithms.
e-mail: [email protected]
