Новые архитектуры и алгоритмы обучения нейронных сетей адаптивной резонансной теории Текст научной статьи по специальности «Компьютерные и информационные науки»

Zakovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ COMPUTER SIMULATION HISTORY

УДК 681.513:620.1 DOI 10.18413/2518-1092-2016-1-1-4-11

Заковоротный А. Ю.

НОВЫЕ АРХИТЕКТУРЫ И АЛГОРИТМЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ_

доцент кафедры вычислительной техники и программирования факультета компьютерных и информационных технологий, кандидат технических наук, доцент. Национальный технический университет «Харьковский Политехнический институт», ул. Фрунзе, 21, г. Харьков, 61002, Украина. e-mail: Arcade@i.ua

Аннотация

Проанализированы достоинства и недостатки архитектур и алгоритмов обучения дискретных нейронных сетей адаптивной резонансной теории (APT). Предложены новые архитектуры нейронных сетей APT и алгоритмы обучения сетей APT без адаптации весов связей распределенных распознающих нейронов.

Ключевые слова: дискретные нейронные сети адаптивной резонансной теории; алгоритмы обучения.

Zakovorotniy A.Yu.

NEW ARCHITECTURES AND ALGORITMS OF TRAINING THE ADAPTIVE RESONANCE THEORY TO NEURAL NETWORKS

PhD in Technical Sciences, Associate Professor. Department of Computer Engineering and Programming, Faculty of Computer and Information Technologies. National Technical University «Kharkov Polytechnic Institute» 21 Frunze St., Kharkov, 308015, Ukraine. e-mail: Arcade@i.ua

Abstract

The article analyzes the advantages and disadvantages of architectures and algorithms of training the Adaptive Resonance Theory (ART) to discrete neural networks. The authors propose some new architectures of ART neural networks and training algorithms of these networks without adaptation of link weights of distributed recognizing neurons. Keywords: adaptive resonance theory of discrete neural networks; training algorithms

Постановка проблемы исследований

Системы управления, распознавания, классификации, прогнозирования,

идентификации на основе искусственных нейронных сетей (НС) многими авторами рассматриваются как альтернатива классическим системам. В настоящее время известен целый ряд возможных архитектур для построения нейросетевых систем управления, а также систем управления, где нейрорегуляторы работают параллельно обычным регуляторам [1-4]. Большой интерес к нейросетевым системам управления связан с тем, что они имеют ряд полезных свойств, которых трудно добиться с помощью других методов. В частности, речь идет о робастности систем управления, об

определении управлений в условиях, когда неточно известна модель объекта, более гибком реагировании на изменяющиеся внешние условия, возможности обработки данных различной природы. Можно также отметить, что для нейросетевых моделей не существует ограничений, связанных с нелинейностью системы, ее порядком или видом применяемого функционала.

Известен и целый ряд НС, пригодных для разработки высокоэффективных систем распознавания, классификации, прогнозирования, идентификации [3-6]. Большой интерес к нейросетевым системам распознавания, классификации и т.д. связан с тем, что они имеют ряд полезных свойств, которых часто трудно

Zakovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

добиться с помощью других методов. В частности, речь идет об их универсальности, о возможности построения НС под задачу, о возможности обучения на примерах, о самообучении и обобщении, распознавании новой информации, об использовании ассоциаций, о распознавания и классификации зашумленных изображений, возможности обработки данных различной природы и т.д. [5-7]. В тоже время существуют и определенные проблемы при разработке систем на основе НС.

Для идентификации и управления в реальном времени динамическими объектами,

содержащими в своих структурах "черные" и "серые" ящики применяются нейронные сети, основанные на аппроксимации нелинейностей, например, рядами Вольтера, Винера, полиномами Колмогорова-Габора, нелинейными разностными уравнениями. Однако в тех случаях, когда управление "черным" или "серым" ящиком должно осуществляться на распознавании ситуаций, которые определяются некоторым множеством динамических процессов, несмотря на большое число работ в этой области, до сих пор удовлетворительных систем управления разработать не удалось. Это связано с особенностью обучения НС, которая, как правило, требует наличия всей исходной информации, поскольку обучение новому образу методом обратного распространения ошибки или генетическими алгоритмами, или другими методами требует, как правило, полного переобучения сети. Этот же недостаток характерен и для других систем на основе НС: распознавания, классификации, прогнозирования и т.д. Все это требует совершенствования известных и разработки новых НС, позволяющих расширить область эффективного применения искусственных нейронных сетей.

Анализ последних исследований и публикаций

Невозможность с помощью уже известных НС [1 — 6] решить проблему восприятия новой информации при сохранении уже имеющейся (т.е. решить проблему стабильности-пластичности) привело к разработке принципиально новых конфигураций НС - сетей адаптивной резонансной теории (APT). Эти сети в определенной степени решают противоречивые задачи чувствительности (пластичности) к новым данным и сохранения полученной ранее информации (стабильности). Поэтому проблемы распознавания конкретных режимов

динамических объектов и адаптация системы в процессе эксплуатации могут решаться на основе НС APT [5-9]. Однако известные дискретные нейронные сети APT имеют и существенные недостатки, если требуется запоминать сотни или тысячи реализаций одного и того же динамического процесса, поскольку матрица весов связей между S- и F-нейронами размерностью nxm (n - число S-нейронов входного слоя; m - число распознающих F-нейронов) хранит только одно изображение, полученное в результате пересечения запоминаемых динамических процессов. При малых значениях параметра сходства [7-11] в режиме распознавания память нейронной сети APT не имеет необходимого объема информации (наборов фрагментов изображений) для принятия обоснованных решений, а при больших значениях параметра аналогичные изображения,

отличающиеся небольшим числом

второстепенных деталей, запоминаются как прототипы разных классов изображений с помощью разных F-нейронов. Это делает практическое использование этих НС сомнительным из-за чрезмерно большого числа F-элементов распознающего слоя.

Другой недостаток сетей APT - связан с наличием только одного способа обучения НС путем адаптации весов связей распознающих нейронов, что может приводить к искажению или потере, хранящейся в памяти сети информации, нерациональной классификации входной информации. Еще одним недостатком сети АРТ-1 является отсутствие режимов обучения сети с учителем. Минусом НС APT является и невозможность получения нескольких решений, а также наличие только одного поля обрабатывающих нейронов.

Целью статьи является разработка новых архитектур и алгоритмов обучения дискретных нейронных сетей APT, позволяющих устранить существующие недостатки этих сетей и расширить область их эффективного применения.

Архитектура и алгоритмы

функционирования сети АРТ-1

Архитектура нейронной сети АРТ-1 приведена на рис. 1 в прямоугольнике, нарисованном пунктирной линией. Эта сеть относит предъявленное изображение к одному из запомненных классов только в случае, если оно достаточно похоже на прототип этого класса, то есть на изображение, хранящееся в весах связей

Zаkovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

нейронной сети. Если такое свойство, установленное с помощью специального параметра сходства между двумя изображениями [7-11], имеет место в режиме обучения, то найденный прототип модифицируется, чтобы стать более похожим на предъявленное сети входное изображение. При отсутствии достаточного сходства между предъявленным изображением и прототипами всех имеющихся классов, оно запоминается сетью как прототип нового класса. Это возможно благодаря тому, что информация об изображениях-прототипах хранится локально, только в весах связей одного распознающего нейрона, и сеть имеет значительное число неиспользуемых

распознающих нейронов, избыток которых уменьшается по мере поступления новой входной информации. Наличие избыточных

распознающих нейронов является

принципиальной особенностью НС APT, поскольку при их отсутствии новые входные изображения просто теряются. Таким образом, локальное хранение информации и наличие избыточных распознающих нейронов позволяет запоминать новую информацию (новые образы), не искажая или теряя уже имеющуюся [7-10].

Основу архитектуры нейронной сети составляют три слоя нейронов: слой чувствительных S-нейронов, воспринимающих входную информацию в виде черно-белых изображений или бинарных входных векторов; слой бинарных интерфейсных Z- нейронов; слой распознающих Y-нейронов. Z- и S-элементы объединяются в поле F1 входных обрабатывающих нейронов. Кроме этого, имеются еще три управляющих нейрона: R, G1 и G2 .

Выход каждого бинарного нейрона Si

(i = 1, n) входного слоя связан одной однонаправленной связью с единичным весовым коэффициентом с бинарным нейроном Zi

(i = 1, n) интерфейсного слоя. Выходные сигналы всех чувствительных элементов поступают также по связям с единичными весовыми коэффициентами на входы управляющих нейронов R, G1 и G2. Каждый интерфейсный

нейрон Zi (i = 1, n) связан со всеми элементами

Yj (j = 1, m) распознающего слоя и с управляющим нейроном R. Связи с весовыми коэффициентами W (i = 1, n; j = 1, m),

0 < Wj < 1 передают сигналы с выхода каждого

2-элемента на входы каждого У-нейрона. Бинарные связи с весовыми коэффициентами

Wji (7 = 1, т ; г = 1, п) связывают выход

каждого распознающего нейрона с входом каждого интерфейсного нейрона. На входы каждого 2-элемента по связям с единичными весовыми коэффициентами поступает также сигнал с выхода бинарного управляющего нейрона G1. Сигналы с выходов всех 2-элементов по связям с единичными весовыми коэффициентами поступают на входы управляющего нейрона Я. Такими же связями выходы всех распознающих нейронов соединены со входами нейрона G1, а их входы - с выходами управляющих нейронов G2 и Я. В любой момент

времени нейроны Si и (г = 1, п), 01 и G2

находятся в одном из двух состояний: 0 или 1.

Нейроны У-слоя с помощью дополнительной нейронной сети, на рис. 1 не показанной, образуют слой конкурирующих нейронов.

Каждый элемент у (] = 1, т) распознающего

слоя может находиться в одном из четырех состояний:

- активен, сеть АРТ-1 функционирует в режиме определения выходных сигналов нейронов распознающего слоя, выходной сигнал ишхУ удовлетворяет условию 0 < ивыхУ < 2 и

определяется выходными сигналами Z-элeмeнтoв:

п

и выхУу = и вх = ^ Wij и ;

г=1

- активен, и ¥ = 1, нейрон является

Л 7

победителем при текущем предъявлении входного изображения;

- неактивен, ивыхУ = 0, нейрон установлен в

начальное состояние или проиграл соревнование с другими нейронами при текущем предъявлении входного изображения;

- заторможен, и вых^ = —1, информация,

хранящаяся в весах связей нейрона, не удовлетворяет текущему входному изображению по величине параметра сходства, поэтому нейрон исключен из соревнования.

Все связи нейронной сети АРТ-1 являются возбуждающими, за исключением связей от У-элементов к нейрону G1 и от интерфейсных Z-элeмeнтoв к нейрону Я, которые передают тормозящие сигналы.

Zаkovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

Z- и У-нейроны получают сигналы из трех источников: Z-нeйpoны - от управляющего нейрона G1 и от нейронов слоев 5 и У; У-нейроны - от управляющих нейронов G2, Я и от Z-нейронов. Z- и У-элементы переходят в активное состояние по правилу "два из трех", то есть только при наличии сигналов из двух различных источников. Например, если У-нейрон получает только п единичных сигналов с выходов всех Z-элементов, но нет возбуждающего сигнала от управляющего нейрона G2, то перейти в активное состояние он не может.

Для обучения дискретных нейронных сетей АРТ-1 обычно используется метод быстрого обучения, при котором равновесные веса связей нейронов определяются за одно предъявление входного изображения [8-11].

Недостатки нейронной сети АРТ-1

Поясним один из недостатков сети АРТ-1 с помощью следующего примера.

Пример 1. Пусть требуется с помощью сети разделить на два класса следующее множество векторов:

51 = (1,1,1,1,0,0,0,0), 52 = (0, 1, 1, 1, 0, 0, 0, 0),

53 = (1, 0, 1, 1, 0, 0, 0, 0),

54 = (1, 1, 0, 1, 0, 0, 0, 0),

55 = (1, 1, 1, 0, 0, 0, 0, 0),

56 = (0, 0, 0, 0, 1, 1, 1, 1),

57 = (0, 0, 0, 0, 0, 1, 1, 1),

58 = (0, 0, 0, 0, 1, 0, 1, 1),

59 = (0, 0, 0, 0, 1, 1, 0, 1), 510 = (0, 0, 0, 0, 1, 1, 1, 0).

Классификация приведенных векторов может быть выполнена многими способами. Один из наиболее напрашивающихся - отнести к первому

о 1 о 2 о 5

классу вектора 5 , 5 , ..., 5 , а ко второму

об о 7 о 10

классу - вектора 5 , 5 , ..., 5 , то есть сформировать классы векторов, отличающиеся от векторов 51 и 56 не более, чем одним компонентом.

Возьмем сеть со следующими параметрами: т = б - число У-нейронов в распознающем слое сети; п = 8 - число нейронов во входном слое сети; р = 0,5 - параметр сходства; выбирается такое числовое значения исходя из того, что

о1 о 2 о5 об о7 о10

векторы 5 , 5 , ..., 5 И 5 , 5 , ..., 5 в

каждом классе отличаются друг от друга не более, чем двумя компонентами; Ж1 = 1/(1 + п) = 1 /(1 + 8) = 0,111 - начальные

значения весов связей (г = 1, 8; ] = 1, б); Ж =1 - начальные значения весов связей Ж

(г = 1, 8; ] = 1, б); Ь = 2 - константа, для коррекции весов связей (г = 1, 8; ] = 1, б) в

процессе обучения; д=10 - число классифицируемых входных бинарных векторов.

Нетрудно проверить, что в процессе обучения нейронной сети исходное множество векторов будет разбито на классы: {5 \ 52, 53), {54, 55}, {5б, 57, 58),

{59, 510}, если вектора будут подаваться на вход сети в порядке возрастания их номеров. Дополнительный анализ показывает, что

/— о1 о 2 о10

разбиение векторов 5 , 5 , ..., 5 на классы при заданной величине параметра сходства зависит и от порядка их предъявления в обучающей последовательности. Например, нетрудно получить следующие классификации

Кг векторов 552, ..., 55:

К1 = {{5 \ 52, 53}, {5 4, 55}} (получена

выше); К2 = {{5 \ 52, 5 4}, {53, 55}};

К3 = {{5 \ 52, 55}, {53, 5 4}};

К4 = {{5 \ 5 \ 55}, {52, 5 4}} и т.д.

Неудача с решением задачи классификации указанного множества векторов связана с особенностями архитектуры и алгоритма функционирования нейронной сети АРТ-1. Во-первых, сеть в весах связей распознающего нейрона запоминает пересечение бинарных входных векторов. Во-вторых, близость бинарных векторов определяется с помощью параметра сходства, учитывающего только единичные элементы сравниваемых векторов. В анализируемом примере пересечением бинарных

векторов 51, 52, ..., 55 (а также векторов

об о 7 о10\

5 , 5 , ..., 5 ) является вектор со всеми нулевыми компонента: 50 = (0, 0, 0, 0, 0, 0, 0, 0).

Таким образом, при пересечении рассматриваемых множеств векторов полностью утеряна информация об единичных компонентах бинарных векторов. Запоминание информации в нейронной сети в виде пересечения входных векторов или изображений всегда приводит к

Zаkovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

потере информации. При малых значениях параметра сходства может теряться основная часть информации по классифицируемым или распознаваемым изображениям.

При запоминании множеств реализаций одного и того же динамического процесса, когда каждая реализация вносит что-то новое по сравнению с другими реализациями и когда запомнить каждую реализацию практически невозможно из-за их слишком большого числа, в памяти сети необходимо хранить не пересечения обучающих изображений, а комплексные изображения, полученные из исходных с помощью логической операции "ИЛИ", других математических операций, эвристик или комбинации указанных способов формирования обучающих изображений [11]. Частным случаем является запоминание информации в виде объединения, а не пересечения бинарных изображений или векторов. В рассматриваемом

примере имеем S1 ^ S2 ^ S3 ^ S 4 ^ S5 = S1. Запоминание единственного вектора S1 приводит к получению матриц весов связей W1, W2, с помощью которых могли бы правильно классифицироваться первые пять входных векторов, если бы после предъявления входных векторов не было, при наступлении резонанса, адаптации весов связей, меняющей память сети.

Обучение нейронной сети без адаптации весов связей распределенных распознающих У-нейронов при наступлении резонанса, когда первыми во входной последовательности

предъявляются вектора S1, S6. разбиению векторов S1, S2, ... естественных класса ^1, S2

^6, S7, S8, S9, S10}.

Обобщая рассмотренный пример, можно предложить общий метод обучения НС АРТ-1 без адаптации весов связей при наступлении резонанса последовательностью входных

« с к с к+1 с к+2 о 1—1 С1

изображении: Л , Л , Л , ..., й1 , й1, упорядоченных по убыванию величины нормы входного изображения, то есть

приводит к

о 10

S на два S3, S 4, S5},

Sk

>

S

k+1

>

S

k+2

> ... >

S

?-1

>

Sq

Такой

метод обучения разбивает исходное множество обучающих изображений на минимальное число классов.

При упорядочивании предъявляемых изображений по возрастанию величины нормы входного изображения, то есть

Sk

<

S

k+1

<

S

k+2

<... <

S

q-1

<

Sq

число

классов изображений, как правило, возрастает. Если в рассматриваемом примере входные вектора предъявлять сети в порядке

S2, S3, S4, S5, S7, S8, S9, S10, S1, S6, то в результате обучения сети при параметре сходства, равном 0,5, будет получено шесть классов: {S2, S3}, {S4, S5}, {S7, S8}, [S9, S10}, {S1}, {Sб}.

Успешное функционирование предложенных алгоритмов обучения нейронной сети указывает на возможность алгоритмов обучения последовательностями изображений,

упорядоченных учителем по величине их нормы, причем в обучающей последовательности могут использоваться подпоследовательности как с возрастанием, так и с убыванием нормы входных изображений. Возможно также использование во входной последовательности комплексных изображений, полученных учителем в результате применения к изображениям входной последовательности некоторых математических операций, эвристик или комбинации указанных способов формирования обучающих

изображений. При решении реальных задач эффективно также запрещение адаптации весов связей при наступлении резонанса только части распознающих нейронов, которые могут быть выделены в отдельный слой [11].

Дискретные нейронные сети АРТ, определяющие множества равноценных решений

Еще один недостаток систем распознавания на основе нейронных сетей APT - получение единственного решения даже в тех случаях, когда имеется два или более равноценных решения. Поясним это с помощью следующего примера.

Пусть n = 8, параметр сходства p изображений равен 0,8 и в весах связей нейронов Y1 и Y2 после режима быстрого обучения

хранятся изображения S1 = (1,1,1,1,0,0,0,1), S2 = (0,1,1,1,1,0,1,0), а веса связей сети имеют следующие значения: Wj = 1/(1 + n) = 0,111

( i = 1, 8; j = 3, m ); W1 = 0,333

(i = 1, 2, 3, 4, 8); W1 = 0 (i = 5, 6, 7);

W2 = 0,333 (i = 2, 3, 4, 5, 7);

W1 = 0

(i = 1, 6, 8); W12 = 1(i = 1, 2, 3, 4, 8); W12 = 0

Zаkovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

а = 5,6,7) ; ж22 = 1 (г = 2, 3, 4, 5, 7); Ж = 0 (г = 1, б, 8).

При подаче на вход сети изображения 53 = (1,1,1,1,0,0,1,0) на входах распознающих нейронов будут следующие

сигналы:

ивх к= UBX Y2 = 0,333 • 5 = 1,665,

ивх Уз = ивхУ4 = ... = и^Ут = 0,111-5 = 0,555.

В силу алгоритма функционирования сети победителем станет нейрон У1, при этом параметр сходства р будет иметь значение

Р = и

bbixz

S1

= 4/5 = 0,8,

где

U

Bbixz

норма вектора выходных сигналов нейронов слоя

Z ;

S3

- норма вектора S3. Но точно такой же

параметр сходства был бы получен и в случае, если бы нейроном-победителем стал распознающий элемент Y2.

Таким образом, при предъявлении входного изображения сеть относит это изображение к первому близкому изображению, хранящемуся в весах связей распознающих Y-нейронов, и тем самым определяет принадлежность входного изображения к одному из классов. Остальные возможные варианты решения задачи распознавания теряются. Для расширения возможностей дискретной нейронной сети APT и получения всех возможных вариантов решения задачи распознавания добавим к базовой архитектуре АРТ-1 еще один управляющий

нейрон R1, инвертирующий выходные сигналы

нейрона Я (рис. 1), и слой регистрирующих нейронов У* (] = 1, т). Каждый нейрон У* связан однонаправленной бинарной связью с соответствующим нейроном У^. Перед началом

режима распознавания нейроны У'1 (] = 1, т),

как и другие нейроны сети, переводятся в пассивное состояние по цепям связей, на рисунке

не показанным. Нейроны У* (] = 1, т)

переходят в активное состояние по правилу "два из трех" - при наличии единичных сигналов на выходе нейронов У^ и управляющего нейрона

Я1. Единичный сигнал с выхода нейрона У* по цепи обратной связи фиксирует единичный выходной сигнал элемента у1 и затормаживает

нейрон-победитель Уj. После этого в сети

начинается поиск нового нейрона-победителя. Процесс поиска продолжается до тех пор, пока все распознающие распределенные нейроны не окажутся заторможенными. При этом на выходах „ У1 нейронов слоя У может не оказаться ни одного

единичного сигнала, так как входное изображение не похоже ни на одно из изображений, хранящихся в весах связей сети,

либо на выходах У1 -нейронов может быть один или несколько единичных сигналов, указывающих на принадлежность входного изображения к одному или нескольким классам изображений.

Рис. 1. Архитектура дискретной нейронной сети APT Fig. 1. The architecture of the discrete neural network of ART

НАУЧНЫЙ РЕЗУЛЬТАТ

Zakovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

ESEARCH

Е S Ц L Т I

еще один недостаток дискретных НС АРТ-1 наличие только одного поля обрабатывающих нейронов, поскольку это не позволяет применять эти сети для разработки систем распознавания, где необходимо использовать разнородную информацию о процессах, существенно отличающуюся значениями параметра сходства [11]. Для распознавания сложных динамических режимов необходима нейронная сеть с несколькими полями чувствительных элементов и соответствующих им полей Z-нeйpoнoв. Эта сеть должна как воспринимать и распознавать отдельные компоненты входной информации, так и корректировать веса связей распознающих

нейронов при условии, что все распознанные компоненты с заданными значениями параметров сходства согласовываются в одном комплексном изображении. На рис. 2 приведена архитектура сети АРТ с d параллельно работающими полями чувствительных и интерфейсных нейронов. Сеть имеет также и d групп управляющих нейронов:

R1, G1, G1, ..., Rd

od,

G2, R

G?. Входы

связаны

управляющих нейронов выходами соответственно нейронов Gq (q = 1, d) и Rq (q = 1d).

t

R *

? 1 k \

<— Y

к WJf

Z ^ ▼ -- n.

У-слой

51-

od

Рис. 2. Дискретная нейронная сеть APT с d параллельно работающими полями обрабатывающих нейронов Fig. 2. Discrete neural network in parallel with ART d working fields of processing neurons

Нейрон G2 переходит в активное состояние, обеспечивая работу распознающих нейронов по правилу "два из трех", только при активном состоянии всех управляющих нейронов

G2q (д = 1, й). При определении нейрона-победителя в распознающем слое ^-элемент не выдает запрещающего единичного сигнала нейрону-победителю только случае, когда на его вход не поступает ни одного единичного сигнала с

выхода нейронов Rq (д = 1, й). Это возможно только при соответствии всех компонент входного изображения компонентам изображения, хранящегося в памяти нейронной сети.

Любое поле ^ (д = 1, й) нейронной сети с параллельно функционирующими полями обрабатывающих нейронов выполняет функции, аналогичные функциям поля F1 сети АРТ-1 [11].

Каждый распознающий У-нейрон этой сети, как и сети АРТ-1, связан со всеми интерфейсными нейронами двумя видами связей, передающих информацию как от интерфейсных нейронов к распознающим, так и наоборот. Алгоритмы функционирования нейронной сети с параллельно работающими полями

чувствительных и интерфейсных нейронов нетрудно восстановить, если известен алгоритм работы сети АРТ-1.

Принципиальное отличие и преимущество дискретной нейронной сети APT с параллельно функционирующими полями обрабатывающих нейронов по сравнению с сетью АРТ-1 состоит в том, что сложное изображение может быть разделено на нужное число фрагментов, и каждый фрагмент может распознаваться независимо со своим параметром сходства.

Метод, разработанный для обучения дискретной нейронной сети APT с одним полем чувствительных элементов и все алгоритмы, из него вытекающие, могут использоваться и в рассматриваемой нейронной сети. Однако число конкретных алгоритмов здесь существенно возрастает, поскольку в каждом поле может использоваться свой алгоритм определения весов связей распознающих нейронов.

Выводы

Таким образом, разработан новый метод обучения дискретных нейронных сетей APT без адаптации в процессе обучения весов связей распределенных распознающих нейронов и на его основе предложен ряд новых алгоритмов

Zаkovorotniy A.Yu. New architectures and algoritms of training the adaptive resonance theory to neural networks// Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.

Таким образом, разработан новый метод обучения дискретных нейронных сетей APT без адаптации в процессе обучения весов связей распределенных распознающих нейронов и на его основе предложен ряд новых алгоритмов функционирования дискретных НС APT в режиме обучения как с учителем, так и без него. Эти алгоритмы открывают возможности компактного хранения больших объемов информации и расширяют возможности использования дискретных сетей APT для решения задач классификации и распознавания.

Разработана новая архитектура и алгоритмы функционирования дискретной НС APT, позволяющие определять два или более равноценных решения (если они существуют) в задачах распознавания. Предложена новая дискретная НС APT с параллельно работающими полями обрабатывающих нейронов.

Принципиальное отличие и преимущество этой сети по сравнению с сетью АРТ-1 состоит в том, что сложное изображение может быть разделено на нужное число фрагментов, и каждый фрагмент может распознаваться независимо со своим параметром сходства.

Перспективой дальнейших исследований является разработка непрерывных НС APT, позволяющих определять два или более равноценных решения в задачах распознавания или классификации и работающих с несколькими полями чувствительных нейронов.

Список литературы

1. Комашинский В.И. Нейронные сети и их применение в системах управления и связи /

B.И. Комашинский, Д.А. Смирнов. - М.: Горячая линия - Телеком, 2002. - 94 с.

2. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, - Cambridge, Massachusetts, London: MIT Press, 1996. - 524 P.

3. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б Барский. - М.: Финансы и статистика, 2004. - 176 с.

4. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Том 2 / А.И. Галушкин. - М.: Горячая линия -Телеком, 2004. - 464 с.

5. Хайкин С. Нейронные сети: полный курс /

C. Хайкин - М.: Издательский дом «Вильяме», 2006. -1104 с.

6. Комарцова Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов / Л.Г. Комарцова Л.Г., A.B. Максимов. - М.: Изд-во им. Н.Э. Баумана, 2002. - 320 с.

7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science - 1987. - Vol. 11. - P. 23 - 63.

8. Carpenter G.A., Grossberg S. A massively parallel architecture for selforganizing neural pattern recognition machine // Computing, Vision, Graphics and Image Processing. - 1987. - Vol. 37. - P. 54 - 115.

9. Дмитриенко В.Д., Корсунов Н.И. Основы теории нейронных сетей / В. Д. Дмитриенко, Н.И. Корсунов. - Белгород: БИИММАП, 2001. - 159 с.

10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. - New Jersey: Prentice Hall International, Inc., 1994. - 461 p.

11. Носков В.И. Моделирование и оптимизация систем управления и контроля локомотивов / Носков В.И., Дмитриенко В.Д., Заполовский НИ, Леонов С.Ю. - X.: ХФИ Транспорт Украины, 2003. -248 с.

References

1. Komashinskiy V.I. Neural Networks and their Application in the Systems of Management and Communication. Moscow: Goryachaja liniya - Telekom. 2002. 94 p.

2. Neural networks for control. Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos. Cambridge, Massachusetts, London: MIT Press, 1996. 524 p.

3. Barskiy A.B. Neural Networks: Identification, Management, Decision Making. Moscow: Finansy i statistika, 2004. 176 p.

4. Galushkin A.I. Neurocomputers and their Application at the Turn of the Millennium in China. In 2 volumes. Vol. 2. Moscow: Goryachaya liniya - Telekom. 2004. 464 p.

5. Haikin S. Neural Networks: a Complete Course. Moscow: Izdatel'skij dom «Vil'jams», 2006. 1104 p.

6. Komartsova L.G. Neurocomputers: a Manual for Higher Institutions Moscow: Izd-vo im. N.Je. Baumana, 2002. 320 p.

7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance. Cognitive Science. 1987. Vol. 11. P. 23 - 63.

8. Carpenter G.A., Grossberg S.A massively parallel architecture for selforganizing neural pattern recognition machine. Computing, Vision, Graphics and Image Processing. 1987. Vol. 37. Pp. 54-115.

9. Dmitrienko V.D., Korsunov N.I. Theoratical Basics of Neural Networks. Belgorod: BIIMMAP, 2001. 159 p.

10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applications. New Jersey: Prentice Hall International, Inc., 1994. 461 p.

11. Noskov V.I. Modelling and Optimization of the Command and Control Systems in Locomotives. Kharkiv: HFI Transport Ukrainy, 2003. 248 p.