Реализация искусственной нейронной сети на основе адаптивной резонансной теории Текст научной статьи по специальности «Компьютерные и информационные науки»

СЕКЦИЯ: КОМПЬЮТЕРНОЕ И МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

РЕАЛИЗАЦИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ НА ОСНОВЕ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ

© А.А. Андреев, Е.В. Шатилова

ВВЕДЕНИЕ

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памяти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются.

При моделировании данного аспекта деятельности мозга традиционными ИНС ученые столкнулись с проблемой того, что очень часто обучение новому «образу» уничтожает или изменяет результаты предшествующего обучения.

В связи с этим в 1969 г. Гроссбергом и Карпентером была разработана Адаптивная Резонансная Теория (АРТ) и изложены принципы построения целого класса сетей на базе данной теории, используемых для распознавания, классификации и запоминания различных объектов. Для АРТ-сетей характерно, что предъявление нового, неизвестного ранее объекта («образа») не приводит к полному переобучению сети, а просто расширяет число классифицируемых кластеров - сеть подстраивается (адаптируется) под новую ситуацию.

Целью данной работы является построение программной модели классификатора Карпентера - Гросс-берга, используемого для распознавания и кластеризации бинарных векторов.

КЛАССИФИКАТОР КАРПЕНТЕР - ГРОССБЕРГА

второго кластера. Этот процесс повторяется для всех следующих входных сигналов. Таким образом, число кластеров растет с течением времени и зависит как от значения порога, так и от метрики расстояния, использующейся для сравнения входных сигналов и образцов классов.

Сеть состоит из двух слоев нейронов (рис. 1): входного (сравнительного), число нейронов в котором фиксировано и равно размерности векторов, и выходного (соревновательного), с переменным количеством нейронов, где каждому нейрону соответствует один класс объектов (кластеров) [3, 4].

Связь между любыми нейронами, принадлежащими одному слою, отсутствует. Связь между нейронами, принадлежащими различным слоям, осуществляется по принципу «каждый с каждым». Всем связям поставлен в соответствие некоторый вес. Связи от входных нейронов к выходным называют восходящими, а от выходных к входным - нисходящими. В качестве функции состояния каждого нейрона рассматривается расстояние в некоторой специальной метрике (алгоритм обучения алгоритм обучения будет рассмотрен ниже) между входным вектором х и вектором весов нейрона w. Функция активации нейронов выходного слоя вычисляется как взвешенная весами входов сумма координат входного вектора.

Обучение нейронной сети является ненаблюдаемым и заключается в коррекции весов нейронов таким образом, чтобы каждый нейрон был победителем для максимального количества векторов из обучающего множества, и при этом выполнялся некоторый критерий близости. Емкость сети АРТ-1 совпадает с числом

Первая сеть АРТ-1 была предложена самими Гроссбергом и Карпентером. Эта сеть представляет собой классификатор бинарных векторов и обучается без учителя, поэтому часто в литературе её называют классификатор Карпентер - Гроссберга.

Сеть АРТ-1 реализует алгоритм кластеризации, очень похожий на алгоритм «последовательного лидера» (sequential leader clustering algorithm) [1, 2]. В соответствии с этим алгоритмом первый входной сигнал считается образцом первого кластера. Следующий входной сигнал сравнивается с образцом первого кластера. Говорят, что входной сигнал «следует за лидером» и принадлежит первому кластеру, если расстояние до образца первого кластера меньше порога. В противном случае второй входной сигнал - образец

гп лгг

1 2 3 m-1 m

Рис. 1. Структура искусственной нейронной сети АРТ-1

нейронов второго слоя и может увеличиваться в процессе функционирования сети, что и является отличительной особенностью сетей АРТ от других классов искусственных нейронных сетей.

Алгоритм функционирования сети состоит в следующем. На первоначальном этапе в сети только один выходной нейрон, веса сети инициализируются следующими значениями: Ь. (0) = 1/(1+п), . (0) = 1, 0 < г < п-1, 0 < . < т-1, 0 < р < 1, где Ьд (г) - синаптический вес связи от г-го нейрона первого слоя к д-му нейрону второго слоя в момент времени г; с^ (г) - синаптический вес связи от д-го нейрона второго слоя к г-му нейрону первого слоя в момент времени г, р - значение параметра соответствия. Веса сц (г) и Ь. (г) определяют образец, соответствующий нейрону ]. Параметр соответствия р показывает, насколько должен входной сигнал совпадать с одним из запомненных образцов, чтобы они считались похожими. Близкое к единице значение параметра требует почти полного совпадения. При малых значениях р даже сильно различающиеся входной сигнал и образец считаются принадлежащими одному кластеру.

При предъявлении сети нового бинарного входного образа для каждого нейрона второго слоя вычисляется значение функции состояния:

П—1

у. = Е Ь (г)х 0 < } < т — 1 а затем выбирается обра-

зец с наибольшим соответствием: у = шах(у.). По-

1 1

сле этого найденный образец и входной сигнал сравниваются с параметром соответствия. Если

П—1

Е Сгк (г ) Хг

> р

, то входной образ считается похожим

на образец с наибольшим значением соответствия. В этом случае образец адаптируется под новые данные с помощью операции конъюнкции: . (г+1) = сц(г)х, , „ сц(г)Х . В противном случае счита-

Ь(г+1)=—-1—

0'5 + Е с. (г)Хг

г=0

ется, что нейрон с наибольшим значением соответствия временно блокируется, и поиск повторяется среди оставшихся нейронов. Если активных нейронов больше не осталось, то считается, что входной образ отличается от всех образцов, и создается новый нейрон-образец, идентичный данному образу, веса которого инициализируются следующими значениями: сп+11 (г+1) = х.,

+1) = -

. На последнем этапе активи-

п-1

0.5 + Е X

г=0

руются все неактивные нейроны.

¡=0

¡=0

¡=0

с)

Рис. 2. Результаты обучения сети: а) для образа размерностью 10x10, Ь) для образа размерностью 20x20, с) для образа размерностью 30x30, ё) для образа размерностью 100x100

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ИНС АРТ-1 И ВЫЧИСЛИТЕЛЬНЫЙ ЭКСПЕРИМЕНТ

Рассматриваемый классификатор Карпентер -Гроссберга был программно реализован в среде программирования Turbo Delphi.

В качестве обучающей выборки сети использовались образы, представляющие собой бинарные изображения цифр от 0 до 9. Обучающая выборка содержала 50 образов, которые подавались на входы сети в виде линейной развертки. Количество образов в выборке в ходе экспериментов оставалось неизменным. Образы были представлены в «оригинальном» и зашумленном виде и в различном порядке. В ходе каждого эксперимента выходной слой сети первоначально содержал только один нейрон. Проводилось четыре серии экспериментов для различной размерности входных векторов. В каждой серии для одной и той же обучающей выборки сеть обучалась при разных значениях параметра сходства, которое менялось от 0,05 до 0,95.

В ходе первой серии экспериментов образ имел размерность 10x10, соответственно входной слой сети содержал 100 нейронов. Результаты обучения сети для различных значений параметра сходства представлены на рис. 2 (a).

Анализ результатов показывает, что для данной обучающей выборки очень сильно влияет эффект «шаблона критических черт» [1, 2], т. к. размерность образа очень мала. Например, для параметра сходства p = 0,45 сеть создала 10 классов, но эти классы были «обобщенные», и узнать цифры достаточно сложно, с другой стороны, при высокой степени соответствия (p = 0,95) распознавание «стало» очень хорошим, но сеть стала более чувствительной даже к незначительны изменениям и разбила всю выборку на 41 класс.

В связи с этим, следующие эксперименты были проведены для образов большей размерности - сети предлагались образы размерностью 20x20 (400 входных нейронов, рис. 2 (b)), 30x30 (900 входных нейронов, рис. 2 (с)) и 100x100 (10000 входных нейронов, рис. 2 (d)).

Следует отметить, что, как и следовало ожидать, с увеличением размерности эффект «шаблона критических черт» снижается, о чем свидетельствует снижение числа распознаваемых классов сети для высоких зна-

чений критерия сходства. Например, для р = 0,95 число классов постепенно падает и для образа 100x100 появляются необходимые 10 классов цифр.

ВЫВОДЫ

Таким образом, в ходе данной работы построена программная реализация классификатора Карпентер -Гроссберга, используемого для распознавания и кластеризации бинарных векторов.

Проведено обучение построенной сети для различных значений параметра сходства и обучающих образов различной размерности. Выявлены факторы, влияющие на результаты распознавания и наглядно продемонстрирован эффект «шаблона критических черт». Очевидно, что на результат распознавания сети влияет не только размер образа, но также зашумленность обучающих векторов, а в некоторых случаях даже порядок их представления сети, т. к. любой идентифицированный образ подстраивает веса нейрона соответствующего класса под новую информацию.

Следует отметить, что выбор значения параметра сходства очень важен, т. к. при больших значениях параметра сходства сеть становится очень требовательной к предъявляемым векторам и создает большое количество классов, в которых различия могут быть не существенными. А при малых значениях параметра сходства разбивка на классы становится очень общей (разные образы может отнести к одному классу).

Следует отметить, что АРТ-сети являются одним из основных представителей класса сетей, в ходе обучения/работы которых изменяется внутренняя структура сети, что позволяет сделать вывод о широкой возможности их применения в различных областях человеческой деятельности.

ЛИТЕРАТУРА

1. Круглов В.В. Искусственные нейронные сети. М., 2001.

2. Терехов С.А. Лекции по теории и приложениям искусственных нейронных сетей. Снежинск, 1998.

3. http://www.neuroshell.forekc.ru

4. http://www.osp.ru/os/1997/04/29.htm

Поступила в редакцию 20 декабря 2007 г.

ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ ПО МОДЕЛИРОВАНИЮ САМОРЕГУЛИРОВАНИЯ ТЕМПЕРАТУРЫ В ПОПУЛЯЦИЯХ МИКРООРГАНИЗМОВ

© А.А. Арзамасцев, Е.Н. Альбицкая

Процесс саморегулирования температуры в популяции микроорганизмов в биореакторе, работающем в периодических условиях, ранее изучался в работах [1, 2]. В них была разработана математическая модель этого процесса, дано объяснение как самого явления, так и различных его феноменов: линейного роста популяции микроорганизмов в процессе саморегулирования температуры, образования температурных колебаний внутри биореактора и т.д. Математическая модель

адекватно описывала процесс, в котором в качестве биологического объекта выступали микроорганизмы Candida tropicalis как при наличии саморегулирования температуры, так и без него.

Целью данной работы является изучение процесса саморегулирования температуры в популяции микроорганизмов в непрерывном режиме. Реализация данной цели может представлять значительный интерес и для изучения процессов температурного гомеостаза в жи-