Векторная параметрическая нейросеть для распознавания бинарных образов Текст научной статьи по специальности «Математика»

Раздел III. Нейросетевые технологии

В.М. Крыжановский, А.Л. Микаэлян

ВЕКТОРНАЯ ПАРАМЕТРИЧЕСКАЯ НЕЙРОСЕТЬ ДЛЯ РАСПОЗНАВАНИЯ БИНАРНЫХ ОБРАЗОВ

Предлагается простой и эффективный алгоритм, обеспечивающий полиномиальный рост объема нейросетевой памяти в виде М ~ N21+1, где N - размерность запоминаемых бинарных паттернов, а величина свободного параметра задачи 8 ограничена только условием N >> 11пN > 1. Предлагаемый нейросетевой алгоритм позволяет идентифицировать большое число искаженных похожих паттернов. Негативное влияние корреляции паттернов легко подавляется выбором достаточно большого значения параметра 1. Эффективность алгоритма демонстрируется на примере перцептронного идентификатора, однако алгоритм можно применять и для повышения эффективности полносвязных систем ассоциативной памяти. Исследованы ограничения на экспоненциальный рост объема памяти.

Векторные модели нейронных сетей исследовались во множестве работ [111]. Наиболее известная из них - спин-стекольная модель Поттса [4], свойства которой достаточно хорошо исследовались методами статистической физики [5-9], а характеристики памяти исследовались, в основном, методами численного моделирования. В [1-3], а также в ряде последующих работ [9-11], исследовались так называемые параметрические нейронные сети, ориентированные на реализацию в виде оптического устройства. Для последних получены достаточно простые аналитические выражения, описывающие эффективность функционирования, объем памяти и помехоустойчивость.

Исследования векторных моделей показало, что они обладают исключительно большой емкостью памяти, значительно большей, чем в широко известных бинарных моделях типа Хопфилда. Помимо того, им присуща исключительно высокая помехоустойчивость и способность к распознаванию при наличии больших искажений. На сегодняшний день параметрические векторные модели ассоциативной памяти являются рекордсменами как по объему нейросетевой памяти, так и по информационной емкости и помехоустойчивости. Вместе с тем, такие высокие параметры указанных моделей до последнего времени оставались практически так же невостребованными, как и иные модели ассоциативной памяти. Более того, векторная ассоциативная память у многих ассоциировалась только с обработкой цветных образов.

Ситуация кардинально изменилась после выхода в свет работы [3], где был предложен алгоритм отображения бинарных образов в q-нарные и было показано, что такое отображение позволяет использовать векторные нейросети для хранения и обработки сигналов любого типа и любой размерности. Более того, предложенное в [3] отображение практически сводит на нет бич всех систем ассоциативной памяти - негативное влияние корреляции паттернов, если последняя имеет место. Тем самым был показан простой и эффективной подход к использованию векторных моделей и всех преимуществ, которыми они обладают.

В настоящей работе предложенный в [3] и развитый в [9-11] подход использован для построения идентификатора образов, который может быть использован при наличии больших искажений во входном канале либо как быстрая система принятия решений, либо как алгоритм быстрого поиска в списках больших размеров.

Идентификация образов проводится в два этапа по представленной на рис.1 схеме. На первом этапе производится предварительная обработка входного бинарного сигнала (предобработка). Предобработка заключается в отображении паттерна X одного конфигурационного пространства в паттерн Y пространства другой

размерности ( Rn ^ Rn). Иными словами, черно-белому изображению X с числом пикселов N по описанному ниже алгоритму ставится в однозначное соответствие цветное изображение Y с меньшим числом пикселов (n = N / r < N ), но с большим

числом цветов (q = 2r > 2). Число r > 1 назовем параметром отображения. Алгоритм препроцессинга описан в п. 4. В процессе предобработки достигаются сразу две цели. Во-первых, отображение X ^ Y при большом значении параметра r сводит на нет корреляции входных паттернов, если таковые имеются. Во-вторых, для идентификации паттернов мы можем использовать векторную q-state neural net, которая по объему памяти и помехоустойчивости значительно превосходит скалярные модели типа модели Хопфилда. Описание свойств векторной модели проводится в п.п. 1-3. Для иллюстрации эффективности предлагаемого подхода мы использовали наиболее простой вариант построения системы идентификации на основе однослойного векторного перцептрона.

X

бинарный

вход

отображение Rn \ Rn Y q-нарная нейросеть

q-нарный выход (перцептрон)

q-нарныи

выход

предобработка идентификация

Рис. 1. Двухэтапная схема идентификации бинарных паттернов

1. Формулировка проблемы

Рассмотрим сначала схему быстрого нейросетевого поиска, работающую с рандомизированным множеством многопараметрических векторов. Как будет видно далее, эта схема легко обобщается на случай векторов любой размерности, в том числе и на случай сильно скоррелированных бинарных образов.

Итак, пусть имеется множество п-мерных q-нарных образов {Тц}:

Тц = (у^ у^.-Уцп ^ С1)

где уц - единичный вектор, направленный вдоль одной из декартовых осей q-мерного пространства (ц = 0, 1, ..., М-1; 1 = 1, 2,...,п), т.е. уц е{ек} , где {ек} -

набор ортов пространства Я4. Предполагается, что каждому образу Уц однозначным образом поставлен в соответствие идентификатор :

^ц = ^ц2 ^.^ Z^m ^ (2)

причем zfЦ е {ек}. Задача состоит в создании нейронной сети, способной по предъявлении искаженного образа восстанавливать его идентификатор.

Идентификатором 2ц обычно кодируется либо управляющая команда, вырабатываемая по входу Ум , либо номер ц входного вектора, по которому впоследствии однозначно определяется сам образ Ум и любая иная информация, соответствую-

щая образу Уи Мы рассмотрим наиболее простой случай, когда вектором 1и кодируется номер л образа Уи : последовательность номеров орт-векторов q-мерного пространства, вдоль которых направлены единичные векторы zи1,ги2,...,zиm , представляет собой число л в q-ичной записи. Обозначим через

кі номер орта, вдоль которого направлен вектор (величина к, может принимать любое из значений кі = 0,1,...,q -1). Тогда номер л определится выражением

т

и = X к^-1. (3)

і=1

Для простоты иллюстрации работы описываемого здесь алгоритма идентификации будем полагать, что множество {Уи} представляет собой набор цветных изображений с числом пикселов п и числом градаций цвета q . В этом случае каждому цвету мы можем поставить в соответствие число от 1 до q или, что то же

самое, орт в q-мерном пространстве Кд.

2. Схема векторного перцептрона

Решающий поставленную выше задачу перцептрон представлен на рис.2. Он состоит из двух слоев векторных нейронов, где каждый нейрон входного слоя связан со всеми нейронами выходного слоя. Алгоритм его работы реализован следующим образом. Каждому образу Уи ставится в однозначное соответствие q-нарный т-мерный вектор , число компонентов которого т = 1 + logq М достаточно для кодировки

номера данного образа. На основе эталонных векторов {Уи} и {1} строим векторную нейросеть (рис.2), состоящую из п входных и т выходных нейронов.

Уі -----------►

У2 --------►

Уз --------------------------►

Уп ----------►

input neurons output neurons

Рис.2. Схема векторного перцептрона

Сеть строится на основе параметрического нейрона [1-3] - это некий аналог q-нарного векторного нейрона в спин-стекольной модели Поттса [4]. Параметрический нейрон - это спин, который может находиться в одном из q различных дискретных состояний, где q > 2 . Состоянию с номером k ставится в соответствие орт

ek є Rq q-мерного пространства (k = 0,1,..., q -1). Подчеркнем, что именно постулирование дискретности состояний спина позволяет строить сеть с высокими показателями. Сети, в которых спин может принимать любое положение в q-

мерном пространстве, имеют очень малый объем памяти [12]. Веса синаптических межсвязей задаются по обобщенному правилу Хебба:

M

где у + - вектор-строка (1 < і < п , 1 < і < N) . Отметим, что при таком подходе

величина межсвязи Tij между і-м иі-м нейронами не скаляр, как в обычной модели Хопфилда, а qxq матрица.

Пусть на вход сети подается некий образ Y = ( у1, у2,... уп ), представляющий из себя искаженный вариант /-го эталонного паттерна Yl. Локальное поле, воздействующее на і-й выходной нейрон со стороны нейронов входного слоя, вычисляется по формуле

Под воздействием локального поля і-й выходной нейрон ориентируется вдоль орта, направление которого наиболее близко направлению внешнего поля. Соответствующий алгоритм заключается в следующем.

1. Вычисляются проекции вектора локального поля Н на все орты q-мерного пространства.

2. Находится максимальная из проекций - пусть это будет проекция на некий орт вк ек.

3. Выходному нейрону присваивается значение = ек.

Как показано в [1-3], при такой динамике надежно восстанавливаются все компоненты кодирующего выходного вектора Ті . Надежность работы перцеп-тронного идентификатора, т.е. вероятность того, что номер входного образа будет определен верно, задается выражением [3,7]

Здесь пе - эффективное число входных нейронов, Ь - уровень шума, т.е. вероятность искажения любого из пикселов паттерна.

3. Идентификация искаженного образа

N

(4)

і=1

где

(5)

(6)

где Ф - интеграл вероятности, представленный в стандартном виде:

и введены обозначения

(7)

В пределе пец2 >> М 1пq из (6) методом перевала можно получить асимптотическую оценку ошибки идентификации (Р = 1 - Р ) в виде

Р = т^М /ппе ехр

(8)

Максимальное число образов Мтах, которые векторный перцептрон может надежно идентифицировать при заданных пользователем параметрах - величине искажений Ь и ошибке распознавания Р0 - определяется из (8) в виде

Мтах - ^ - • (9)

41n(q / Р0)

Это выражение следует понимать так: при М < Мтах ошибка распознавания будет меньше заданной величины Р0.

Как видим, число идентифицируемых образов М, т.е. объем идентифицируемой выборки, растет пропорционально размерности образов п и квадрату числа градаций цвета q. Как и следовало ожидать, величина М логарифмически убывает при ужесточении требований к надежности распознавания, т. е. при уменьшении величины заданной ошибки Р0. Существенно, что в отличие от скалярной нейросети типа модели Хопфилда, загрузка рассматриваемой здесь векторной модели может быть значительно больше единицы. Выражение (9) позволяет оценить число выходных нейронов, необходимое для нумерации записанных в память перцеп-трона образов. С учетом соотношения т = 1 + 1ogq М нетрудно получить желаемую оценку в виде

, 1п пе

т = 3 +------.

1п q

Как видим, число выходных нейронов значительно меньше числа входных. При достаточно больших значениях q эта величина, как правило, порядка или незначительно больше 3-ь4. Так, в указанном ниже примере (см. рис.5) четыре выходных нейрона полностью обеспечивают все возможности алгоритма.

4. Предобработка бинарного входа

Описанный выше алгоритм приспособлен для распознавания и идентификации п-мерных q-нарных входных образов. Однако, развивая предложенный в [3] подход, его можно достаточно просто адаптировать и для обработки бинарных входных векторов. Адаптация состоит в простой предобработке - отображении бинарного вектора в q-нарный образ, алгоритм которого состоит в следующем. Пусть у нас имеется некий М-мерный бинарный вектор X = (х1, х2,..., хм). Мысленно разделим его на п фрагментов, содержащих по г элементов каждый (п = N/г). Каждый 1-й фрагмент (■ = 1,...,п ) этого вектора можно рассматривать как некое записанное в двоичном коде целое число к, , принимающее значения от

0 до q-1, где q = 2г. Этому фрагменту поставим в соответствие вектор у. = ек,, где

ек■ е1ек} - это к,-й орт некоторого q-мерного пространства Яд. Тем самым, всему

образу X в целом ставится в однозначное соответствие набор q-мерных векторов, т.е. образ У = (у1,у2,...уп). Например, бинарный вектор X = (01000001) можно разбить на два фрагмента по четыре элемента (0100) и (0001). Первому фрагменту (это "4" в двоичном коде) ставим в соответствие вектор у1 = е4 в пространстве

размерностью q=8, а второму (это "1" в двоичном коде) - вектор у2 = е1. Соответствующее отображение примет вид X = (01000001) ^ У = (у1, у2) = (е4, е1 ).

Указанным образом, задавая желаемое значение параметра деления г , можно

отобразить семейство бинарных М-мерных векторов (Х^ }М в семейство п-мерных q-нарных образов (Уц }М с числом состояний q = 2г. Набору полученных отображений (УЦ}М поставим в однозначное соответствие набор п-мерных q-нарных идентификаторов (I^, и на полученных семействах (Уц} и (^} построим векторный перцептрон, для которого справедливы все проведенные выше выкладки. Эффективность работы этого перцептрона описывается выражениями (6)-(9), в которых следует сделать соответствующие подстановки: п = N / г, q = 2г , 1 - Ь = (1 - р)г, где р - вероятность искажения компонентов входного бинарного вектора (0 < р < 1/2). В частности, максимальное число образов, которые может идентифицировать построенный таким способом перцептрон, выразится в виде

Мтах - N---------------------------------------------^-г , (10)

тах 4г( г + |1п Р0|)

где введено эффективное число состояний

qe = ц(1 - р)г = [2(1 - р)]г, которое при возрастании шумов резко уменьшается. Наличие фактора (1 - р)г обусловлено тем, что даже небольшие искажения компонентов бинарного вектора X приводят к очень большим искажениям компонентов в его q-нарном отображении У . Соответственно, уменьшается и число образов, которые система способна распознавать при таких искажениях. Тем не менее, из (10) видно, что величина Мтах растет экспоненциально с ростом параметра отображения г . Действительно, запишем параметр отображения в нормированом виде г = s N и положим, для простоты выражений, р = 0 . Тогда выражение (10) примет вид

N15+1

М тах--------------------------------------------. (11)

тах 451п N

5. Ограничения на экспоненциальный рост

Как следует из (11), объем памяти описываемой системы растет экспоненциально с ростом параметра 5. Уже при 5 > 0.5 он становится значительно больше, чем в любой из известных одноуровневых нейронных сетей. Вместе с тем следует иметь в виду наличие естественных ограничений на параметр отображения, прежде всего то, что число входных векторных нейронов должно быть достаточно велико N / г >> 1 , т.е.

5 << N /1п N . (12)

Например, когда N = 103 и г = 10, то условие (12) выполняется. В этом случае из (11) получим Мтах ~ 104М0, т.е. объем памяти описываемой здесь нейросети на четыре порядка превышает объем памяти М 0 сети Хопфилда.

Теперь оценим число паттернов, которые декоррелирующая нейросеть может распознавать при наличии искажений у бинарных образов. Эта величина описывается выражением (10). Однако, используя это выражение, следует иметь ввиду, что оно справедливо только в том случае, когда в распознаваемом цветном изображении имеется хотя бы два неискаженных пиксела. Это условие имеет вид

п(1 - р)г > 2

или

1п N 1

Г <---------г ^ 5 <--------г (13)

|1п(1 - р)| |1п(1 - р)|

Выражениями (12)-(13) определяется граница на экспоненциальный рост объема памяти описываемой нами декоррелирующей нейросети. Поскольку уровень искажений, как правило, не очень велик (р < 1/2), то произведя в (13) разложение по малому параметру, получим критическое значение параметра отображения

Г = —, (14)

р

или, что то же самое,

= _1_

С Р '

Когда величина г увеличивается в пределах 1 < г < гс , размер объема памяти нарастает экспоненциально в соответствии с (10). Однако при г > гс нейросеть

перестает распознавать образы.

На рис.3 видно, что при превышении критического значения параметра отображения нейросеть перестает распознавать образы. Три кривые на рисунке соответствуют различным уровням искажений р = 0.1,0.2,0.3. Как видим, чем выше уровень искажений у бинарных образов, тем быстрее наступает срыв распознавания. Тем не менее видно, что при близких к критическому уровню значениях г объем памяти может достигать очень высоких значений. Так, например, сеть может распознавать N6 бинарных образов с уровнем искажений р = 0.1, N3 бинарных образов с уровнем искажений р = 0.2 или N3/2 бинарных образов с уровнем искажений р = 0.3.

параметр отображения в = г / !пМ

Рис. 3. Экспоненциальное нарастание объема памяти с ростом параметра отображения в декоррелирующей нейросети (эксперимент и теория) при разных

уровнях искажений

На выражение (14) можно взглянуть с другой стороны. Если фиксировать параметр отображения, то можно ввести понятие критического уровня искажений

1п М (15) Рс =-----, (15)

г

которым определяется ширина области притяжения. На рис.4 показана зависимость ширины области притяжения от величины параметра отображения г. С ростом г ширина области притяжения уменьшается. Как видно из рисунка, бинарные образы при уровне искажений р > рс перестают распознаваться.

Рис. 4. Зависимость ширины области притяжения от величины параметра отображения r

Описанный выше алгоритм можно применять для идентификации как бинарных, так и q-нарных паттернов (в последнем случае нет надобности в предобработке и отображении). Сравнивая выражение (8) с соответствующими результатами работ [1-11] замечаем, что вероятность ошибки распознавания в рассмотренном перцептронном алгоритме в n раз меньше, чем в полносвязных векторных нейросетях.

По существу это означает, что векторный перцептрон способен надежно идентифицировать входной вектор и выдавать правильный управляющий сигнал даже в тех случаях, когда полносвязные нейронные сети будут выдавать заведомо неверные выходные сигналы.

Резюмируя проведенный выше анализ можно сказать, что предложенный алгоритм позволяет создавать системы ассоциативной памяти и идентификации с экспоненциальным по параметру отображения ростом объема памяти, способные работать со скоррелированными наборами паттернов.

Работа поддержана грантами РФФИ 04-07-90038 и 05-07-90049.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Kryzhanovsky B. V. and Mikaelyan A. L. On the Recognition Ability of a Neural Network on Neurons with Parametric Transformation of Frequencies// Doklady Mathematics, 2002, vol.65, No.2, pp. 286-288.

2. Kryzhanovsky B.V., Kryzhanovsky V.M., Mikaelian A.L. and Fonarev A. Parametric dynamic neural network recognition power// Optical Memory&Neural Network, 2001, Vol. 10, №4, pp.211-218.

3. Kryzhanovsky B.V., Mikaelian A.L. An associative memory capable of recognizing strongly correlated patterns// Doklady Mathematics, 2003, v.67, No.3, p.455-459.

4. Kanter I. Potts-glass models of neural networks// Physical Review A, 1988, v.37(7), pp. 2739-2742.

5. Cook J. The mean-field theory of a Q-state neural network model// Journal of Physics A, 1989, 22, 2000-2012.

6. VogtH., Zippelius A. Invariant recognition in Potts glass neural networks// Journal of Physics A, 1992, 25, 2209-2226.

7. Bolle D., Dupont P.& Huyghebaert J. Thermodynamics properties of the q-state Potts-glass neural network// Phys. Rew. A, 1992, 45, 4194-4197.

8. Wu F.Y. The Potts model// Review of Modern Physics, 1982, 54, 235-268.

9. Kryzhanovsky B.V., Kryzhanovsky M.V., Magomedov B.M. Vectorial perceptron as quick search algorithm// Optical Memory&Neural Network, 2004, vol.13, No.4.

10. Kryzhanovsky B.V., Litinskii L.B., Mikaelian A.L. Vector-neuron models of associative memory// Proc. of Int. Joint Conference on Neural Networks IJCNN-04, Budapest-2004, pp.909-1004.

11. Kryzhanovsky B. V., Litinskii and A.Fonarev L.B. Parametrical neural network based on the four-wave mixing process// Nuclear Instuments and Methods in Physics Research, 2003, A. vol 502, No.2-3, pp. 517 - 519.

12. Nakamura Y., Torii K., Munaka T.. Neural-network model composed of multidimensional spin neurons// Phys. Rev. E, 1995, vol.51, No.2, pp.1538-1546.

А.Н. Васильев, Д. А. Тархов

ПОСТРОЕНИЕ НЕЙРОСЕТЕВОЙ МОДЕЛИ ПО ДИФФЕРЕНЦИАЛЬНЫМ УРАВНЕНИЯМ И ЭКСПЕРИМЕНТАЛЬНЫМ ДАННЫМ

Задача построения робастной математической модели по разнородным данным, включающим как уравнения, так и экспериментальные наблюдения, является весьма актуальной для практики, и её недостаточная изученность вызвана трудностью применения к ней классических методов. Отдельные задачи такого рода рассматривались в [2] и в [1,3].

В данной работе мы продолжаем обсуждение этой темы, затронутой нами в [1], где рассматривалась задача нахождения функции, для которой в некоторой части области известно уравнение, кроме того, известны (например, в результате измерений) её значения в некотором наборе точек. Укажем новые примеры подобных постановок задач для дифференциальных и некоторых других уравнений и наметим общую методологию их решения в рамках нейросетевой парадигмы.

Обыкновенные дифференциальные уравнения

Приближённое решение классической задачи Коши у'(х) = Е(х, у), у(х0) = у0 на промежутке (а; Ь) может быть получено минимизацией функционала

1 (У) = | |у (х) - Е(х, у)|2 ёх + д -|у(х0) - у0|2 ^ шт на некотором множестве одно-

N N

мерных функций КБР-сетей вида у = ^с@(х, а,.) = ^ с, ехр[-аь. (х - а2,)2], где

1=1 ,=1

параметры а1, > 0. Можно при решении задачи минимизации функционала ошиб-