CC BY
13
Секция «Искусственный интеллект»
ПАРАМЕТРИЧЕСКАЯ НЕЙРОННАЯ СЕТЬ С ВНЕШНИМ ПОЛЕМ*
Д.И. Алиева, д. ф. - м. н. Б.В. Крыжановский Институт оптико-нейронных технологий РАН e-mail: [email protected]
Введение
В работах [1], [4], [5] предложен вариант ассоциативной памяти, базирующейся на процессах параметрического четырехволнового смешения (four-wave mixing process)[5]. Информативные сигналы, которыми обмениваются между собой нейроны, передаются по межсвязям в виде квазимонохроматических импульсов на q различных частотах Mk , k=1, 2,..., q. Иными словами, такая нейронная сеть способна хранить и обрабатывать информацию, закодированную в виде частотно-фазовой модуляции.
За основу сети был принят «параметрический» нейрон - обладающий кубической нелинейностью элемент, способный к преобразованию и генерации частот в процессах параметрического четырехволнового смешения Mi - Mj + Mk ^ Mr . Эквивалентную схему нейрона можно представить как устройство, состоящее из сумматора входных сигналов, набора q идеальных частотных фильтров Mk, блока сравнения сигналов по амплитуде и q генераторов квазимонохроматических сигналов Mk. Работа нейрона осуществляется в следующей последовательности: входные сигналы, пришедшие к нему от других нейронов сети, суммируются; суммарный сигнал пропускается через q параллельно соединенных частотных фильтров; выходные сигналы с фильтров сравниваются по амплитуде; сигнал с максимальной амплитудой инициирует генерацию выходного импульса, частота и фаза которого совпадают с частотой и фазой инициирующего сигнала. Важным элементом рассмотренной в [1], [4] схемы является принцип несоизмеримости частот в процессе FWM: Mi - Mj + Mk е {Mr}q только когда Mj совпадает либо с Mk, либо с Mi. Как оказалось, именно принцип несоизмеримости частот гарантирует высокую степень подавления в системе внутренних шумов.
Рассмотренную модель ассоциативной памяти было предложено назвать параметрической нейронной сетью (ПНС). Составляющие ее основу параметрические нейроны относятся к классу q-нарных нейронной, поскольку могут находиться в q различных
* Работа выполнена при финансовой поддержке РФФИ (проект №02-07-90125)
состояниях. Один из принятых подходов к описанию такой нейросети состоит в том, что состояния нейронов описываются векторными (а не скалярными) величинами. Разработанный нами векторный формализм выявляет близость ПНС к известной Поттс-стекольной нейросети [3], являющейся прямым обобщением модели Хопфилда ассоциативной памяти.
В настоящей работе излагается векторный формализм для ПНС и рассматривается другой тип параметрического четырехволнового смешения, для которого принцип несоизмеримости частот формулируется следующим образом: - Ю| + юк е {юг}4 только когда Ю| совпадает с юк. Кроме того вводится эквивалент внешнего магнитного поля. Соблюдение этих условий гарантирует еще более высокую степень подавления внутренних шумов, чем в [1], [4] и, соответственно, большие помехоустойчивость сети и объем памяти. В отличии от моделей, рассмотренных в [1], [4], [5], предлагаемая здесь модель более приспособлена к оптической реализации, поскольку не требует условий фазового согласования, достаточно трудно осуществляемого в эксперименте.
Рассмотрим сеть, состоящую из N связанных друг с другом формальных нейронов. Под нейронами будем понимать объекты, способные принимать одно из q различных дискретных состояний (1>2). Состоянию с номером к (к=1,..,ф ставится в соответствие орт ек в пространстве К .
Состоянием сети X как целого называется набор из N таких д-мерных векторов Х=(х1,х2,..,хп). Сеть будем интерпретировать как систему взаимодействующих д-мерных спинов и использовать соответствующую терминологию. [5]
Будем считать, что сеть построена на М исходных образах (паттернах) Хт = (хЦ1,
т=1,..М Поскольку нейроны у нас изображаются векторами, локальное поле, действующее на 1-й нейрон со стороны сети, тоже будет вектором Ъ{. По аналогии с обычной моделью Хопфилда запишем:
1.Описание векторной модели
2
(11)
(1.2)
Величина межсвязи между г-м иу'-м нейронами задается (д х д) - матрицей:
(1.3)
т
И 1 Чрт - порог нейрона - аналогии с физическими системами эквивалент
где
т
внешнего магнитного поля сети.
С учетом (1.2)-(1.3) гамильтониан системы принимает вид:
1 ^ • . ^ ^ . „ .
Н = - 11 И О У'Х у + I I X гТ'Х у (М)
Амплитудами сигнала будем называть величины:
4° = ки (1.5)
Обозначим индексом тах максимальную по модулю амплитуду.
Динамика системы определяется естественным образом: г-й нейрон под воздействием локального поля И; принимает положение, наиболее близкое к направлению этого поля (спин не может ориентироваться в точности по направлению поля, поскольку принимает только дискретные состояния). То есть, пусть Х=Х@) - состояние сети в момент времени I , тогда решающее правило для динамики нейрона таково: под воздействием локального поля г-й нейрон в момент времени 1+1 ориентируется вдоль орта етах , т.е.
X (( + 1) = ^ктах (1.6)
Эволюция системы состоит в последовательном изменении состояний нейронов по правилу (1.6). Процесс ориентации вдоль поля сопровождается понижением энергии (1.4) и, следовательно, система релаксирует в локальный минимум по энергии - сеть сходится к неподвижной точке.
2.Эффективность распознавания случайных паттернов
Оценим память данной модели для произвольных значений М в пределе Ы^ю. Пусть начальное состояние сети задается искаженным ц-м паттерном
Хт = (Ь1хт 1' Ь2хт2'-' Ьыхты ) (2.1)
Здесь Xт = (х 1, х 2,.., х) е{Хц}р - ц-й паттерн, а Ъ } - мультипликативный шум:
оператор Ъi с вероятностью Ъ изменяет направление вектора хт1 (направляет его случайным
образом вдоль иного орта) и с вероятностью 1 -Ъ оставляет его неизменным.
Проанализируем, при каких условиях нейронная сеть восстановит паттерн Хм .
Согласно правилу (1.6) /-й нейрон примет состояние хм1, т.е. правильно распознает
вектор хц/ при выполнении условия:
X (х0]■ - £0)Ъ]х0хт1(ек - •0)Е ^Хм - £0Ъ'х01
(2.4)
}*1 м *1 }*1
В противном случае произойдет ошибка распознавания, вероятность которой дается выражением:
( N-1 Ь
РГ/ = Рг X г г
I г=1 г=1
(2.5)
• • л, • •• • /• • \ „, •
где Ь=(К-1)(М-1), а (х0] - £0)Ь>х 1 и Л = [хм1(ек - ек0)](хм; - £0 РIх01 - случайные величины, которые в отсутствие корреляции между паттернами можно считать независимыми случайными переменными с распределениями:
1
(1 - \ 1 - Ъ
х = Ц' Ъ- л =
+1,
/ч'
0, 1 - 1 / (
-1, к
(2.6)
Для оценки вероятности (2.5) воспользуемся центральной предельной теоремой. В результате, для вероятности ошибки распознавания паттерна X получим:
(
Р =
1 ег1
2М
— ехр
N41ж
2
N4 ~ 2 -(1 - Ъ)
4М
Л
V
где Ъ =
Ъч
(2.7)
С ростом N эта вероятность сходится к нулю всякий раз, когда величина М как функция N растет медленнее, чем
М = —^ч 2(1 - Ъ)2
(2.8)
21п N
Это позволяет рассматривать величину (2.8) как асимптотически достижимую емкость памяти ПНС.
3. Обсуждение результатов
Прежде всего надо отметить, что рассмотренная модель ни при каком ч не трансформируется к стандартной модели Хопфилда.
Из (2.7) видно, что с ростом ч помехозащищенность рассматриваемой ассоциативной памяти экспоненциально возрастает. Одновременно растет и объем нейросетевой памяти,
2
который в q2 раз превышает аналогичный показатель для модели Хопфилда. В отличии от сети Хопфилда, число паттернов, которые способна хранить ПНС, может во много раз превышать число нейронов N. Работа данной сети моделировалась на компьютере. При числе нейронов N=100 и числе различных состояний нейронов q=32 в память сети записывалось то или иное количество M случайных паттернов (32-цветных изображений). При M=200 сеть надежно распознавала любой из этих паттернов, зашумленный не более чем на 85%. С увеличением числа паттернов помехоустойчивость сети, естественно, уменьшалась: при M=2000 (MN=20) сеть распознавала паттерны с искажениями до 60%, а при M=5000 (MN=50) - с искажениями до 50%. Напомним, что в свое время демонстрацией распознающей способности сети Хопфилда считалось восстановление зашумленного на 30% паттерна при M/N=0.1.
Сравним рассмотренную нами модель с Поттса-стекольной нейросетью, которая для q = 2 переходит в модель Хопфилда. Согласно оценкам, приведенным в [3], емкость памяти этой модели оценивается выражением ac=^ q(q-1) a0 , где q>2, a0 » 0.138, ac = M/N. Для ПНС справедливо соотношение ac (q) = q2a0 при q >1. Таким образом, при q>>1 емкость памяти ПНС в два раза превосходит емкость памяти Поттс-стекольной модели [3], а при больших искажениях ПНС работает более надежно. Кроме того, алгоритм представленной модели ПНС работает в q раз быстрее, чем модель Поттса, что позволяет использовать его как алгоритм быстрого поиска.
Список литературы
1. Крыжановский Б.В., Микаэлян А.Л. О распознающей способности нейросети на нейронах с параметрическим преобразованием частот// Доклады РАН. 2002. Т. 383(3), с. 318-321.
2. Chernov N.//Ann. Math. Statistics. 1952. V.23. p. 493-507.
3. Kanter I. Potts-glass models of neural networks//Physical Review A. 1988. vol.37(7),p.p. 2739-2742.
4. Fonarev A. Kryzhanovsky B.V. et al. Parametric dynamic neural network recognition power// Optical Memory&Neural Networks. 2001. vol. 10, N0. 4, pp. 31-48.
5. Kryzhanovsky B. V., Litinskii L. B. and Fonarev A. Optical Neural Network based on the parametrical Four-wave mixing process// Proc. of IC0NIP-2002. vol. 4, pp. 1704-1707, Singapore-2002.
