ПРЕДЕЛЫ ПАМЯТИ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ СО СТИРАНИЕМ УСТАРЕВШЕЙ ИНФОРМАЦИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 1814-1196

http://journals. nstu. ru/vestnik Scientific Bulletin of NSTU Vol. 56, No. 3, 2014, pp. 115-122

Научный вестник НГТУ том 56, № 3, 2014, с. 115-122

СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

MODERN INFORMATION TECHNOLOGIES

УДК 004.8

Пределы памяти рекуррентных нейронных сетей

со стиранием устаревшей информации

В.Ю. ОСИПОВ

199178, РФ, г. Санкт-Петербург, 14 линия В.О., 39, Санкт-Петербургский институт информатики и автоматизации Российской академии наук, д. т. н., профессор, e-mail: osipov_vasiliy@mail.ru

Исследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. Решается задача оценки емкости памяти этих сетей. Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. Рассматривается новый метод оценки емкости памяти рекуррентных нейронных сетей, обрабатывающих информацию в реальном масштабе времени. Приводится спиральная структура сети на уровне нейросетевых каналов. Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов сети, средние значения функций ослабления расходящихся и сходящихся в сети единичных образов и другие. Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. На один синапс может приходиться больше двух бит информации. Сформулированы рекомендации по совершенствованию рекуррентных нейронных сетей. В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети.

Ключевые слова: рекуррентная нейронная сеть, структура, синапсы, ослабление, емкость, память, стирание, устаревание, информация, метод

Одним из перспективных направлений в области искусственного интеллекта выступает развитие рекуррентных нейронных сетей (РНС) и создание на их основе прикладных систем с широкими творческими возможностями, с полноценной высокоскоростной параллельной обработкой информации. Среди РНС наибольший интерес для развития представляют сети, ориентированные на обработку информации в реальном масштабе времени [1-3]. Одной из них является двухслойная РНС с управляемыми синапсами со стиранием устаревшей информации [4-6]. Для таких сетей важным показателем их возможностей выступает емкость памяти. От значения этого показателя зависит, насколько глубоко сеть может помнить свою историю и какими прошедшими событиями она может оперировать. Чем выше емкость памяти сети при одном и том же числе ее элементов, тем она совершеннее. Для определения емкости памяти и оптимизации возможностей РНС по запоминанию информации нужны соответствующие методы. Анализ известных подходов [1-3, 7-9] к оценке емкости памяти РНС показывает, что они не совершенны. Согласно им такую оценку, как правило, сводят к определению количества образов, которые могут быть надежно сохранены в памяти сети [2]. Для оценки емкости памяти РНС используют также показатели числа запоминаемых единичных образов, прихо-

ВВЕДЕНИЕ

* Статья получена 27марта 2014 г.

дящихся на один нейрон, и числа бит на синапс [7, 8]. При этом исходят из конкретных моделей ассоциативной памяти и ряда постулатов.

Для РНС с управляемыми синапсами со стиранием устаревшей информации характерны свои особенности. В основе механизмов памяти этих нейронных сетей лежат несколько другие правила запоминания информации. Это не позволяет в явном виде использовать известные подходы для оценки емкости памяти таких РНС. Для этих сетей необходима разработка соответствующего метода, учитывающего их специфику.

1. ОСОБЕННОСТИ ИССЛЕДУЕМЫХ НЕЙРОННЫХ СЕТЕЙ И ПОСТАНОВКА ЗАДАЧИ

Рекуррентные нейронные сети с управляемыми синапсами [4-6] в отличие от традиционных сетей обладают рядом особенностей. Перед подачей сигнала в такие РНС он раскладывается в общем случае на пространственно-частотные составляющие в базисе, согласованном с входным слоем сети. Каждая составляющая преобразуется в последовательность единичных образов с частотой повторения, как предварительно заданной функцией от ее амплитуды. В этих РНС обратные связи замыкают контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Сигнал в сети представляется в виде последовательных совокупностей единичных образов (СЕО) в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов. При передаче СЕО от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Продвигают эти совокупности вдоль слоев по заданной (линейной, спиральной и другой) схеме. Запоминают результаты распознавания на элементах сети. При приеме СЕО их частично отражают от принимающего к передающему слою и частично стирают с элементов сети этими отраженными сигналами запомненные результаты распознавания. В таких сетях в зависимости от текущих состояний слоев изменяют пространственные параметры расходящихся и сходящихся единичных образов. В качестве результатов обработки используют последовательные СЕО на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы. Пример структурной схемы РНС с управляемыми синапсами со стиранием устаревшей информации с элементов сети приведен на рис. 1.

Рис. 1. Рекуррентная нейронная сеть с управляемыми синапсами

На рис. 1 приняты обозначения: 1.1, ..., 1.N, 2.1, ..., 2.N- нейроны соответственно первого и второго слоя; Сы, ..., Сц\г, С2.1, ..., С2.ы - входные емкости нейронов; N - число нейронов в каждом слое; ЕЗ - единичная задержка. Синапсы нейронов отображены в виде овалов.

Один из вариантов продвижения совокупностей единичных образов в такой сети показан на рис. 2, где 1, 3 - направления продвижения СЕО вдоль слоев и между слоями, соответственно; 2 - линии разбивки слоев на логические поля за счет сдвигов СЕО вдоль слоев.

Рис. 2. Структура слоев рекуррентной нейронной сети

Согласно рис. 2 входные СЕО поступают на первое поле первого слоя двухслойной РНС. Затем они продвигаются вдоль слоев сети по спиральной схеме и ассоциируются друг с другом, не только оставляют «след» в РНС в виде изменения весов синапсов, но и вызывают из ее памяти ранее запомненные сигналы, связанные с обрабатываемыми воздействиями. При этом напомним, что запоминание результатов распознавания сигналов на элементах сети и вызов из ее памяти связанной информации осуществляется с учетом изменения пространственных параметров расходящихся и сходящихся единичных образов в зависимости от текущих состояний слоев. Это позволяет в широких пределах изменять направления ассоциативного взаимодействия сигналов, обеспечивать обращение к памяти РНС как по содержанию, так и по адресу (направлению). За счет частичного стирания ранее запомненной информации при обработке потоков сигналов в реальном масштабе времени долговременная память анализируемой РНС не перегружается. Сеть хранит в этой памяти некоторый изменяемый по содержанию объем информации. Величина этого объема определяется емкостью памяти сети и связана с ее структурой, свойствами элементов, возможностями по стиранию устаревшей информации. Однако эти связи в явном виде не определены, что не позволяет количественно оценивать емкость памяти РНС.

Необходимо разработать метод определения емкости памяти для РНС с управляемыми синапсами со стиранием устаревшей информации.

2. МЕТОД ОЦЕНКИ ЕМКОСТИ ПАМЯТИ РНС

Для пояснения предлагаемого метода обратим внимание на то, что согласно рис. 2 поступающие в анализируемую сеть в общем случае групповые сигналы в виде последовательных СЕО за счет приоритетности коротких связей передаются на выход. На выходе сети вместе с ними присутствуют вызванные из ее памяти связанные сигналы. В данном случае рассматривается РНС только с одной сигнальной системой. Маршрутам прохождения последова-

тельных СЕО по сети можно поставить в соответствие некоторую «магистраль», внутри которой все возможные «следы» от этих образов быстро затираются. Это обусловлено тем, что одни и те же результаты распознавания единичных образов в пределах магистрали многократно запоминаются на различных элементах сети. Поэтому в таких «магистралях» связями между отдельными единичными образами, продвигающимися в одних направлениях, и, соответственно, между обеспечивающими их нейронами в сети, за исключением коротких связей, можно пренебречь. Основную нагрузку на себя, в части ассоциативного запоминания сигналов, берут синапсы между нейронами различных частей «магистрали», реализующих встречное продвижение совокупностей единичных образов вдоль слоев сети. Выделяя такую «магистраль» и основные ассоциативные взаимодействия сигналов, логическую структуру сети, показанную на рис. 2, можно привести к виду на рис. 3, где 1 - направления продвижения совокупностей единичных образов вдоль слоев; 2 - основные ассоциативные взаимодействия единичных образов.

*ч>* V^* Vx" Vx» V/* /

•^s. Л, Л, »^"ч Л Л »-N,

'S^ ......„ «

~~

ж^^ж '"S^"'' "S^* ^Sk^

j^S. j^S. »^S. ^S. .-^S. «-^S» i^S.

'S*'* "S^ ^S^ «^N. «--'N,.

Выход

Рис. 3. Структура рекуррентной нейронной сети на уровне нейро-сетевых каналов (магистрали) продвижения совокупностей единичных образов

Такой взгляд позволяет утверждать, что число активно используемых в двухслойной РНС синапсов для запоминания информации не превышает N2/2, где N - число нейронов в каждом слое. Если каждый слой РНС разбит на s одинаковых полей размером n*m , то число всех возможных вариантов совокупностей единичных образов, вводимых в сеть, равно 2nm. С учетом этого в оперативной памяти сети в любой момент времени может находиться один из

2nms вариантов последовательностей совокупностей единичных образов. Именно эти варианты и последовательности этих вариантов могут по разному запоминаться и извлекаться из РНС в зависимости от емкости ее памяти и накопленного опыта.

При обработке потоков сигналов в анализируемой РНС прямые wiJ(t) и обратные w jt) веса (проводимости) синапсов, связывающих i-е и j-е нейроны взаимодействующих слоев, с учетом [5] могут быть определены как

Wj (t) = kj (t )P j (t)n j (t), w* (t) = k* (t )P j (t )n j (t),

где kj(t) = 1 - exp(-ygy(t)), k*iJ(t) = 1 - exp(-y(gy(t) - g0)) - прямой и обратный весовые коэффициенты; у - постоянный коффициент; giJ(t) - число запомненных воздействий единичных образов на синапс на момент времени t; (gj(t) - g0) - число запомненных воздействий единичных образов, которые могут быть стерты с синапса; g0 = const; Py(t) - функция ослабления расхо-

дящихся единичных образов; Пу(0 - функция ослабления сходящихся единичных образов. При формализации запоминания и стирания результатов воздействий на синапсы единичных образов величину gij(f) можно представить в следующем виде:

* *

gj (f) = gj (f - Af) + Ag (Ij (f)), gj (f) = gj (f - Af) - Ag (I* (f)),

где Ag(IiJ(f)), Ag*(I*iJ(f)) - прирост и снижение giJ(f) в зависимости от проходящего через синапсы тока Iij(f) в прямом и тока I ij(f) в обратном направлениях.

Для такой сети характерен текущий суммарный вес синапсов, активно используемых в качестве элементов памяти сети. Этот суммарный вес можно определить как

2 N N

W (f) = Ш Wkj (f) xklJ , (1)

k=1i=1 j=1 j *i

где Хку - булева функция, принимающая значение единицы, когда синапс активно используется в качестве элемента памяти, в других случаях она равна нулю. Введенный индекс к при обозначении весов синапсов отражает принадлежность к нейронам соответствующего слоя. Значение Ws(t) при t ^да стремится к некоторому пределу Wmax. Величине Wmax свойственно равенство запоминаемых на синапсах новых и стираемых устаревших единичных образов. Именно Wmax характеризует предельные возможности РНС по запоминанию информации. Если допустить, что известно Wmax, а также в, П - средние значения функций Ру(0, Пу(0, то можно составить уравнение (2), связывающее Wmax и g - среднее значение функции gy(t):

2W - —

^^ = (1" ехР(-Уg ))вП. (2)

N 2

Разрешая (2) относительно уg , получим

- ( 2W ^ - -

yg = - 1п| 1--2^ 1= /yAg, (3)

I N 2вп )

где I - среднее число единичных образов, запоминаемых на одном синапсе; Ag - среднее значение функции ^(/у(^). Заметим, что уg можно трактовать как количество информации, запоминаемой на одном синапсе, а уАg - как количество информации, приходящейся на один единичный образ. Учтем, что число синапсов, активно используемых в качестве элементов памяти двухслойной сети, не превышает N/2, а для запоминания одного единичного образа задействуется N/2 синапсов. Принимая это во внимание, максимальное число ^^ = Ш единичных образов, которые может запомнить РНС, можно выразить в виде

N ( 2W ^

Lmax 1п| 1--2^ I . (4)

уА g У N 2вп )

Предельное количество информации С, запоминаемое на синапсах анализируемой сети, с учетом (3) равно

N2 ( 2W ^ с = - 1п| 1 - ^W2max-1. (5)

2 У N2вп)

2 —_

Отношение 2Wmax / N вп в (4) представляет собой среднее значение прямого весового коэффициента в пределах от нуля до единицы. Чем меньше в и п, тем больше емкость памяти РНС. Величина ^^ также растет с уменьшением шага изменения параметров синапсов при воздействии на них единичных образов. При одном и том же числе нейронов сети в зависимости от значения произведения yAg емкость ее памяти может быть как существенно больше, так и меньше N. Увеличение емкости памяти за счет уменьшения yAg имеет свои пределы. Величина yAg зависит от нескольких факторов. Среди них чувствительность изменения проводимости синапсов к проходящему через них току, диапазон изменения этой проводимости, число синапсов, используемых в запоминании одиночного единичного образа. Кроме этого, yAg косвенно связана с порогом возбуждения нейронов сети.

Из выражения (5) видно, что емкость памяти анализируемой РНС в виде предельного количества запоминаемой информации прямо пропорциональна квадрату числа нейронов в ее

2 —_

слоях. Она также зависит от отношения 2Wmax / N вп. Чем оно ближе к единице, тем больше величина С.

3. РЕЗУЛЬТАТЫ ОЦЕНКИ

2 —_ _

Если допустить, что 2Wmax / N вп = 0,5 и yAg = 0,001, а число нейронов в каждом слое РНС N =1080, то емкость ее памяти равна примерно 748,6 х 103 единичных образов. Для этого случая, когда каждый слой сети разбит на пять строк по 9 полей размером 4 х 6 нейронов, от суммарного числа запоминаемых единичных образов легко перейти к максимальной длине запоминаемой последовательности совокупностей этих образов. При условии, что средний объем каждой входной совокупности равен десяти единичным образам, сеть может хранить в своей памяти на синапсах последовательность из 74860 таких совокупностей. Это справедливо, когда веса синапсов при извлечении информации из памяти сети могут динамически изменяться. В случаях закрепления весов синапсов после обучения РНС возможности ее памяти резко падают. Такое закрепление с формальной точки зрения равносильно запоминанию на каждом синапсе только одного единичного образа, связанного с другими. Учитывая, что для запоминания одного образа в рассматриваемом случае задействуется N/2 синапсов, при зафиксированных весах синапсов РНС не может помнить более N единичных образов.

Если говорить об информационной емкости С памяти для РНС с рассматриваемыми па-2 —_

раметрами, при 2Wmax / N вп = 0,5, то

N 2 N 2 С =--1п(0,5) =-1п2. (6)

2 2

Заметим, что согласно (6) на один синапс приходится информационная емкость, равная

2 —_

1п2 « 0,69 . Для случая 2Wmax / N вп = 0,75 она равна 1п4 « 1,39, примерно два бита информации на синапс. Эти цифры свидетельствуют, что, в зависимости от значения отношения

2 —_

2Wmax / N вп, могут быть получены результаты как на уровне оценок емкости памяти для ранее исследованных РНС [7-9], так и существенно выше их.

В интересах подтверждения справедливости предложенного метода оценки емкости памяти РНС с управляемыми синапсами со стиранием устаревшей информации проводилось математическое моделирование. Была разработана программная модель этой двухслойной РНС. Подтверждено, что значение Wmax зависит как от числа активно используемых синапсов для запоминания результатов распознавания единичных образов, так и возможностей сети по стиранию устаревшей информации. С увеличением числа таких синапсов снижаются yAg , в ,

п и увеличивается емкость памяти сети при одном и том же числе нейронов в ее слоях. Это обусловлено тем, что с увеличением числа синапсов, используемых для запоминания отдельных единичных образов (импульсов), уменьшается средний ток, проходящий через отдельный синапс.

ЗАКЛЮЧЕНИЕ

Предложенный метод расширяет взгляды на оценку емкости памяти РНС. Метод позволяет обосновывать возможности памяти РНС со стиранием устаревшей информации при их создании и использовании. Полученные результаты показывают, что предельные оценки емкости памяти РНС выше, чем считалось ранее. Емкость памяти РНС при одном и том же числе нейронов во многом зависит от числа активно используемых синапсов, крутизны, дискретности, пределов изменения их параметров, возможностей по стиранию устаревшей информации. Теоретически РНС даже при небольшом числе входящих в нее нейронов может запоминать длинные последовательности совокупностей единичных образов. На один синапс сети может приходиться несколько бит запомненной информации.

Для полноценного обеспечения извлечения из памяти РНС запомненной информации веса синапсов после обучения сети не должны закрепляться. В качестве активно используемых синапсов, как элементов памяти, следует рассматривать те, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов вдоль слоев сети. В целях упрощения РНС связями между нейронами в пределах «магистралей» продвижения совокупностей единичных образов в РНС, за исключением коротких синапсов, предлагается пренебрегать. Применение предлагаемого метода при использовании РНС позволяет не требовать от них больше того, на что они способны.

Предложенный метод может быть востребован при создании и использовании перспективных нейросетевых машин и систем.

СПИСОК ЛИТЕРАТУРЫ

1. Galushkin A.I. Neural Networks Theory. - Berlin; Heidelberg: Springer-Verlag, 2007. - 396 p.

2. Haykin S. Neural Networks: A Comprehensive Foundation. - Second ed. - New York: Prentice Hall, 1988. - 842 p.

3. Осовский С. Нейронные сети для обработки информации / пер. с пол. И.Д. Рудницкого. - М.: Финансы и статистика, 2002. - 344 с.

4. Осипов В.Ю. Рекуррентная нейронная сеть с управляемыми синапсами // Информационные технологии. -2010. - № 7. - С. 43-47.

5. Осипов В.Ю. Стирание устаревшей информации в ассоциативных интеллектуальных системах // Мехатрони-ка, автоматизация, управление. - 2012. - № 3. - С. 16-20.

6. Осипов В.Ю. Рекуррентная нейронная сеть с двумя сигнальными системами // Информационно-управляющие системы. - 2013. - № 4. - С. 8-15.

7. Palm G. Neural associative memories and sparse coding // Neural Networks. - 2013. - Vol. 37. - P. 165-171.

8. Palm G., Sommer F.T. Information capacity in recurrent McCulloch-Pitts networks with sparsely coded memory states // Network: Computation in Neural Systems. - 1992. - Vol. 3, № 2. - P. 177-186.

9. Bosch H., Kurfess F. Information storage capacity of incompletely connected associative memories // Neural Networks. - 1998. - Vol 11, iss. 5. - P. 869-876.

Осипов Василий Юрьевич, доктор технических наук, профессор, ведущий научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН). Основное направление научных исследований - искусственный интеллект, моделирование. Имеет более 100 публикаций. E-mail: osipov_vasiliy@mail.ru

Limits memory recurrent neural networks with deletion of obsolete information

V.Yu. OSIPOV

St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, 39, 14-th Line V.O., St. Petersburg, 199178, Russian Federation, Dr. Sci. Tech., the professor, e-mail: osipov_vasiliy@mail.ru

The capabilities of recurrent neural networks with operated synapses with deletion of outdated information are investigated. Problem of estimating the storage capacity of these networks is solved. It is noted that for its decision because of specifics of rules of storing of information known methods are not suitable. They are not focused on an assessment of storing of long sequences of sets of single images. In them the limit total weight of the synapses which are actively used as elements of memory, is not taken into account. Not taken into account the dependence of the memory capacity of the signal attenuation functions in the network. New method for assessing memory capacity recurrent neural networks that process information in real-time is considered. The spiral structure of the network at the level of neural network channels is presented. Analytic expression relating the memory capacity of their networks with the parameters is obtained. The parameters are the number of neurons, limiting the total weight of synapses network, the average values of attenuation functions divergent and convergent individual signals other. It is shown that the marginal valuations memory capacity of recurrent neural networks is higher than previously thought. At one synapse may account for more than two bits of information. Recommendations to improve the recurrent neural networks are formulated. As elements of long-term memory is proposed to use only those synapses that bind neurons, providing a counter-promotion of individual signals in the network.

Keywords: recurrent neural networks, structure, synapses, attenuation, capacity, memory, erasure, obsolescence, information, method

REFERENCES

1. Galushkin A.I. Neural Networks Theory. Berlin, Heidelberg, Springer-Verlag, 2007. 396 p.

2. Haykin S. Neural Networks: A Comprehensive Foundation. Second Edition. New York, Prentice Hall, 1988. 842 p.

3. Osovskii S. Neironnye seti dlya obrabotki informatsii [Neural networks for processing of information]. Moscow, Fi-nansy i Statistika, 2004. 344 p.

4. Osipov V.Yu. Rekurrentnaya neironnaya set' s upravlyaemymi sinapsami [Recurrent Neural Network with Operated Synapses]. Informacionnye tehnologii — Information technologies, 2010, no. 7, pp.43-47.

5. Osipov V.Yu. Stiranie ustarevshei informatsii v assotsiativnykh intellektual'nykh sistemakh [Erase Outdated Information in Associative Intelligent Systems]. Mechatronika, avtomatizacia, upravlenie - Mechatronics, automation, control, 2012, no. 3, pp. 16-20.

6. Osipov V.Yu. Rekurrentnaya neironnaya set' s dvumya signal'nymi sistemami [The Recurrent Neural Network with Two Signal System]. Informatsionno-upravliaiushchie sistemy — Information and Control Systems, 2013, no. 4. pp. 8-15.

7. Palm G. Neural associative memories and sparse coding. Neural Networks, 2013, no 37, pp. 165-171.

8. Palm G., Sommer F.T. Information capacity in recurrent McCulloch-Pitts networks with sparsely coded memory states. Computation in Neural Systems, 1992, vol. 3, no. 2, pp. 177-186.

9. Bosch H., Kurfess F. Information storage capacity of incompletely connected associative memories. Neural Networks, 1998, vol. 11, iss. 5, pp. 869-876.

* Received 27March 2014.

ISSN 1814-1196, http://journals.nstu.ru/vestnik Scientific Bulletin of NSTU Vol. 56, No. 3, 2014, pp. 115-122