CC BY
28
2017 Математические основы информатики и программирования №37
УДК 004.8
РЕДУКЦИЯ СВЯЗЕЙ АВТОАССОЦИАТИВНОЙ ПАМЯТИ ХОПФИЛДА
М. С. Тарков
Институт физики полупроводников СО РАН, г. Новосибирск, Россия
На основе аналогии с осцилляторными сетями выполнено исследование влияния сокращения числа связей на поведение автоассоциативной сети Хопфилда. Показано, что исключение связей с весами, модули которых строго меньше максимального для данного нейрона, существенно повышает качество работы сети. При этом допустимая доля искаженных элементов входного вектора сети возрастает с увеличением его размерности.
Ключевые слова: автоассоциативная память Хопфилда, правило Хебба, проекционный метод, осцилляторная сеть, редукция связей.
DOI 10.17223/20710410/37/9
REDUCTION OF SYNAPSES IN THE HOPFIELD AUTOASSOCIATIVE
MEMORY
M.S. Tarkov
Rzhanov Institute of Semiconductor Physics SB RAS, Novosibirsk, Russia E-mail: tarkov@isp.nsc.ru
The auto-associative Hopfield network is a set of neurons in which the output of each neuron is the input of all other neurons, i.e. the inter-neuronal connections graph of the Hopfield network is complete. The large number of inter-neuronal connections is one of the problems of the Hopfield networks hardware implementation. A solution is the reduction (exclusion) of insignificant connections. In this paper, based on the analogy with oscillator networks, the connections number reducing effect on the autoassociative Hopfield network behavior is investigated. It is shown that the exclusion of connections with weights whose absolute values are strictly less than the maximum for a given neuron substantially improves the operation quality of the Hopfield network trained according to the Hebb's rule. As the dimension of the stored vectors increases, not only the chimeras disappear but the permissible input data noise level also increases. At the same time, the network connections number is reduced by 13-17 times. The reduction of connections in the Hopfield network, trained by the projection method, worsens its functioning quality, namely: in the network output data, there are distortions even while the reference vectors are entered. With the stored vectors dimension increasing, the allowable noise level for the reduced Hopfield — Hebb networks approaches the corresponding index for the Hopfield projection networks. Thus, given the much smaller number of connections in the reduced Hopfield — Hebb networks, these networks can successfully compete with the Hopfield projection networks for a sufficiently large stored vectors dimension.
Keywords: auto-associative Hopfield memory, Hebb's rule, projection method, oscillatory network, reduction of connections.
Введение
Сеть Хопфилда [1,2] представляет собой слой нейронов с непосредственной обратной связью выхода со входом. Выходные сигналы нейронов являются одновременно входными сигналами сети: хг(£) = уг(£ — 1), £ = 0,1, 2,..., г = 1,... , N, N — количество нейронов сети. В классической сети Хопфилда отсутствует связь выхода нейрона с собственным входом, что соответствует весам /шц = 0, а матрица весов является
симметричной: Ш = Шт. Каждый нейрон имеет функцию активации
- ( £
У г = ЙЩП ^ х] \]=1,г=3
со значениями ±1. Основную зависимость, определяющую сеть Хопфилда, можно представить в виде
Уг(£) = ^п( £ Ы]УзЦ — 1) ) , г = 1, . . . , N (1)
\3=1,г=3 )
с начальным условием уз- (0) = Х].
В процессе функционирования сети Хопфилда можно выделить два режима: обучения и классификации. В режиме обучения на основе известных векторов подбираются весовые коэффициенты сети. В режиме классификации при фиксированных значениях весов и вводе конкретного начального состояния нейронов возникает переходный процесс вида (1), завершающийся в одном из локальных минимумов функции Ляпунова сети, для которого у(£) = у(£ — 1). При вводе обучающих векторов веса вычисляются согласно обобщенному правилу Хебба
1 р
= ^ЕХ? Хк. (2)
Важным параметром ассоциативной памяти является её ёмкость. Под ёмкостью понимается максимальное число запомненных образов, которые классифицируются с допустимой погрешностью £тах. Показано [1], что при использовании для обучения правила Хебба и при етах = 0,01 (1 % компонентов образа отличается от нормального состояния) максимальная ёмкость памяти ртах = 0,138N. Такую сеть будем называть далее сетью Хопфилда — Хебба.
Проекционный метод [3, 4] обучения сети Хопфилда имеет вид итерационной зависимости матрицы весов Ш от последовательности обучающих векторов хк, к = 1,... ,р:
ук = (ж к-1 — е )хк,
ук • укт
Шк = Шк-1 + -——
1 кТ к
у к • у к
при начальных условиях Ш0 = 0 (Е — единичная матрица). В результате предъявления р векторов матрица весов сети принимает значение Ш = Шр. Применение этого метода увеличивает максимальную ёмкость сети Хопфилда до ртах = N — 1. Далее такую сеть будем называть проекционной.
Одной из проблем аппаратной реализации нейронных сетей является большое количество межнейронных связей (синапсов) [5 - 8]. Для автоассоциативных сетей Хопфил-да эта проблема является наиболее острой в силу их полносвязности. Выходом является редукция (исключение) малозначимых связей [9]. Целью данной работы является разработка метода редукции связей и исследование влияния редукции связей на качество работы сети.
1. Редукция осцилляторной сети
Сеть из осцилляторов [10] может хранить двоичный вектор X = (xi,... , Xn), Xi S
e{-1,1}:
( N \
Xi = sign Yh WijXj , i = 1,... , N, Wij = cos(^i(i) - (t)), \j=M=j /
где ^j(i) —фаза i-го осциллятора.
При использовании правила Хебба (2) сеть осцилляторов хранит большое количество ложных образов (химер). С целью их исключения в [10] предложен способ модификации весов (1):
Г +1,Wij = +1,
= < -1,Wij = -1, (3)
[0, -1 < Wij < +1.
Иными словами, исключаются связи с весами, модуль которых меньше 1, поскольку такие связи делают возможным появление химер [1].
2. Редукция сети Хопфилда
Правило (3) редукции весов можно перенести на произвольную сеть Хопфилда. Рассмотрим произвольную строку w = (wi1,... , wiN), i S {1,... , N}, матрицы весов этой сети (вектор весов нейрона). Исходя из вида ступенчатой функции активации sign, можно утверждать, что для этой функции важны лишь относительные величины элементов Wj в строке Wi. Поэтому, не меняя результатов работы сети, можно нормировать величины Wj следующим образом:
Wij ^
wij
max |wi7-| j=i,...,N' jl
Нормированные величины удовлетворяют неравенству —1 ^ Wj ^ +1. Тогда можно ввести величину сдвига фазы = arccos(wij-) между компонентой Xj (t) =
= ±1 вектора входных сигналов i-го нейрона и его выходным сигналом xi(t + 1) = ( N \
= sign I Y wijXj (t) I, то есть \j=M=j J
B N
Xi(t + 1) = sign I Y, cos ^ijXj (t) \j=1,i=j
и, согласно [10], к коэффициентам wij = cos можно применить преобразование (3), то есть исключить из сети Хопфилда связи, имеющие веса —1 < wij < +1.
С целью сохранения симметрии матрицы весов правило редукции (3) для сетей Хопфилда приобретает следующий вид: вес wij обнуляется одновременно с весом wj при одновременном выполнении условий |wij | < |wi>max| и |w| < |Wj,max |, где wi>max и Wj)max — максимальные веса в строках i и j соответственно.
3. Эксперименты
В экспериментах в качестве эталонных объектов использовались биполярные векторы, полученные кодированием изображений десятичных цифр (рис. 1) (черным пикселям ставится в соответствие —1, белым +1). Эксперименты проводились для изображений с размерами 8 х 8, 16 х 16, 32 х 32, 64 х 64 и 128 х 128 пикселей.
1234567830
Рис. 1. Эталонные изображения
В табл. 1 представлены количества связей в сети Хопфилда до (Еъе£Оге) и после (Еайег) редукции, а также отношение этих величин (коэффициент сокращения числа связей). Из табл. 1 следует, что предложенный метод позволяет сократить количество связей в сети Хопфилда — Хебба более чем на порядок.
Таблица 1 Количество связей в сети Хопфилда
п х п 8 х 8 16 х 16 32 х 32 64 х 64 128 х 128
ЕЪеЮге 4032 65280 1047552 16773120 268419072
ЕаЙег 297 3840 64512 1044480 16744448
Еа1^ег/ЕЪе5оге 0,074 0,059 0,062 0,062 0,062
Установлено, что классическая сеть Хопфилда, обученная по правилу Хебба, не содержит химер (рис. 2), если количество хранимых эталонов не более 3. При выполнении редукции связей в этой сети для всех изображений цифр размером 8 х 8 работа сети существенно улучшается, хотя не все изображения цифр восстанавливаются полностью даже при нулевом уровне шумов (искажений пикселей) (рис. 3).
3 ЗН 313 3 3 Э 3 3
Рис. 2. Химеры, порождаемые сетью Хопфилда, обученной по правилу Хебба, при числе эталонов равном 10
Рис. 3. Восстановленные изображения цифр размером 8 х 8 после редукции связей в сети Хопфилда — Хебба
Будем называть уровень шума (рис. 4) допустимым, если для заданного набора эталонных изображений сеть Хопфилда полностью фильтрует шум. При увеличении размеров изображений сеть Хопфилда — Хебба с редуцированными связями не только не порождает химер, но и позволяет повысить максимально допустимый уровень шума Сиеъъ входных данных (табл. 2).
Попытка редукции связей в проекционной сети Хопфилда положительного результата не дала. В этом случае для эталонных изображений всех вышеуказанных размеров редуцированная сеть Хопфилда порождала искажённые изображения даже при
Рис. 4. Пример зашумленного изображения цифр при уровне шума 57%
отсутствии искажений во входных данных. Проведено исследование нередуцированной проекционной сети на устойчивость к шумам во входных данных. Результаты представлены в табл. 2.
Таблица 2 Допустимый уровень шума £ в процентах
п х п 8 х 8 16 х 16 32 х 32 64 х 64 128 х 128
£Рго]ес^оп 14 33 48 64 89
£неЪЪ - 3 22 57 88
На рис. 5 проводится сравнение редуцированной сети Хопфилда — Хебба и проекционной нередуцированной сети Хопфилда по допустимому проценту искаженных пикселей во входных данных. Из этого сравнения следует, что с увеличением размера хранимых изображений (числа нейронов сети Хопфилда) устойчивость к шумам ^ыеъъ редуцированной сети Хопфилда — Хебба приближается к соответствующему показателю ^Рго^сиоп проекционной сети Хопфилда. При этом количество связей в редуцированной сети более чем на порядок меньше числа связей классической сети Хопфилда (табл. 1).
8x8 16x16 32x32 64x64 128x128
Число нейронов
Рис. 5. Допустимый уровень процента искаженных пикселей
Заключение
Выполнено исследование влияние редукции связей сети Хопфилда на качество её функционирования. Показано, что:
1. Редукция связей в сети Хопфилда — Хебба существенно улучшает качество её функционирования. С ростом размерности хранимых векторов не только исчезают химеры, но и возрастает допустимый уровень шума во входных данных. При этом для изображений размерами 8 х 8, 16 х 16, 32 х 32, 64 х 64 и 128 х 128 пикселей количество связей сети сокращается в 13-17 раз, то есть более чем на порядок.
2. Редукция связей в проекционной сети Хопфилда ухудшает качество её функционирования: в выходных данных сети появляются искажения даже при вводе эталонных векторов.
3. С ростом размерности хранимых векторов допустимый уровень шума для редуцированных сетей Хопфилда — Хебба приближается к соответствующему показателю для классических проекционных сетей Хопфилда.
Таким образом, с учётом гораздо меньшего числа связей в редуцированных сетях Хопфилда — Хебба эти сети при достаточно большой размерности хранимых векторов могут успешно конкурировать с классическими проекционными сетями Хопфилда.
ЛИТЕРАТУРА
1. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344с.
2. Hopfield J. Neural networks and physical systems with emergent collective computational abilities // Proc. National Academy of Science USA. 1982. V. 79. P. 2554-2558.
3. PersonnazL., GuyonI., and Dreyfus G. Collective computational properties of neural networks: New learning mechanisms // Phys. Rev. A. 1986. V. 34. No. 5. P. 4217-4228.
4. Michel A.N. and Liu D. Qualitative Analysis and Synthesis of Recurrent Neural Networks. N.Y.: Marcel Dekker Inc., 2002. 504 p.
5. Hu S. G., Liu Y., Liu Z., et al. Associative memory realized by a reconfigurable memristive Hopfield neural network // Nature Commun. 2015. V. 6. Article no. 7522.
6. Тарков М. С. Сеть Хопфилда с межнейронными соединениями на основе мемристорных мостов // Труды XVIII Междунар. науч.-технич. конф. «НЕЙРОИНФОРМАТИКА-2016». М.: МИФИ, 2016. Ч.3. С. 91-100.
7. Tarkov M. S. Hopfield network with interneuronal connections based on memristor bridges // LNCS. 2016. V. 9719. P. 196-203.
8. Tarkov M. S. Oscillatory neural associative memories with synapses based on memristor bridges // Optical Memory and Neural Networks (Information Optics). 2016. V. 25. No. 4. P. 219-227.
9. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 276 c.
10. Maffezzoni P., Bahr B., Zhang Z., and Daniel L. Analysis and design of Boolean associative memories made of resonant oscillator arrays // IEEE Trans. Circuits Systems I: Regular Papers. 2016. V. 63. No. 8. P. 1964-1973.
REFERENCES
1. Osovskiy S. Neironnye seti dlya obrabotki informatsii [Neural networks for data processing]. Moscow, Finansy i Statistika, 2002. 344 p. (in Russian)
2. Hopfield J. Neural networks and physical systems with emergent collective computational abilities. Proc. National Academy of Science USA, 1982, vol. 79, pp. 2554-2558.
3. PersonnazL., GuyonI., and Dreyfus G. Collective computational properties of neural networks: New learning mechanisms. Phys. Rev. A, 1986, vol.34, no. 5, pp. 4217-4228.
4. Michel A. N. and Liu D. Qualitative Analysis and Synthesis of Recurrent Neural Networks. N.Y., Marcel Dekker Inc., 2002. 504 p.
5. Hu S. G., Liu Y., Liu Z., et al. Associative memory realized by a reconfigurable memristive Hopfield neural network. Nature Commun., 2015, vol.6, article no. 7522.
6. Tarkov M. S. Set Hopfilda c mezhneyronnymi soedineniyami na osnove memristornykh mostov [Hopfield Network with interneuronal connections on the base of memristor bridges]. Proc. NEIR0INF0RMATIKA-2016, Moscow, MEPhI Publ., 2016, part3, pp. 91-100. (in Russian)
7. Tarkov M. S. Hopfield network with interneuronal connections based on memristor bridges. LNCS, 2016, vol.9719, pp. 196-203.
8. Tarkov M. S. Oscillatory neural associative memories with synapses based on memristor bridges. Optical Memory and Neural Networks (Information Optics), 2016, vol.25, no.4, pp.219-227.
9. Gorban A. N. and Rossiev D. A. Neuronnye seti na personalnom kompyutere [Neural networks on personal computer]. Novosibirsk, Nauka Publ., 1996. 276p.
10. Maffezzoni P., Bahr B., Zhang Z., and Daniel L. Analysis and design of Boolean associative memories made of resonant oscillator arrays. IEEE Trans. Circuits Systems I: Regular Papers, 2016, vol. 63, no. 8, pp. 1964-1973.
