CC BY
107
УДК 681.3+611.81 А.М. РЕЗНИК
ХОПФИЛДОВСКИЕ АНСАМБЛИ В ЛАТЕРАЛЬНЫХ НЕЙРОСТРУКТУРАХ КОРЫ МОЗГА
Abstract: It is proposed the model of mechanism of associative memory as set of local groupsof neurons, creating layers of cerebral cortex, named by Hopfield's ensembles. Ensemble consists of near 3 thousands of cells and can remember hundreds of partners of nervous activity. Set of overlaping ensembles answer the model of the rare Hopfield net. The new results of researches of this model, allowing interpretation of a number characteristics of neuron ensembles. The are discribed experiments of memory full restoration after extracting the part of connections of the neuron net and repeated remembering independent images, reproducing the effect of recovery of amnesia by remembering the sickman of the forgot images.
Key words: associative memory, Hopfield ensembles.
Анотація: Запропоновано модель механізму асоціативної пам'яті як множини локальних груп нейронів, що утворюють шари кори мозку, які названі хопфілдовськими ансамблями. Ансамбль містить до 3 тис. клітин і може пам'ятати сотні патернів нервової активності. Ансамблі частково перетинаються, і їх множина відповідає моделі розрідженої мережі Хопфілда. Розглянуто результати останніх досліджень цієї моделі, які дозволяють інтерпретувати деякі властивості хопфілдовських нейронних ансамблів. Наведено результати експерименту щодо повного відновлення пам'яті після видалення частини зв'язків мережі та повторного навчання на деяких забутих образах, який відтворює ефект лікування амнезії шляхом нагадування хворому деяких забутих образів минулого.
Ключові слова: асоціативна пам'ять, хопфілдовські ансамблі.
Аннотация: Предложена модель механизма ассоциативной памяти как множества локальных групп нейронов, образующих слои коры мозга, названных хопфилдовскими ансамблями. Ансамбль содержит до 3 тыс. клеток и может помнить сотни паттернов нервной активности. Множество перекрывающихся ансамблей отвечает модели разреженной сети Хопфилда. Рассмотрены новые результаты исследований этой модели, позволяющие интерпретировать ряд свойств хопфилдовских нейронных ансамблей. Описаны эксперименты по полному восстановлению памяти после удаления части связей нейронной сети и повторного запоминания отдельных образов, воспроизводящие эффект излечения амнезии путем напоминания больному забытых образов.
Ключевые слова: ассоциативная память, хопфилдовские ансамбли.
1. Введение
Четверть века назад Д. Хопфилд предложил оригинальную модель нейронной сети, обладающую, подобно мозгу человека, свойствами ассоциативной памяти [1]. Она включает один слой нейронов, симметрично связанных друг с другом. Связи между нейронами такой сети имитируют синаптические связи между клетками нервной системы живых организмов. Хопфилдом была предложена формула, для вычисления величины веса (т.е. синаптической проводимости) связей при запоминании М двоичных векторов:
Рассчитанная по этой формуле сеть имеет М устойчивых состояний (аттракторов), соответствующих запомненным векторам. Будучи установлена в произвольное начальное состояние, сеть совершает колебания, пока не достигнет ближайшего аттрактора. Переход сети в состояние аттрактора, называемый конвергенцией, напоминает процесс воспоминания по ассоциации, например, восстановления в памяти зрительного образа по его фрагменту. Это свойство было использовано при создании прикладных хопфилдовсих нейросистем, таких как
m
где xi - значение і -й составляющей m -го запоминаемого вектора.
двусторонняя ассоциативная память [2].
Однако предложенная Хопфилдом модель нейронной сети не получила заметной поддержки у физиологов, не нашедших подобных структур в нервной системе живых организмов. Наиболее серьезные возражения вызывала огромная разница в соотношении между числом нейронов и количеством межнейронных связей, поскольку в сети Хопфилда, нейроны которой связаны друг с другом, число связей нейрона определяется размерами сети. В нервной системе живых организмов подавляющее большинство синаптических связей замыкается в пределах небольшого окружения нервной клетки. Число связей нервной клетки не превышает нескольких тысяч, что намного меньше их общего количества, достигающего у высокоразвитых организмов нескольких миллиардов. Заметим, что мозг человека содержит около 20 млрд. нейронов, каждый из которых имеет не более 10 тысяч синапсов. Другое возражение вызывает различие в представлении нервной активности, передаваемой по межнейронным связям. Возбуждение нервной клетки имеет форму серии коротких импульсов (спайков), тогда как реакции нейрона сети Хопфилда проявляются как изменения знака потенциала на его выходе. Кроме того, способ обучения сети Хопфилда путем вычисления проводимости синапсов казался несовместимым с принятыми представлениями о механизме обучения нейронов, опирающимися на модель проторения и постепенного изменения проводимости связей, предложенную физиологом Д. Хеббом еще в 1949 г. [3]. Впрочем, стоит отметить, что величина коррекции веса связи по правилу Хебба
з =ту],
где и Уз - значения входа и реакции нейрона, а ц - константа скорости обучения, по существу,
мало отличается от способа вычисления приращения веса связей при запоминании следующего вектора по формуле Хопфилда.
Модель Хопфилда получила дальнейшее развитие при разработке новых систем ассоциативной памяти, в частности, клеточной ассоциативной памяти, использующей модель разреженной сети, близкой по структуре к нервной системе живых существ. Исследования, проведенные в ряде лабораторий мира за последние годы, значительно расширяют наши представления о характере поведения разреженных нейронных сетей и их ассоциативных свойствах. Полученные знания позволяют по-новому взглянуть на имеющиеся противоречия во взглядах на природу ассоциативной памяти и высказать предположение о существовании в нервной системе высокоразвитых организмов нейронных структур, подобных сети Хопфилда. В настоящей работе мы проанализируем аргументы в пользу этой гипотезы, дадим краткий обзор последних результатов исследований нейронной ассоциативной памяти и рассмотрим результаты эксперимента, демонстрирующего эффект самовосстановления частично разрушенной ассоциативной памяти, напоминающий известный в медицине способ лечения амнезии путем повторного предъявления полузабытых образов.
2. Латеральные структуры коры головного мозга
Нервная ткань коры головного мозга имеет многослойную структуру, изображенную на рис. 1. Подавляющее большинство связей между нейронами не выходит за пределы одного слоя и замыкается в ближайшей окрестности, содержащей от нескольких сотен до нескольких тысяч нейронов. Принято считать, что преобладание латеральных связей (соединяющих нейроны одного слоя) служит для взаимного торможения нейронов и усиления градиентов возбуждения нейронных ансамблей. Хотя это мнение опирается на многочисленные данные электрофизиологических исследований, оно не дает объяснения более чем стократному преобладанию числа латеральных связей над числом афферентных волокон, осуществляющих прямую передачу возбуждения между слоями нейронов. Это наводит на мысль о том, что роль латеральных связей в работе механизмов памяти мозга намного значительнее и их функции не ограничиваются обострением избирательной чувствительности нейронов. Ознакомление с многочисленными попытками интерпретации
порядка 2-6 мм. Легко подсчитать, что количество нейронов, лежащих в пределах досягаемости аксона, составляет от 2,5 до 30 тыс., т.е. находится в тех же границах, что и среднее число синапсов нейрона. Такое совпадение дает основание утверждать, что в пределах ближайшего окружения (2-3мм) нейроны связаны друг с другом, т.е. образуют симметричные структуры, близкие по строению к нейронной сети Хопфилда. Время распространения спайков в пределах такой структуры не превышает двух миллисекунд, что близко к длительности спайков (0,5-1,5 мсек) и заметно меньше длительности вызываемых ими постсинаптических потенциалов (4-10мсек) [7]. Можно ожидать, что поведение таких групп нервных клеток напоминает поведение сети Хопфилда, состоящей из статических нейронов. Поэтому будем называть такие компактные группы нервных клеток хопфилдовскими ансамблями.
Хопфилдовские ансамбли частично перекрываются, т.е. каждый нейрон является центром своего ансамбля и в то же время принадлежит многим ансамблям, центрами которых являются другие нейроны этого же ансамбля. Каждый хопфилдовский ансамбль содержит до нескольких тысяч связанных друг с другом нервных клеток и может, подобно сети Хопфилда, обладать аттракторными свойствами, т.е. резонировать на некоторые паттерны (локальные фрагменты нейронной активности). Количество таких паттернов можно оценить, исходя из аналогии с сетью Хопфилда. Эта величина может достигать 10% от числа нейронов в ансамбле. Иначе говоря,
механизмов памяти и обучения в малых группах нейронов [4, 5] приводит к
аналогичным выводам.
Рис.1. Строение коры головного мозга [6]
Согласно имеющимся данным изучения организации коры головного мозга [5, 6], на 1 мм поверхности слоя нейронов приходится 200-300 нервных клеток. Число синапсов нейрона, образующих его входы, лежит в пределах 2-20 тыс. Длина аксона (выходного волокна нервной клетки) и его горизонтальных разветвлений составляет
хопфилдовский ансамбль каждой нервной клетки может иметь до нескольких сотен резонирующих паттернов и выполнять функции локальной ассоциативной памяти, обеспечивающей запоминание и распознавание фрагментов нервной активности.
Помимо хопфилдовского ансамбля, образующего ближайшее окружение, связи нервной
клетки охватывают большое число нейронов,
входящих в ее отдаленное окружение. Большинство таких связей являются односторонними. Они нарушают симметрию сети, что приводит к искажению ассоциативных свойств нейронного ансамбля. Влияние таких связей можно представить как смещение пороговых установок нейронов симметричной сети. При соответствующем выборе веса межнейронных связей такое смещение
практически не ухудшает ассоциативные свойства
Рис. 2. Структура синаптической матрицы сети и лишь несколько изменяет расположение
слоя нейронов с выделенным аттракторов [8]. Это дает основание считать, что
на ней хопфилдовским ансамблем протяженные связи выполняют функцию объединения
хопфилдовских ансамблей и согласования локальных фрагментов нервной активности. Они также обеспечивают прохождение афферентных потоков нервной активности между слоями нервных клеток.
Множество связей слоя клеток нервной системы можно представить в виде квадратной матрицы, стороны которой соответствуют нейронам, а элементы - значениям синаптической проводимости, т.е. веса связей. Большинство членов матрицы соответствуют отсутствующим связям и имеют нулевые значения. При подходящем упорядочении строк и столбцов матрицы
можно добиться того, что ненулевые элементы образуют узкую ленту вдоль главной диагонали
матрицы, как это изображено на рис. 2. Метод такого переупорядочения предложен и использован в работе [9]. Ширина ленты соответствует числу связей нейрона, т.е. близка к размерам нейронного ансамбля, связи которого на рисунке образуют квадрат, выделенный темным цветом. На рисунке выделены также связи нейронов данного ансамбля с нейронами, принадлежащими другим ансамблям. Они образуют входы и выходы данного ансамбля.
Структура ленточной матрицы близка к симметричной, поэтому слой нейронов может обладать ассоциативными свойствами, проявляющимися как на локальном уровне (в пределах хопфилдовских ансамблей отдельных нейронов), так и на уровне всего слоя. При воздействии афферентного потока нервной активности, содержащего фрагменты запомненных паттернов, хопфилдовские ансамбли активируются и начинается процесс их конвергенции в состояние аттракторов. Это приводит к тому, что, проходя сквозь слой нервных клеток, афферентный поток преобразуется в набор ранее запомненных паттернов нервной активности.
Наличие связей между хопфилдовскими ансамблями усложняет протекание конвергенции в самих ансамблях, придает ей характер сложного колебательного процесса, охватывающего значительные участки слоя нейронов. Этим можно объяснить наблюдаемый при изучении
энцефалограмм волнообразный характер перемещения активности вдоль поверхности коры головного мозга.
3. Неполносвязные сети Хопфилда
Предложенная в 1982 г. Дж. Хопфилдом модель нейронной сети вызвала сенсацию в научном мире, однако вскоре интерес к ней был потерян из-за относительно малого объема ассоциативной памяти и быстрого снижения эффективности при увеличении количества запоминаемых данных. Число образов, запоминаемых такой сетью, не превосходит 14% от числа нейронов, а требуемый для ее реализации объем физической памяти, определяемый количеством синапсов, примерно в 40 раз превышает квадрат от числа образов. Впоследствии были предприняты усилия по преодолению недостатков, которые привели к разработке проекционного, или, как его часто называют, псевдоинверсного алгоритма обучения, основанного на точном решении уравнения устойчивости сети Хопфилда [10]. Это позволило практически удвоить объем ассоциативной памяти и довести его до уровня 25% от числа нейронов [11].
Псевдоинверсное правило коррекции веса связей при запоминании нового вектора имеет
вид:
число нейронов сети.
При х{ >>эта формула практически совпадает с правилом Хопфилда, однако при приближении запоминаемого вектора к аттракторам сети приращение Awi . оказывается намного
большим из-за уменьшения величины знаменателя. Это приводит к подчеркиванию различий между запоминаемыми векторами и более эффективному использованию ассоциативной памяти.
Если рассматривать ^ как значение потенциала мембраны нервной клетки, а х{ - как
значение сигнала, поступающего на ее синапс, то величина х{ должна выражать разность
потенциалов между мембраной и концевым утолщением аксона, разделенных синаптической щелью, в которую поступают молекулы медиатора при появлении спайка. Из этого следует, что разность х{ -э{ существенно влияет на протекание локальных процессов изменения проводимости
синапса при обучении. Интенсивность этих процессов должна также зависеть и от состояния всей сети, усиливаясь при запоминании данных, близких к тем, которые уже хранятся в памяти сети. Конечно, такое объяснение нуждается в экспериментальной проверке, но все же оно выглядит намного убедительнее, чем известные модели Хебба и Хопфилда.
Дальнейшие исследования псевдоинверсного алгоритма обучения привели к созданию реверсивного псевдоинверсного алгоритма обучения, позволявшего не только запоминать, но и выборочно удалять данные из ассоциативной памяти [12]. За этим достижением последовала разработка метода разнасыщения синаптической матрицы, позволившего еще раз удвоить объем
где si = ^ х■ - величина постсинаптического потенциала I-го нейрона; N - общее
ассоциативной памяти и довести число запоминаемых образов до более, чем 60% от числа нейронов [13]. Этим был превзойден считавшийся ранее непреодолимым теоретический предел в 50% для объема нейронной ассоциативной памяти. Заметим, что все отмеченные выше модели усовершенствованной ассоциативной памяти реализованы в отечественном нейрокомпьютере ЫеигоЬапЬ [14].
Исследования по сокращению количества межнейронных связей привели к разработке клеточной (ое!!и!аг) модели нейронной сети [15], матрица связей которой имеет ленточную структуру. Впоследствии был разработан псевдоинверсный алгоритм обучения такой сети, позволявший стабилизировать ее поведение путем введения контролируемой асимметрии межнейронных связей [16]. Однако, как показано в работе [17], при использовании данного алгоритма объем ассоциативной памяти сети ограничен размерами одной клетки. Более эффективный подход к сокращению числа межнейронных связей предложен в работе [18]. Этот метод основан на селекции связей предварительно обученной полносвязной нейронной сети. При повторении операций обучения и селекции удается в 6-8 раз сократить число связей без уменьшения общего объема ассоциативной памяти сети.
Теоретическое объяснение свойств ассоциативной памяти с разреженной матрицей связей получено в работе [19], где дано общее решение уравнения устойчивости нейронной сети с произвольной матрицей связей и предложен спектральный метод анализа свойств ассоциативной памяти. Среди новых перспективных исследований в данной области можно отметить работу [20], в которой предложена нейропарадигма ядерной ассоциативной памяти, отличающаяся наличием нелинейности в цепях обратной связи, а также работу [9], в которой развивается концепция “тесного мира”, дающая новую, более наглядную интерпретацию ассоциативных свойств неполносвязных нейронных сетей.
Полученные к настоящему времени теоретические и экспериментальные результаты позволяют более точно интерпретировать имеющиеся данные о механизмах памяти, функциях и строении нервной системы. Это дает возможность не только сократить разрыв между существующими представлениями о строении нервной системы живых организмов и ее моделями типа сети Хопфилда, но также более целенаправленно проводить дальнейшие теоретические и экспериментальные исследования по данной проблеме.
4. Восстановление частично разрушенной ассоциативной памяти
Наиболее загадочным явлением в работе мозга есть способность сохранять в памяти огромный объем данных и спустя десятки лет вспоминать образы и события в мельчайших подробностях. Эту способность трудно объяснить в рамках концепции коннекционизма, однозначно связывающей следы памяти со значениями веса межнейронных связей. Действительно, вследствие процессов метаболизма, значения веса связей со временем могут меняться, ведя к потерям запомненной информации. Аналогичные потери могут происходить и при итеративном обучении нейронной сети путем проторения связей или корректировки их веса. Очевидно, что в нервной системе высокоразвитых организмов существуют механизмы регенерации, обеспечивающие длительное сохранение ранее запомненных данных и защиту информации от разрушения при запоминании
новых данных. Пока известен единственный механизм обучения нейронной сети, не вызывающий разрушения ранее запомненных данных - это псевдоинверсный алгоритм, обеспечивающий запоминание новых данных “на лету”, без повторения запоминаемых данных [21]. Предложенное Хопфилдом правило дает хорошее приближение при небольшом количестве запоминаемых образов (менее 10% числа нейронов). Неясно, однако, как подобный алгоритм может действовать в реальной нервной системе, не имеющей выраженного центра для координации изменений веса связей. Предварительные соображения о механизмах такой координации рассматривались в работах [22, 23], однако эта тема пока находится на ранней стадии исследования.
Проблема значительно упрощается, если рассматривать нервную систему как совокупность небольших относительно автономных хопфилдовских нейронных ансамблей. Действие псевдоинверсного алгоритма может не выходить за пределы ансамбля, обеспечивая запоминание паттернов нервной активности и их регенерацию при отказе отдельных нейронов или утере связей. Возможность такой регенерации следует из значительной информационной избыточности, присущей сети Хопфилда. Действительно, для запоминания двоичных N - мерных паттернов
сети Хопфилда требуется N2 связей, каждая из которых, по оценкам, полученным в работе [11], требует порядка 7 двоичных разрядов. Поскольку общее число таких паттернов не может превышать 0,25N, то для хранения каждого паттерна требуется не менее 4N семиразрядных двоичных чисел. Иначе говоря, для хранения одного бита паттерна необходимо не менее 15 бит памяти (с учетом симметрии связей).
С целью выяснения возможности использования избыточности нейронной сети для повышения ее робастности был проведен ряд экспериментов по восстановлению частично разрушенной ассоциативной памяти [24]. Эксперименты проводились на сети Хопфилда с псевдоинверсным алгоритмом обучения и включали предварительное обучение сети с последующим обнулением значений веса всех связей у части нейронов. После этого оценивалось качество ассоциативной памяти с целью проверки степени ее разрушения. Затем проводилось повторное обучение на некоторых из ранее запомненных векторов, и снова оценивалось качество ассоциативной памяти. Критерием качества ассоциативной памяти служила величина аттракторного радиуса, определяемого как минимальное расстояние по Хеммингу, преодолеваемое вектором состояния сети на последнем шаге конвергенции (при переходе сети в состояние аттрактора). Запоминаемые паттерны представляли собой бинарные векторы, генерируемые датчиком случайных чисел. При чтении данных из ассоциативной памяти использовался метод разнасыщения синаптической матрицы, описанный в работе [13]. В экспериментах использовались полносвязные сети, содержавшие от 64 до 2048 нейронов при разной степени заполнения памяти и различной степени разрушения сети.
На рис. 3 и 4 приведены результаты экспериментов на сети из 256 нейронов при запоминании 120 произвольно заданных векторов и последующем обнулении веса всех связей у 40 случайно выбранных нейронов. Рис. 3 содержит результаты измерения аттракторного радиуса для всех 120 запомненных векторов после удаления связей и последующего дообучения сети на 10, 30 и 40 векторов, случайно выбранных из числа ранее запомненных. Как видно, сохранившаяся после удаления 40 нейронов сеть полностью теряет способность к конвергенции. Лишь для одного из 120
ранее запомненных векторов (№100) аттракторный радиус не равен нулю. При повторном запоминании происходит полное восстановление величины аттракторного радиуса для вновь запоминаемых векторов и частичное - для остальных. Когда количество вновь запомненных векторов достигает числа удаленных нейронов, аттракторные свойства сети полностью восстанавливаются. Заметим, что при этом связи восстанавливаются полностью у всех 256 нейронов.
Рис. 3. Изменения аттракторного радиуса при повторном обучении На рис. 4 приведены результаты анализа изменения спектра синаптической матрицы в ходе проведенного эксперимента. После удаления части связей спектр матрицы существенно обедняется, но появляются дополнительные компоненты (в диапазоне 81-160), число которых равно количеству исключенных нейронов и которые не исчезают при последующем дообучении нейронной сети. Наличие этих спектральных составляющих почти не влияет на ассоциативные свойства сети, однако это влияние может становиться заметным при последующих циклах разрушения/восстановления связей.
Природа наблюдаемых в этих экспериментах искажений исследована в работе [19], где показано, что задача восстановления разрушенных связей не имеет однозначного решения. Использованный в экспериментах псевдоинверсный алгоритм дает приближенное решение этой задачи, чем и объясняется появление ложных спектральных составляющих.
Рис. 4. Эволюция спектра синаптической матрицы при повторном обучении Наблюдаемое в данном эксперименте явление регенерации ассоциативной памяти напоминает случаи излечения амнезии после напоминания больному ярких образов или событий забытого им прошлого. Воспроизведение этого эффекта в лабораторных условиях может служить дополнительным подтверждением того, что использованная нами модель нейронной сети
Хопфилда и методы ее обучения достаточно близки к тем, которые существуют в нервной системе живых организмов.
5. Выводы
Результаты исследования моделей ассоциативной памяти, данные строения нервной системы, а также материалы проведенных нами экспериментов убедительно подтверждают гипотезу о наличии в нервной системе живых организмов структур ассоциативной памяти, подобных сети Хопфилда. Считается, что такими структурами являются хопфилдовские нейронные ансамбли -компактные группы нервных клеток, объединенных латеральными связями. Такие перекрывающиеся ансамбли образуют нейронные слои коры головного мозга.
Хопфилдовский ансамбль содержит от одной до нескольких тысяч нейронов и по структуре близок полносвязной сети Хопфилда. Ансамбль выполняет функции локальной ассоциативной памяти, хранящей до нескольких сотен паттернов - многомерных последовательностей спайков, характеризующих активность нейронного ансамбля в течение времени конвергенции (порядка 1-5 миллисекунд). Латеральные связи ансамбля выполняют функции многомерного фильтра, осуществляющего разложение поступающего извне возбуждения в спектр по запомненным паттернам. Если амплитуда одной из спектральных составляющих превышает некоторый порог, начинается процесс конвергенции, приводящий к полному восстановлению запомненного паттерна. Распространение нервной активности между хопфилдовскими ансамблями внутри слоя нейронов и обмен потоками спайков между слоями обеспечивают интеграцию локальных паттернов и формирование суммарной активности, отображаемой на уровне сознания.
Результаты экспериментов по восстановлению ассоциативной памяти позволяют предполагать, что механизм долговременной памяти связан с рециркуляцией потоков спайков в перекрывающихся хопфилдовских ансамблях. Если корректировки значений межнейронных связей происходят лишь при переходе хопфилдовского ансамбля в состояние аттрактора, то нарушения ассоциативной памяти, вызванные потерей нейронов или синаптических связей, будут автоматически устраняться при каждом достижении аттракторного состояния. Однако таким способом могут устраняться лишь малые искажения, не выходящие за аттракторный радиус ансамбля. Поэтому смена аттракторных состояний должна происходить достаточно часто, пока разрушения ансамбля не становятся необратимыми. Эти соображения позволяют объяснить роль спонтанной ритмики: она активирует хопфилдовские ансамбли в периоды отсутствия внешних воздействий и таким образом поддерживает регенерацию ассоциативной памяти. По-видимому, аналогичную роль играют и сновидения, реконструирующие крупные фрагменты запомненной нервной активности. Для выяснения, насколько эти предположения справедливы, необходимы дальнейшие исследования в сотрудничестве со специалистами в области психологии и нейрофизиологии.
Наиболее спорным сегодня является вопрос о применимости результатов исследования статических моделей нейронной сети для интерпретации поведения реальной нервной системы, состоящей из динамических (спайковых) нейронов. Центральной проблемой является обучение спайковых сетей. Сегодня спайковые нейронные сети являются объектом интенсивных
фундаментальных исследований. Однако созданные модели пока мало отличаются от уже известных статических прототипов [26]. Очевидно, что разработка адекватных моделей спайковых нейронов и нейронных сетей является делом будущего. Не исключено, что при этом придется вернуться к моделям спайковых нейронов, разработанным еще в 60-е годы минувшего столетия [27, 28].
СПИСОК ЛИТЕРАТУРЫ
1. Hopfield J. Neural networks and phisical systems with emergent collective computational abilities // Proc. Nat. Acad. Sci. USA. - 1982. - N 79. - P. 2554-2558
2. Kosko B. Bidirectional Fssociative Memories // IEEE Transactions on Systems. Man and Cybernetics. - 1988. -Vol.18. - P. 49-60.
3. Hebb D.O. The Organization of Behavior: A Neuropsychological Theory. - New York: Wiley, 1949.
4. Voronkov G.S., Rabinovich Z.L. On Neuron Mechanisms Used to Resolve Mental Problems of Identification ana Learning in Sensorium // Proc. of KDS 2003. - Varna, Bulgaria. - 2003. - June 16-26. - P. 62-67.
5. Cмолянинов В.В. О некоторых особенностях организации коры мозжечка // Модели структурнофункциональной организации некоторых биологических систем: Сб. - М.: Наука, 1966. - С. 203-263.
6. Поляков Г.И. О принципах нейронной организации мозга. - М.: Изд. МГУ, 1965.
7. Экклз Д. Физиология синапсов. - М.: Мир, 1966. - 395 с.
8. Reznik A.M. Projection learning algorithm for threshold-controlled neural networks // Cybernetics and System Analysis. - 1994. - Vol. 30, N 4. - P.603-613.
9. Dekhtyarenko O. Systematic Rewriting in Associative Neural Networks with Small-World Architecture // Proc. of the International Joint Conference on Neural Networks (IJCNN'05). - Montreal, Quebec, Canada. - 2005. - July 31-August 4. - P.1178-1181.
10. Personnaz L., Guyon I., Dreyfus G. Collective computational properties of neural networks: new learning mechanisms // Physical Review A. - 1986. - Vol. 34. - P. 4217-4228.
11. Weinfield M. A fully digital integrated CMOS Hopfield network including the learning algorithm // Proc. of Intern.Workshop on VLSI for Art. Intel. - Univ. Oxford. - 1988. - 20-22 July. - E1. - P.1-11.
12. Yen G., Michel A.N. A Learning and Forgetting Algorithm in Associative Memories: Results Involving Pseudo-
Inverses // IEEE Transactions on Circuits and Systems. - 1991. - Vol. 38, N 10, October.
13. Gorodnichy D.O., Reznik A.M. Increasing Attraction of Pseudo-Inverse Neural Networks // Neural Processing Letters 5. -1997. - P.121-125.
14. Резник О.М., Калина Е.А., Садова Е.Г., Дехтяренко А.К., Сичов О.С., Галинська А.О. Багатофункціональний нейрокомп'ютер NeuroLand // Математичні машини і системи. - 2003. - №1. - С.36-45.
15. Liu D., Michel A.N. Cellular neural networks for associative memories // IEEE Trans. Circuit Systems, CAS-40. -1993. - P.119-121.
16. Bruccoli M., Carnimeo L., Grassi G. Heteroassociative memories via cellular neural networks // International
journal of circuit theory and applications. - 1998. - Vol. 26. - P.231-241.
17. Дехтяренко А., Новицкий Д. Ассоциативная память на базе неполносвязных нейронных сетей // Труды 8 всероссийской конференции "Нейрокомпьютеры и их применение". - Москва. - 2002. - 21-22 марта.
18. Сычев А.С. Селекция связей в нейронных сетях с псевдоинверсным алгоритмом обучения // Математичні машини і системи. - 1998. - № 2. - С.25-30.
19. Новицький Д.В. Алгебраїчні методи в теорії нейронної асоціативної пам'яті: Дис... канд. ф.-м. наук. - Київ, 2005.
20. Новицкий Д.В. Нейронная ассоциативная память на основе ядерных сетей // Математические машины и системы. - 2003. - №3-4. - С.79-86.
21. Reznik A.M. Non-Iterative Learning for Neural Networks // Proc. International Joint Conference on Neural Networks. - Washington DC. - 1999. - №548, July 10-16.
22. Різник О.М. Загальна модель розвитку // Математичні машини і системи. - 2005. - № 1. - С. 84-98.
23. Резник А.М. Многорядные динамические перцептроны // Перцептрон - система распознавания образов / Под ред. А. Г. Ивахненко. - Киев: Наукова думка, 1975. - С. 243-292.
24. Reznik A.M., Sitchov A.S., Dekhtyarenko O.K., Nowicki D.W. Associative Memories with "Killed" Neurons: the Methods of Recovery // Proc. of the International Joint Conference on Neural Networks. - Portland, Oregon. - 2003. -July 20-24.
25. Gerstner and Kistler Spiking Neuron Models. Single Neurons, Populations, Plasticity // Cambridge University Press. - 2002.
26. Резник А.М. Обучение на нейронном уровне и спонтанная активность // Стат. электрофизиология, материалы симпозиума. - Вильнюс: Изд. Вильнюс. гос. унив-та. -1968. - 12-18 августа. - Ч.1. - С.481-496.
27. Резник А.М., Бондар А.А. Механизм активного обучения нейронов // Проблемы бионики. - Харьков: Изд-во ХГУ, 1972. - Вып.8. - С.84-93.
