Ассоциативные клеточные нейронные сети с адаптивной архитектурой Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.8:681.5 А.К. ДЕХТЯРЕНКО

АССОЦИАТИВНЫЕ КЛЕТОЧНЫЕ НЕЙРОННЫЕ СЕТИ С АДАПТИВНОЙ АРХИТЕКТУРОЙ

1. Введение

Клеточные нейронные сети представляют собой набор простых пороговых устройств (нейронов) с неполным набором связей между ними. Неполнота связей делает эти сети особенно привлекательными для аппаратной реализации [1 - 3]. Если позволить нейронам иметь различные наборы связей (в отличие от сети, состоящей из полностью идентичных нейронов [4]), то подобную, достаточно простую модель, можно наделить нетривиальными свойствами ассоциативной памяти. Одни из первых работ в этой области [5] используют аппарат псевдообращения матриц и показывают принципиальную возможность этого. В нашей работе [6] мы детально исследовали псевдоинверсный алгоритм обучения [5] и показали, что его возможно модифицировать, отказавшись от шага, обеспечивающего симметричность весовой матрицы. Это позволяет достигнуть лучших показателей сети без потери ее устойчивости в представляющем интерес диапазоне значений параметров, а также снимает требование симметричности архитектуры сети.

Работа [7], хотя и не имеет прямого отношения к клеточным сетям, но является одним из наводящих мотивов данной работы. В ней показано, что для полносвязной сети Хопфилда, обученной по проекционному алгоритму, возможно без существенного ущерба для качества функционирования сети удалить до 80% малоинформативных связей. Размещение связей, оставшихся после такой селекции, очевидно, имеет большое значение для качественной работы сети и отображает некоторые скрытые закономерности и отношения в запоминаемых данных. Возникает естественная идея использовать подобное правило селекции для формирования архитектуры клеточной сети. Можно ожидать, что эта архитектура позволит добиться лучших результатов, чем применение клеточной сети с некоторой другой, заранее задаваемой конфигурацией.

Полносвязная сеть Хопфилда [8] - это первая нейросетевая реализация ассоциативной памяти. Она использует свойство мультистабильности систем с обратными связями. Если устойчивые состояния такой сети соответствуют запоминаемым данным, то сеть из некоторого начального состояния способна в ходе так называемого процесса конвергенции (последовательной смены состояний) прийти в одно из своих устойчивых состояний, которое может считаться автоассоциативным откликом сети.

Для сети с п нейронами (сети размерности п) и вектором состояний х процесс конвергенции можно записать как

2. Алгоритм

(1)

где С - весовая матрица сети;

/ - активационная функция нейрона.

Наилучшее качество ассоциативного восстановления сети Хопфилда на настоящий момент достигается с применением проекционного правила обучения [9]. В нем весовая матрица сети представляет собой решение уравнения устойчивости

образом весовая матрица С равняется проекционной матрице на подпространство, образованное запоминаемыми векторами.

Обучение, согласно формуле (3), также можно представить в рекуррентном виде [11], где весовая матрица сети изменяется при запоминании сетью каждого нового вектора :

Правило селекции связей [7] состоит в сохранении в весовой матрице С, обученной по правилу (3) или (4), лишь весов с наибольшими абсолютными значениями. Значения остальных

весов устанавливаются в нуль. В работе [7] показано, что полносвязная сеть Хопфилда при

небольших степенях заполнения памяти (10% образов от размерности сети) может сохранять свою работоспособность при сохранении лишь 20% весов, отобранных по подобному принципу. В дальнейшем будем ссылаться на этот алгоритм обучения, как на проекционный алгоритм с селекцией связей, либо просто правило селекции связей.

В отличие от правила селекции связей, где размещение связей между нейронами известно

лишь после того, как определен набор данных, который должен храниться в сети,

псевдоинверсный алгоритм обучения клеточных сетей [5] позволяет формировать весовую матрицу сети С при заранее заданных ограничениях на ее структуру. Пускай эти ограничения представлены конфигурационной матрицей Ш- матрицей размерности (п Xп), элементы которой принимают значения {1,0} в зависимости от существования либо отсутствия связи между соответствующими нейронами. В данной работе с целью упрощения мы не рассматриваем пороговые смещения нейронов. В работе [6] было показано, что их введение равносильно добавлению одной степени свободы в решаемые уравнения для нахождения весов. Это позволяет запомнить ровно на один образ больше при сохранении качества ассоциативного распознавания.

Для /-го нейрона уравнение устойчивости нейронной сети (3) примет вид

СУ = V,

(2)

(3)

где оператор + обозначает операцию псевдообращения матрицы [10]. Получаемая таким

(4)

(5)

Для учета структурных ограничений, накладываемых клеточной архитектурой сети, введем оператор селекции, действующий в пространствах матриц разной размерности:

Ж1 :(1 X п) ® (IX ц(/)), (6)

где

п

ц(')=Еж. (7)

j=l

Оператор Ж1 оставляет от матричных аргументов лишь те столбцы, которые соответствуют ненулевым компонентам /-й строки конфигурационной матрицы Ж.

Тогда для /-го нейрона веса, которым позволено иметь ненулевые значения, образованы вектором-строкой Ж1 (С1), а подмножество компонент запоминаемых данных, поступающим на

входы нейрона и соответствующие этим весам, можно представить как Ж1 (VТ)Т. С учетом этого уравнение устойчивости (5) для /-го нейрона примет вид

Ж1 (С1) -Ж' (Ут )т = V'. (8)

Оптимальное решение уравнения (8) с точки зрения его минимальной нормы при условии минимума невязки можно найти, применяя операцию псевдообрашения:

Ж1 (С1) = V1 -(ж1 (Гт )т)+. (9)

Суть предлагаемого в данной работе алгоритма обучения клеточных сетей (назовем его псевдоинверсный адаптивный алгоритм) заключается в подборе архитектуры сети согласно правилу селекции весов и дальнейшем ее обучении с помощью псевдоинверсного алгоритма по формуле (9).

3. Постановка эксперимента

Экспериментальное сравнение алгоритмов проводилось на данных, которые представляли собой 256-мерные векторы (п = 256) независимыми компонентами, принимающими равновероятные значения {+1,-1}. В качестве активационной функции f в (1) использовалась знаковая функция с областью значений {+1,-1}. За основную характеристику качества функционирования сети была принята величина аттракторного радиуса - максимальная интенсивность искажений, полностью устраняемых сетью в процессе конвергенции. Входные данные искажались путем смены знака на противоположный у г случайных компонент.

Аттракторный радиус определялся экспериментально. Для этого для каждого запомненного вектора данных случайным образом генерировалось 100 различных реализаций искажений с заданной интенсивностью. Искаженные данные подавались на вход сети и, в зависимости от наличия либо отсутствия ошибок на ее выходе, уровень искажений либо понижался, либо увеличивался. Поиск величины искажения соответствующей аттракторному радиусу сети осуществлялся методом бисекции. Для найденного таким образом значения г осуществлялась проверка того, что сеть устраняет также искажения с интенсивностями г-1, г-2, г-3. Это делалось,

чтобы учесть некоторую немонотонность зависимости окончательной ошибки сети от

интенсивности искажений, вызванную тем, что число рассматриваемых реализаций искажений гораздо меньше числа всех возможных.

В работе [12] было показано, что ослабление непосредственных обратных связей нейронов (за которые отвечают диагональные элементы весовой матрицы С) позволяет увеличить

аттракторный радиус для полносвязных сетей. Данный подход получил название метод

разнасыщения. Ослабление связей осуществляется посредством умножения диагональных элементов на величину 0<а<1, называемую коэффициентом разнасыщения. Оптимальной ее величиной для сети, обученной по проекционному алгоритму, является а ~ 0,15. Однако задание слишком малого коэффициента разнасыщения приводит к неустойчивости сети (отсутствию сходимости процесса конвергенции (1)) и, тем самым, к ухудшению ее аттракторных свойств.

Для клеточных сетей, обученных по псевдоинверсному алгоритму, также имеет смысл применять метод разнасыщения, однако значение коэффициента а зависит от конфигурации сети и степени ее заполнения и должно подбираться экспериментально. Поскольку это весьма трудоемкий процесс, то было предложено использовать следующую эмпирическую формулу:

a = 0.\5m/trace(C), (10)

где m - количество запомненных образов в сети.

Эта формула дает значение а = 0,15 для проекционной сети (поскольку для нее trace(C) = m, разд. 5) и значение, обратно пропорциональное следу матрицы для псевдоинверсной сети. Такое приближение оказалось близким к оптимальному значению а, что было подтверждено опытным путем.

В экспериментальной части данной работы при определении величин аттракторного радиуса для всех рассмотренных алгоритмов используется метод разнасыщения со значением а, определяемым согласно (10).

4. Экспериментальные результаты

Сравнение правила селекции весов с предлагаемым алгоритмом

В ходе эксперимента определялся аттракторный радиус (attraction radius) сети как функция от степени ее связности - connectivity degree (относительная доля связей, которым позволено иметь ненулевые значения). Вначале эти зависимости были получены для сетей, обучаемых по

Connectivity degree

Рис. 1. Зависимости аттракторного радиуса сетей от степени их связности

правилу селекции связей (WS - weights selection) и псевдоинверсному адаптивному алгоритму (PI -pseudo-inversion), хранящих m = 26, 51 и 77 эталонов (заполнение памяти 10%, 20% и 30% от размерности сети).

Из зависимостей, отображенных на рис. 1, видно, что применение псевдоинверсного адаптивного алгоритма позволяет добиться лучшего качества ассоциативного восстановления по сравнению с сетью, обученной по правилу селекции весов для величин связности сети до 0,4 (m = 26) - 0,6 (m = 77). При больших значениях степени связности различие в поведении сетей, обученных по этим алгоритмам, исчезает. Это соответствует тому факту, что псевдоинверсный алгоритм (9), будучи формально применен к полносвязной сети, дает весовую матрицу сети, равную той, что получается в результате проекционного алгоритма обучения (3, 4). Также следует отметить, что для предельно малых степеней связности сети применение псевдоинверсного адаптивного алгоритма позволяет получить сеть с ненулевым аттракторным радиусом, используя число связей на 5-15% меньшее, чем это позволяет сделать правило селекции весов.

Правило селекции весов с повторным обучением

В работе [7] для улучшения качества функционирования сети, обученной по правилу селекции связей, предлагалось использовать повторное обучение на запомненных данных, используя рекуррентное соотношение (4), а затем снова осуществить селекцию связей. Было показано, что повторное обучение позволяет дополнительно сократить число связей без заметного ухудшения качества распознавания. Однако этот результат применим лишь к сетям с небольшой степенью связности и, как следствие, с небольшим заполнением памяти. Чтобы сравнить качество ассоциативного восстановления предлагаемого алгоритма с сетью, прошедшей процедуру повторного обучения (WS retrained), был проведен следующий эксперимент.

Процедура повторного обучения позволила практически уравнять качества

ассоциативного распознавания рассматриваемых алгоритмов для сетей с сильно разреженными весовыми

матрицами. Однако с

увеличением связности сети повторное обучение приводит к нестабильным результатам, что вызвано более точным выполнением уравнения

устойчивости (2) для весовой матрицы сети, а, значит, к вероятности появления все меньших значений в знаменателе формулы (4). Поэтому для сети, хранящей m = 77 векторов и обладающей ненулевым аттракторным радиусом при значениях степени связности в диапазоне [~0.4, 1], ее повторное обучение давало

Connectivity degree

Рис. 2. Использование повторного обучения для сети, обученной по правилу селекции связей

нестабильные результаты, начиная уже с нижней границы этого диапазона (эта зависимость на рис. 2 не приведена).

Использование корреляционной матрицы для задания архитектуры сети

Правило селекции весов позволяет задавать

конфигурацию сети исходя из наибольших элементов

проекционной матрицы на подпространство, образованное запомненными векторами. Можно

предположить, что большое абсолютное значение

некоторого элемента этой матрицы сигнализирует о некоторого рода взаимосвязи (корреляции) между соответствующими компонентами запоминаемых данных. Конфигурационную матрицу сети можно построить аналогичным образом с использованием корреляционной матрицы. Представляет интерес вопрос о том, насколько различные архитектуры получаются при использовании различных способов построения конфигурационной матрицы сети.

На рис. 3 показана зависимость отличия конфигураций сетей (отношение числа отличающихся элементов в конфигурационных матрицах к общему числу элементов) от степени связности весовой матрицы и количества запоминаемых образов. Видно, что использование проекционной и корреляционной матриц приводит к различным конфигурациям сети. Причем степень их отличия растет с уменьшением степени связности сети и с увеличением количества хранимых образов.

Чтобы выяснить, как это отличие влияет на

ассоциативные качества сети, был проведен эксперимент, в котором сравнивался

аттракторный радиус клеточных сетей с псевдоинверсным алгоритмом обучения,

архитектура которых задавалась по правилу селекции весов с использованием проекционной

Рис. 4. Сравнение сетей использующих для формирования архитектуры проекционную либо корреляционную матрицы

Connectivity degree

Рис. 3. Отличия конфигураций сети, полученных с использованием проекционной и корреляционной матриц

(ряд Р1) и корреляционной матриц (ряд Р1 согг).

Из рис. 4 видно, что использование проекционной матрицы при формировании архитектуры сети обеспечивает лучшее качество ассоциативного восстановления на всем диапазоне значений степени связности сети и для различных степеней заполнения памяти. Это свидетельствует о том, что корреляционные соотношения в запоминаемых данных, получаемые при использовании проекционной матрицы, имеют большее значение при решении систем уравнений (8), чем чисто статистические зависимости, выражаемые корреляционной матрицей.

Клеточная сеть с фиксированной архитектурой

Чтобы убедиться в значимости предлагаемого способа выбора архитектуры, аналогичный эксперимент по определению аттракторного радиуса был проведен для клеточной сети с псевдоинверсным алгоритмом обучения, архитектура которой задавалась фиксированным образом с заданной долей связей. Предполагалось, что нейроны размещены в одномерную цепочку, и для каждого нейрона позволено иметь связи лишь с соседними нейронами, т.е. нейронами из некоторой его окрестности. При такой архитектуре сети весовая матрица имеет ленточную

структуру с ненулевыми

Connectivity degree

весовыми коэффициентами, сосредоточенными вдоль

Рис. 5. Сравнение сетей с различными алгоритмами обучения

главной диагонали.

Поскольку используемое отношение соседства

является рефлексивным, всем диагональным

элементам весовой

матрицы, отвечающим за связи нейронов самих с собою, также позволено иметь ненулевые значения.

На рис. 5 приведена зависимость аттракторного радиуса для такой сети, хранящей m = 51 вектор данных (PI static) в сравнении с аналогичными зависимостями для других рассмотренных сетей. Видно, что хотя такая сеть и начинает обладать ненулевым аттракторным радиусом при меньшей степени связности, чем сеть, обучаемая по правилу селекции весов, однако дальнейшее улучшение ее аттракторных свойств с ростом числа элементов весовой матрицы происходит практически линейно. Такой характер зависимости аттракторного радиуса от количества весовых коэффициентов для сети с фиксированной архитектурой не позволяет ей конкурировать ни с одним из рассмотренных алгоритмов, в которых архитектура зависит от запоминаемых данных.

5. Два критерия непрямого сравнения различных способов построения архитектуры сети

Рассмотренный в предыдущем разделе способ количественного сравнения качества работы различных алгоритмов обучения посредством экспериментального вычисления аттракторного радиуса хоть и является в достаточной степени объективным, но при этом он весьма трудоемок и требователен к вычислительным ресурсам. Его вычислительная сложность пропорциональна числу рассматриваемых вариантов искажений запомненных данных, а именно этот параметр определяет степень доверия к получаемому экспериментальному приближению гарантированного аттракторного радиуса.

Альтернативой этому подходу может быть сравнение некоторых других, отличных от аттракторного радиуса, но влияющих на него, характеристик сетей. Среди таковых мы рассмотрим след весовой матрицы и набор ее собственных значений. Метод анализа спектров весовых матриц уже успешно применялся при исследовании процессов восстановления полносвязных ассоциативных сетей после удаления подмножества нейронов [13]. Метод сравнения величин следа весовых матриц используется впервые. Его достоинством является малая вычислительная сложность. Если алгоритм обучения клеточной сети использует некоторый набор параметров, влияющих на аттракторные свойства получаемых сетей, то метод сравнения следов весовых матриц может быть использован для подбора оптимального набора значений этих параметров, позволяя избежать процедуры непосредственного тестирования.

Сравнение значений следа весовых матриц

Все три рассмотренных правила выбора конфигурации клеточной сети (используя проекционную, корреляционную матрицы и жестко задаваемую архитектуру) совместно с псевдоинверсным алгоритмом обучения имеют одно общее свойство. При условии включения в конфигурационную матрицу Ш диагональных элементов для любой степени связности сети они позволяют получить весовую матрицу С, в точности удовлетворяющую уравнению устойчивости (2). Однако ассоциативные качества сетей, обученных по таким правилам выбора архитектуры, существенно отличаются, и это можно объяснить следующим образом.

Рассмотрим правило формирования постсинаптического потенциала /-го нейрона:

Точное выполнение уравнения устойчивости (2) означает, что для запомненных векторов данных РБР, =± 1. Величина квадрата нормы ||Сг|| определяет среднее абсолютное значение

весового коэффициента С. и то, насколько величина РБР/ отклонится от значения ± 1 в случае

наличия шума во входном векторе х. Таким образом, при условии точного выполнения уравнения устойчивости следует отдавать предпочтение тем решениям для весовой матрицы сети, для

которых квадрат нормы ||С||2 = ^|Сг|| минимален.

Если в конфигурационной матрице сети = 1, т.е. /-му нейрону позволено иметь

диагональный вес Си (а это имеет место для всех рассматриваемых правил выбора архитектуры),

П

(11)

то решением уравнения (9) для этого нейрона будет /-я строка проекционной матрицы для векторов-столбцов Ж1 (VТ)Т, причем весовой коэффициент С. соответствует ее диагональному элементу. Исходя из свойства идемпотентности проекционных матриц Л = Л, следует соотношение ||С1II = С.., а значит

И2 = Ё С гг = !гасе(с) .

(12)

г=1

Поэтому более качественным решением для весовой матрицы сети с точки зрения ее аттракторных свойств можно считать то решение, которое обладает меньшим значением следа матрицы.

Для сети, архитектура которой задается отношением соседства, можно получить теоретическую оценку величины tгace(C). Элемент C// является диагональным элементом

проекционной матрицы на вектор Ж1 (VТ)Т' Размерность этой матрицы определяется значением степени связности п и имеет среднее значение пп. Размерность подпространства, на которое осуществляется проекция т, равняется следу этой проекционной матрицы. Значит, можно говорить о среднем значении коэффициента И, равном

И =

т

грп

а значит, след всей весовой матрицы

п

&асе(с) = Ё С гг ■

пИ) =

т

(13)

(14)

г=0 Л

Эта формула верна для значений п > т/п. Для значений п - т/п количество векторов в Ж1 (V Т)Т превышает их размерность, следовательно, проекционная матрица равняется тождественной (тривиальное решение), её коэффициенты И = 1, а след &асе(С) = п.

Динамика изменения следа матрицы с

изменением степени

связности сети п приведена на рис. 6. Эти зависимости построены экспериментально для

сетей, хранящих т = 51 вектор и обучаемых по правилу селекции связей (ШЭ), а также по

псевдоинверсному алгоритму с

Рис. 6. След матрицы в зависимости от степени связности сети

формированием архитектуры сети по проекционной матрице, корреляционной матрице и с фиксированной архитектурой (PI, PI corr и PI static соответственно). Ряд PI static theory отображает теоретические значения следа весовой матрицы для сети с фиксированной архитектурой, полученные по формуле (14).

Зависимости, изображенные на рис. 5 и рис. 6, подтверждают сделанное предположение о том, что для различных весовых матриц с одинаковым числом ненулевых коэффициентов сети и удовлетворяющих уравнению устойчивости (2) наилучшее качество ассоциативного распознавания обеспечивает матрица с наименьшим значением следа.

Сравнение спектров весовых матриц

Другим критерием непрямого сравнения ожидаемого качества ассоциативного распознавания различных сетей является сравнение упорядоченных спектров их весовых матриц. В качестве эталонного спектра при такой оценке может выступать набор собственных значений весовой

матрицы полносвязной сети, обученной по проекционному алгоритму. Ее спектр имеет ступенчатую

форму и состоит из собственных значений, равных 1 (соответствуют запомненным векторам

данных) и 0 (соответствуют векторам из ортогонального дополнения). Тем самым в ходе процесса

конвергенции при умножении текущего состояния сети на весовую матрицу сохраняется компонента состояния, расположенная в подпространстве запомненных данных, и подавляется ее ортогональная составляющая.

На рис. 7 можно

видеть искажение формы этого спектра как в области единиц, так и в области нулей, при проведении процедуры

селекции весов (WS). Для

псевдоинверсных алгоритмов

обучения клеточных сетей такое искажение происходит

лишь в области нулей, поскольку точное решение уравнения неподвижности (2) сохраняет единичную часть спектра. По степени искажения нулевой части спектра эти алгоритмы расположились в следующем порядке: алгоритм с динамическим заданием архитектуры по проекционной матрице (PI), по корреляционной матрице (PI corr) и алгоритм с жестко задаваемой архитектурой (PI static). Такое упорядочивание в точности соответствует результатам сравнения качества ассоциативного распознавания сетей, полученным в экспериментальном разделе данной работы. Также следует отметить, что поскольку весовые матрицы, получаемые в результате применения

псевдоинверсного алгоритма обучения, не являются симметричными, то в их спектрах появляются

комплексные значения. На рис. 7 для соответствующих сетей приведены только вещественные

Рис. 7. Спектры весовых матриц

части спектров. Мнимые их части, в силу небольшого отклонения матриц от симметричной формы, составляют порядка 10% от действительных.

б. Выводы

Исходя из результатов работы, можно утверждать, что выбор архитектуры клеточной сети с использованием информации о данных, которые она будет хранить, позволяет добиться лучших результатов, чем применение некоторой другой, заранее заданной конфигурации.

При выборе архитектуры клеточной сети, обучаемой по псевдоинверсному алгоритму, целесообразно использовать правило селекции весов по проекционной матрице. Этот метод дал наилучшие результаты среди рассмотренных. Можно предположить, что для псевдоинверсного алгоритма обучения это наилучшая стратегия, поскольку она использует механизм построения проектирующих операторов, а именно этот механизм применяется для нахождения коэффициентов весовой матрицы сети.

Рассматриваемый алгоритм может быть успешно применен для аппаратной реализации ассоциативной памяти на базе клеточных сетей, однако эта реализация должна позволять существование хоть и ограниченного числа, но произвольных связей. Если же ограничения на связность сети носят не только количественный, но и топологический характер (к примеру, связи допускаются лишь для близлежащих нейронов), то предлагаемый алгоритм в чистом виде не применим. Однако если в такой, более жесткой постановке задачи, все же имеется некоторая свобода выбора архитектуры, то предлагаемый алгоритм может быть модифицирован для нахождения архитектуры, обеспечивающей построение сети с наилучшими характеристиками.

СПИСОК ЛИТЕРАТУРЫ

1. Austin J. The cellular neural network associative processor, C-NNAP // Proc. of 5th IEEE Int. Conference on Image Processing and its Applications. - Edinburgh, Scotland. - 1995. - P. 622 - 626.

2. Sungjun Park, Joonho Lim and Soo-Ik Chae Digital Implementation of discrete-time cellular neural networks with distributed arithmetic // Proc. of International Conf. on Neural Networks, ICNN'97. - Houston, Texas, USA. - 1997. - Vol. II. - P. 959 - 963.

3. Julian P., Dogaru R., Itoh M., Haenggi M., Chua L. O. On the RTD Implementation of Simplicial Cellular Nonlinear Networks // Proc. of the 7th IEEE International Workshop on Cellular Neural Networks and their Applications. - Frankfurt, Germany. - 2002. -July 22 - 24. - P.140 - 148.

4. Chua L. O., Yang L. Cellular Neural Networks: Theory // IEEE Trans. on Circuits and Systems. - 1988. - Vol. 35. - P. 1257 -1272.

5. Brucoli M., Carnimeo L., Grassi G. Discrete-time Cellular Neural Networks for associative memories with learning and forgetting capabilities // IEEE Trans. on Circuits and Systems. - 1995. - CAS-42(7). - P. 396 - 399.

6. Дехтяренко А.К., Новицкий Д.В. Нейронная ассоциативная память с клеточной структурой // Математичні машини і системи. - 2002. - № 3. - С. 37 - 44.

7. Сычев А. Селекция весов в нейронных сетях с псевдоинверсным алгоритмом обучения // Математичні машини і системи. - 1998. - № 2. - С. 25 - 30.

8. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Nat. Acad. Sci. -1982. - Apr. - Vol. 79. - P. 2554 - 2558.

9. Personnaz L., Guyon I., Dreyfus G. Collective computational properties of neural networks: New learning mechanisms // Phys. Rev. A. - 1986. - Vol. 34(5). - P. 4217 - 4228.

10. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание; Пер. с англ. - М.: Наука, 1977. - 237 с.

11. Reznik A.M. Non-iterative learning for neural networks // Proc. of the International Joint Conference on Neural Networks, Washington. - 1999. - July. - Paper no 548.

12. Gorodnichy D.O., Reznik A.M. Increasing Attraction of Pseudo-Inverse Neural Networks // Neural Processing Letters. - 1997. -N 5. - P. 121 - 125.

13. Reznik A.M., Sitchov A.S., Dekhtyarenko O.K., and Nowicki D.W. Associative Memories with "Killed" Neurons: the Methods of Recovery // Proc. of the International Joint Conf. on Neural Networks. - Portland, Oregon. - 2003. - July 20-24. - P. 2579 - 2582.