Принципы построения классических нейронных архитектур на базе импульсных нейронов Текст научной статьи по специальности «Математика»

УДК 517.928 + 517.929

О. А. Дунаева

Принципы построения классических нейронных архитектур на базе импульсных нейронов

В статье описаны принципы построения импульсных аналогов классических нейронных сетей. Используемые при этом импульсные нейронные сети образованы из биологически правдоподобных динамических нейронов, а их работа основана на импульсном кодировании информации. Общие принципы проиллюстрированы примерами построения импульсного аналога многослойного перцептрона и рекуррентной сети Хопфилда.

Ключевые слова: импульсное кодирование информации, асимптотический анализ, нелинейный нейрон МакКаллока -Питца, многослойный перцептрон, сеть Хопфилда.

О. А. Dunaeva

Principles of Constructing Classical Neural Architecture on the Basis of Pulse Neurons

In the article principles of constructing pulse analogs of classical neural networks are described. Pulse neural networks used like this are formed of biologically plausible dynamic neurons, and their work is based on pulse coding of the information. The general principles are illustrated by examples of construction of a pulse analog of multilayered perceptron and a recurrent network of Hop-fild.

Keywords: pulse coding of the information, the asymptotic analysis, nonlinear neuron of MakKallok-Pitts, multilayered percep-tron, a network of Hopfild.

§ 1. Импульсное кодирование информации

Классические нейросетевые архитектуры основаны на гипотезе о частотном кодировании информации в нервной системе. В рамках этой концепции основной формальной моделью биологического нейрона является нелинейный нейрон МакКаллока - Питца, на базе которого были построены разнообразные нейронные сети, реализующие многие высокоуровневые функции нервной системы [3]. В то же время гипотеза о частотном кодировании входит в противоречие с современными экспериментальными данными о скорости выполнения некоторых задач обработки информации в нервной системе животных и человека. Современные представления о функционировании нервной системы связаны с использованием одного из альтернативных способов кодирования, лучше адаптированных к реализации быстрой обработки сенсорной информации. Одной из таких альтернативных гипотез является гипотеза об импульсном кодировании, согласно которой информация в нервной системе представляется локальными временными характеристиками потока нервных импульсов - индивидуальными моментами спайков отдельных нейронов.

Опишем используемую ниже схему импульсного кодирования информации. Поставим в соответствие импульсам, приходящим на входы импульсного нейрона в моменты времени , и импульсу,

возникающему на его выходе в момент времени ^зр. числовые значения Pi и Q , которые мы будем называть числовыми входами и числовым выходом импульсного нейрона. Поскольку мы рассматриваем импульсный нейрон-автогенератор, то процесс его функционирования естественным образом распадается на отдельные такты, на каждом из которых нейрон генерирует в точности один импульс. На каждом такте работы импульсного нейрона зафиксируем референтные моменты времени и

_ ¿i ~ Q _ "sp ~ *out

?"out и определим величины Ре и Ч следующими формулами: ' ' ft , у Параметр

ft позволяет отмасштабировать временные сдвиги импульсов на заданный интервал С > fl, то есть в дальнейшем мы считаем выполненными включения Референтные моменты времени

Njut привяжем к моменту -- начала очередного такта (обычно это момент последнего спайка

© Дунаева О. А., 2011

Q и будем считать, что ^нс — + F

импульсного нейрона), то есть зафиксируем числа ?

Описанное выше взаимно однозначное соответствие между моментами времени и 'sp (моменты входных и выходного спайков импульсного нейрона) и значениями Р; и Ч (значения числовых входов и выхода импульсного нейрона) будем называть импульсным {Я Q' ft ^-кодирование м.

§ 2. Модель нейрона с химическими BS-синапсами

В работе [2] описана биологически правдоподобная модель импульсного нейрона-автогенератора, основанная на уравнении с запаздыванием, а в работе [3] эта модель была дополнена моделью химического синапса с ограниченным интервалом чувствительности (Bounded Sensitivity). Нейрон с BS-синапсами (BS-нейрон) задается уравнением:

йЮ = Л[-1 -hJuitt) + &£н- 1» + Ли тт]»;т<1и.€;> (1)

Здесь Я 5 Q - большой параметр, определяющий скорость процессов поляризации-деполяризации мембраны нейрона; и - гладкие положительные функции, монотонно стремящиеся к

нулю при к ™ ; /Ltiwj - функционал, определяющий влияние суммарного внешнего синаптиче-ского воздействия

на динамику мембранного потенциала. Будем считать выполненным условие ж = /к' — /»а' 0 ~~ 1 > tt , гарантирующее неустойчивость нулевого состояния равновесия изолированного нейрона (при л ).

Решение уравнения для изолированного нейрона оказывается периодическим и имеющим импульсную структуру [2]. Моменты начала и конца импульса (спайка) удобно связать с моментами,

Я"1

когда мембранный потенциал пересекает значение л- с положительной и отрицательной скоростью соответственно. Для длительности импульса м и периода имеют место следующие асимптотические оценки нулевого порядка точности [2]: = 1 + , 1 * *1 ^ к , где «1 = &{•) " 1 и = + 1 .

Функционал И-г] определим следующей формулой:

где

„7 [и.,, = егиЧгЖ'^г- ij) -

wif)= - Я"1).

(2)

(3)

J= i

Здесь Тя - параметр нейрона (Гг ^ ). определяющий момент начала интервала чувствительности к внешнему воздействию. Множитель ©{^г—.<: 1) гарантирует, что чувствительность к внешнему воздействию имеет место только на промежутке + М.]. Параметр имеет смысл

синаптического веса, определяющего эффективность синапса, передающего воздействие с /-го пре-

синаптического нейрона с потенциалом 1 . Множитель ® {1^— ^ "" ~ ■'■ 1 ? определяет условие наличия воздействия со стороны у-го пресинаптического нейрона, а А/ - задержка на синапсе. Этот множитель выписан в предположении, что время воздействия медиатора совпадает с продолжительностью спайка пресинаптического нейрона. Относительно задержки сигнала на синапсе везде в дальнейшем будем считать, что она равна нулю, если противное не оговорено явно.

В статье [1] для модели импульсного BS-нейрона была доказана теорема о реакции BS-нейрона на воздействие ^ пресинаптических нейронов. Приведем упрощенную формулировку этой теоремы.

Теорема 1. Если на В8-нейрон воздействуют л пресинаптических нейронов, длительность спаг'1-ков которых равна м , и начала воздействий приходятся на интервал а для весов свя-

зей выполнено неравенство я

м <

Т2 - тя - г,

(4)

:=1

то переход постсинаптического нейрона в активное состояние произойдет в момент времени

Оказывается, что при некоторых условиях при использовании импульсного кодирования информации Б8-нейрон может работать как взвешивающий сумматор, то есть справедлива следующая теорема:

Теорема 2. Пусть на В8-нейрон воздействуют Л пресннсттнческнх нег'1ронов с весами Й;, для которых выполнено неравенство

в :=1

а параметры нейрона удовлетворяют условию

Г, (7)

Пусть также у нейрона имеется № ■+■ '■!■)-и дополнительный вход Ряп = ^ с весом

&ЯМ. =

. Если на входы BS-нейрона подаются значения то при использовании

-кодирования, где

? = + $ = 0=^, (8)

BS-нейрон будет работать как взвешивающий сумматор, то есть будет выполнено равенство s

I 1

i=i , а выход Ч будет лежать на интервале \~Yi7l.

Приведем набросок доказательства. При использовании

-кодирования момент времени

tf г Ti , ^iffi

2 2у кодирует число Pz. Если № 1—Уг?1 , то момент начала каждого синаптического воздействия попадает на интервал восприимчивости рассматриваемого нейрона, и на этом интервале ни один пресинаптический нейрон не выйдет из активного состояния. Благодаря ограничению на веса (6) и условию (7) будет выполнено условие (4). Применяя теорему 1, вычислим момент начала ответного спайка и, учитывая схему (8) импульсного кодирования информации, получим равенство .V

:=i . Благодаря дополнительному v* т J-J-му входу получим:

,Y-ti ЛЧ1 Л 41 .V .V

¥= = У, &t- = ^PtPfr-Л-Гвдаи

1=1 t=l P=1 f=l p=l f=ll

Отметим, что BS-нейрон не реализует такое важное свойство нейрона, как наличие насыщения на краях области определения функции активации.

§ 3. Модель нейрона с модифицированным BS-синапсом

Предлагаемая модификация основана на следующем наблюдении: легко видеть, что результат воздействия определяется протяженностью во времени пересечения интервала чувствительности постсинаптического нейрона и интервала активности пресинаптического нейрона, то есть, изменяя интервал чувствительности постсинаптического нейрона, можно добиться появления насыщения на краях интервала чувствительности.

Для моделирования явления насыщения увеличим уровень, на котором происходит переключение постсинаптического нейрона между состояниями рефрактерности и чувствительности. Поскольку для

изолированного нейрона во время спайка скорость возрастания потенциала и скорость убывания 46 О. А. Дунаева

различны, то удобно выбрать два уровня для переключения между состояниями. Заменим в модели (1) функционал дТ1^ на модифицированный функционал •Гсг!7^'1-' , определенный следующим образом:

= сшт^ы^- ъ ¿а- т£» (9)

где

'1, н > ЯЙ^Л > з = {1, « > екр1^ il 3 (Ю)

Д и на1; ft

Нейрон, описываемый уравнением (1), в котором используется функционал (9), будем называть нейроном с модифицированным BS-синапсом, или нейроном с MBS-синапсом (Modified synapse with Bounded Sensitivity).

Поясним выбор функционала (9), который определяет чувствительность нейрона. Нейрон переходит в состояние чувствительности, когда его потенциал пересекает уровень -ч ^fti с положительной скоростью, и выходит из этого состояния в момент времени, когда потенциал пересекает уровень 0Кр1! » At) с отрицательной скоростью. Замена функционала л Ьь на функционал 1У-/при-водит к изменению интервала чувствительности нейрона.

Лемма 1. Пусть для а и при некотором положительном £ < 1 выполнены неравенства

е < а, & < - еХ

Тогда при достаточно больших значениях параметра MBS-нейрон будет чувствителен к внешнему синоптическому воздействию на интервале времени где

X = — + оСО w

flf1 и7= fi+otl'

Сформулируем теперь теорему о воздействии на MBS-нейрон.

Теорема 3. Если на MBS-нейрон воздействует один пресинаптический neftpoH с весом ■ ^-gfjjWj 9 * Tl-X-Y '

MBS-нейрон генерирует импульс в нулевой момент времени, а пресинаптический neftpoH генерирует импульс в момент времени ^ , + Тц] mo MBS-нейрон сгенерирует следующий импульс в момент времени = " ^ , где

М

' = |sT

aOl-A-J),

ib+rt-F-ltaX а

£ [Г>, Гг + л],

Ito ■= fc + KrTs + T± - Яг

Рис. 1. Функция активации MBS-нейрона

Пусть MBS-нейрон связан с другими импульсными нейронами, то есть выходной импульс MBS-нейрона будет являться входным для его постсинаптических нейронов. Для корректной передачи информации длина интервала возможной генерации импульса MBS-нейрона должна быть равна интервалам чувствительности всех его постсинаптических нейронов, которые, соответственно, должны быть одинаковыми. Оказывается, что равенства длин интервалов можно добиться за счет специфического выбора веса связи 3 .

Теорема 4. Если на MBS-нейрон воздействует пресинаптический нейрон с весом

(,1>

параметры MBS-нейрона удовлетворяют условию

T.-iTr + Ti-YftT^ ..........(12)

а на его вход подается значение pS [- F li то при использовании -кодирования, где

г'= (W

MBS-нейрон будет реализовывать функцию активации с насыщением, имеющую вид трехзвенной

ломаной (см. рис. 1), а его выход Ч будет лежать на интервале ["Г- ?1.

Отметим, что условие (12) означает, что окончание интервала чувствительности MBS-нейрона, должно опережать момент времени не менее чем на U. Вид функции активации MBS-нейрона легко получается в результате перехода от моментов времени ¿in и из предыдущей теоремы 2 к значениям входа V и выхода Q с учетом значения веса & .

§ 4. Импульсный нейрон МакКаллока - Питца

Опишем конструкцию, состоящую из импульсных нейронов и моделирующую работу нелинейного нейрона МакКаллока - Питца. В дальнейшем описанная конструкция будет именоваться импульсным нелинейным нейроном МакКаллока — Питца, или коротко импульсным нейроном МакКаллока — Питца. Рассматриваемая конструкция (см. рис. 2) состоит из двух связанных между собой импульсных нейронов - BS-нейрона и MBS-нейрона. BS-нейрон выполняет функцию сумматора в нелинейном нейроне МакКаллока - Питца, а выход BS-нейрона подается на вход MBS-нейрона, который реализует функцию активации с насыщением. Также в конструкцию входит дополнительный импульсный нейрон CLOCK, который воздействует на BS-нейрон и на MBS-нейрон с определенными временными задержками и весами и выполняет функцию генератора тактовых импульсов. Нейрон CLOCK является изолированным импульсным нейроном, то есть описывается уравнением (1) без си-наптического воздействия (ifr^ = G ).

Рис. 2. Импульсный нелинейный нейрон МакКаллока-Питца

Свойства каждого из нейронов определяются тремя его параметрами - длительностью спайка , моментом начала интервала чувствительности (отсчитывается от начала последнего спайка) и периодом генерации импульсов при отсутствии внешнего воздействия. Входящие в конструкцию импульсного нелинейного нейрона МакКаллока - Питца BS-нейрон, MBS-нейрон и нейрон CLOCK, вообще говоря, могут иметь разные значения параметров. Нас будет интересовать частный случай, когда все эти нейроны имеют одинаковые значения параметров м и Гг, но различные периоды (для BS-нейрона и MBS-нейрона имеется в виду собственный период при отсутствии внешнего воздействия). Если период BS-нейрона равен , то в качестве периода Т з MBS-нейрона выберем значение

а для нейрона CLOCK определим период Т формулой

Импульсный нейрон МакКаллока - Питца имеет входов, которые одновременно являются входами BS-нейрона. Эти входы характеризуются весами Й;, причем будем считать, что для весов выполнено условие (6). Выход MBS-нейрона является одновременно выходом импульсного нейрона МакКаллока - Питца. Для того чтобы BS-нейрон работал как сумматор, необходим также дополни-

,7

- fv 4- 1> ■ =

тельный Л" 1 1 * ^-и вход с весом, равным сумме весов остальных входов: f=i , на ко-

торый подается значение Р Л41 ~ 0 . Подача на дополнительный вход значения P.r-ti — ® осуществляется специфическим синапсом, который передает синхронизирующий импульс с нейрона

.т-

CLOCK, реализуя при этом задержку, равную " ^ ' 1 . В нашей конструкции BS-нейрон связан с MBS-нейроном с весом О , значение которого определяется равенством (11). Если MBS-нейрон сгенерирует импульс в момент времени , такой что его интервал чувствительности в точности совпадет с интервалом возможной генерации импульса BS-нейроном, то посчитанный BS-нейроном результат суммирования поступит на MBS-нейрон и к нему будет корректно применена функция активации с насыщением. В результате выход импульсного нейрона МакКаллока - Питца будет совпадать с выходом нелинейного нейрона МакКаллока - Питца.

Поскольку описанная выше конструкция образована импульсными нейронами-автогенераторами, то процесс ее функционирования естественным образом распадается на отдельные такты, на каждом из которых все нейроны генерируют в точности один импульс. Заметим, что после одного такта передачи информации рассогласование между BS-нейроном и MBS-нейроном может измениться в результате внешнего воздействия. Для обеспечения корректности дальнейшего функционирования импульсного нейрона МакКаллока - Питца необходимо привести нейроны в исходное состояние. Эта задача решается путем добавления описанного ниже такта синхронизации.

Подача синхронизирующего импульса реализуется путем добавления связи тактового нейрона

I

CLOCK с BS-нейроном (с весом О^уга) и с MBS-нейроном (с весом ). Для весов этих связей

положим = fm = для BS-нейрона выберем задержку на синапсе, равную

Д В }~п + __— \ — 1-1 4 Т Т 4, \7 '

" J 1 , а для MBS-нейрона - задержку ?vwf" — J 2 ' ' i ~ L т - Пусть после первого рабочего такта BS-нейрон сгенерировал очередной импульс в моменты времени и затем в момент времени Тг перешел в состояние восприимчивости. Будем считать, что на этом участке восприимчивости внешнее воздействие отсутствует и на BS-нейрон оказывает влияние только синхронизирующий импульс, и рассмотрим результат воздействия синхронизирующего импульса на BS-

нейрон. Функция суммарного воздействия примет значение IT - Т"-1 —

для

и > т - 4

i Zi —

1 и значение — 0 для всех остальных точек (отметим, что неравенст-

г -Ъ.

и т

во "*■ "1 выполнено, поскольку момент времени " 'Z соответствует самому раннему возможному моменту импульса). Из уравнения нейрона для рассматриваемого интервала следует тождество i"» ЛйГ[1 ll'l il = 0 то есть потенциал нейрона остается на этом интервале неизменным. 1аким образом, в момент времени Z , когда завершится воздействие со стороны синхронизирующего нейрона, мембранный потенциал BS-нейрона будет иметь фиксированное значение вне зависимости от момента его предыдущего спайка. Легко видеть, что после завершения такта синхронизации BS-нейрон сгенерирует очередной импульс в момент времени

" 2 . Аналогичные рассуждения позволяют убедиться, что в результате воздействия синхронизирующего импульса MBS-нейрон сгенерирует следующий импульс в момент времени Т + &Т\

Рассмотрим теперь воздействие на MBS-нейрон импульса, генерируемого на такте синхронизации BS-нейроном (легко убедиться, что этот импульс может как попасть на интервал чувствительности MBS-нейрона, так и прийтись на момент времени вне интервала чувствительности). Для подавления влияния этого импульса добавим связь тактового нейрона CLOCK с MBS-нейроном, приписав ей вес

."". ;; _ : (противоположный по отношению к весу основной связи между BS-нейроном и MBS-нейроном) и нулевую синаптическую задержку ^SïîÇ'P ™ ®

. Выбор нулевой задержки гарантирует, что тактовый импульс придет на MBS-нейрон одновременно с импульсом, приходящим на такте синхронизации от BS-нейрона, а выбор веса гарантирует, что воздействие этих импульсов полностью компенсируется.

Пусть импульсный нейрон МакКаллока - Питца воздействует на другой такой же нейрон с весом j ::. . Для подавления импульса, который MBS-нейрон генерирует на такте синхронизации в момент

времени i "Ь Ai . приходится вводить дополнительную связь нейрона CLOCK с постсинаптиче-

_ ^ 11 = ¿ï~'

ским нейроном с весом 3U р р — и синаптической задержкой SLIpp 1 .В этом

случае суммарное воздействие на постсинаптический нейрон на такте синхронизации будет равно нулю (поскольку импульсы приходят одновременно и веса имеют противоположный знак) и импульс MBS-нейрона, сгенерированный на такте синхронизации, не будет оказывать влияние на постсинап-тический нейрон. Таким образом, импульсный нейрон МакКаллока - Питца имеет две связи с пост-синаптическим нейроном, но мы будем в дальнейшем говорить об одной связи, подразумевая описанную выше пару связей с противоположными весами.

В дальнейшем мы будем использовать описанную выше конструкцию, моделирующую работу нелинейного нейрона МакКаллока - Питца, в качестве единого структурного элемента импульсных

нейронных сетей, имеющего импульсных входов и один импульсный выход.

Рис. 3. Схема работы импульсного нейрона МакКаллока - Питца

Рассмотрим схематически работу импульсного нейрона МакКаллока - Питца (см. рис. 3). На верхних двух диаграммах изображена работа BS-нейрона и MBS-нейрона, а на нижней - работа импульсного нейрона МакКаллока - Питца, рассматриваемого как единый импульсный элемент.

Будем говорить, что импульсный нейрон МакКаллока - Питца находится в начале такта, если в

этот момент BS-нейрон генерирует импульс и рассогласование с MBS-нейроном равно ^ (формула для рассогласования ÄY приведена ниже в формулировке теоремы 5). На вход импульсного нейрона МакКаллока - Питца в моменты времени zlTsrTs+TJ приходят импульсы, которые с помощью

-кодирования представляют числа Pi [-V/Vl. Поскольку входы импульсного нейрона МакКаллока - Питца одновременно являются входами для BS-нейрона, то точки отсчета входов у

них будут совпадать. В момент времени — Т MBS-нейрон генерирует импульс, однако импульс нейрона CLOCK компенсирует этот импульс, и импульсный нейрон МакКаллока - Питца в этот момент не будет генерировать импульс. Затем BS-нейрон в результате внешнего воздействия сгенерирует

импульс в момент времени L А ^ I, и этот импульс попадет на интервал чувстви-

тельности MBS-нейрона. Далее, от нейрона CLOCK на BS-нейрон приходит синхронизирующий импульс, благодаря которому BS-нейрон без внешнего воздействия сгенерирует импульс в момент времени Г . MBS-нейрон под воздействием BS-нейрона сгенерирует импульс в момент времени ^, который с учетом

-кодирования будет представлять число

Затем на MBS-

нейрон приходит синхронизирующий импульс, который, вообще говоря, может не попасть на интервал чувствительности MBS-нейрона и не оказать на него воздействия. На интервале

L - ^ J MBS-нейрон чувствителен к внешнему воздействию и для подавления импульса,

приходящего от BS-нейрона на MBS-нейрон подается импульс . Благодаря синхронизирующе-

му импульсу и отсутствию другого внешнего воздействия (оно подавлено) MBS-нейрон сгенерирует

следующий импульс в момент времени . Получается, что в момент времени Т мы перешли

на следующий такт работы, поскольку в этот момент времени BS-нейрон генерирует импульс, а рассогласование с MBS-нейроном равно .

Сформулируем теперь основное утверждение относительно описанного выше импульсного нейрона МакКаллока - Питца.

Теорема 5. Пусть в описанной выше импульсной нейросетевой архитектуре (импульсный нейрон МакКаллока - Питца) для параметров BS-нейрона выполнено условие (7), для параметров MBS-

нейрона выполнено условие (12), а рассогласование ^ между BS и MBS-нейронами задано соотношением

Тогда с учетом схемы импульсного (Р , Q , ß )-кодирования информации при

+ (? = Па--|+4Г, ß = (15)

L L Zf

импульсный нейрон МакКаллока - Питца воспроизводит работу нелинейного нейрона МакКаллока -Питца с функцией активации, имеющей вид трехзвенной ломаной (см. рис. 1). Один такт работы

импульсного нейрона МакКаллока - Питца имеет длину Т и содержит интервал чувствительности

[*4*41 [«4*41

L L 1 и интервал генерации ответного импульса L L L J

Рассогласование (14) между нейронами гарантирует, что интервал чувствительности MBS-нейрона в точности совпадет с интервалом возможной генерации импульса BS-нейроном. В дальнейшем будем говорить, что импульсный нейрон МакКаллока - Питца находится в начале такта, если в этот момент BS-нейрон генерирует импульс и рассогласование с MBS-нейроном равно ^ . Таким образом, импульсный нейрон МакКаллока - Питца будет чувствителен к внешнему воздействию на

['4*41

интервале I - * 1 и будет генерировать ответный импульс в момент времени L - — 1, а длительность такта будет равна J .

§ 5. Импульсный многослойный перцептрон

Классический многослойный перцептрон представляет собой слоистую нейронную сеть, в которой нейроны МакКаллока - Питца расположены в нескольких упорядоченных слоях, причем внутри слоя

связи между нейронами отсутствуют, а каждый нейрон ^ -го слоя оказывает воздействие на все нейроны -го слоя [3]. Нелинейный нейрон МакКаллока - Питца формирует выход Я , вычисляя взвешенную с весами сумму своих входов Р; и затем применяя к результату функцию активации Г . Ниже мы будем предполагать, что входы и выходы каждого нелинейного нейрона МакКаллока -Питца представлены числами из промежутка

а функция активации - трехзвенная кусочно-

линейная функция.

Опишем конструкцию, позволяющую воспроизвести поведение многослойного перцептрона на сети, составленной из импульсных нейронов МакКаллока - Питца. Пусть задан многослойный перцептрон , то есть зафиксировано число слоев, количество нейронов в каждом слое, и для каждого нейрона заданы фиксированные значения весов всех его синаптических связей. Образуем импульсную нейронную сеть путем замены каждого нейрона, образующего перцептрон ? , на импульсный нейрон МакКаллока - Питца. Будем считать, что все импульсные нейроны МакКаллока - Питца,

образующие сеть , имеют одинаковые характеристики.

Для корректной работы импульсного многослойного перцептрона необходимо, чтобы было выполнено условие передачи импульса: импульсы, генерируемые нейронами каждого слоя, после прохождения ими синаптических связей должны приходиться на интервал восприимчивости нейронов следующего слоя, то есть должно быть выполнено равенство ^и = 'Ук . Пусть в начальный момент времени все импульсные нейроны МакКаллока - Питца первого слоя сети находятся в начале такта. Будем считать, что если у нейронов ^ -го слоя начало такта происходит в момент времени ^ , то у всех нейронов + 1)-го слоя начало такта будет происходить в момент времени ■ +" , то есть введем временное рассогласование между слоями, равное ^ . Для соседних слоев импульсного мно-

в- = + + ^

гослоиного перцептрона " имеют место равенства '■ 1 ■ 2 , и

(?Й =ШТ+ГЛ Л б

" . Легко убедиться, что в этом случае при рассогласовании между слоями,

заданном соотношением

действительно будет выполнено условие передачи импульса. Таким образом, все импульсы, которые генерируют нейроны ^ -го слоя, придутся в точности на интервал чувствительности нейронов ~ - ■"-го слоя. Обратим внимание, что на такте синхронизации Б8-нейрона ни один импульс преси-наптических нейронов не попадает на интервал чувствительности, то есть также будет выполнено и условие отсутствия внешнего воздействия на такте синхронизации Б8-нейрона. С учетом теоремы (5) очевидно, что построенная импульсная нейронная сеть воспроизводит динамику многослойного перцептрона -■р , составленного из нелинейных нейронов МакКаллока - Питца с функцией активации, имеющей вид трехзвенной ломаной (см. рис. 1).

§ 6. Импульсная сеть Хопфилда

Будем рассматривать сеть Хопфилда ЭГ . которая представляет собой полносвязную сеть, образованную Л" нелинейными нейронами МакКаллока - Питца, причем матрица =

ы весов синапти-

ческих связей полагается симметричной матрицей с нулевой главной диагональю, то есть — и

= а

. Мы будем рассматривать синхронный режим работы сети Хопфилда, при котором на каждом шаге для всех нейронов вычисляется новое состояние, после чего происходит одновременное обновление состояния всех нейронов.

При построении импульсной реализации ^ исходной сети Хопфилда ^ по аналогии с предыдущим разделом заменим в сети * каждый нелинейный нейрон МакКаллока - Питца на его импульсный аналог. Ключевое соображение при импульсной реализации характерного для сети Хоп-филда рекуррентного режима работы состоит в том, что полносвязную сеть с синхронным режимом работы можно считать однослойной сетью, в которой выходы всех нейронов единственного слоя используются в качестве входов этого же слоя на следующем такте. Для того чтобы на интервал восприимчивости текущего такта пришли импульсы, сгенерированные нейронами на предыдущем такте, приходится выбирать ненулевые задержки Ар на синапсе (см. формулу (3)).

Рассмотрим подробнее работу импульсной сети Хопфилда. Пусть в нулевой момент времени все образующие сеть импульсные нейроны МакКаллока - Питца находятся в начале такта. Тогда, если

Затем в момент времени

входные импульсы придутся на интервал чувствительности I. ■ — 1, то нейроны сгене-

_ г, _ г; в ^

рируют выходные импульсы в моменты времени все импульсные нейроны МакКаллока - Питца одновременно будут готовы ко второму такту. Для корректной работы импульсного варианта сети Хопфилда, как и в случае перцептрона, необходимо, чтобы было выполнено условие передачи импульса: импульсы, генерируемые всеми нейронами, после прохождения ими синаптических связей должны попадать на следующий интервал восприимчивости тех же нейронов.

Условие передачи импульса для сети Хопфилда эквивалентно равенству Т+Р = . После

Т

р пъ Г-Т> + -т= + Д

подстановки значения ~ из (15) получаем равенство £ , из которого для синапти-

ческих задержек непосредственно получается следующая формула:

Д/=27^ + 271--т-г (16)

С учетом теоремы (5) очевидно, что построенная импульсная нейронная сеть воспроизводит динамику сети Хопфилда ® , составленной из нелинейных нейронов МакКаллока - Питца с функцией активации, имеющей вид трехзвенной ломаной (см. рис. 1).

Библиографический список

1. Дунаева, О. А. Принципы построения слоистых нейронных сетей на основе импульсных нейронов [Текст] / О. А. Дунаева // Моделирование и анализ информационных систем. - 201. - Т. 18. - № 2. - С. 65-76.

2. Кащенко, С. А., Майоров, В. В. Модели волновой памяти [Текст] / С. А. Кащенко, В. В. Майоров - М. : Книжный дом «ЛИБРОКОМ», 2009. - 288 с.

3. Хайкин, С. Нейронные сети: полный курс [Текст] / С. Хайкин - М. : Издательский дом «Вильямс», 2006. -1104 с.