CC BY
69
Нелинейная
динамика и неиронаука
УДК 530.182 https://doi.org/!0.18500/0869-6632-2020-28-1 -77-89
Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений
М. М. Пугавко1?2, О. В. Масленников1'2, В. И. Некоркин1,2
1 Институт прикладной физики Российской академии наук Россия, 603950 Нижний Новгород, ул. Ульянова, 46 2Нижегородский государственный университет им. Н.И. Лобачевского Россия, 603950 Нижний Новгород, просп. Гагарина, 23 E-mail: slavapugavko2@gmail.com, olmaov@ipfran.ru, vnekorkin@appl.sci-nnov.ru Автор для переписки Мечислав Мечиславович Пугавко, slavapugavko2@gmail.com Поступила в редакцию 23.09.2019, принята к публикации 5.11.2019, опубликована 26.02.2020
Цель настоящей работы состоит в построении системы резервуарных вычислений, которая содержит сеть модельных нейронов с дискретным временем, и изучении характеристик системы при её обучении автономно генерировать гармонический целевой сигнал. Методы работы включают в себя подходы нелинейной динамики (анализ фазового пространства в зависимости от параметров), машинного обучения (резервуарные вычисления, контролируемая минимизация ошибки) и компьютерного моделирования (реализация численного алгоритма, построение характеристик и диаграмм). Результаты. Построена система резервуарных вычислений на основе сети связанных дискретных модельных нейронов, показана возможность её контролируемого обучения генерации целевого сигнала с помощью метода контролируемой минимизации ошибки FORCE. Установлено, что с ростом размера сети среднеквадратичная ошибка обучения снижается. Исследованы динамические режимы, возникающие на уровне индивидуальной активности внутрирезервуарных нейронов на различных стадиях обучения. Показано, что в процессе обучения сеть-резервуар переходит из состояния пространственно-временного беспорядка в состояние, когда в сети-резервуаре существуют регулярные кластеры спайковой активности. Найдены оптимальные значения коэффициентов связи и параметров собственной динамики нейронов, соответствующие минимальной ошибке обучения. Заключение. В работе предложена новая система резервуарных вычислений, базовой единицей которой является дискретный модельный нейрон Курбажа-Некоркина. Преимущество сети, основанной на такой модели спайкового нейрона, заключается в том, что модель задается в виде точечного отображения, следовательно, нет необходимости производить операцию интегрирования. Предложенная система показала свою эффективность при обучении автономной генерации гармонической функции, а также для ряда других целевых функций.
Ключевые слова: резервуарные вычисления, машинное обучение, дискретный модельный нейрон, целевой сигнал, функция ошибки.
Образец цитирования: Пугавко М.М., Масленников О.В., Некоркин В.И. Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений//Известия вузов. ПНД. 2020. Т. 28, № 1. С. 77-89. https://doi.org/10.18500/0869-6632-2020-28-l-77-89
Статья опубликована на условиях лицензии Creative Commons Attribution License (CC-BY 4.0).
Финансовая поддержка. Исследование выполнено в рамках государственного задания ИПФ РАН, проект № 0035-2019-0011, при финансовой поддержке РФФИ в рамках научных проектов № 18-02-00406 и № 18-29-10040 и гранта Президента РФ для молодых ученых МК-503.2018.2.
https://doi.org/10.18500/0869-6632-2020-28-1-77-89
Dynamics of a network of map-based model neurons for supervised learning of a reservoir computing system
M.M. Pugavko1'2, O. V. Maslennikov1'2, V.I. Nekorkin1'2
1 Institute of Applied Physics of the Russian Academy of Sciences 46, Ulyanov Str., Nizhny Novgorod 603950, Russsia 2Lobachevsky State University of Nizhny Novgorod 23, Gagarin Ave, Nizhny Novgorod 603950, Russsia E-mail: slavapugavko2@gmail.com, olmaov@ipfran.ru, vnekorkin@appl.sci-nnov.ru Correspondence should be addressed to Mechislav M. Pugavko, slavapugavko2@gmail.com Received 23.09.2019, accepted 5.11.2019, published 26.02.2020
The purpose of this work is to develop a reservoir computing system that contains a network of model neurons with discrete time, and to study the characteristics of the system when it is trained to autonomously generate a harmonic target signal. Methods of work include approaches of nonlinear dynamics (phase space analysis depending on parameters), machine learning (reservoir computing, supervised error minimization) and computer modeling (implementation of numerical algorithms, plotting of characteristics and diagrams). Results. A reservoir computing system based on a network of coupled discrete model neurons was constructed, and the possibility of its supervised training in generating the target signal using the controlled error minimization method FORCE was demonstrated. It has been found that with increasing network size, the mean square error of learning decreases. The dynamic regimes arising at the level of individual activity of intra-reservoir neurons at various stages of training are studied. It is shown that in the process of training, the network-reservoir transits from the state of space-time disorder to the state with regular clusters of spiking activity. The optimal values of the coupling coefficients and the parameters of the intrinsic dynamics of neurons corresponding to the minimum learning error were found. Conclusion. A new reservoir computing system is proposed in the work, the basic unit of which is the Courbage-Nekorkin discrete-time model neuron. The advantage of a network based on such a spiking neuron model is that the model is specified in the form of a mapping, therefore, there is no need to perform an integration operation. The proposed system has shown its effectiveness in training autonomous generation of a harmonic function, as well as for a number of other target functions.
Key words: reservoir computing, machine learning, discrete-time model neuron, target signal, error function.
Reference: Pugavko M.M., Maslennikov O.V., Nekorkin V.I. Dynamics of a network of map-based model neurons for supervised learning of a reservoir computing system. Izvestiya VUZ. Applied Nonlinear Dynamics, 2020, vol. 28, no. 1, pp. 77-89. https://doi.org/10.18500/0869-6632-2020-28-1-77-89
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Acknowledgements. The reported study was performed as part of the State Assignment of the Institute of Applied Physics RAS, project No. 0035-2019-0011, and supported by RFBR according to the research projects No 18-02-00406 and No 18-29-10040, and by the grant of Russian President for young researchers MK-503.2018.2.
Введение
В современной науке как минимум две большие области рассматривают в качестве объекта исследования нейронные сети. Нейробиологи изучают принципы кодирования и обработки информации в живых нейронных структурах, в то время как специалисты по машинному обучению разрабатывают новые схемы и алгоритмы искусственных нейронных сетей для решения прикладных задач. Базовые модели этих двух направлений в основном отличаются друг от друга как по описанию индивидуальной активности элементов, так и по структуре связей. Преобладающий способ представления нейрона в области машинного обучения - это функция активации, например сигмоида, которая получает на входе взвешенную сумму активностей пресинаптиче-ских нейронов и соответствующим образом отвечает, посылая свою результирующую активность на постсинаптические нейроны [1,2]. Очевидно, что поведение реальных биологических нейронов характеризуется гораздо более сложными процессами и явлениями, и в математической нейронауке их принято описывать в виде динамических систем, демонстрирующих собственную активность, например, спайковые колебания [3,4]. Структуры искусственных нейронных сетей,
которые используются в технологии машинного обучения, в основном представляют собой сети прямого распространения - многослойные системы, в которых элементы одного слоя не связаны друг с другом, а посылают связи на элементы последующего слоя. Структуры связей в подавляющем большинстве биологических нейронных структур, напротив, рекуррентны, то есть характеризуются наличием множества петель обратных связей и циклов. В последнее время представители академического сообщества, а также и ряда индустриальных компаний в области машинного обучения стали проявлять интерес к развитию биологически более правдоподобных моделей нейронных сетей, поэтому наблюдается процесс взаимного сближения областей математических нейронаук и машинного обучения [5]. Во-первых, было показано, что в классе рекуррентных искусственных нейронных сетей возможно создавать системы, позволяющие решать ряд сложных задач [6-8]. Во-вторых, появились работы, в которых в качестве базовых единиц искусственных сетей взяты динамические модели нейронов, такие как частотные (рейт) нейроны и нейроны накопление-сброс [9,10].
Одним из подходов, который объединяет в себе оба этих направления, является парадигма резервуарных вычислений [11]. Сети резервуарных вычислений возникли как перспективный способ применения динамических систем для объяснения информационно-вычислительных возможностей биологических структур [12] и для развития новых алгоритмов решения прикладных задач машинного обучения. Центральным элементом системы является реккурентная сеть-резервуар, состоящая из случайно связанных редкими связями нейроморфных элементов. Пространственно-временная обработка входных сигналов осуществляется в результате их воздействия на активность резервуара. В силу сложности архитектуры связей и различия индивидуальных свойств нейронов, в многомерном фазовом пространстве резервуара возникает отклик в виде определенной траектории. Слой выходных элементов считывает необходимую информацию из многомерного ответа резервуара за счет обучения, то есть постепенной модификации весов выходных связей. Кроме того, различные выходные элементы могут извлекать различные типы информации из резервуарного отклика, то есть происходит параллельная обработка. Как правило, в процессе обучения внутрирезервуарные связи остаются фиксированными, а модификации подвержены только выходные связи [13].
В данной работе предложена модель системы резервуарных вычислений на основе сети спайковых нейронов с дискретным временем и исследована её динамика при выполнении простой вычислительной задачи - автономной генерации целевого сигнала. Большинство работ в данном направлении рассматривают центральный компонент системы - резервуар - как своего рода чёрный ящик, а выбор параметров сети и выводы об эффективности резервуара делаются во многом эвристически. Для дальнейшего развития концепции резервуарных вычислений, и в более широкой перспективе, нейроморфного машинного обучения, требуется понимание динамических механизмов функционирования сети-резервуара на различных стадиях обучения: до, в процессе и после него [14-17]. Подходы нелинейной динамики являются ключевыми в объяснении структурных и динамических свойств, лежащих в основе обучения искусственных нейронных сетей. В настоящей статье мы делаем шаг в данном направлении, рассматривая динамические свойства дискретных модельных нейронов в резервуаре, который решает задачу автономной генерации целевого сигнала. Предложенная нами система характеризуется двумя ключевыми особенностями. Во-первых, составляющие её элементы относятся к классу спайковых нейронов, что отличает её от моделей, в которых учитывается лишь средняя спайковая активность и не воспроизводится генерация отдельных потенциалов действия. Во-вторых, используемая нами модель нейронной активности - с дискретным временем, что отличает нашу систему от большинства работ со спайковыми нейронами, в которых базовыми являются модели с непрерывным временем. Модели с дискретным временем, с одной стороны, позволяют получить широкое разнообразие динамических режимов, оставаясь в рамках низкоразмерной системы, а с другой стороны, являются готовыми численными алгоритмами и не требуют применения дополнительных методов интегрирования в численном эксперименте.
1. Архитектура сети-резервуара и метод обучения
1.1. Динамика нейрона. Мы рассматриваем систему резервуарных вычислений, в которой резервуар представляет собой сеть (см. ниже рис. 2) из N дискретных модельных нейронов Курбажа-Некоркина [18,19] (К-Н нейроны), динамика которых описывается системой точечных отображений
где переменная х качественно описывает состояние мембранного потенциала нейрона, а переменная у отвечает за суммарное действие всех ионных токов. Параметр е задает временной масштаб изменения у, параметры в, й и 3 контролируют форму генерируемого сигнала. Модель основана на дискретной версии системы ФитцХью-Нагумо с кубической нелинейностью ^(х) = х(х — а)(1 — х) и дополнительно введенной ступенчатой функцией Хевисайда Н(х) = {1 ¡Гх > 0, 0 ¡Гх < 0}; сравнительная универсальность данной модели позволяет её использовать при моделировании разнообразных процессов в нейроподобных системах (см., напр., работы [20-28]).
Рассмотрим кратко основные динамические режимы модели. На фазовой плоскости (х, у) существует неподвижная точка О отображения, которая определяется пересечением изоклин горизонтальных и вертикальных наклонов х = 3 и у = ^(х) — вН(х — й) соответственно. Последняя имеет два локальных экстремума - минимум при х = 3тщ и максимум при х = 3тах. При 3 < Зтт неподвижная точка О устойчива и соответствует состоянию покоя нейрона. На фазовой плоскости расположены два порога, определяемые тонкими слоями в окрестности неустойчивых инвариантных кривых ЖЦ и ЖЦ, где ЖЦ = {(х,у) : у = ^(х) + ..., 3т;п < х < й}, Ж2 = {(х, у) : у = ^(х) — в +..., й < х < 3тах}. Слабые стимулы, недостаточные для преодоления системой первого порога ЖЦ приводят к малым подпороговым колебаниям, релаксирующим к состоянию покоя. Сильные стимулы, достаточные для преодоления второго порога ЖЦ, приводят к генерации потенциала действия или спайка, при которой фазовая траектория входит в бассейн притяжения устойчивой инвариантной кривой Ж| = {(х, у) : у = ^(х) — в +..., х > 3тах} и возвращается в окрестность устойчивой неподвижной точки О.
Другой режим регулярной динамики - это так называемые подпороговые колебания, при которых на фазовой плоскости появляется устойчивая замкнутая инвариантная кривая в результате бифуркации Неймарка-Сакера, когда неподвижная точка теряет устойчивость. При 3 > 3т;п и относительно малых в возникают периодические спайковые колебания, которым на фазовой плоскости соответствует устойчивая замкнутая инвариантная кривая, образованная траекториями, двигающимися между слоями медленных движений, локализованными в окрестности двух устойчивых кривых Ж/ = {(х, у) : у = ^(х) + ..., х < 3т;п} и Ж25.
Модель также позволяет воспроизводить хаотические режимы. Во-первых, спайк-бёрстовые колебания, формируемые чередующимися фазами медленных регулярных и быстрых хаотических движений (рис. 1, а, Ь). Во-вторых, режим спайк-подпороговых колебаний, при котором генерация потенциалов действия перемежается с подпороговыми колебаниями. В данном режиме инвариантная кривая Ж^ разделяет фазовые траектории на два потока в окрестности линии разрыва х = й. Первый поток образуют траектории, двигающиеся вокруг линии разрыва х = й, а второй поток формируют траектории, преодолевающие второй порог и достигающие окрестность кривой Ж| (рис. 1, с, й). В результате такого разделения траектории циркулируют, хаотически изменяя направление своего движения, из одного потока в другой.
х(п + 1) = х(п) + ^ [х(п)] — вН (х(п) — й) — у(п), у(п + 1) = у(п) + е(х(п) — 3),
(1) (2)
мш
—I-1-1-1-1-1-1-1-
2000 2250 2500 2750 3000 3250 3500 3750 4000
X 0.75 0.50 0.25 0.00 --0.25 -
2000 2250 2500 2750 3000 3250 3500 3750
Рис. 1. Фазовые портреты отображения ( ), (2) {а,с) и соответствующие осциллограммы х(п) (b,d) хаотических режимов: а, Ъ - спайк-берстовые колебания, параметры: J = 0.1, е = 0.001, |3 = 0.3, d = 0.45, а = 0.1; с, d - спайк-подпороговые колебания, параметры: J — 0.15, £ = 0.005, |3 = 0.018, d — 0.26, а = 0.25
Fig. 1. Phase portraits of map (1), (2) (а,с) and corresponding waveforms x(n) (b,d) of chaotic regimes: a, b - spike-burst oscillations, parameters: J = 0.1, e = 0.001, |3 = 0.3, d = 0.45, a = 0.1; c, d - spike-subthreshold oscillations, parameters: J = 0.15, e = 0.005, (3 = 0.018, d = 0.26, a = 0.25
1.2. Динамика резервуара и алгоритм обучения. В данной работе рассмотрена система машинного обучения, резервуар которой представляет собой сеть N К-Н нейронов (рис. 2). Обучение производится с помощью метода контролируемой минимизации ошибки FORCE [14]. Нейроны в данной системе связаны между собой через синаптический ток /synaptic = ^г, где г - вектор-столбец длины N, который является переменной синапса; со = -
матрица весов, состоящая из двух слагаемых со = Giо0 + Qr\фТ. Матрица весов со0 является статической и не меняется при обучении. Элементы статической матрицы сначала задаются по нормальному закону с нулевым средним и стандартным отклонением о = l/(\/Np)9 где р называется коэффициентом разреженности, затем с вероятностью (1 — р) элементы приравниваются нулю. В нашей работе было выбрано значение р = 0.1. Во втором слагаемом выражения для матрицы весов со, Qr\q>T\ элементы вектор-столбца г\ задаются случайно и равномерно из отрезка [—1,1]. Вектор-столбец ф является нулевым в начальный момент времени, затем изменяется в процессе обучения в соответствии с алгоритмом рекуррентного метода наименьших квадратов (МНК). Вектор-столбцы имеют длину N. Таким образом, в процессе обучения матрица связей со между активными элементами модифицируется, ТО есть резервуар является адап- рис 2. Схематическое представление системы машинного тивной динамической сетью. Параметр G вы- обучения
бирается таким образом, чтобы до обучения в Fig 2 Schematic representation of the machine learning сети-резервуаре реализовался режим хаотиче- system
ш = Gœ° + gr|cpr
ской динамики. Параметр О должен подавлять хаотическую активность в процессе обучения. Динамика каждого синапса описывается следующей системой:
Tj (п + 1) = Tj (п) - -^-Г1 + hj (п), (3)
'3V ' V - '3V4 Mi
ПЛП + 1)-ПЛП) М2 + , W
где Жреак - заданный порог. В работе использовались значения Mi = 1.01, М2 = 1.95. Выход сети-резервуара ж = фТг сравнивается с целевой функцией х, ошибка между ними error — х — х минимизируется с помощью алгоритма МНК: ф(п) = ф(п — 1) — error(n)P(n)r(n), Р(п) = = P(n-l) - [P(n- l)r(n)r(n)TP(n-l)]/[l + rT(n)P(n-l)r(n)]9 P=(^nr(n)r(n)T+(l/ВД, Р(0)-1 = LT. Заметим,
что данный алгоритм минимизирует квадратичную ошибку между выходом сети и целевой функцией. Параметр \ отвечает за регуляризацию (то есть за скорость обучения). В нашем случае Л, = 100.
В данной работе было рассмотрено три варианта сети-резервуара. В первом случае все нейроны в сети идентичны. Во втором случае параметр г-го нейрона Е{ = + В третьем
случае Si = + —speaк). В последнем случае скорость изменения переменной нейрона
у меняется, когда переменная х достигает порогового значения £реак- Значение выбирается случайно и равномерно из отрезка [—0.002,0.002], этим обеспечивается сохранение режима работы изолированного нейрона во втором и третьем случаях.
2. Результаты
2.1. Целевая функция. В этом разделе представлены результаты машинного обучения для синусоидальной целевой функции
/out = sin(lOjtíi), (5)
ti = ti-! + 0.001. (6) Исследование производилось для двух наборов параметров, в которых изолированный нейрон демонстрирует различное поведение. При параметрах J = 0.15, е — 0.004, ß = 0.04, d = 0.5, а = 0.25 реализуется режим периодической спайковой активности, а при значениях J = 0.15, £ = 0.005, ß = 0.018, d = 0.26, а = 0.25 - режим спайк-подпороговых колебаний.
2.2. Зависимость ошибки от количества нейронов. На рис. 3 представлена зависимость логарифма L^-нормы от количества нейронов.
Рис. 3. График зависимости логарифма L2-нормы от количества нейронов в сети. Точками отображено по 50 испытаний. Линия соединяет медианные значения этих испытаний. Результат отображен при таких параметрах, при которых независимый нейрон демонстрирует режим спайк-подпороговых колебаний. Параметры жреак = 0.2, G—0.015, Q=0.26. L2-норма рассчитывается в течение 500 итераций после обучения. Обучение проводится в течение 15000 итераций, перед этим сеть свободно работает на протяжении 5000 итераций. Все нейроны сети идентичные
Fig. 3. Graph for the logarithm of Z/2-norm versus the number of neurons in the network. Points relate to 50 trials. The curve corresponds to their median values. The result corresponds to the spike-subthreshold regime of individual neural activity. Parameters are жреак = 0.2, G = 0.015, Q = 0.26. Z/2-norm is calculated during 500 time steps after training. The training process takes place for 15000 iterations; before this, the network freely evolves for 5000 iterations. All the neurons are identical
При небольшом количестве нейронов наблюдается скачок ошибки на графике, характерный для метода FORCE. После скачка ¿2-норма плавно уменьшается с ростом количества нейронов в сети. График представлен для идентичных нейронов, но вид графика аналогичен и в случае неоднородности по параметру е. Отсюда следует, что увеличение количества нейронов влияет положительно на процесс обучения.
2.3. Зависимость ошибки обучения от параметров G и Q. Было рассмотрено влияние параметров нейронов сети-резервуара на оптимальные значения параметров метода обучения G и Q (рис. 4). Из пар графиков (рис. 4, a, d), (рис. 4, b, е), (рис. 4, с,/) следует, что выбор набора параметров нейронов, когда независимый нейрон демонстрирует один из двух режимов, не оказывает существенного влияния на размеры оптимальной области в плоскости (Q, G) (светлая область). Однако внесение неоднородности по параметру е позволяет значительно увеличить
0.052
0.042
0.032
0.022
0.012
0.002 0.01
а
0.052
0.042
0.032
0.022
0.012
0.002 0
Ъ
0.052
0.042
0.032
0.022
0.012
0.002 0.01
с
-2.1 -1.1 -0.1 0.9
log(L2)
Рис. 4. Плоскость параметров (Q, G), оттенком серого отображено значение log(Z/2). Самым темным цветом отображено значение log(Z/2) ^ 1. На графиках а, Ъ и с отображены результаты при параметрах, когда независимый нейрон демонстрирует режим спайк-подпороговых колебаний. На графиках независимый нейрон демонстрирует ре-
жим периодической спайковой активности. Графики а и d построены для параметра г-го нейрона Si = во\ графики Ъ и е- для параметра Si = £о + ejand; графики е и/ - для параметра Si = £o + sTnd Н (х — ереак). Параметры N = 1000, £Реак = ^peak = 0.2. Z/2-норма рассчитывается в течение 500 итераций после обучения. Обучение проводится в течение 29000 итераций, перед этим сеть-резервуар свободно работает на протяжении 1000 итераций
Fig. 4. The logarithm log(Z/2) is depicted by grayscale in the parameter plane (Q, G). The darkest color corresponds to log(Z/2) ^ 1. Subplots a, b and с show the results relating to the spike-subthreshold regime of individual neural activity. Subplots d, e and / correspond to the case where the neuron generates periodic spiking activity. Subplots a and d are shown for Si = £o; subplots b and e correspond to £i = £ о + ejand; subplots e and / correspond to £i = £ о + £™П(1Н(х — £peak). Parameters are N = 1000, £peak = жреак = 0.2. Z/2-norm is calculated during 500 time steps after training. The training process takes place for 29000 iterations; before this, the network freely evolves for 1000 iterations
размеры оптимальной области. Лучший результат обучения достигается, при выборе параметра г-го нейрона Ei — ео + (см. рис. 4, Ъ, е). Из рис. 4 также следует, что при малых зна-
чениях параметра Q обучение является самым неоптимальным, так как значения параметра Q не достаточно для подавления хаотической активности нейронов, и выход сети-резервуара не соответствует целевой функции.
2.4. Влияние динамики нейронов на качество обучения. На рис. 5 представлен график зависимости log(L2) от параметра £о для шести случаев. Данный график демонстрирует, что существует оптимальное значение параметра eq, при котором обучение производится наиболее эффективно и ошибка после обучения минимальна. Отметим, что такой эффект наблюдается во всех случаях, представленных на графике. Более того, внесение неоднородности в нашу сеть позволяет добиться более качественного обучения. Внесение неоднородности Ei — £о + £\axidH(xi — Speak) позволяет немного уменьшить ошибку после обучения, а неоднородность Ei = so + увеличивает ошибку после обучения. Из этого и предыдущего пунктов следует, что собственная динамика нейронов может оказывать существенное влияние на процесс обучения.
log(¿2) 2 ■
1 ■
О •
-1 ■
-2 ■
0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 ¿o
Рис. 5. График зависимости логарифма L2-нормы от параметра во. Точки соответствуют медианным значениям 50 испытаний. Параметры £реак = жреак = 0.2, G = 0.015, Q = 0.26, N = 1000. Z/2-норма рассчитывается в течение 500 итераций после обучения. Обучение проводится в течение 29000 итераций, перед этим сеть-резервуар свободно работает на протяжении 1000 итераций
Fig. 5. Graph for the logarithm of Z/2-norm versus £0. Points relate to median values of 50 trials. Parameters are £peak = жреак = 0.2, G = 0.015, Q = 0.26, N = 1000. Z/2-norm is calculated during 500 time steps after training. The training process takes place for 29000 iterations; before this, the network freely evolves for 1000 iterations
2.5. Пространственно-временная динамика. В процессе обучения было обнаружено, что динамика каждого нейрона становилась квазирегулярной (рис. 6). Данный график построен при таких параметрах, при которых изолированный нейрон демонстрирует режим спайк-подпороговых колебаний, при другом режиме фазовый портрет очень похож.
Процесс обучения сопровождался изменением динамики сети-резервуара. Это продемонстрировано на рис. . На пространственно-временной диаграмме, которая изображена на рис. 7, оттенками серого отображено значение переменной х. На рис. , а представлено состояние сети-резервуара до обучения, а на рис. , Ъ - после обучения. До обучения сеть-резервуар находится в состоянии пространственно-временного беспорядка. В результате процедуры обучения динамика сети-резервуара существенно изменяется. В нейронной сети возникают регулярные кластеры спайковой активности (см. рис. , Ъ).
Tonic spiking -ф— Chaotic spiking
= ^о
-Х- Tonic spiking Chaotic spiking
ei = so + ei
rand
------ Tonic spiking
Chaotic spiking
ei = eo + e¡andH{xi-Speak)
Hk
v --
Гх-:
Рис. 6. Фазовый портрет случайно выбранного нейрона: до обучения (а) и после обучения (Ъ). Нейроны в сети идентичны £i = е0. Параметры N = 1000, J = 0.15, е0 = 0.005, ¡3 = 0.018, d = 0.26, а = 0.25, G = 0.015, Q = 0.26
Fig. 6. Phase portrait of a randomly selected neuron: before training (a) and after training (b). Network neurons are identical, £i = e0. Parameters are N = 1000, J = 0.15, e0 = 0.005, |3 = 0.018, d = 0.26, a = 0.25, G = 0.015, Q = 0.26
0 250 500 750 1000 1250 1500 1750
a
30000 30500 31000 31500 32000
b n
Рис. 7. Пространственно-временная диаграмма: до обучения (а), после обучения (Ъ). Нейроны в сети идентичны, £i = е0. Параметры N = 1000, J = 0.15, е0 = 0.005, (3 = 0.018, d = 0.26, а = 0.25, G = 0.015, Q = 0.26
Fig. 7. Space-time diagram before training (a), after training (b). Neurons in the network are identical, £i — £q. Parameters are N = 1000, J = 0.15, e0 = 0.005, |3 = 0.018, d = 0.26, a = 0.25, G = 0.015, Q = 0.26
Заключение
В работе предложена новая система резервуарных вычислений, базовой единицей которой является дискретный модельный нейрон Курбажа-Некоркина. Преимущество сети, основанной на такой модели спайкового нейрона, заключается, с одной стороны, в том, что модель задается в виде точечного отображения, следовательно, нет необходимости производить операцию интегрирования. С другой стороны, модель нейрона является достаточно универсальной: с её помощью можно воспроизвести широкий спектр динамических режимов нейронной активности. Наша система показала свою эффективность для гармонической целевой функции, а также для других целевых функций (произведение гармонических функций, кусочно-линейные функции). Исследование зависимости ошибки обучения от количества нейронов в сети-резервуаре показало, что можно уменьшать ошибку обучения, увеличивая размер сети. Также показано, что при введении в сеть неоднородности путём варьирования параметра е увеличивается размер области оптимальных значений параметров G и Q, при которых обучение наиболее эффективно. Кроме того, изучение зависимости ошибки обучения от параметра ео показало, что существует оптимальное значение параметра ео, при котором ошибка обучения минимальна. Из наличия данного минимального значения следует, что возможно добиться улучшения обучения, подбирая собственную динамику нейронов. Это связано с тем, что параметр ео отвечает за скорость изменения восстанавливающей переменной, а следовательно, изменение этого параметра позволяет изменить частоту генерации спайков на более подходящую для данной целевой функции. В данной работе исследована также пространственно-временная динамика сети-резервуара до и после обучения. Установлено, что в процессе обучения сеть-резервуар переходит из состояния пространственно-временного беспорядка в состояние, когда в сети-резервуаре существуют регулярные кластеры спайковой активности. Кроме того, в процессе обучения динамика каждого нейрона в сети становится квазирегулярной. Таким образом, свойства индивидуальной динамики нейронов в сети-резервуаре существенно влияют на качество обучения сети-резервуара.
Библиографический список
1. Schmidhuber J.Deep learning in neural networks: An overview // Neural Networks. 2015. Vol. 61. P. 85-117.
2. LeCun Y, Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, № 7553. P. 436.
3. Sporns O. Structure and fUnction of complex brain networks // Dialogues in Clinical Neuroscience. 2013. Vol. 15, № 3. P. 247.
4. Дмитричев А.С., Касаткин Д.В., Клиньшов В.В., Кириллов С.Ю., Масленников О.В., Ща-пин Д.С., Некоркин В.И. Нелинейные динамические модели нейронов // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5-58.
5. Marblestone A.H., Wayne G., Kording K.P. Toward an integration of deep learning and neuroscience // Frontiers in Computational Neuroscience. 2016. Vol. 10. P. 94.
6. Laje R., Buonomano D.V. Robust timing and motor patterns by taming chaos in recurrent neural networks // Nature Neuroscience. 2013. Vol. 16, № 7. P. 925.
7. Barak O. Recurrent neural networks as versatile tools of neuroscience research // Current Opinion in Neurobiology. 2017. Vol. 46. P. 1-6.
8. Km C.M., Chow C.C. Learning recurrent dynamics in spiking networks // eLife. 2018. Vol. 7. e37124.
9. Abbott L.F., DePasquale B., Memmesheimer R.-M. Building functional networks of spiking model neurons // Nature Neuroscience. 2016. Vol. 19, № 3. P. 350.
10. Nicola W., Clopath C. Supervised learning in spiking neural networks with FORCE training // Nature Communications. 2017. Vol. 8, № 1. P. 2208.
11. Lukosevicius M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3, № 3. P. 127-149.
12. EnelP., ProcykE., Quilodran R., Dominey P.F. Reservoir computing properties of neural dynamics in prefrontal cortex // PLoS Computational Biology. 2016. Vol. 12, № 6. e1004967.
13. Schrauwen B., Verstraeten D., Van Campenhout J. An overview of reservoir computing: Theory, applications and implementations // Proceedings of the 15th European Symposium on Artificial Neural Networks. 2007. P. 471-482.
14. Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks // Neuron. 2009. Vol. 63, № 4. P. 544-557.
15. Sussillo D., Barak O. Opening the black box: Low-dimensional dynamics in high-dimensional recurrent neural networks // Neural Computation. 2013. Vol. 25, № 3. P. 626-649.
16. Sussillo D. Neural circuits as computational dynamical systems // Current Opinion in Neurobiology. 2014. Vol. 25. P. 156-163.
17. Maslennikov O.V., Nekorkin V.I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system // Chaos. 2019. Vol. 29, no. 10. P. 103126.
18. Некоркин В.И., Вдовин Л.В. Дискретная модель нейронной активности // Известия вузов. ПНД. 2007. Т. 15, № 5. С. 36-60.
19. Courbage M., Nekorkin V.I., Vdovin L.V. Chaotic oscillations in a map-based model of neural activity // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2007. Vol. 17, no. 4. 043109.
20. Maslennikov O.V., Nekorkin V.I. Evolving dynamical networks with transient cluster activity // Communications in Nonlinear Science and Numerical Simulation. 2015. V. 23, no. 1-3. P. 10-16.
21. Maslennikov O.V., Nekorkin V.I. Transient sequences in a hypernetwork generated by an adaptive network of spiking neurons // Philosophical Transactions of the Royal Society A. 2017. Vol. 375, no. 2096. P. 20160288.
22. Масленников О.В., Некоркин В.И. Адаптивные динамические сети // Успехи физических наук. 2017. Vol. 187, № 7. P. 745-756.
23. Maslennikov O.V., Nekorkin V.I., Kurths J. Basin stability for burst synchronization in small-world networks of chaotic slow-fast oscillators // Physical Review E. 2015. Vol. 92, no. 4. 042803.
24. Courbage M., Maslennikov O.V., Nekorkin V.I. Synchronization in time-discrete model of two electrically coupled spike-bursting neurons // Chaos, Solitons & Fractals. 2012. Vol. 45, no. 5. P. 645-659.
25. Maslennikov O.V., Nekorkin V.I. Modular networks with delayed coupling: Synchronization and frequency control // Physical Review E. 2014. Vol. 90, no. 1. 012901.
26. Maslennikov O.V., Nekorkin V.I.. Discrete model of the olivo-cerebellar system: Structure and dynamics // Radiophysics and Quantum Electronics. 2012. Vol. 55, no. 3. P. 198-214.
27. Maslennikov O.V., Kasatkin D.V., Rulkov N.F., Nekorkin V.I. Emergence of antiphase bursting in two populations of randomly spiking elements // Physical Review E. 2013. Vol. 88, no. 4. 042907.
28. Franovic I., Maslennikov O.V., Bacic I., Nekorkin V.I. Mean-field dynamics of a population of stochastic map neurons // Physical Review E. 2017. Vol. 96, no. 1. 012226.
References
1. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks, 2015, vol. 61, pp. 85-117.
2. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature, 2015, vol. 521, no. 7553, pp. 436.
3. Sporns O. Structure and function of complex brain networks. Dialogues in Clinical Neuroscience,
2013, vol. 15, no. 3, pp. 247.
4. Dmitrichev A.S., Kasatkin D.V., Klinshov V.V., Kirillov S.Y., Maslennikov O.V., Shapin D.S., Nekorkin V.I. Nonlinear dynamical models of neurons. Izvestiya VUZ. Applied Nonlinear Dynamics, 2018, vol. 26, no. 4, pp. 5-58 (in Russian).
5. Marblestone A.H., Wayne G., Kording K.P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience, 2016, vol. 10, p. 94.
6. Laje R., Buonomano D.V. Robust timing and motor patterns by taming chaos in recurrent neural networks. Nature Neuroscience, 2013, vol. 16, no. 7, p. 925.
7. Barak O. Recurrent neural networks as versatile tools of neuroscience research. Current Opinion in Neurobiology, 2017, vol. 46, pp. 1-6.
8. Kim C.M., Chow C.C. Learning recurrent dynamics in spiking networks. eLife, 2018, vol. 7, e37124.
9. Abbott L.F., DePasquale B., Memmesheimer R.-M. Building functional networks of spiking model neurons. Nature Neuroscience, 2016, vol. 19, no. 3, p. 350.
10. Nicola W., Clopath C. Supervised learning in spiking neural networks with FORCE training. Nature Communications, 2017, vol. 8, no. 1, p. 2208.
11. Lukosevicius M., Jaeger H. Reservoir computing approaches to recurrent neural network training. Computer Science Review. 2009, vol. 3, no. 3, pp. 127-149.
12. Enel P., Procyk E., Quilodran R., Dominey P.F. Reservoir computing properties of neural dynamics in prefrontal cortex. PLoS Computational Biology, 2016, vol. 12, no. 6, e1004967.
13. Schrauwen B., Verstraeten D., Van Campenhout J. An overview of reservoir computing: Theory, applications and implementations. Proceedings of the 15th European Symposium on Artificial Neural Networks, 2007, pp. 471-482.
14. Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks. Neuron, 2009, vol. 63, no. 4, pp. 544-557.
15. Sussillo D., Barak O. Opening the black box: Low-dimensional dynamics in high-dimensional recurrent neural networks. Neural Computation, 2013, vol. 25, no. 3, pp. 626-649.
16. Sussillo D. Neural circuits as computational dynamical systems. Current Opinion in Neurobiology,
2014, vol. 25, pp. 156-163.
17. Maslennikov O.V., Nekorkin V.I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system. Chaos, 2019, vol. 29, no. 10, p. 103126.
18. Nekorkin V.I., Vdovin L.V. Discrete model of neural activity. Izvestiya VUZ. Applied Nonlinear Dynamics, 2007, vol. 15, no. 5, pp. 36-60 (in Russian).
19. Courbage M., Nekorkin V.I., Vdovin L.V. Chaotic oscillations in a map-based model of neural activity. Chaos: An Interdisciplinary Journal of Nonlinear Science, 2007, vol. 17, no. 4, 043109.
20. Maslennikov O.V., Nekorkin V.I. Evolving dynamical networks with transient cluster activity. Communications in Nonlinear Science and Numerical Simulation, 2015, vol. 23, no. 1-3, pp. 10-16.
21. Maslennikov O.V., Nekorkin V.I. Transient sequences in a hypernetwork generated by an adaptive network of spiking neurons. Philosophical Transactions of the Royal Society A, 2017, vol. 375, no. 2096, p. 20160288.
22. Maslennikov O.V., Nekorkin V.I. Adaptive dynamical networks. Physics-Uspekhi, 2017, vol. 60, no. 7, p. 694.
23. Maslennikov O.V., Nekorkin V.I., Kurths J. Basin stability for burst synchronization in small-world networks of chaotic slow-fast oscillators. Physical Review E, 2015, vol. 92, no. 4, 042803.
24. Courbage M., Maslennikov O.V., Nekorkin V.I. Synchronization in time-discrete model of two electrically coupled spike-bursting neurons. Chaos, Solitons & Fractals, 2012, vol. 45, no. 5, pp. 645-659.
25. Maslennikov O.V., Nekorkin V.I. Modular networks with delayed coupling: Synchronization and frequency control. Physical Review E, 2014, vol. 90, no. 1, 012901.
26. Maslennikov O.V., Nekorkin V.I. Discrete model of the olivo-cerebellar system: Structure and dynamics. Radiophysics and Quantum Electronics, 2012, vol. 55, no. 3, pp. 198-214.
27. Maslennikov O.V., Kasatkin D.V., Rulkov N.F., Nekorkin V.I. Emergence of antiphase bursting in two populations of randomly spiking elements. Physical Review E, 2013, vol. 88, no. 4, 042907.
28. Franovic I., Maslennikov O.V., Bacic I., Nekorkin V.I. Mean-field dynamics of a population of stochastic map neurons. Physical Review E, 2017, vol. 96, no. 1, 012226.
Пугавко Мечислав Мечиславович - родился в Вышнем Волочке (1996). Окончил бакалавриат радиофизического факультета Нижегородского государственного университета им. Н.И. Лобачевского по направлению «Фундаментальная радиофизика» (2018). С 2016 года активно занимается научно-исследовательской деятельностью в отделе нелинейной динамики ИПФ РАН. Научные интересы - машинное обучение, нейронаука, хаос, синхронизация, волны.
Россия, 603950 Нижний Новгород, Ульянова, 46 Институт прикладной физики РАН E-mail: slavapugavko2@gmail.com
Масленников Олег Владимирович - родился в Горьком (1988), окончил радиофизический факультет Нижегородского государственного университета им. Н.И. Лобачевского (2011). С 2007 года работает в Институте прикладной физики РАН, в настоящее время -научный сотрудник отдела нелинейной динамики. Кандидат физико-математических наук (2014, ИПФ РАН), доцент кафедры теории колебаний и автоматического регулирования ННГУ. Область научных интересов - нелинейные колебания и волны, синхронизация, сложные сети, нейродинамика. Имеет более 40 научных публикаций по указанным направлениям. Награжден медалью РАН с премией для молодых ученых (2016).
Россия, 603950 Нижний Новгород, Ульянова, 46 Институт прикладной физики Российской академии наук E-mail: olmaov@ipfran.ru
Некоркин Владимир Исаакович - родился в 1948 году, окончил радиофизический факультет Горьковского государственного университета им. Н.И. Лобачевского (1971). Доктор физико-математических наук (1992), профессор кафедры теории колебаний и автоматического регулирования ННГУ, заведующий отделом нелинейной динамики Института прикладной физики РАН, лауреат премии им. А.А. Андронова (2012). Область научных интересов - динамика нелинейных систем, нейродинамика, теория синхронизации, пространственно-временной хаос, структурообразование и нелинейные волны. Имеет более 250 научных публикаций в отечественных и зарубежных изданиях, в том числе 4 книги и 2 патента.
Россия, 603950 Нижний Новгород, Ульянова, 46 Институт прикладной физики Российской академии наук E-mail: vnekorkin@appl.sci-nnov.ru
