CC BY
36
Обзоры актуальных
^^^^^^^^^^^^ проолем нелинейной динамики
УДК 530.182 https://doi.org/10.18500/0869-6632-2020-28-5-465-490
Коллективная динамика сетей активных элементов с импульсными связями: Обзор
В. В. Клиньшов
Федеральный исследовательский центр Институт прикладной физики РАН Россия, 603950 Нижний Новгород, ул. Ульянова, 46 Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского Россия, 603950 Нижний Новгород, пр-кт Гагарина, 23 E-mail: [email protected] Поступила в редакцию 25.05.2020, принята к публикации 16.07.2020, опубликована 30.10.2020
Цель настоящей работы - обзор исследований коллективной динамики в сетях активных элементов с импульсными связями. Для многих сетевых колебательных систем характерно межэлементное взаимодействие в форме обмена короткими сигналами, или импульсами. Важнейший класс сетевых систем, для которых характерен импульсный тип взаимодействий - биологические нейронные сети, то есть популяции нервных клеток. Описаны основные известные подходы к исследованию сетей с импульсными связями и систематизированы полученные к настоящему времени результаты.
Рассматриваемые в обзоре работы используют, как правило, достаточно простые модели для описания локальной динамики элементов сети типа накопление-и-сброс или ее обобщения. Простота этих моделей позволяет во многих случаях исследовать их аналитически, и основные идеи этого анализа описаны в обзоре. Что касается структуры рассматриваемых сетей, они достаточно разнообразны и включают полносвязные сети, сети с редкими связями, многопопуляционные и модульные (кластерные) сети.
Обзор структурирован по типу коллективной динамики, наблюдаемой в сетях с импульсными связями. Сначала описаны работы по синхронной динамике, исследование которой в сетях с импульсными связями было исторически первым. Далее мы переходим к асинхронной динамике, характеризующейся отсутствием корреляции между моментами генерации импульсов различными элементами сети. Важным частным случаем такой динамики является нерегулярная асинхронная динамика, рассмотренная в следующем разделе. Наконец, рассматриваются частично-синхронные режимы, характеризующиеся выраженными колебаниями среднего поля. В конце обзора систематизированы современные подходы к редукции сетевой динамики, направленные на получение низкоразмерных динамических систем, описывающих динамику сети в терминах усредненных переменных.
Ключевые слова: динамические сети, импульсные связи, коллективная динамика, модели нейронов, нейронные сети.
Образец цитирования: Клиньшов В.В. Коллективная динамика сетей активных элементов с импульсными связями: Обзор//Известия вузов. ПНД. 2020. T. 28, № 5. С. 465-490. https://doi.org/10.18500/0869-6632-2020-28-5-465-490
Статья опубликована на условиях лицензии Creative Commons Attribution License (CC-BY 4.0).
Финансовая поддержка. Работа выполнена при поддержке Российского научного фонда, грант № 19-72-10114.
https://doi.org/10.18500/0869-6632-2020-28-5-465-490 Collective dynamics of networks of active units with pulse coupling: Review
V V Klinshov
Federal Research Center Institute of Applied Physics of the RAS 46, Ul'yanov St., Nizhny Novgorod 603950, Russia National Research Lobachevsky State University of Nizhny Novgorod 23, Gagarin Ave., Nizhny Novgorod 603950, Russia E-mail: [email protected] Received 25.05.2020, accepted 16.07.2020, published 30.10.2020
Aim of the paper is to review of collective dynamics study of networks of active units with pulse couplings. Many network oscillatory systems are characterized by interactions between the nodes in the form of an exchange of short signals, or pulses. The most important class of such network systems is biological neural networks, that is, populations of nerve cells. Main approaches to the study of networks with pulse coupling are described and the results obtained to date are systematized.
The works considered in the review usually use fairly simple models to describe the local dynamics of network elements such as integrate-and-fire and its generalizations. The simplicity of these models allows in many cases to study them analytically, and the main ideas of this analysis are described in the review. As for the structure of the networks, they are quite diverse and include fully-connected networks, networks with sparce coupling, multi-population and modular (cluster) networks.
The review is structured according to the type of collective dynamics observed in networks with pulse coupling. First, works on synchronous dynamics were described, the study of which in networks with impulse communications was historically the first. Next, we turn to asynchronous dynamics, characterized by the absence of a correlation between the moments of pulse generation by various network units. An important special case of such dynamics is irregular asynchronous dynamics, which is discussed in the next section. Finally, partially synchronous regimes are considered, characterized by pronounced fluctuations in the mean field. At the end of the review, modern approaches to reducing network dynamics are systematized, aimed at obtaining low-dimensional dynamic systems that describe network dynamics in terms of averaged variables.
Key words: dynamical networks, pulse coupling, collective dynamics.
Reference: Klinshov V.V. Collective dynamics of networks of active units with pulse coupling: Review. Izvestiya VUZ. Applied Nonlinear Dynamics, 2020, vol. 28, no. 5, pp. 465-490. https://doi.org/10.18500/0869-6632-2020-28-5-465-490
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Acknowledgements. This work was supported by Russian Science Foundation, grant No. 19-72-10114.
Введение
Последние десятилетия отмечены все возрастающим интересом к сетям различной природы - сложным системам, состоящим из большого числа взаимодействующих простых подсистем. Коллективная динамика, то есть поведение во времени сетевых систем, определяется совокупностью нескольких факторов: свойствами составляющих сеть элементов, свойствами межэлементных связей, а также топологией сети [1,2]. Каждый из этих факторов может оказывать на сетевую динамику существенное влияние.
Для многих сетевых систем различной природы характерно взаимодействие элементов в форме обмена короткими импульсными сигналами. Важнейшим примером таких систем являются биологические нейронные сети, то есть популяции взаимодействующих нервных клеток. Электрические сигналы, которыми обмениваются нейроны, представляют собой короткие импульсы напряжения длительностью около 1 мс [3-6]. Другие примеры систем с импульсными взаимодействиями - клетки сердечной ткани [7, 8], беспроводные сенсорные сети [9], лазеры в режиме синхронизации мод [10], электронные [11] и химические [12] осцилляторы, популяции светлячков [13], аплодирующие аудитории [14] и проч.
В наиболее общем виде сеть с импульсными связями описывается системой дифференциальных уравнений вида
Здесь Xj - вектор, описывающий состояние j-го узла сети, fj (xj) и gj (xj) - нелинейные функции, ajk - коэффициент связи, а Tjk - величина запаздывания между к-м и j-м узлами сети, p(t) - функция, определяющая форму импульсов, передающих взаимодействие в сети (часто выбирается в форме дельта-функции Дирака). Моменты tsk генерации импульсов к-м узлом сети определяются как моменты пересечения траекторией системы некоторой поверхности Sk (хк)=0, причем только в положительном направлении (dSk/dt > 0). Заметим, что в таких моделях динамика отдельных элементов также часто носит импульсный характер, что может рассматриваться как частный случай импульсной связи элемента с самим собой.
Коллективная динамика сетевых систем с импульсными связями сочетает черты непрерывной и дискретной динамики. Она представляет собой череду дискретных событий, связанных с генерацией и получением элементами сети импульсных сигналов. Между данными событиями локальная динамика элементов сети является непрерывной и независимой [15,16]. Как показали многочисленные исследования, импульсный характер взаимодействий зачастую определяет особенности коллективного поведения сетевых систем, отличающие их от систем с непрерывными связями.
Настоящий обзор посвящен результатам исследований по коллективной динамике сетевых систем с импульсными связями. Ввиду громадного количества работ, опубликованных по данной тематике в последние десятилетия, полный охват темы не представляется возможным, поэтому автор ограничился наиболее интересными (с его точки зрения) и важными направлениями исследований. Рассматриваемые в обзоре работы используют, как правило, достаточно простые модели для описания локальной динамики элементов сети типа накопление-и-сброс или ее обобщения. Простота этих моделей позволяет во многих случаях исследовать их аналитически, и основные идеи этого анализа описаны в обзоре. Что касается структуры рассматриваемых сетей, они достаточно разнообразны и включают полносвязные сети, сети с редкими связями, многопопуляционные и модульные (кластерные) сети. Первая глава обзора посвящена исследованию синхронизации в сетях с импульсными связями. Во второй главе описаны результаты исследований асинхронной динамики. Третья глава посвящена особому виду асинхронной динамики сети, при которой элементы сети демонстрируют нерегулярную динамику. Четвертая глава посвящена частичной синхронизации сетей, при которой в них возникают колебания среднего поля. В пятой главе описаны современные методы редукции динамики крупномасштабных сетей к низкоразмерным динамическим системам для усредненных переменных.
Взаимная синхронизация как подстройка ритмов колебаний взаимодействующих систем наблюдается в популяциях автоколебательных элементов самой различной природы [17, 18]. В математическом анализе синхронизации важный шаг был сделан "^п1тее [19], который сформулировал приближение сильно притягивающих предельных циклов. При таком допущении амплитуды автоколебаний остаются приблизительно постоянными, и можно ограничиться исследованием фазовой динамики. "^п1тее обнаружил, что взаимная синхронизация является кооперативным эффектом, в чем-то подобным фазовым переходам в статистической физике.
N
(1)
1. Синхронизация в сетях с импульсными связями
Математическое описание перехода к взаимной синхронизации в популяции фазовых осцилляторов, взаимодействующих через среднее поле, было дано в работе Кигашо1о [20]. Им было показано, что при слабой связи динамика популяции является асинхронной, что приводит к тому, что среднее поле (суммарная активность элементов) является постоянным во времени. При превышении силой связи критической величины часть осцилляторов начинает синхронизироваться, и дальнейшее увеличение силы связи приводит к постепенному росту размера синхронной группы. Вследствие синхронизации в системе возникают макроскопические колебания среднего поля, амплитуда которых возрастает с увеличением силы связи.
Сценарий Курамото описывает случай осцилляторов с непрерывными взаимодействиями. Синхронизация в больших популяциях нейроподобных осцилляторов с импульсными связями была впервые проанализирована МкоПо и Strogatz [21]. Ими рассмотрена сеть идентичных элементов и исследована ее полная синхронизация, под которой понимается режим идентичных временных реализаций каждого элемента. Авторы использовали обобщенную модель «накопление-и-сброс», предложенную ранее Резкт [8]. Динамика элемента у Резкт описывается следующим дифференциальным уравнением для переменной состояния, или потенциала х
^ = ¿о - Ух,. (2)
Кроме того, в систему добавлен следующий пороговый механизм возбуждения: при достижении элементом значения Xi = 1 элемент «возбуждается», его состояние мгновенно изменяется на Хг = 0. Легко показать, что при у < ¿о элемент совершает колебания с периодом Т = = — 1п(1 — у/5о)/у. Взаимодействие элементов организовано следующим образом: при возбуждении -го элемента он испускает импульс, который воздействует на все остальные элементы, мгновенно увеличивая их потенциалы на величину :
х^) = 0 ^ х, (г + 0) = шт(1,х, (г — 0) + е). (3)
МкоПо и Strogatz обобщили модель локальной динамики таким образом, что мембранный потенциал у них изменяется во времени как х = /(ф), где ф € [0,1] - фаза осциллятора, подчиняющаяся уравнению (1ф/(М = 1/Т. Функция /(б) является произвольной непрерывной, монотонно возрастающей, выпуклой вверх функцией с /(0) = 0 и /(1) = 1. Правило возбуждения осцилляторов и взаимодействия между ними остаются при этом теми же, что в модели Резкт. Авторы показали, что в популяции из произвольного числа N одинаковых элементов с выпуклой вверх функцией /(ф) и произвольной силой связи е при почти всех начальных условиях наступает полная синхронизация, то есть элементы начинают возбуждаться строго одновременно. Интересно, что синхронизация наступает за конечное время, и механизм синхронизации основан на слиянии элементов в синхронизированные группы с их последующим взаимным слиянием. Чем больше становится размер группы, тем большее влияние она оказывает на оставшиеся осцилляторы и тем сильнее их к себе притягивает. Таким образом, в системе возникает положительная обратная связь, приводящая к ее быстрой полной синхронизации.
Для доказательства наступления синхронизации авторы [21] рассмотрели отображение, связывающее состояния сети между двумя последовательными моментами зажигания ее элементов. Состояние сети полностью описывается набором фаз ф = (ф1,..., фга), которые можно без ограничения общности положить упорядоченными: ф1 < ф2 < ... < фга. Тогда ближайший импульс будет сгенерирован п-м элементом спустя время Ы = 1 — фга. Фазы всех осцилляторов к этому моменту примут значения о^ = ф^ + 8г, а после воздействия их значения станут равными х% = 9(/(о») + е), где д = /-1 - обратная к £ функция. Авторы проанализировали отображение (ф1,..., фга) ^ (т1,..., хп) и показали, что, если функция /(ф) является выпуклой вверх, то при
почти всех начальных условиях система покидает область 0 < ф^ < 1 за конечное время, то есть наступает полная синхронизация.
В дальнейшем исследование синхронизации в сетях импульсных осцилляторов привлекало пристальное внимание многих исследователей. Bottani показал [22], что синхронизация может наступить даже для линейной функции f (ф) и для функций, выпуклых вниз, для больших сетей с силой связи е ~ 1 /N. Также синхронизация сохраняется при введении в популяцию беспорядка в виде неравных собственных частот осцилляторов. Допустимый разброс частот, при котором сохраняется синхронизация, зависит от силы межэлементных связей в сети. В той же работе была рассмотрена сеть с топологией в виде двумерной решетки, в которой элементы связаны с ближайшими соседями. В такой сети синхронный режим может разрушаться, и система переходит в состояние так называемой самоорганизованной критичности: в ней возникают лавины синхронных разрядов, размер которых в широкой области параметров имеет степенное распределение (см. также [23]).
В работе Gernster и van Hemmen [24] модель Mirollo и Strogatz была обобщена на случай, когда воздействие импульса на осциллятор происходит не мгновенно, а в течение конечного времени. Такая модель позволяет более реалистично описывать, например, нейроны, взаимодействующие посредством химических синапсов - специальных контактов между двумя нейронами. При данном взаимодействии возбуждение одного нейрона, называемого пресинаптическим, вызывает выделение нейромедиаторов в месте контакта, вследствие чего второй нейрон, называемый постсинаптическим, получает импульс тока. Конечное время распространения возбуждения от тела нейрона к синапсу, а также инертность химических процессов выделения нейромедиато-ров приводит к формированию импульса сложной формы и конечной длительности.
f
В модели [24] при генерации пресинаптическим нейроном j импульса в момент времени Ц входной сигнал, поступающий на постсинаптический нейрон г, задается выражением hext(t) = = Jije(i — tj), где Jij - вес связи между нейронами, а e(i) - функция отклика, имеющая вид так называемой а-функции
e(t) = a2(t — A) exp(-a(t — А)) при t> А, (4)
где А - синаптическая задержка, а а-1 - характерное время действия синаптических токов. Также в работе [24] модель нейрона характеризуется усложненной подпороговой динамикой после генерации потенциала действия, которая задается произвольной функцией возбудимости r\(t). Авторы рассматривали r\(t) = (Т — t)-1 при t > Т и r\(t) = —ж при t < Т, где Т -рефрактерный период. Описание динамики нейрона на основе функции отклика e(t) и функции возбудимости r\(t) позднее получило название модели спайкового отклика (spike response).
В работе [24] был получен критерий устойчивости синхронного состояния популяции элементов. Показано, что синхронное возбуждение сети с периодом Tosc является устойчивым, если функция отклика имеет положительный наклон de(Tosc)/dt > 0. В дальнейшем Gernster показал [25], что сеть всегда сходится к состоянию фазовой синхронизации, при котором все элементы возбуждаются периодически с постоянными сдвигами фаз, но не обязательно одновременно. Важную роль в структуре формирующегося паттерна активности играет распределение межэлементных задержек.
Известно, что запаздывание в межэлементных связях оказывает существенное влияние на синхронизацию сетей [26]. Для импульсных связей впервые влияние задержек на синхронизацию было детально исследовано в работах Ernst с соавторами [27,28]. В своих работах они рассмотрели модель, аналогичную Mirollo и Strogatz, но ввели запаздывание т между моментами генерации импульса и его действия на остальные элементы (данная модель соответствует функции отклика (4) при а ^ ж). Также они рассмотрели как возбуждающие (е > 0), так и
подавляющие (е < 0) связи между элементами. В случае возбуждающих связей наличие ненулевого запаздывания приводит к спонтанным переходам между синхронными и асинхронными состояниями. В случае подавляющих связей при наличии запаздывания в системе возникает несколько кластеров, внутри каждого из которых элементы синхронны.
Синхронизация в сети с импульсными связями возможна и при топологиях связей, отличных от случая каждый-с-каждым. Тогда сила связи между каждой парой элементов г и j характеризуется числом Eij, которое может быть положительным (возбуждающая связь), отрицательным (подавляющая связь) или нулевым (связь отсутствует). При этом, очевидно, не всегда возможна точная или полная синхронизация, характеризующаяся строго одновременным возбуждением всех элементов. Полная синхронизация сети возможна лишь при условии нормализации связей: суммарная сила входящих связей должна быть равной для всех элементов сети, ^ ■ Eij = е. Timme и соавторы [29] исследовали синхронизацию в сети со случайными нормализованными связями и показали, что для подавляющих связей синхронный режим всегда является устойчивым. Интересно, что при этом он может сосуществовать с асинхронным режимом, при котором локальная динамика элементов нерегулярна; такие режимы описаны подробнее ниже. В работе [30] авторы изучили синхронизацию сети нейронов типа накопление-и-сброс с нормализованными связями и произвольной топологией. Для сети со случайными связями (для каждого узла связанные с ним узлы выбираются случайным образом с равной вероятностью) с использованием теории случайных матриц они получили аналитически спектр ляпуновских показателей синхронного состояния. Это позволило не только получить критерий устойчивости синхронизации в сети, но и оценить скорость ее установления. Оказалось, что при фиксированном числе входящих связей к и большом размере сети N ^ к эта скорость ограничена независимо от того, насколько сильны связи.
Если условие нормализации связей нарушается, синхронизация сети может быть только приближенной, но не точной. Для сети со случайной топологией связей Golomb и Hansel показали [31], что синхронизация наступает, когда число связей на элемент превышает некоторое критическое значение. Причина состоит в том, что, если в сети из N элементов на каждый из них в среднем приходится М связей, то дисперсия числа входящих связей по элементам сети тоже равна М, что дает коэффициент вариации 1/\/М. При слишком малом числе связей коэффициент вариации велик, что приводит к сильному разбросу величины входных сигналов, получаемых различными элементами, и разрушению синхронизации. Аналогичные результаты были получены для синхронизации в сетях возбуждающих и подавляющих нейронов со случайными связями: синхронизация наступает при достаточно плотных связях [32].
Синхронизация в сетях с локальными связями была изучена Hopfield и Herz [33], которые рассмотрели динамику решетки осцилляторов типа накопление-и-сброс, связанных с ближайшими соседями. Было показано, что в течение нескольких периодов в такой сети наступает локальная синхронизация элементов с соседями из некоторой окрестности, после чего происходит процесс установки глобальной синхронизации, который может происходить довольно медленно. Однако в работе [34] было показано, что скорость установления глобальной синхронизации rs существенно зависит от параметров связи и локальной динамики, и соответствующим выбором этих параметров ее можно существенно повысить. Среднее время установления глобальной синхронизации оценено как Ts ~ logN/rs, где N - размер сети, и может составлять всего несколько периодов колебаний даже для больших сетей N ~ 1000. Быстрый выход на синхронный режим позволяет использовать сеть для обработки видеообразов. Например, добавление дальнодействующих (или глобальных) подавляющих связей позволяет получить в сети кластеры локальной синхронной активности, возбуждающиеся последовательно друг за другом и кодирующие несколько видеообразов (ср. также [35-37].
Удобным инструментом исследования синхронизации в сетях импульсных элементов является так называемая кривая переустановки фазы, phase resetting curve (PRC) [38]. Концепция PRC позволяет описывать широкий класс осцилляторов с импульсными взаимодействиями. В ее рамках каждый осциллятор описывается единственной переменной - фазой ф £ [0,1] (иногда рассматривается ф £ [0, 2п]), которая монотонно возрастает с постоянной скоростью ^ф/dt = 1/Т. При достижении фазой максимального значения она обнуляется, а осциллятор испускает импульс. Действие импульса на другие осцилляторы описывается функцией Z(ф), которая и называется кривой переустановки фазы. При получении импульса фаза осциллятора мгновенно изменяется на величину, определяемую этой функцией, так что ф(£ + 0) = ф(£ — 0) + Z(ф). Общность подхода на основе кривой переустановки фазы заключается в том, что соответствующую функцию можно вычислить или даже экспериментально измерить для произвольного осциллятора.
Исследование синхронизации с применением описания на основе кривых переустановки фазы было проведено Achuthan и Canavier [39]. Авторы рассмотрели сеть из N одинаковых нейронов с импульсными связями каждый-с-каждым. Аналитическое исследование было основано на рассмотрении динамики системы как последовательности дискретных событий, связанных с возбуждением нейронов и действием сгенерированных импульсов. Тогда можно построить отображение, описывающее эволюцию системы между моментами генерации последовательных импульсов. В синхронном режиме генерация импульсов всеми элементами происходит периодически и одновременно, что соответствует тривиальной неподвижной точке отображения. Было показано, что глобальная синхронизация устойчива только при отрицательном наклоне кривой переустановки фазы в нуле*. Однако, если наклон кривой переустановки фазы становится слишком большим, синхронизация также теряет устойчивость.
Детальный анализ потери устойчивости синхронным режимом был описан Lücken и Yan-chuk в работе [40]. Было показано, что дестабилизация синхронного режима может сопровождаться возникновением двухкластерных режимов, в которых популяция распадается на две группы, внутри каждой из которых осцилляторы возбуждаются синхронно. Устойчивость как синхронного, так и двухкластерных режимов определяется наклонами кривой переустановки фаз в точках непосредственно после возбуждения (ф = +0) и перед возбуждением (ф = 1 — 0). В специальном случае, когда оба эти наклона равны нулю, наблюдаются режимы перемежающейся синхронизации, в которой периоды почти полной синхронизации чередуются с короткими эпизодами «проскальзывания» фазы осцилляторов друг относительно друга.
В работе [41] было исследовано влияние запаздывания на динамику ансамбля идентичных осцилляторов с импульсными связями каждый-с-каждым. Запаздывание было введено в связи между элементами, так что между моментами генерации импульса и его получения остальными элементами сети проходит конечное время т. Вследствие наличия запаздывания, в синхронном режиме осцилляторы получают входные сигналы в ненулевой фазе пропорциональной величине запаздывания (при малом запаздывании). Поэтому устойчивость режима глобальной синхронизации определяется наклоном кривой переустановки фазы не в нуле, а в фазе При малом запаздывании и единичном собственном периоде данная фаза равна величине запаздывания: ^ = т. Был получен критерий устойчивости синхронизации в зависимости от величины запаздывания и силы связи, а также показано, что «проскальзывание» фазы является типичным сценарием разрушения синхронизации при произвольном виде кривой переустановки фазы.
*В работе [39] кривая переустановки фаз определялась как величина уменьшения (а не приращения) фазы под действием импульса, что соответствует общепринятой кривой переустановки фазы с обратным знаком. Поэтому в данной работе критерий устойчивости синхронизации сформулирован как положительный наклон кривой переустановки фазы в нуле.
2. Асинхронная динамика сетей
Противоположным синхронному является асинхронный режим коллективной динамики сети, характеризующийся независимостью моментов генерации импульсов различными элементами сети. Устойчивость асинхронного режима в сети идентичных осцилляторов с импульсными связями каждый-с-каждым была впервые исследована Abbot и van Vreeswijk [42]. Они рассмотрели модель осцилляторов в достаточно общей форме
= F (хг) + С(хг)Е (t), (5)
которая является обобщением модели (2) «накопление-и-сброс». Здесь х - мембранный потенциал, функция F характеризует автономное поведение элемента. При достижении значения х = 1 элемент генерирует импульс и переходит в состояние х = 0. Функция G описывает отклик осциллятора на внешнее воздействие, а Е(t) - сигнал, поступающий на осциллятор от сети. В этот сигнал вносит вклад каждый импульс, сгенерированный любым элементом сети: при генерации импульса в момент времени to сигнал Е(t) увеличивается как E(t) ^ Е(t) + f (to — t),
f(t) = (02—И"-" — <«
где ai < a 2 характеризуют скорость роста и спадания синаптического тока. При a 2 ^ ai = а функция отклика (6) стремится к альфа-функции (4).
Асинхронный режим характеризуется отсутствием корреляции между моментами генерации импульсов различными элементами. В этом случае средняя скорость генерации спайков сетью в целом не зависит от времени, и при большом числе элементов N ^ ж является постоянной. Постоянство скорости генерации спайков приводит к независимому от времени сигналу сети Е(t) = Е. Легко показать, что этот сигнал равен частоте генерации спайков индивидуальными элементами. При постоянном входе Е( ) = Е динамика каждого элемента является периодической с периодом 1/Ео. Проинтегрировав (5) за один период, получим
-1 = f1_-х_. (7)
Е Jo F(х) + EG(х) V ;
Уравнение (7) является условием самосогласованной динамики сети: элементы получают сигнал интенсивности Е и сами в ответ генерируют импульсы с частотой Е . Данное уравнение имеет решение при достаточно свободных условиях на функции F и G, что соответствует асинхронному режиму сети с частотой Е .
Для исследования устойчивости асинхронного режима авторами был применен подход на основе уравнения непрерывности Лиувилля (см. также [43-45]). Для удобства авторы [42] с помощью взаимно-однозначного отображения перешли к новым переменным yi=Ео Их/^ (х) + + Е(^(х), которые изменяются от 0 до 1 и подчиняются уравнению
-t = Е + г(уг )e(t), (8)
где Г(у) = EG(х)/(F(х) + EG(х)), e(t) = Е^) — Е. Тогда для плотности распределения р(у, t ) поток задается как J (у, t) = [Ео + r(y)e(t)]p(y, t), а уравнение непрерывности имеет вид
дР = — dJ (9)
dt ду у '
В асинхронном режиме р(у, 1) = 1 и J (у, t) = Е, а для исследования его устойчивости уравнение (9) следует линеаризовать около данного решения. Авторы вычислили спектр асинхронного
режима и определили условия устойчивости данного режима. Основной результат заключается в том, что подавляющие связи (G(x) < 0) не могут стабилизировать асинхронные режимы, тогда как при возбуждающих связях (G(x) > 0) это возможно. При этом важное значение имеют коэффициенты ai и а2, характеризующие временные масштабы динамики синаптических токов. Также авторы рассмотрели влияние шума и пришли к выводу, что он стабилизирует асинхронные режимы.
В более общем случае устойчивость асинхронных режимов исследована в серии работ Gerstner [46]. Он рассмотрел полносвязную сеть идентичных элементов, описываемых моделью спайкового отклика c произвольными функциями отклика и возбудимости. Также в модели учитывалось действие шума либо в виде стохастических флуктуаций в механизме возбуждения, либо в виде прямого шумового воздействия в уравнение для динамики состояний элементов.
Было показано, что условиями стабилизации асинхронного режима является присутствие в системе достаточно сильного шума и/или синаптической задержки. При дестабилизации асин-хроннного режима в сети могут возникать периодические колебания активности Е(t) на различных характерных частотах. Также были исследованы переходные процессы в асинхронной сети при изменяющемся во времени внешнем воздействии. Показано, что несмотря на конечное время реакции отдельных нейронов (порядка времени перезарядки мембраны), отклик сети в целом на изменение внешнего воздействия наступает очень быстро (мгновенно). Это связано с тем, что в асинхронном режиме в сети всегда присутствует определенная доля нейронов, находящихся вблизи порога возбуждения и готовых быстро отреагировать на изменившийся внешний сигнал. Таким образом, нейронная сеть в асинхронном режиме может эффективно передавать сигналы вплоть до очень высоких частот.
В работе [47] была исследована асинхронная активность в сети, состоящей из возбуждающей и подавляющей популяций. Все элементы сети были связаны друг с другом, также в сеть была введена неоднородность в форме различия внешних стимулов, действующих на разные элементы. Динамика локального элемента описывалась моделью квадратичного накопления и сброса
^ = V£ + Iia + iTW - e (10)
где Via - мембранный потенциал г-го элемента из популяции a = Е, I (возбуждающая или подавляющая), Iah - постоянный ток смещения, а Iia - неоднородная компонента тока, распределение которой по элементам популяции a задано в виде Qa(/). Взаимодействие в сети описывается входным током lisyn(t), который поступает от всех элементов обеих популяций:
) = ZGS £ fß(t - зР). (11)
jP t-.ß
Здесь Цр - моменты генерации спайков j-м элементом из популяции ß, f(t) - функция отклика на один спайк ( ), а синаптические связи G^ß" = д.aß/Щ однородны и обратно пропорциональны размеру сети, причем gßß > 0, giß < 0. При достижении потенциалом порогового значения Vt элемент генерирует спайк, и его потенциал мгновенно приобретает значение Vr.
В асинхронном режиме активность каждой популяции постоянна во времени, однако частота генерации спайков разными элементами различна в силу различия токов Да. Активность элементов задается условиями самосогласованности
^ dV 1-1
(12)
-Jvr Vii - If + Eß9aßvß.
где vp - средняя активность элементов в популяции р. Исследование устойчивости асинхронной динамики в сети из двух взаимодействующих популяций проводилось методами, аналогичными примененным в работе [42]. Были определены условия устойчивости асинхронного режима и показано, что он возможен даже при достаточно сильных связях.
Асинхронный режим был изучен и в так называемых «разреженных» сетях, в которых случайным образом удаляется некоторое (небольшое) число межэлементных связей [48]. Если в полносвязной сети идентичных элементов асинхронный режим соответствует поочередному периодическому возбуждению элементов сети через строго равные интервалы времени (так называемое splay state), то случайное удаление даже небольшого числа связей приводит к возникновению беспорядка. Интервалы между моментами возбуждения элементов начинают несколько отличаться друг от друга, однако асинхронный режим с упорядоченным возбуждением элементов сохраняет свою устойчивость. Интересно, что переходный процесс к асинхронному режиму принципиально отличается в случае слабых и сильных связей. При слабых связях асинхронный режим устанавливается достаточно быстро, тогда как при сильных связях переходный процесс длится экспоненциально долго (с ростом размера сети) и обладает чертами стационарного процесса. В термодинамическом пределе переходный процесс превращается в устойчивый нерегулярный режим, в котором порядок возбуждения элементов и фазовые соотношения между ними претерпевают постоянные квазислучайные изменения.
3. Нерегулярная асинхронная динамика
Важной разновидностью асинхронной динамики является так называемая нерегулярная динамика, при которой временная структура генерируемых элементами сети импульсов нерегулярна и близка к случайной. Нерегулярная спонтанная активность в больших сетях импульсных элементов была впервые получена в серии работ Brunei c соавторами, посвященных моделированию кортикальных нейронных сетей. В работах [49,50] были введены базовые идеи и заложена основа теоретического метода анализа коллективной динамики сети с учетом флуктуаций локальных входных сигналов. Более детально данный метод был развит в работе [51] для сети подавляющих нейронов. Наконец, полностью разработанная методика и наиболее детальные результаты исследования для сети возбуждающих и подавляющих нейронов были опубликованы в работе [52]. Остановимся подробнее на модели, рассмотренной в данной работе.
Автор изучил нейронную сеть, состоящую из двух популяций - Ne возбуждающих и Nj подавляющих нейронов. Каждый нейрон получает равное число входящих синаптических сигналов от Се = sNe от возбуждающих нейронов и Ci = eNj от подавляющих нейронов. При этом связи являются редкими (е ^ 1), а пресинаптические нейроны, проектирующие на каждый нейрон, выбираются случайным образом. Кроме того, каждый нейрон получает Cext = Се внешних возбуждающих сигналов, каждый из которых представляет собой случайный пуассо-новский процесс с частотой vext. Локальная динамика каждого нейрона описывается моделью накопление-и-сброс:
x^(t ) = — Vz(t) + RIz(t), (13)
где Vi - мембранный потенциал г-го нейрона, т определяет характерное время зарядки мембранной емкости, а Ii(t) представляет собой суммарный синаптический ток, поступающий на нейрон. При достижении мембранным потенциалом пороговой величины 9 нейрон генерирует потенциал действия (спайк), и становится нечувствительным к внешнему воздействию в течение рефрактерного периода тгр. После этого его мембранный потенциал принимает значение Vr, и нейрон продолжает эволюционировать согласно уравнению (13) до следующего момента достижения порога.
Внешний сигнал К /¿(¿) представляет собой последовательность 8-импульсов
3 к
Здесь - синаптический вес связи между ]-м и г-м нейронами. Синаптические веса выбраны равными ] для всех возбуждающих синапсов (в том числе внешних) и —д] для подавляющих синапсов. Моменты - это моменты генерации потенциала действия ]-м нейроном, а И - синап-тическая задержка. При генерации нейроном потенциала действия на все нейроны, с которыми он связан, спустя время И поступают сигналы в виде 8-импульсов.
Аналитическое исследование модели проводилось в пределе больших сетей (Ж ^ 1) с редкими связями (е ^ 1) и слабыми синапсами ( ] ^ 9). В этом случае каждый нейрон получает большое число слабых сигналов, и входящий синаптический ток можно аппроксимировать как белый шум с переменными во времени средним и интенсивностью:
Ш&) = о^пСО- (15)
При этом, так как для любой пары нейронов доля общих пресинаптических нейронов мала, их входные сигналы можно считать некоррелированными. В пределе N ^ ж можно ввести плотность распределения мембранного потенциала нейронов Р(V, ¿), которая равна вероятности обнаружить случайный нейрон в состоянии V в момент 1 Тогда от уравнений (13) и (15) можно перейти к уравнению Фоккера-Планка для плотности распределения
дР(V, *) *)
М дV '
где
, (V, () = — оМ дРЖ — 1—Шр V 4) (17)
описывает поток вероятности через потенциал V в момент ¿. Заметим, что частота генерации спайков представляет собой не что иное, как поток вероятности через порог возбуждения: у(£) = = 5(9, ¿). Уравнение Фоккера-Планка совместно с условием нормировки и набором граничных условий дает полное описание динамики сети. Стационарные решения системы характеризуются не зависящей от времени плотностью распределения Р(V, ¿) = Ро^) и постоянной частотой у(£ ) = Уо и удовлетворяют условию самосогласованности: синаптический ток на входе нейронов согласован с частотой генерируемых ими сигналов.
Анализ самосогласованных стационарных решений (16) показал, что в зависимости от баланса возбуждения и подавления характеристики стационарного режима системы могут быть качественно различными. При доминировании возбуждения (д < Же/N1) сеть демонстрирует высокую активность, близкую к максимальной утах = 1/тгр. При доминировании подавления (д > Же/N1) активность сети низкая и определяется в основном внешней частотой уех^ Несмотря на то, что переход между режимами высокой и низкой активности носит непрерывный (небифуркационный) характер, он становится все более резким при увеличении числа синапсов Се . Более того, кроме количественного различия глобальной активности, в этих двух режимах наблюдается качественное различие локальной динамики отдельных нейронов. Если в режиме высокой активности эта динамика является регулярной, то режим низкой активности характеризуется сильной вариабельностью межспайковых интервалов (коэффициент вариации больше единицы). Максимальная нерегулярность достигается вблизи сбалансированного состояния (д ~ Же/N1), при увеличении подавления коэффициент вариации приближается к единице, при этом сигналы, генерируемые нейронами, становятся близки к пуассоновскому процессу.
Стационарные режимы сети являются асинхронными, так как активность отдельных нейронов не коррелирована, в результате чего суммарный сигнал (среднее поле), генерируемый сетью, является постоянным с точностью до эффектов конечного размера сети. При дестабилизации стационарного режима и возникновении глобальных колебаний микроскопическая динамика сети характеризуется возникновением корреляции между нейронами, то есть частичной синхронизацией сети (более подробно частично синхронные режимы описаны в следующей главе обзора). Заметим, что при конечном размере сети стохастические эффекты конечного размера приводят к сглаживанию резкого перехода между асинхронными и синхронными режимами. В асинхронном режиме возникают стохастические колебания активности сети, а в синхронном режиме возникает стохастическая диффузия фазы глобальных колебаний. Оба эффекта исчезают в пределе е ^ 0.
Модель Вгипе1 вызвала волну интереса к исследованию самоподдерживающейся асинхронной нерегулярной активности в нейронных сетях. Так, в работе [53] была предложена сеть с самоподдерживающейся активностью, демонстрирующая спонтанные переходы между состояниями с высокой и низкой активностью. В работе [54] показано, что асинхронная самоподдерживающаяся активность возможна даже для сетей с существенной долей общего входного сигнала различных нейронов. Нерегулярная активность с малой степенью синхронизации была обнаружена в крупномасштабных сетях с реалистичной структурой, имитирующей кортикальную микроколонку [55].
Заметим, однако, что в строгом смысле активность, возникающую в большинстве описанных моделей, нельзя считать самоподдерживающейся, так как необходимым условием для ее поддержания является наличие внешнего возбуждающего воздействия на нейроны. Это воздействие может иметь вид либо входящей импульсной последовательности, либо постоянного тока смещения, что в обоих случаях приводит к формированию самоподдерживающейся локальной динамики элементов. Внутрисетевые взаимодействия приводят к формированию сложных некоррелированных временных паттернов активности, однако недостаточны для поддержания активности сами по себе. При выключении внешнего воздействия самоподдерживающаяся активность сети продолжается в течение времени порядка нескольких секунд, после чего сеть переходит в состояние покоя [56,57]. Отметим, что самоподдерживающаяся нерегулярная активность без внешнего воздействия была получена в сети нейронов с редкими связями и ло-гнормальным распределением синаптических весов [58]. Такое распределение характеризуется тяжелым хвостом, то есть наличием некоторого числа очень сильных связей, и соответствует результатам экспериментальных исследований связей в кортикальных нейронных сетях [59]. Введение логнормального распределения весов связей позволяет получить самоподдерживающуюся нерегулярную динамику в сети в отсутствие дополнительного внешнего воздействия. Также наличие очень сильных синапсов приводит к ряду интересных свойств сети, например оптимизации параметров передачи информации в виде спайковых последовательностей.
Динамика становится самоподдерживающейся и в случае равных синаптических весов, если они становятся достаточно сильными [60]. При этом нерегулярная динамика сети качественно изменяется, наблюдается переход к так называемому неоднородному асинхронному режиму [61]. В данном режиме вариабельность межспайковых интервалов индивидуальных нейронов существенно возрастает, нейроны приобретают тенденцию к генерации бёрстов, то есть пачек импульсов с коротким межимпульсным интервалом, разделенных длительным интервалом отсутствия возбуждения. Таким образом, активность элементов демонстрирует сильные медленные флуктуации во времени. При этом корреляция между моментами генерации импульсов различными элементами остается на уровне 1 /N, что позволяет приписывать ее эффектам конечного размера сети и рассматривать описываемый неоднородный режим как асинхронный.
4. Частичная синхронизация и колебания среднего поля
Асинхронная динамика соответствует отсутствию корреляции между реализациями отдельных элементов сети, тогда как при полной синхронизации эти реализации идентичны. Промежуточное положение между этими режимами занимают режимы частичной синхронизации, при которых коэффициент корреляция между реализациями элементов сети отличен от нуля, но меньше единицы. Частичная синхронизация часто возникает при дестабилизации асинхронного режима и приводит к появлению колебаний среднего поля. Возникновение таких колебаний впервые продемонстрировал van Vreeswijk [62]. Им была рассмотрена сеть типа (5) c функцией отклика в виде альфа-функции (4). При достаточно быстрых возбуждающих связях (значение а превышает некоторую критическую величину) асинхронный режим сети теряет устойчивость, и в сети возникают периодические колебания среднего поля. Механизм возникновения колебаний связан с бифуркацией Андронова-Хопфа, то есть вблизи точки потери устойчивости колебания имеют фиксированную частоту и малую амплитуду. При этом динамика отдельных элементов сети является квазипериодической, а средняя частота генерации импульсов ниже частоты колебаний среднего поля сети.
Возникновение частичной синхронизации и колебаний среднего поля было также обнаружено в сетях со случайной структурой связей [31,63]. При этом важным условием является достаточно большое число связей, приходящихся на один элемент сети. При повышении числа связей сеть переходит от асинхронного к частично-синхронному режиму и далее к режиму полной синхронизации.
Частичная синхронизация наблюдалась и в режимах с нерегулярной динамикой элементов [52]. Было обнаружено несколько механизмов возникновения быстрых колебаний среднего поля при потере устойчивости стационарным асинхронным режимом. При сильном подавлении и большой частоте внешнего воздействия в сети возникают быстрые колебания на высокой частоте, которая определяется, в основном, синаптической задержкой D. При низкой частоте внешнего воздействия колебания возникают на низкой частоте, определяемой, в основном, мембранным временем т. В режиме доминирования возбуждения типичным является возникновение сильных высокочастотных колебаний на частотах к/ D для целых к.
В работе [64] высокочастотные колебания похожей природы были обнаружены в сети с более реалистичными синапсами, генерирующими импульсные сигналы конечной длительности формы (4) (см. также [65]).
При увеличении плотности в модели [64] число общих пресинаптических нейронов и, следовательно, доля общего входного сигнала для различных элементов сети перестают быть малыми, вследствие чего коллективная динамика сети становится частично синхронизированной. В работах [66,67] и др. исследовано возникновение коллективной нерегулярной динамики в модели Brunei со сравнительно плотными связями, а именно когда число связей К ~ N. В этом случае даже при очень больших размерах сети N коллективная динамика характеризуется наличием существенных хаотических колебаний среднего поля, что не позволяет считать их эффектами конечного размера сети. Эти колебания сохраняются в широком диапазоне параметров сети, а также при наличии запаздывания в связях и внешнего шума. Единственный случай, когда коллективные нерегулярные колебания исчезают в пределе N ^ те, это случай разреженной сети К/N ^ 0.
Коллективная нерегулярная динамика в смысле выраженных хаотических колебаний среднего поля наблюдалась также и в сетях нейронов со связями каждый-с-каждым [68,69], однако в этом случае необходимым ингредиентом является наличие неоднородности параметров элементов. Сценарий возникновения коллективных колебаний в этом случае несколько напоминает сценарий Курамото: при слабой связи элементы колеблются с собственными (или близкими
к собственным) частотами, тогда как увеличение связи приводит к их частичной синхронизации. Однако в отличие от сценария Курамото возникающие коллективные колебания с самого начала являются хаотическими.
Нерегулярные колебания с медленными флуктуациями активности могут возникать благодаря сложным структурам синаптических связей, например присутствию кластеров [70,71]. В работе [70] исследовано влияние степени кластеризации связей на режимы ее коллективной активности. Для этого сеть разбивалась на несколько подгрупп равного размера, причем связи между элементами каждой группы устанавливались случайно с вероятностью Pin, а связи между элементами различных групп - тоже случайно, но с меньшей вероятностью p0ut. Степень кластеризации контролировалась коэффициентом R = pin/p0ut, причем R = 1 соответствует однородной сети, а R = ж соответствует несвязанным кластерам. Было обнаружено, что при средних значениях R активность элементов сети характеризуется сильной вариабельностью, то есть испытывает существенные флуктуации во времени. Это связано с возникновением метаустойчи-вых состояний повышенной активности отдельных кластеров, в которые они время от времени спонтанно переходят. При таком переходе частота всех элементов данного кластера временно повышается, после чего вновь становится равной средней по сети. При больших коэффициентах кластеризации R состояния повышенной локальной активности становятся устойчивыми, и сеть в целом характеризуется высокой мультистабильностью между различными состояниями повышенной локальной активности. Наличие аналогичных метастабильных и стабильных состояний повышенной локальной активности было также показано в сетях с биологически релевантным распределением синаптических весов и реалистичными параметрами кластеров [72].
5. Редуцированные модели сетевой динамики
Динамика сложных сетей, состоящих из большого числа взаимодействующих элементов, описывается высокоразмерными системами дифференциальных уравнений, исследование которых зачастую затруднительно как численными, так и аналитическими методами. Особенно остро эта проблема стоит в задачах моделирования динамики нейронных популяций, размер которых может достигать миллионов и миллиардов. В связи с этими трудностями актуальность приобретают методы редукции коллективной динамики к низкоразмерным динамическим системам для усредненных переменных. Такие редуцированные системы могут описывать динамику однородных популяций мезомасштаба, а макромасштабные неоднородные сети могут моделироваться как системы взаимодействующих популяций мезоуровня. Широко используемые модели для ме-зоскопических нейронных популяций основаны на эвристических (качественных) уравнениях для активности популяции [73-75]. Однако в последнее время стал развиваться подход, основанный на выводе редуцированных моделей из уравнений для микроскопической динамики сетей нейронов с импульсными связями.
В работе [76] была получена редуцированная низкоразмерная система, описывающая сред-неполевую динамику большой сети нейронов с импульсными связями каждый-с-каждым. Динамика локального элемента сети описывалась моделью квадратичного накопления и сброса
Щ
м
при достижении мембранным потенциалом порогового значения Vp нейрон генерирует спайк и его мембранный потенциал становится равным V- (заметим, что при > 0 решения уравнения (18) могут достигать бесконечности за конечное время, поэтому в дальнейшем полагалось Ур = +ж, V- = —ж). Входной ток ^ задается как
= п + (*) + /(*), (19)
-if = V¡ + h, (18)
где внешний входной сигнал имеет общую составляющую 1(Ь) и неоднородную компоненту п, распределенную по некоторому закону д(п), синаптический вес ■] характеризует силу взаимодействий внутри сети, а синаптическая активность полагается в простейшем случае равной частоте генерации спайков г(Ь), которая определяется как
1 М
^) = л ЕЕ- %)' (20)
7=1 г)
ьз
может быть описано функцией плотности р( V|п, £), уравнение для которой имеет вид
где ^ - моменты генерации спайков. В термодинамическом пределе N состояние сети
dtp + dv [Sp] = o, (21)
где поток S(V|\, t) = V2 + \ + Jf + I- Частота генерации спайков нейронами с параметром П определяется как поток на бесконечности г(ц, t) = S(+ro|n. t), а полная частота генерации спайков сетью r(t) = g(r\)r(r\, t)dr\.
Ключевой идеей работы [76] является поиск решения уравнения (21) с использованием подстановки в виде
1 x(n t)
P(V|n- t) = 1[V -»(n.«)]2+x(\, t)2 • (22)
вследствие чего уравнение сводится к виду
dtw(\, t) = i[n + Jr(t) - w(n. t)2 + I(t)], (23)
где w(\, t) = x(\, t) + iy(n\, t), а r(t) = П f^ x(\, t)g(r\)dr\. Поиск решения в таком виде основывается на гипотезе о том, что соответствующее многообразие является притягивающим [77]. Дальнейшая редукция возможна для произвольного аналитического распределения <jf(n), например для распределения Лоренца
^ = П(\ - r^2 + А2 (24)
интеграл для ( ) может быть вычислен с помощью теории вычетов, в результате чего уравнение (23) сводится к системе двух обыкновенных дифференциальных уравнений
г = А/п + 2r v. (25)
v = v2 + f\ +Jr + I(t) - л2г2. (26)
Здесь г и v являются макроскопическими переменными, характеризующими состояние сети в целом: г определяет среднюю частоту генерации спайков элементами сети, а v - средний мембранный потенциал. Уравнения (25) и (26) полностью описывают динамику сети, в том числе переходные процессы и отклики на нестационарные стимулы I(t). При отсутствии внешнего воздействия ( ) = о в широкой области параметров система является бистабильной - в ней сосуществуют два устойчивых состояния равновесия, соответствующих низкой и высокой активности сети. Так, для обоих состояний частота г является постоянной, динамика сети в обоих случаях является асинхронной. Однако важным свойством является то, что состояние с высокой степенью активности может являться фокусом, и сеть может демонстрировать затухающие колебания около данного состояния равновесия. Колебательная динамика частоты является признаком частичной синхронизации нейронов, а затухание этих колебаний говорит о том, что синхронизация носит преходящий характер и может временно возникать, например, в ответ на
резкое изменение внешней стимуляции. При периодическом внешнем воздействии колебания активности сети носят перманентный харакетр, в том числе могут быть и хаотическими.
Подход на основе использования подстановки в виде распределения Лоренца может быть применен и к более сложным моделям, например в случае более реалистичной динамики синапсов. Ratas и Pyragas [78] рассмотрели сеть квадратичных нейронов накопление-и-сброс, в которых динамика синаптического тока задается уравнением
ifn = -К( V3 - Va)S, (27)
где Vs - реверсивный потенциал синапсов, К - сила связи, связанная с максимальной синапти-ческой проводимостью, а S - средняя проводимость синапсов, определяемая как
1 N
S = (V* -Vth).
к=1
Здесь Vh - порог открывания синапсов, а Н(V) - функция Хевисайда. Таким образом, вклад в проводимость вносят только нейроны, потенциал которых превышает Vth, и при конечном значении Vth генерируемые такими нейронами импульсы имеют ненулевую длительность. В работе [78] была получена редуцированнная модель, аналогичная системе (25) и (26), но учитывающая конечную длительность генерируемых нейронами импульсов. Основным следствием импульсов конечной длины является способность сети генерировать незатухающие колебания среднего поля.
При моделировании неоднородных сетей со сложной конфигурацией модели типа (25) могут использоваться для описания отдельных однородных популяций внутри сети. Так, в работе [79] была рассмотрена сеть, состоящая из двух взаимодействующих идентичных популяций, причем сила связей внутри популяции J¡n отличалась от силы связей между популяциями Jex. В работе была получена редуцированная система дифференциальных уравнений для средних величин обеих популяций и проведен их подробный бифуркационный анализ, который выявил возможность различных режимов, таких как асинхронные режимы, периодические противофазные колебания популяций, хаотические колебания и химероподобные состояния с разрушением симметрии. В работе [80] была рассмотрена сеть из двух популяций возбуждающих и подавляющих нейронов в режиме сбалансированной динамики, исследован переход между синхронным и асинхронным режимами.
Другой подход, позволяющий получить редуцированные системы для больших популяций нейронов с импульсными связями, основан на так называемом методе рефрактерной плотности (refractory density method, RDM). Данный метод позволяет описывать динамику однородных стохастических популяций импульсных элементов. Для этого каждый элемент популяции характеризуется так называемым «возрастом» т - временем, прошедшим с момента генерации им последнего импульса. Подход основан на гипотезе о том, что вероятность генерации спайка определяется возрастом элемента: p(t;t + Ai) = PA(t, t)Aí, где A(t) - история активности популяции. Распределение элементов по возрасту называется рефрактерной плотностью р(т, t) и подчиняется уравнению [46]
I + t = -РАМ* (28)
при этом активность сети определяется числом элементов, только что испустивших импульсы, то есть имеющих возраст т = 0:
/•те
A(t)=p(0, t)= ра(т, t)p(T, t)(h. (29)
Jo
Динамика популяции определяется видом функции ра(т, t) - так называемой функции уровня опасности (hazard rate), которая в свою очередь зависит от свойств элементов сети и межэлементных связей. Вид этой функции был получен для систем различного вида, например для
сети элементов типа накопление-и-сброс обобщенного вида со стохастическим механизмом генерации импульсов [81], для сети реалистичных нейронов под внешним шумовым воздействием [82,83], а также в случае неоднородного детерминированного внешнего воздействия, распределенного по логнормальному закону [84]. Также метод рефрактерной плотности был обобщен на популяции конечного размера [85].
Подход на основе рефрактерной плотности может быть использован для описания динамики неоднородных нейронных сетей, которые можно представить как состоящие из нескольких однородных субпопуляций, каждая из которых описывается уравнением типа (28). С использованием такого подхода было проведено моделирование активности визуальной коры [86] и эпилептических разрядов в коре головного мозга [87]. Заметим, что к уравнению в частных производных для рефрактерной плотности (28) в ряде случаев могут быть применены приближенные методы понижения размерности [88], что позволяет сводить динамику крупномасштабных сетей к системам небольшого числа связанных обыкновенных дифференциальных уравнений.
Заключение
Исследование коллективной динамики сетей активных элементов с импульсными связями продолжает оставаться одним из актуальных направлений современной нелинейной динамики. Такие исследования в первую очередь востребованы в контексте моделирования динамики нейронных популяций. Работы по данной тематике начались в 90-х годах прошлого века с изучения синхронизации в сетях нейроподобных элементов. Синхронизация в кортикальных сетях мозга лежит в основе его колебательной активности, регистрируемой в виде альфа- и гамма-ритмов ЭЭГ, а также играет важнейшую роль при выполнении мозгом информационных и когнитивных функций, выступая в качестве интегративного механизма, объединяющего широко распределенный набор нейронов в единый согласованный ансамбль для когнитивного акта [89]. С другой стороны, чрезмерная синхронизация может быть вредной для нервной системы (особенно для высших мозговых центров) и привести к патологическим типам активности, таким как эпилепсия [90] или шизофрения [91].
В 2000-х годах исследования сетей с импульсными связями переключились на более сложные режимы коллективной динамики, такие как возникновение сложных хаотических колебаний активности, синхронных либо асинхронных. Такие режимы важны с точки зрения информационно-вычислительных свойств нейронных сетей. Так, синхронная хаотическая динамика позволяет нейронным популяциям быстро реагировать на изменения в их внешних входах [92] и облегчает доступ сети к состояниям, кодирующим различные стимулы [93]. Богатство, сложность и большая размерность динамики в системах, демонстрирующих асинхронный хаос, также наделяет их исключительными вычислительными возможностями [94-96].
В последнее десятилетие интерес исследователей заметно сместился в сторону разработки методов редукции динамики больших сетей с импульсными связями к низкоразмерным моделям. Громадные размеры нейронных сетей (миллионы и миллиарды нейронов) определяют актуальность разработки редуцированных моделей, описывающих динамику не отдельных элементов сети, а целых популяций. Такие модели позволят более эффективно моделировать динамику крупномасштабных сетей как систем взаимодействующих популяций [97, 98]. Именно разработка и применение редуцированных моделей привлекает основное внимание исследователей динамики сетей с импульсными связями в настоящее время.
Библиографический список
1. Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D.U. Complex networks: Structure and
dynamics // Phys. Rep. 2006. Vol. 424. P. 175.
2. Масленников О.В., Некоркин В.И. Адаптивные динамические сети // Усп. физ. наук. 2017.
T. 87. C. 745.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
482
Некоркин В.И. Нелинейные колебания и волны в нейродинамике // Усп. физ. наук. 2008. T. 178. C. 313.
Рабинович М.И., Мюезинолу М.К. Нелинейная динамика мозга: эмоции и интеллектуальная деятельность // Усп. физ. наук. 2010. T. 180. C. 371.
Strogatz S. Sync: The Emerging Science of Spontaneous Order. Penguin UK, 2004. Winfree A.T. The Geometry of Biological Time. Springer, 2001.
Luo C.-h., Rudy Y. A model of the ventricular cardiac action potential. Depolarization, repolarization, and their interaction // Circulation Research. 1991. Vol. 68, no. 6. P. 1501-1526. Peskin C.S. Mathematical Aspects of Heart Physiology. Courant Institute of Mathematical Sciences. New York University, New York, 1975.
Pagliari R., Scaglione A. Scalable network synchronization with pulse-coupled oscillators // IEEE Transactions on Mobile Computing. 2011. Vol. 10, no. 3. P. 392-405.
Vladimirov A.G., Turaev D. Model for passive mode locking in semiconductor lasers // Physical Review A. 2005. Vol. 72. P. 33808.
LoperaA., BuldUJ.M., Torrent M.C., Chialvo D.R., Garcia-Ojalvo J. Ghost stochastic resonance with distributed inputs in pulse-coupled electronic neurons // Physical Review E. 2006. Vol. 73, no. 2. P. 21101.
Vanag V.K., Smelov P.S., Klinshov V.V. Dynamical regimes of four almost identical chemical oscillators coupled via pulse inhibitory coupling with time delay // Phys. Chem. Chem. Phys. 2016. Vol. 18, no. 7. P. 5509-5520.
Buck J., BuckE. Mechanism of rhythmic synchronous flashing of fireflies: Fireflies of southeast asia may use anticipatory time-measuring in synchronizing their flashing // Science. 1968. Vol. 159, no. 3821. P. 1319-1327.
Neda Z., Ravasz E., Brechet Y., Vicsek T., Barabasi A.-L. Self-organizing processes: The sound of many hands clapping // Nature. 2000. Vol. 403, no. 6772. P. 849.
Klinshov V.V., Nekorkin V.I. The map with no predetermined firing order for the network of oscillators with time-delayed pulsatile coupling // Commun. Nonlinear Sci. Numer. Simul. 2013. Vol. 18. P. 973.
Klinshov V.V., Nekorkin V.I. Event-based simulation of networks with pulse delayed coupling // Chaos. 2017. Vol. 27. P. 101105.
Arenas A., Diaz-Guilera A., Kurths J., Moreno Y., Zhou C. Synchronization in complex networks // Physics Reports. 2008. Vol. 469, no. 3. P. 93-153.
Pikovsky A., Kurths J., Rosenblum M., Kurths J. Synchronization: A Universal Concept in Nonlinear Sciences, volume 12. Cambridge university press, 2003.
Winfree A.T. Biological rhythms and the behavior of populations of coupled oscillators // Journal of Theoretical Biology. 1967. Vol. 16. P. 15-42.
Kuramoto Y. Chemical Oscillations, Waves, and Turbulence, volume 19. Springer-Verlag (Berlin and New York), 1984.
Mirollo R.E., Strogatz S.H. Synchronization of pulse-coupled biological oscillators // SIAM J. Appl. Math. 1990. Vol. 50, no. 6. P. 1645-1662.
Bottani S. Pulse-coupled relaxation oscillators: From biological synchronization to self-organized
criticality // Physical Review Letters 1995. Vol. 74, no. 21. P. 4189-4192.
Corral A., Perez C.J., Diaz-Guilera A., Arenas A. Synchronization in a lattice model of pulse-
coupled oscillators // Physical Review Letters. 1995. Vol. 75, no. 20. P. 3697.
Gerstner W., Van Hemmen J.L. Coherence and incoherence in a globally coupled ensemble of
pulse-emitting units // Physical Review Letters. 1993. Vol. 71, no. 3. P. 312-315.
Gerstner W., Kempter R., van Hemmen J.L., Wagner H. A neuronal learning rule for sub-
millisecond temporal coding // Nature. 1996. Vol. 383. P. 76-78.
Клиньшов В.В., Некоркин В.И. Синхронизация автоколебательных сетей с запаздывающими связями // Усп. физ. наук. 2013. T. 183. C. 323.
27. Ernst U., Pawelzik K., Geisel T. Synchronization induced by temporal delays in pulse-coupled oscillators // Physical Review Letters. 1995. Vol. 74, no. 9. P. 1570-1573.
28. Ernst U., Pawelzik K., Geisel T. Delay-induced multistable synchronization of biological oscillators // Physical Review E. 1998. Vol. 57, no. 2. P. 2150-2162.
29. Timme M., WolfF., Geisel T. Coexistence of regular and irregular dynamics in complex networks of pulse-coupled oscillators // Phys. Rev. Lett. 2002. Vol. 89, no. 25. P. 258701.
30. Timme M., Geisel T., Wolf F. Speed of synchronization in complex networks of neural oscillators: Analytic results based on Random Matrix Theory // Chaos. 2006. Vol. 16. P. 15108.
31. Golomb D., Hansel D. The number of synaptic inputs and the synchrony of large, sparse neuronal networks // Neural Computation. 2000. Vol. 12, no. 5. P. 1095-1139.
32. Borgers C., Kopell ^.Synchronization in networks of excitatory and inhibitory neurons with sparse, random connectivity // Neural Computation. 2003. Vol. 15, no. 3. P. 509-38.
33. Hopfield J.J., Herz A.V. Rapid local synchronization of action potentials: Toward computation with coupled integrate-and-fire neurons // Proceedings of the National Academy of Sciences. 1995. Vol. 92, no. 15. P. 6655-6662.
34. Campbell S.R., Wang D.L., Jayaprakash C. Synchrony and desynchrony in integrate-and-fire oscillators //Neural computation. 1999. Vol. 11, no. 7. P. 1595-1619.
35. Klinshov V., Nekorkin V. Activity clusters in dynamical model of the working memory system // Network: Computation in Neural Systems. 2008. Vol. 19, no. 2. P. 119-135.
36. Terman D., Wang D. Global competition and local cooperation in a network of neural oscillators // Physica D: Nonlinear Phenomena. 1995. Vol. 81, no. 1-2. P. 148-176.
37. Wang D., Terman D. Locally excitatory globally inhibitory oscillator networks // IEEE Transactions on Neural Networks. 1995. Vol. 6, no. 1. P. 283-286.
38. Canavier C.C., Achuthan S. Pulse coupled oscillators and the phase resetting curve // Mathematical Biosciences. 2010. Vol. 226, no. 2. P. 77-96.
39. Achuthan S., Canavier C.C. Phase-resetting curves determine synchronization, phase locking, and clustering in networks of neural oscillators // The Journal of Neuroscience: The Official Journal of the Society for Neuroscience. 2009. Vol. 29, no. 16. P. 5218-5233.
40. Lucken L., Yanchuk S. Two-cluster bifurcations in systems of globally pulse-coupled oscillators // Physica D: Nonlinear Phenomena. 2012. Vol. 241. P. 350-359.
41. Klinshov V., Lucken L., Yanchuk S. Desynchronization by phase slip patterns in networks of pulse-coupled oscillators with delays // The European Physical Journal Special Topics. 2018. Vol. 227, no. 10-11. P. 1117-1128.
42. Abbott L.F., van Vreeswijk C. Asynchronous states in networks of pulse-coupled oscillators // Physical Review E. 1993. Vol. 48, no. 2. P. 1483-1490.
43. Golomb D., Hansel D., Shraiman B., Sompolinsky H. Clustering in globally coupled phase oscillators // Physical Review A. 1992. Vol. 45, no. 6. P. 3516-3530.
44. Matthews P.C., Mirollo R.E., Strogatz S.H. Dynamics of a large system of coupled nonlinear oscillators // Physica D: Nonlinear Phenomena. 1991. Vol. 52, no. 2-3. P. 293-331.
45. Treves A. Mean-field analysis of neuronal spike dynamics // Network: Computation in Neural Systems. 1993. Vol. 4, no. 3. P. 259-284.
46. Gerstner W. Population dynamics of spiking neurons: Fast transients, asynchronous states, and locking // Neural Computation. 2000. Vol. 12. P. 43-89.
47. Hansel D., Mato G. Asynchronous states and the emergence of synchrony in large networks of interacting excitatory and inhibitory neurons // Neural Computation. 2003. Vol. 15. P. 1-56.
48. Zillmer R., Livi R., Politi A., Torcini A. Desynchronization in diluted neural networks // Physical Review E. 2006. Vol. 74. P. 36203.
49. Amit D.J., Brunel N.Dynamics of a recurrent network of spiking neurons before and following learning // Network: Computation in Neural Systems. 1997. Vol. 8, no. 4. P. 373-404.
50. Amit D.J., Brunel N.Model of global spontaneous activity and local structured activity during
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
484
delay periods in the cerebral cortex // Cerebral cortex (New York, NY: 1991). 1997. Vol. 7, no. 3. P. 237-252.
Brunei N., Hakim V. Fast global oscillations in networks of integrate-and-fire neurons with low firing rates //Neural Computation. 1999. Vol. 11, no. 7. P. 1621-1671.
Brunei N.Dynamics of sparsely connected networks of excitatory and inhibitory spiking neurons
// Journal of Computational Neuroscience. 2000. Vol. 8, no. 3. P. 183-208.
Parga N., Abbott L.F. Network model of spontaneous activity exhibiting synchronous transitions
between up and down states // Frontiers in Neuroscience. 2007. Vol. 1. P. 4.
Renart A., De La Rocha J., Bartho P., Hollender L., Parga N., Reyes A., Harris K.D.
The asynchronous state in cortical circuits // Science. 2010. Vol. 327, no. 5965. P. 587-590.
Potjans T.C., Diesmann M. The cell-type specific cortical microcircuit: Relating structure and
activity in a full-scale spiking network model // Cerebral Cortex. 2014. Vol. 24, no. 3.
P. 785-806.
Borges F.S., Protachevicz P.R., Pena R.F.O., Lameu E.L., Higa G.S.V., Kihara A.H., Matias F.S., Antonopoulos C.G., de Pasquale R., Roque A.C., others. Self-sustained activity of low firing rate in balanced networks // Physica A: Statistical Mechanics and its Applications. 2020. Vol. 537. P. 122671.
Vogels T.P., Abbott L.F. Signal propagation and logic gating in networks of integrate-and-fire neurons // J. Neurosci. 2005. Vol. 25. P. 10786-10795.
Teramae J.-n., Tsubo Y., Fukai T. Optimal spike-based communication in excitable networks with
strong-sparse and weak-dense links // Scientific Reports. 2012. Vol. 2. P. 485.
Song S., Sjostrom P.J., Reigl M., Nelson S., Chklovskii D.B. Highly nonrandom features of
synaptic connectivity in local cortical circuits // PLoS Biology. 2005. Vol. 3, no. 3. e68.
Kriener B., Enger H., TetzlaffT., Plesser H.E., Gewaltig M.-O., Einevoll G.T. Dynamics of self-
sustained asynchronous-irregular activity in random networks of spiking neurons with strong
synapses // Frontiers in Computational Neuroscience. 2014. Vol. 8. P. 136.
Ostojic S. Two types of asynchronous activity in networks of excitatory and inhibitory spiking
neurons // Nature Neuroscience. 2014. Vol. 17, no. 4. P. 594-600.
van Vreeswijk C. Partial synchronization in populations of pulse-coupled oscillators // Physical Review E. 1996. Vol. 54, no. 5. P. 5522-5537.
WangX.-J., Buzsaki G. Gamma oscillation by synaptic inhibition in a hippocampal interneuronal network model // Journal of Neuroscience. 1996. Vol. 16, no. 20. P. 6402-6413. Brunel N., Wang X.-J. What determines the frequency of fast network oscillations with irregular neural discharges? I. Synaptic dynamics and excitation-inhibition balance // Journal of Neurophysiology. 2003. Vol. 90, no. 1. P. 415-430.
Kumar A., Schrader S., Aertsen A., Rotter S. The high-conductance state of cortical networks // Neural computation. 2008. Vol. 20, no. 1. P. 1-43.
Politi A., Ullner E., Torcini A. Collective irregular dynamics in balanced networks of leaky integrate-and-fire neurons // The European Physical Journal. Special Topics. 2018. Vol. 1204. P. 1185-1204.
Ullner E., Politi A., Torcini A. Ubiquity of collective irregular dynamics in balanced networks of spiking neurons // Chaos. 2018. Vol. 28, no. 8. P. 1-6.
Luccioli S., Politi A. Irregular collective behavior of heterogeneous neural networks // Physical Review Letters. 2010. Vol. 105, no. 15. P. 158104.
Ullner E., Politi A. Self-sustained irregular activity in an ensemble of neural oscillators // Physical Review X. 2016. Vol. 6. P. 011015.
Litwin-Kumar A., Doiron B. Slow dynamics and high variability in balanced cortical networks with clustered connections // Nature Neuroscience. 2012. Vol. 15, no. 11. P. 1498-505. Wang S.-J., Hilgetag C., Zhou C. Sustained activity in hierarchical modular neural networks:
Self-organized criticality and oscillations // Frontiers in Computational Neuroscience. 2011. Vol. 5, no. 30.
72. Klinshov V.V., TeramaeJ.-n.N., Nekorkin V.I., Fukai T. Dense neuron clustering explains connectivity statistics in cortical microcircuits // PloS one. 2014. Vol. 9, no. 4. e94292.
73. Klinshov V., Franovic I. Mean field dynamics of a random neural network with noise // Physical Review E. 2015. Vol. 92, no. 6. 062813.
74. Wilson H.R., Cowan J.D. Excitatory and inhibitory interactions in localized populations of model neurons // Biophysical Journal. 1972. Vol. 12, no. 1. P. 1-24.
75. Wimmer K., Nykamp D.Q., Constantinidis C., Compte A. Bump attractor dynamics in prefrontal cortex explains behavioral precision in spatial working memory // Nature Neuroscience. 2014. Vol. 17, no. 3. P. 431.
76. Montbrio E., Pazo D., Roxin A. Macroscopic description for networks of spiking neurons // Physical Review X. 2015. Vol. 5. 021028.
77. Ott E., Antonsen T.M. Long time evolution of phase oscillator systems // Chaos. 2009. Vol. 19, no. 2. 23117.
78. Ratas I., Pyragas K. Macroscopic self-oscillations and aging transition in a network of synaptical-ly coupled quadratic integrate-and-fire neurons//Physical Review E. 2016. Vol. 94, no. 3. 32215.
79. Ratas I., Pyragas K. Symmetry breaking in two interacting populations of quadratic integrate-and-fire neurons // Physical Review E. 2017. Vol. 96, no. 4. P. 42212.
80. di Volo M., Torcini A. Transition from asynchronous to oscillatory dynamics in balanced spiking networks with instantaneous synapses // Physical Review Letters. 2018. Vol. 121, no. 12. 128301.
81. Naud R., Gerstner W. Coding and decoding with adapting neurons: A population approach to the peri-stimulus time histogram // PLoS Computational Biology. 2012. Vol. 8, no. 10. e1002711.
82. Chizhov A.V., Graham ¿./.Population model of hippocampal pyramidal neurons, linking a refractory density approach to conductance-based neurons // Physical Review E-Statistical, Nonlinear, and Soft Matter Physics. 2007. Vol. 75. 011924.
83. Chizhov A.V., Graham L.J. Efficient evaluation of neuron populations receiving colored-noise current based on a refractory density method // Physical Review E. 2008. Vol. 77, no. 1. P. 11910.
84. Chizhov A.V. Conductance-based refractory density approach: Comparison with experimental data and generalization to lognormal distribution of input current // Biological Cybernetics. 2017. Vol. 111, no. 5-6. P. 353-364.
85. Schwalger T., Deger M., Gerstner W. Towards a theory of cortical columns: From spiking neurons to interacting neural populations of finite size // PLoS Computational Biology. 2017. Vol. 13, no. 4. P. 1-63.
86. Chizhov A.V. Conductance-based refractory density model of primary visual cortex // Journal of Computational Neuroscience. 2014. Vol. 36, no. 2. P. 297-319.
87. Chizhov A.V., Amakhin D.V., Zaitsev A.V. Spatial propagation of interictal discharges along the cortex // Biochemical and Biophysical Research Communications. 2019. Vol. 508, no. 4. P. 1245-1251.
88. Pietras B., Gallice N., Gerstner W., Schwalger T. Spectral decomposition of refractory density equation for neural population dynamics. In Bernstein Conference, 2019.
89. Singer W. Synchronization of cortical activity and its putative role in information processing and learning // Annual Review of Physiology. 1993. Vol. 55, no. 1. P. 349-374.
90. Traub R.D., Wong R.K. Cellular mechanism of neuronal synchronization in epilepsy // Science. 1982. Vol. 216, no. 4547. P. 745-747.
91. Uhlhaas P.J., Singer W. Abnormal neural oscillations and synchrony in schizophrenia // Nature Reviews Neuroscience. 2010. Vol. 11, no. 2. P. 100-113.
92. Hansel D., Sompolinsky H. Synchronization and computation in a chaotic neural network // Phys. Rev. Lett. 1992. Vol. 68. P. 718-721. pmid:10045972
93. Skarda C.A., Freeman W.J. Rate models for conductance-based cortical neuronal networks // Behav Brain Sci. 1987. Vol. 10. P. 161-195.
94. Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks // Neuron. 2009. Vol. 63. P. 544-557. pmid:19709635
95. Toyoizumi T., Abbott L.F. Beyond the edge of chaos: Amplification and temporal integration by recurrent networks in the chaotic regime // Physical Review E. 2011. Vol. 84. 051908.
96. Barak O., Sussillo D., Romo R., Tsodyks M., Abbott L.F. From fixed points to chaos: Three models of delayed discrimination // Prog. Neurobiol. 2013. Vol. 103. P. 214-222. pmid:23438479
97. Schwalger T., Chizhov A.V. Mind the last spike—firing rate models for mesoscopic populations of spiking neurons // Current Opinion in Neurobiology. 2019. Vol. 58. P. 155-66.
98. Coombes S., Byrne A. Next generation neural mass models. In Nonlinear Dynamics in Computational Neuroscience. Springer, Cham. P. 1-16.
References
1. Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D.U. Complex networks: Structure and dynamics. Phys. Rep., 2006, vol. 424, p. 175.
2. Maslennikov O.V., Nekorkin V.I. Adaptive dynamical networks. Physics-Uspekhi, 2017, vol. 60, no. 7, p. 694.
3. Nekorkin V.I. Nonlinear oscillations and waves in neurodynamics. Physics-Uspekhi, 2008, vol. 51, no. 3, p. 295.
4. Rabinovich M.I., Muezzinoglu M.K. Nonlinear dynamics of the brain: emotion and cognition. Physics-Uspekhi, 2010, vol. 53, pp. 357-372.
5. Strogatz S. Sync: The emerging science of spontaneous order. Penguin UK, 2004.
6. Winfree A.T. The Geometry of Biological Time. Springer, 2001.
7. Luo C.-h., Rudy Y. A model of the ventricular cardiac action potential. Depolarization, repolarization, and their interaction. Circulation Research, 1991, vol. 68, no. 6, pp. 1501-1526.
8. Peskin C.S. Mathematical Aspects of Heart Physiology. Courant Institute of Mathematical Sciences. New York University, New York, 1975.
9. Pagliari R., Scaglione A. Scalable network synchronization with pulse-coupled oscillators. IEEE Transactions on Mobile Computing, 2011, vol. 10, no. 3, pp. 392-405.
10. Vladimirov A.G., Turaev D. Model for passive mode locking in semiconductor lasers. Physical Review A, 2005, vol. 72, p. 33808.
11. Lopera A., Buldu J.M., Torrent M.C., Chialvo D.R., Garcia-Ojalvo J. Ghost stochastic resonance with distributed inputs in pulse-coupled electronic neurons. Physical Review E, 2006, vol. 73, no. 2, p. 21101.
12. Vanag V.K., Smelov P.S., Klinshov V.V. Dynamical regimes of four almost identical chemical oscillators coupled via pulse inhibitory coupling with time delay. Phys. Chem. Chem. Phys., 2016, vol. 18, no. 7, pp. 5509-5520.
13. Buck J., Buck E. Mechanism of Rhythmic Synchronous Flashing of Fireflies: Fireflies of Southeast Asia may use anticipatory time-measuring in synchronizing their flashing. Science, 1968, vol. 159, no. 3821, pp. 1319-1327.
14. Neda Z., Ravasz E., Brechet Y., Vicsek T., Barabasi A.-L. Self-organizing processes: The sound of many hands clapping. Nature, 2000, vol. 403, no. 6772, pp. 849.
15. Klinshov V.V., Nekorkin V.I. The map with no predetermined firing order for the network of oscillators with time-delayed pulsatile coupling. Commun. Nonlinear Sci. Numer. Simul., 2013, vol. 18, pp. 973.
16. Klinshov V.V., Nekorkin V.I. Event-based simulation of networks with pulse delayed coupling. Chaos, 2017, vol. 27, pp. 101105.
17. Arenas A., Diaz-Guilera A., Kurths J., Moreno Y., Zhou C. Synchronization in complex networks. Physics Reports, 2008, vol. 469, no. 3, pp. 93-153.
18. Pikovsky A., Kurths J., Rosenblum M., Kurths J. Synchronization: A Universal Concept in Nonlinear Sciences, volume 12. Cambridge university press, 2003.
19. Winfree A.T. Biological rhythms and the behavior of populations of coupled oscillators. Journal of Theoretical Biology, 1967, vol. 16, pp. 15-42.
20. Kuramoto Y. Chemical Oscillations, Waves, and Turbulence, volume 19. Springer-Verlag (Berlin and New York), 1984.
21. Mirollo R.E., Strogatz S.H. Synchronization of pulse-coupled biological oscillators. SIAM J. Appl. Math., 1990, vol. 50, no. 6, pp. 1645-1662.
22. Bottani S. Pulse-coupled relaxation oscillators: From biological synchronization to self-organized criticality. Physical Review Letters, 1995, vol. 74, no. 21, pp. 4189-4192.
23. Corral A., Perez C.J., Diaz-Guilera A., Arenas A. Synchronization in a lattice model of pulse-coupled oscillators. Physical Review Letters, 1995, vol. 75, no. 20, p. 3697.
24. Gerstner W., Van Hemmen J.L. Coherence and incoherence in a globally coupled ensemble of pulse-emitting units. Physical Review Letters, 1993, vol. 71, no. 3, pp. 312-315.
25. Gerstner W., Kempter R., van Hemmen J.L., Wagner H. A neuronal learning rule for sub-millisecond temporal coding. Nature, 1996, vol. 383, pp. 76-78.
26. Klinshov V.V., Nekorkin V.I. Synchronization of delay-coupled oscillator networks. Physics-Uspekhi, 2013, vol. 56, no. 12, pp. 1217-1229.
27. Ernst U., Pawelzik K., Geisel T. Synchronization induced by temporal delays in pulse-coupled oscillators. Physical Review Letters, 1995, vol. 74, no. 9, pp. 1570-1573.
28. Ernst U., Pawelzik K., Geisel T. Delay-induced multistable synchronization of biological oscillators. Physical Review E, 1998, vol. 57, no. 2, pp. 2150-2162.
29. Timme M., Wolf F., Geisel T. Coexistence of regular and irregular dynamics in complex networks of pulse-coupled oscillators. Physical Review Letters, 2002, vol. 89, no. 25, p. 258701.
30. Timme M., Geisel T., Wolf F. Speed of synchronization in complex networks of neural oscillators: Analytic results based on Random Matrix Theory. Chaos, 2006, vol. 16, p. 15108.
31. Golomb D., Hansel D. The number of synaptic inputs and the synchrony of large, sparse neuronal networks. Neural Computation, 2000, vol. 12, no. 5, pp. 1095-1139.
32. Borgers C., Kopell N. Synchronization in networks of excitatory and inhibitory neurons with sparse, random connectivity, 2003.
33. Hopfield J.J., Herz A.V. Rapid local synchronization of action potentials: Toward computation with coupled integrate-and-fire neurons. Proceedings of the National Academy of Sciences, 1995, vol. 92, no. 15, pp. 6655-6662.
34. Campbell S.R., Wang D.L., Jayaprakash C. Synchrony and desynchrony in integrate-and-fire oscillators. Neural Computation, 1999, vol. 11, no. 7, pp. 1595-1619.
35. Klinshov V., Nekorkin V. Activity clusters in dynamical model of the working memory system. Network: Computation in Neural Systems, 2008, vol. 19, no. 2, pp. 119-135.
36. Terman D., Wang D. Global competition and local cooperation in a network of neural oscillators. Physica D: Nonlinear Phenomena, 1995, vol. 81, no. 1-2, pp. 148-176.
37. Wang D., Terman D. Locally excitatory globally inhibitory oscillator networks. IEEE Transactions on Neural Networks, 1995, vol. 6, no. 1, pp. 283-286.
38. Canavier C.C., Achuthan S. Pulse coupled oscillators and the phase resetting curve. Mathematical Biosciences, 2010, vol. 226, no. 2, pp. 77-96.
39. Achuthan S., Canavier C.C. Phase-resetting curves determine synchronization, phase locking, and clustering in networks of neural oscillators. The Journal of Neuroscience: The Official Journal of the Society for Neuroscience, 2009, vol. 29, no. 16, p. 5218-5233.
40. Lucken L., Yanchuk S. Two-cluster bifurcations in systems of globally pulse-coupled oscillators. Physica D: Nonlinear Phenomena, 2012, vol. 241, pp. 350-359.
41. Klinshov V., Lucken L., Yanchuk S. Desynchronization by phase slip patterns in networks of pulse-coupled oscillators with delays. The European Physical Journal Special Topics, 2018, vol. 227, no. 10-11, pp. 1117-1128.
42. Abbott L.F., van Vreeswijk C. Asynchronous states in networks of pulse-coupled oscillators. Physical Review E, 1993, vol. 48, no. 2, pp. 1483-1490.
43. Golomb D., Hansel D., Shraiman B., Sompolinsky H. Clustering in globally coupled phase oscillators. Physical Review A, 1992, vol. 45, no. 6, pp. 3516-3530.
44. Matthews P.C., Mirollo R.E., Strogatz S.H. Dynamics of a large system of coupled nonlinear oscillators. Physica D: Nonlinear Phenomena, 1991, vol. 52, no. 2-3, pp. 293-331.
45. Treves A. Mean-field analysis of neuronal spike dynamics. Network: Computation in Neural Systems, 1993, vol. 4, no. 3, pp. 259-284.
46. Gerstner W. Population Dynamics of Spiking Neurons: Fast Transients, Asynchronous States, and Locking. Neural Computation, 2000, vol. 12, pp. 43-89.
47. Hansel D., Mato G. Asynchronous States and the Emergence of Synchrony in Large Networks of Interacting Excitatory and Inhibitory Neurons. 2003, vol. 56, pp. 1-56.
48. Zillmer R., Livi R., Politi A., Torcini A. Desynchronization in diluted neural networks. Physical Review E, 2006, vol. 74. p. 36203.
49. Amit D.J., Brunel N. Dynamics of a recurrent network of spiking neurons before and following learning. Network: Computation in Neural Systems, 1997, vol. 8, no. 4, pp. 373-404.
50. Amit D.J., Brunel N. Model of global spontaneous activity and local structured activity during delay periods in the cerebral cortex. Cerebral cortex (New York, NY: 1991), 1997, vol. 7, no. 3, pp. 237-252.
51. Brunel N., Hakim V. Fast global oscillations in networks of integrate-and-fire neurons with low firing rates. Neural Computation, 1999, vol. 11, no. 7, pp. 1621-1671.
52. Brunel N. Dynamics of sparsely connected networks of excitatory and inhibitory spiking neurons. Journal of Computational Neuroscience, 2000, vol. 8, no. 3, pp. 183-208.
53. Parga N., Abbott L.F. Network model of spontaneous activity exhibiting synchronous transitions between up and down states. Frontiers in Neuroscience, 2007, vol. 1, p. 4.
54. Renart A., De La Rocha J., Bartho P., Hollender L., Parga N., Reyes A., Harris K.D. The asynchronous state in cortical circuits. Science, 2010, vol. 327, no. 5965, pp. 587-590.
55. Potjans T.C., Diesmann M. The cell-type specific cortical microcircuit: Relating structure and activity in a full-scale spiking network model. Cerebral Cortex, 2014, vol. 24, no. 3, pp. 785-806.
56. Borges F.S., Protachevicz P.R., Pena R.F.O., Lameu E.L., Higa G.S.V., Kihara A.H., Matias F.S., Antonopoulos C.G., de Pasquale R., Roque A.C., and others. Self-sustained activity of low firing rate in balanced networks. Physica A: Statistical Mechanics and its Applications, 2020, vol. 537. 122671.
57. Vogels T.P., Abbott L.F. Signal Propagation and Logic Gating in Networks of Integrate-and-Fire Neurons. J. Neurosci., 2005, vol. 25, pp. 10786-10795.
58. Teramae J.-n., Tsubo Y., Fukai T. Optimal spike-based communication in excitable networks with strong-sparse and weak-dense links. Scientific reports, 2012, vol. 2, p. 485.
59. Song S., Sjostrom P.J., Reigl M., Nelson S., Chklovskii D.B. Highly nonrandom features of synaptic connectivity in local cortical circuits. PLoS biology, 2005, vol. 3, no. 3, e68.
60. Kriener B., Enger H., Tetzlaff T., Plesser H.E., Gewaltig M.-O., Einevoll G.T. Dynamics of self-sustained asynchronous-irregular activity in random networks of spiking neurons with strong synapses. Frontiers in Computational Neuroscience, 2014, vol. 8, p. 136.
61. Ostojic S. Two types of asynchronous activity in networks of excitatory and inhibitory spiking neurons. Nature Neuroscience, 2014, vol. 17, no. 4, pp. 594-600.
62. van Vreeswijk C. Partial synchronization in populations of pulse-coupled oscillators. Physical Review E, 1996, vol. 54, no. 5, pp. 5522-5537.
63. Wang X.-J., Buzsaki G. Gamma oscillation by synaptic inhibition in a hippocampal interneuronal network model. Journal of Neuroscience, 1996, vol. 16, no. 20, pp. 6402-6413.
64. Brunel N., Wang X.-J. What determines the frequency of fast network oscillations with irregular neural discharges? I. Synaptic dynamics and excitation-inhibition balance. Journal of Neurophysiology, 2003, vol. 90, no. 1, pp. 415-430.
65. Kumar A., Schrader S., Aertsen A., Rotter S. The high-conductance state of cortical networks. Neural Computation, 2008, vol. 20, no. 1, pp. 1-43.
66. Politi A., Ullner E., Torcini A. Collective irregular dynamics in balanced networks of leaky integrate-and-fire neurons. The European Physical Journal. Special Topics, 2018, vol. 1204, pp. 1185-1204.
67. Ullner E., Politi A., Torcini A. Ubiquity of collective irregular dynamics in balanced networks of spiking neurons, Chaos, 2018, vol. 28, no. 8, pp. 1-6.
68. Luccioli S., Politi A. Irregular collective behavior of heterogeneous neural networks. Physical Review Letters, 2010, vol. 105, no. 15, p. 158104.
69. Ullner E., Politi A. Self-sustained irregular activity in an ensemble of neural oscillators. Physical Review X, 2016, vol. 6, 011015.
70. Litwin-Kumar A., Doiron B. Slow dynamics and high variability in balanced cortical networks with clustered connections. Nature Neuroscience, 2012, vol. 15, no. 11, pp. 1498-505.
71. Wang S.-J., Hilgetag C., Zhou C. Sustained activity in hierarchical modular neural networks: self-organized criticality and oscillations. Frontiers in Computational Neuroscience, 2011, vol. 5, p. 30.
72. Klinshov V.V., Teramae J.-n.N., Nekorkin V.I., Fukai T. Dense neuron clustering explains connectivity statistics in cortical microcircuits. PloS one, 2014, vol. 9, no. 4, e94292.
73. Klinshov V., Franovic I. Mean field dynamics of a random neural network with noise. Physical Review E, 2015, vol. 92, no. 6, 062813.
74. Wilson H.R., Cowan J.D. Excitatory and inhibitory interactions in localized populations of model neurons. Biophysical Journal, 1972, vol. 12, no. 1, pp. 1-24.
75. Wimmer K., Nykamp D.Q., Constantinidis C., Compte A. Bump attractor dynamics in prefrontal cortex explains behavioral precision in spatial working memory. Nature neuroscience, 2014, vol. 17, no. 3, p. 431.
76. Montbrio E., Pazo D., Roxin A. Macroscopic description for networks of spiking neurons. Physical Review X, 2015, vol. 5, 021028.
77. Ott E., Antonsen T.M. Long time evolution of phase oscillator systems. Chaos, 2009, vol. 19, no. 2, p. 23117.
78. Ratas I., Pyragas K. Macroscopic self-oscillations and aging transition in a network of synap-tically coupled quadratic integrate-and-fire neurons. Physical Review E, 2016, vol. 94, no. 3, p. 32215.
79. Ratas I., Pyragas K. Symmetry breaking in two interacting populations of quadratic integrate-and-fire neurons. Physical Review E, 2017, vol. 96, no. 4, p. 42212.
80. di Volo M., Torcini A. Transition from asynchronous to oscillatory dynamics in balanced spiking networks with instantaneous synapses. Physical Review Letters, 2018, vol. 121, no. 12, p. 128301.
81. Naud R., Gerstner W. Coding and decoding with adapting neurons: A population approach to the peri-stimulus time histogram. PLoS Computational Biology, 2012, vol. 8, no. 10, e1002711.
82. Chizhov A.V., Graham L.J. Population model of hippocampal pyramidal neurons, linking a refractory density approach to conductance-based neurons. Physical Review E-Statistical, Nonlinear, and Soft Matter Physics, 2007, vol. 75. 011924.
83. Chizhov A.V., Graham L.J. Efficient evaluation of neuron populations receiving colored-noise current based on a refractory density method. Physical Review E, 2008, vol. 77, no. 1, p. 11910.
84. Chizhov A.V. Conductance-based refractory density approach: comparison with experimental data and generalization to lognormal distribution of input current. Biological cybernetics, 2017, vol. 111, no. 5-6, pp. 353-364.
85. Schwalger T., Deger M., Gerstner W. Towards a theory of cortical columns: From spiking neurons to interacting neural populations of finite size. PLoS Computational Biology, 2017, vol. 13, no. 4, pp. 1-63.
86. Chizhov A.V. Conductance-based refractory density model of primary visual cortex. Journal of Computational Neuroscience, 2014, vol. 36, no. 2, pp. 297-319.
87. Chizhov A.V., Amakhin D.V., Zaitsev A.V. Spatial propagation of interictal discharges along the cortex. Biochemical and Biophysical Research Communications, 2019, vol. 508, no. 4, pp.1245-1251.
88. Pietras B., Gallice N., Gerstner W., Schwalger T. Spectral decomposition of refractory density equation for neural population dynamics. In Bernstein Conference, 2019.
89. Singer W. Synchronization of cortical activity and its putative role in information processing and learning. Annual Review of Physiology, 1993, vol. 55, no. 1, pp. 349-374.
90. Traub R.D., Wong R.K. Cellular mechanism of neuronal synchronization in epilepsy. Science, 1982, vol. 216, no. 4547, pp. 745-747.
91. Uhlhaas P.J., Singer W. Abnormal neural oscillations and synchrony in schizophrenia. Nature Reviews Neuroscience, 2010, vol. 11, no. 2, pp. 100-113.
92. Hansel D., Sompolinsky H. Synchronization and computation in a chaotic neural network. Phys. Rev. Lett., 1992, vol. 68, pp. 718-721. pmid:10045972
93. Skarda C.A., Freeman W.J. Rate models for conductance-based cortical neuronal networks. Behav Brain Sci, 1987, vol. 10, pp. 161-195.
94. Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks. Neuron, 2009, vol. 63, pp. 544-557. pmid:19709635
95. Toyoizumi T., Abbott L.F. Beyond the edge of chaos: Amplification and temporal integration by recurrent networks in the chaotic regime. Physical Review E, 2011, vol. 84, 051908.
96. Barak O., Sussillo D., Romo R., Tsodyks M., Abbott L.F. From fixed points to chaos: Three models of delayed discrimination. Prog. Neurobiol., 2013, vol. 103, pp. 214-222. pmid:23438479.
97. Schwalger T., Chizhov A.V. Mind the last spike—firing rate models for mesoscopic populations of spiking neurons. Current Opinion in Neurobiology, 2019, 58, pp. 155-66.
98. Coombes S., Byrne A. Next generation neural mass models. In Nonlinear Dynamics in Computational Neuroscience. Springer, Cham, pp. 1-16.
Клиньшов Владимир Викторович - родился в Нижнем Новгороде (1984), окончил радиофизический факультет Нижегородского государственного университета им. Н.И. Лобачевского (2006). С 2003 года работает в Институте прикладной физики РАН. Защитил диссертацию на соискание учёной степени кандидата физико-математических наук (2009, ИПФ РАН). Область научных интересов - нелинейная динамика, динамические сети, синхронизация, системы с запаздыванием. Имеет более 60 научных публикаций по указанным направлениям. В 2017 году награжден Медалью Российской академии наук с премией для молодых ученых РАН.
Россия, Нижний Новгород 603950, ул. Ульянова, 46
Институт прикладной физики РАН
Россия, 603950 Нижний Новгород, пр-т Гагарина, 23
Нижегородский государственный университет им. Н.И. Лобачевского
E-mail: [email protected]
