CC BY
25
Нелинейная
^^^^^^^^ динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2023. Т. 31, № 1 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2023;31(1)
Научная статья
УДК 001.57; 004.81; 51.76
DOI: 10.18500/0869-6632-003022 EDN: AKKIBM
Емкость рабочей памяти: роль параметров импульсной нейронной сети
Н. С. КовалеваВ. В. Матросов, М.А. Мищенко
Национальный исследовательский Нижегородский государственный университет им. Н. И. Лобачевского, Россия E-mail: [email protected], [email protected], [email protected] Поступила в редакцию 31.08.2022, принята к публикации 25.10.2022, опубликована онлайн 19.01.2023, опубликована 31.01.2023
Аннотация. Цель работы — исследование формирования рабочей памяти на основе вычислительной модели импульсной нейронной сети с пластичными связями и изучение емкости рабочей памяти в зависимости от временных масштабов синаптической фасилитации и депрессии, а также фонового возбуждения сети. Методы. Модель имитирует формирование рабочей памяти в рамках синаптической теории: запоминаемые элементы сохраняются в виде кратковременных потенцированных связей в выборочной популяции, а не в виде постоянной активности. В качестве элементов сети используются нейроны — пороговые интеграторы, находящиеся в возбудимом режиме. Связи между элементами сети описываются моделью кратковременной пластичности. Результаты. Показано, что значение емкости рабочей памяти рассматриваемой сети увеличивается в среднем при увеличении параметра времени восстановления уровня кальция в синаптическом окончании или при уменьшении параметра времени восстановления нейропередатчиков. Увеличение фонового шумового воздействия за счет увеличения параметров среднего значения и дисперсии приводит к увеличению емкости в среднем, при этом зависимость значения емкости от синаптических времен пластичности сохраняется. Заключение. Подробно исследовано влияние времен синаптической пластичности и фонового возбуждения нейронной сети на объем рабочей памяти. Емкость рабочей памяти сильно зависит от внутренних параметров нейронных сетей и, как показано, может быть больше, чем классические экспериментальные оценки четырех элементов.
Ключевые слова: рабочая память, емкость памяти, импульсная нейронная сеть, отсроченная активность, кратковременная синаптическая пластичность.
Благодарности. Работа поддержана Министерством науки и высшего образования Российской Федерации (проект № 0729-2020-0040) и РФФИ (проект № 20-32-90157).
Для цитирования: Ковалева Н. С., Матросов В. В., Мищенко М. А. Емкость рабочей памяти: роль параметров импульсной нейронной сети//Известия вузов. ПНД. 2023. T. 31, № 1. С. 86-102. DOI: 10.18500/0869-6632-003022. EDN: AKKIBM
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
Article
DOI: 10.18500/0869-6632-003022
Working memory capacity: the role of parameters of spiking neural network model
N.S. KovalevaM, V. V. Matrosov, M.A. Mishchenko
National Research Lobachevsky State University of Nizhny Novgorod, Russia E-mail: [email protected], [email protected], [email protected] Received 31.08.2022, accepted 25.10.2022, available online 19.01.2023, published 31.01.2023
Abstract. Purpose of this work is to study a computational model of working memory formation based on spiking neural network with plastic connections and to study the capacity of working memory depending on the time scales of synaptic facilitation and depression and the background excitation of the network. Methods. The model imitates working memory formation within synaptic theory: memorized items are stored in form of short-term potentiated connections in selective population but not in form of persistent activity. Integrate-And-Fire neuron model in excitable mode are used as network elements. Connections between excitatory neurons demonstrates the effect of short-term plasticity. Results. It is shown that the working memory capacity increases as calcium recovery time parameter grow up or the capacity increases with neurotransmitter recovery time parameter becomes lower. Working memory capacity is found to decrease to zero with decrease of the background excitation as a result of lower values of both the mean and the variance of the external noise. Conclusion. Working memory capacity was studied as a function of time scales of synaptic facilitation and depression and background excitation of the network. Estimated working memory capacity is shown to be possibly larger than classical experimental estimations of four items. But capacity strongly depends on intrinsic parameters of neural networks.
Keywords: working memory, memory capacity, spiking neural network, delayed activity, short-term synaptic plasticity.
Acknowledgements. This work was supported by the Ministry of Science and Higher Education of the Russian Federation (project No. 0729-2020-0040) and by RFBR (project No. 20-32-90157).
For citation: Kovaleva NS, Matrosov VV, Mishchenko MA. Working memory capacity: the role of parameters of spiking neural network model. Izvestiya VUZ. Applied Nonlinear Dynamics. 2023;31(1):86-102. DOI: 10.18500/0869-6632-003022
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Введение
Рабочая память (РП) — это система кратковременного хранения и обработки информации [1-3]. РП способна обрабатывать информацию в масштабах времени от нескольких секунд до минут и играет важную роль в рассуждениях, мысленном планировании и, например, расчетах «в уме» [4]. РП стоит на перекрестке между памятью, вниманием и восприятием [1,5].
Простой пример задачи РП — запоминание последовательности слов, произнесенных собеседником в диалоге. Рабочая память также важна для выполнения и удержания в памяти цепочки новой информации или серии движений [6]. В зрительно-пространственной рабочей памяти испытуемый на короткое время удерживает, например, местоположение, цвет или ориентацию предъявляемых зрительных стимулов [7,8]. В экспериментах с рабочей памятью оценивается точность воспоминаний. Как правило, в таких экспериментах испытуемым на короткое время предъявляются сенсорные данные, которые затем удаляются. Через некоторое время, называемое периодом задержки, испытуемых просят оценить по памяти какую-либо характеристику входных данных.
Предполагается, что нейронные цепи префронтальной коры (ПФК) головного мозга ответственны за реализацию РП [9, 10]. У приматов визуальная РП изучалась в задачах с отложенным ответом, которые требуют хранить в памяти образы в течение короткого периода времени, длящегося несколько секунд [11]. Записи в префронтальной коре обезьян в задачах с отложенным ответом показали, что некоторые нейроны проявляли постоянную и стимульно-специфическую активность во время периода задержки [12-15]. Такая активность считается нейронным коррелятом РП [10,16]. Это означает, что информация в РП представлена самоподдер-
живающимися состояниями активности. Активность в течение периода задержки в специфичных нейронных ансамблях отражает сохранение запомненного образа «онлайн».
Нейронные механизмы РП остаются неясными и дискуссионными. Электрофизиологические записи нейронной активности во время задач РП демонстрируют, что некоторые нейроны префронтальной коры остаются активными в течение периода задержки. Предполагается, что эта «постоянная активность» является нейронным коррелятом удержания запомненного стимула в РП [17-19]. Эта концепция стала классической и имеет свои экспериментальные доказательства и математические модели [20-23].
Однако важно отметить, что постоянная спайковая (импульсная) активность, наблюдаемая в экспериментах, может быть результатом классического подхода к усреднению данных во времени и между испытаниями. В этом случае постоянная активность является артефактом этого усреднения, даже несмотря на то, что в режиме реального времени, например, в одиночных испытаниях, зарегистрированная активность нейронных ансамблей является разреженной [24].
Другие исследования, однако, находят свидетельства существования другого механизма хранения информации в РП [24,25]. Некоторые исследователи предполагают, что информация в РП может быть представлена в виде сложных последовательностей различных паттернов активности, так называемых переходных траекторий [26-29]. В задачах РП были зарегистрированы короткие, редкие всплески активности сети, называемые популяционными разрядами или берстами, а не постоянная активность. Информация о запомненных образах сохраняется между берстами за счет изменений весов связей, вызванных активностью сети [30,31]. В работе [32] показано, что спайки в префронтальной коре могут вызвать быстрое усиление связей, которое длится сотни миллисекунд. Поскольку время, в течение которого стимульно-специфическая нейронная популяция находится в активном состоянии, сведено к минимуму, элементы РП менее подвержены нарушениям, например, из-за нового сенсорного ввода, применяемого к другой нейронной популяции. Несколько элементов могут одновременно храниться в РП в виде не активной, но усиленной нейронной популяции. Кратковременные разделенные во времени реактивации нейронных популяций обновляют усиление связей внутри популяций и позволяют дольше удерживать элементы в памяти [24].
Другой интересный динамический механизм образования РП предложен в работе [33]. Обнаружено, что астроциты, работающие во временном масштабе в десятки секунд, могут успешно сохранять следы активации нейронов, соответствующие информационным паттернам. На этапе извлечения астроцитарная сеть избирательно модулирует синаптические связи в нейронных сетях, что приводит к успешному воспроизведению хранящегося в РП образа.
Неясно, какие динамические механизмы на самом деле лежат в основе нейронной реализации РП, поскольку как гипотеза постоянной активности, так и гипотеза переходной динамики имеют экспериментальное подтверждение [8]. Этот факт оставляет нейронные механизмы РП открытым вопросом.
Объем рабочей памяти сильно ограничен, как мы видим из повседневного опыта, и ограничивается всего несколькими элементами [34], а точность извлечения из памяти ухудшается, когда набор элементов, подлежащих запоминанию, слишком велик [35]. Часто предполагается, что мозг обладает специальным буфером, называемым «фокусом внимания», где элементы памяти могут временно храниться в течение коротких периодов времени, и емкость РП соответствует размеру этого буфера [36-38].
Емкость РП в мозге нелегко определить экспериментально, потому что информация сохраняется несколькими механизмами. Эксперименты должны быть тщательно спланированы, чтобы предотвратить или контролировать стратегии обработки (например, молчаливое повторение элементов, которые необходимо запомнить, или объединение нескольких элементов в один элемент памяти по любому мнемоническому правилу) [1,36,39]. Другим способом определения
емкости РП в психологическом эксперименте являются непрерывные процедуры, когда испытуемый не знает, когда закончится предъявляемый набор, и должен вспомнить как можно больше объектов из конца списка [40]. Экспериментальная оценка пропускной способности РП до сих пор остается проблемой [41].
В математическом моделировании также широко обсуждается определение емкости РП. Максимальная емкость модели РП с постоянной активностью зависит от характеристик сети, но, по-видимому, не имеет фундаментального верхнего предела [22]. В работе [21] предположено, что емкость РП оценивается как отношение гамма- и тета-частот, что согласуется с более ранними психофизическими оценками [34]. В рамках синаптической теории РП, предложенной в [30], емкость РП анализировалась с точки зрения основных синаптических параметров сети [42].
В данной статье мы развиваем результаты более ранних исследований в рамках синаптической теории РП [30] и представляем результаты исследования емкости РП в спайковой нейронной сети в зависимости от синаптической пластичности и параметров фонового возбуждения. Проведен скрупулезный вычислительный анализ динамики импульсной нейронной сети и влияния параметров на ее динамические режимы.
1. Материалы и методы
В работе [30] предположено, что запоминаемый образ сохраняется в РП за счет кратковременного усиления связей между нейронами, кодирующими этот образ. Информация о запомненных объектах удерживается в РП путем изменения синаптических весов, «отпечатков», оставшихся в сети после предъявления стимула. Поскольку утечка остаточного кальция, способствующая синаптической передаче, является относительно медленным процессом, образ может сохраняться в памяти около одной секунды без постоянной импульсной активности. В то время как связи между нейронами остаются усиленными, даже слабый стимул или шум могут повторно активировать кодирующие нейроны и извлечь запомненный образ.
Большинство моделей формирования РП, как модели с постоянной активностью, так и модели с переходной динамикой, используют рекуррентную сетевую архитектуру. В синаптической теории РП рекуррентная нейронная сеть состоит из возбуждающих и тормозных нейронов, связанных случайным образом. Низкая вероятность соединений (около 20%) позволяет формировать разреженно связанные сети. Некоторые возбуждающие нейроны случайным образом сгруппированы в подсети, называемые кластерами, селективными к определенному стимулу (рис. 1). Связи между нейронами в одном кластере сильнее, чем связи между разными кластерами,
Рис. 1. Сетевая архитектура: цветные треугольники — возбуждающие нейроны, кодирующие разные воспоминания. Светлые треугольники — неселективные возбуждающие нейроны. Черные кружки — тормозные нейроны с неструктурированными связями со всей сетью (цвет онлайн)
Fig. 1. Network architecture: Colored triangles are excitatory neurons that code for different memories. Light triangles are nonselective excitatory neurons. Black circles are inhibitory neurons with nonstructured connections to the entire network (color online)
имитируя предварительное формирование нейронных сетей [43] или динамическое долговременное формирование сети с адаптивными связями [44]. Кластеры имитируют группы нейронов, например, с похожими рецептивными полями. Тормозные нейроны образуют неспецифический ансамбль, связанный с возбуждающими кластерами неструктурированным образом, что приводит к динамической конкуренции между различными селективными популяциями (см. рис. 1).
Вся сетевая динамика формируется в результате взаимодействия возбуждения и торможения. Когда некоторые нейроны одного кластера генерируют импульсы почти одновременно (в результате локальной стимуляции или шумовой спонтанной активности), они возбуждают другие нейроны кластеров через сильные связи, а также часть тормозных нейронов, что тормозит активность других нейронов сети. При затухании активности в возбужденном кластере активность тормозных нейронов также затухает и «освобождает» от подавления другие нейроны.
Сеть состоит из Же возбуждающих и N1 тормозных нейронов — пороговых интеграторов. Подпороговая динамика их мембранного потенциала описывается уравнением (1):
ттУг = Уг - У + 4гес) (*) + 4ех1) (*), (1)
где г = [1, Ые + Ж] — номер нейрона, тт — постоянная времени мембраны, /г(ех1) — внешний ток, поступающий из отдаленных зон мозга. Сопротивление мембраны учитывается при определении токов. Каждый раз, когда деполяризация достигает определенного порога 6, нейрон генерирует импульс и становится невосприимчивым в течение рефрактерного периода тагр, после чего
снова восстанавливается с подпорогового потенциала сброса Уг [45]. Рекуррентный ток /г(гес) ({) является суммой постсинаптических токов от всех других нейронов, связанных с нейроном г (2):
4гес)ад = Е ъ® £8 (* - , (2)
3 к
где (¿) — мгновенная эффективность синапса, соединяющего нейрон ] с нейроном г (зависимость от времени обусловлена кратковременной синаптической динамикой); сумма по к
И)
рассчитывается по всем временам импульсов гк пресинаптического нейрона Для упрощения пренебрегается временами нарастания и спада постсинаптических токов. В случае одиночного нейрона динамика полностью определяется подаваемым внешним током I(ех1). Если приложенный ток относительно слаб, мембранный потенциал Уг в модели (1) не достигает порога 6 и импульс не генерируется. По мере увеличения внешнего тока мембранный потенциал Уг достигает порога и генерируется импульс. При этом частота генерации увеличивается по мере увеличения внешнего тока.
Синапсы между возбуждающими нейронами демонстрируют эффект кратковременной пластичности. Существует два типа кратковременной пластичности: депрессия и фасилитация. Синаптическая депрессия вызвана истощением ресурса нейропередатчиков, используемых для передачи сигнала на пресинаптических нейронах, в то время как фасилитация вызвана притоком ионов кальция в терминаль аксона сразу после генерации импульса, что увеличивает вероятность высвобождения нейропередатчика. Все синапсы, связывающие возбуждающие нейроны, демонстрируют усиленную передачу, описанную феноменологической моделью кратковременной пластичности [46]. Кратковременная синаптическая пластичность описывается уравнениями
и -щ(I)
Тр
щ (I) = + и [1 - и. а)] £ 8 ^ - ^ , (3)
р к
Щ ® = + щ № (г) Е 8 и - 4я) , (4)
То V '
где и — доля доступного ресурса нейропередатчика, высвобождаемого во время синаптической передачи, х — доступный ресурс нейропередатчика, Тр и То — временные параметры кратковременной синаптической пластичности. Для фасилитации синапсов Тр > То, и наоборот, Тр < То
для депрессии синапсов. В синапсах ПФК наблюдается фасилитация, и временной масштаб тр достигает нескольких секунд, а тд составляет порядка нескольких сотен миллисекунд [42].
Мгновенная синаптическая эффективность ^ (¿) в уравнении (2), также известная как синаптический вес, описывается уравнением
Зц СО = из (г)хз (5)
где — абсолютная синаптическая эффективность связи между нейронами ] и г.
Все остальные связи между тормозными и возбуждающими и тормозными нейронами демонстрируют линейную синаптическую передачу, то есть ^ (¿) = .
Внешние токи моделируются как гауссовский белый шум
/М)(£) = ^ + Оех1Лг(^). (6)
При (%(£)) = 0, (£')) = б^— ¿'), так что и о^ являются, соответственно,
средним значением и дисперсией внешних токов.
Динамика сети полностью описывается уравнениями (1)-(6). Численное моделирование проводилось с использованием схемы Эйлера-Маруямы. Биологически релевантные значения параметров нейронов аналогичны значениям, приведенным в работе [42]. Параметры модели представлены в Таблице.
Также рассмотрена сеть с перекрывающимися популяциями. В такой сети некоторые нейроны из одной селективной популяции имеют сильные (на потенцированном уровне) связи с нейронами другой селективной популяции.
Проведено математическое моделирование нейронной сети из 1000 нейронов. Сеть содержит 8 селективных популяций из 70 возбуждающих нейронов (нейроны 1-560), 200 тормозных нейронов (нейроны 801-1000) и остальные 240 возбуждающих неселективных нейронов. Вероятность связи между любыми двумя нейронами равна 20%.
Через 5 секунд спонтанной активности от начала моделирования каждая выборочная популяция (или кластер) последовательно стимулируется внешним током 30 мВ в течение 0.3 секунды. Эта внешняя стимуляция представляет собой процесс предъявления и запоминания 8 образов. Динамика сети показана на растровом графике (рис. 2), где каждая точка представляет собой импульс на определенном нейроне.
Таблица. Параметры модели Table. Parameters of model
Параметры нейронов Возбуждающие Тормозные
0 — импульсный порог 20 mV 20 mV
Уг — потенциал сброса 16 mV 13 mV
т — постоянная времени мембраны 15 ms 10 ms
Тагр — абсолютный рефрактерный период 2 ms 2 ms
N — количество нейронов 800 200
Параметры кратковременной синаптической динамики
и — базовый уровень остаточного кальция 0.1
— синаптическая эффективность I ^ Е -0.6 mV
Лш — синаптическая эффективность Е ^ I 0.2 mV
Лц — синаптическая эффективность I ^ I -0.6 mV
— базовый уровень Е ^ Е синапсов 0.02 mV
7р — потенцированный уровень Е ^ Е синапсов 2.7 mV
Активность популяции возрастает на время внешней стимуляции, изменяя внутреннее состояние синаптических связей. Связи демонстрируют как депрессию (уменьшение ресурса х), так и фасилитацию (увеличение уровня кальция в синапсе и), причем депрессия преобладает на более коротком временном масштабе то, а фасилитация — на более длинном временном масштабе тр. Пока внутрикластерные связи остаются усиленными, объект может быть вызван из РП за счет реактивации активности кластера в ответ на предъявление слабого неспецифического возбуждающего сигнала всей сети или за счет внутренней шумовой активности, даже если нейронная активность находится на спонтанном уровне [30]. Реактивация активности кластера выражается в виде популяционного разряда, когда почти каждый нейрон в популяции генерирует импульс в течение короткого интервала времени.
На рис. 2 семь из восьми популяций демонстрируют спонтанную реактивацию, что соответствует семи элементам, хранящимся в сетевой памяти. Каждый популяционный разряд обновляет запоминаемый объект, увеличивая переменную и синапсов в популяции.
Количество элементов, которое может одновременно храниться в рабочей памяти, определяет ее емкость. В исследуемой модели емкость рабочей памяти определяется как количество кластеров, генерирующих популяционные разряды в течение 5 секунд после прекращения внешней стимуляции и не ранее 1 секунды для каждого кластера после загрузки элемента, во избежание переходных процессов. Кроме того, нейронная сеть не должна иметь спонтанных популяционных разрядов перед внешней стимуляцией. Например, емкость сети, смоделированной на рис. 2, равна семи элементам. Для оценки емкости рабочей памяти были усреднены результаты 10 реализаций для фиксированного набора параметров.
Рис. 2. Пример моделирования сети, демонстрирующей спонтанную активность до стимула и последующую загрузку восьми элементов в РП. Каждая точка представляет собой импульс одного из 1000 нейронов, расположенных в таком порядке, что первые 560 нейронов кодируют восемь элементов, хранящихся в сети. Для каждого кластера графики изменения средних значений синаптической эффективности и в кластерах показаны синим цветом, а изменения средних значений синаптического ресурса х в кластерах — красным. Параметры следующие: Jp = 2.7, ^ext = 10, o^xt = 0.12, тр = 3.6, td = 0.1 (цвет онлайн)
Fig. 2. An example of network simulation, demonstrating a pre-stimulus spontaneous activity and consequent loading eight items into working memory. Each dot represents a spike of one of 1, 000 neurons arranged in order such that the first 560 neurons are encoding eight items stored in the network. For each cluster, graphs of changes in the average values of synaptic efficiency и in clusters are shown in blue, and changes in the average values of synaptic resource x in clusters are shown in red. Parameters are as follows: Jp = 2.7, ^ext = 10, o2xt = 0.12, тр = 3.6, td = 0.1 (color online)
2. Результаты
Показана роль параметров сети в формировании рабочей памяти и ее емкости. Модель (1)-(6) имеет значительное количество параметров: синаптические веса, времена синаптической фасилитации и депрессии, среднее значение и дисперсию внешних токов, размеры сети и кластера, и другие. Все эти параметры играют существенную роль в динамике сети и, соответственно, в формировании рабочей памяти. Например, баланс возбуждения и торможения сети имеет решающее значение для формирования популяционных разрядов и согласованности между различными кластерами. Изучена роль параметров времен кратковременной синаптической пластичности тр и td и общей сетевой активности, определяемой средним значением и дисперсией неспецифических внешних токов, воздействующих на каждый нейрон сети.
2.1. Роль синаптических параметров. Изучено влияние синаптических параметров на емкость рабочей памяти в модели импульсной нейронной сети. Емкость рабочей памяти сети оценивалась для различных параметров времен кратковременной синаптической пластичности тр и td и синаптического веса связей между возбуждающими нейронами, принадлежащими одному кластеру. Следует отметить, что существование популяционных разрядов и согласованность между разными кластерами возможны только при балансе параметров синаптического веса и внешнего возбуждения. Небольшое отклонение от баланса параметров может привести к отсутствию популяционных импульсов, появлению глобальной асинхронной активности в сети или появлению популяционных разрядов до загрузки в память предъявленных элементов. Зависимости емкости рабочей памяти от тр и td, полученные при численном моделировании уравнений (1)-(6), представлены на рис. 3 для двух значений потенцированных внутрикластерных синаптических весов Jp = 2.3 (рис. 3, а) и Jp = 2.7 (рис. 3, b).
Обнаружено, что емкость рабочей памяти увеличивается по мере увеличения времени синаптической фасилитации тр. Время синаптической депрессии td показывает противоположную роль в наших симуляциях: при фиксированном тр емкость увеличивается с уменьшением td. Этот результат частично противоречит выводам, приведенным в работе [42]: «неожиданно, хотя РП в модели поддерживается за счет синаптической фасилитации, полученная зависимость показывает, что емкость РП в основном увеличивается с постоянной времени синаптической депрессии
0,7 0 0.1 0 0.2 06 0.5 0.4 0.6 1.1 1
0.628 0 0.1 0 0.1 02 0.2 0.1 0.7 0.6 0.4
0 562 0 a 0.2 0.3 06 0.3 0.8 1.1 1.2 1
0.496 0 0.1 0 0.6 03 0.5 0.5 1 0.9 1.1
0.43 с 0 0.1 0.1 0.7 0.7 0.7 0.5 0.6 1.1 1.3
0.364 0 0.1 0.5 0.5 0.7 i 0.8 0.67 0.9 1.1
0.298 0 0.3 0.3 0.5 0.9 0.8 1 1.1 1.4 1.4
0.232 0 0.2 0.4 0.3 0.3 1.7 1.3 0.9 В 0.9
0.166 0.1 о.а 0.3 0.9 1.3 0.8 0.7 1.4 1.6 1
0.1 0.2 0.3 0.5 0.7 1.5 0.8 1.4 1.2 1.4 1.6
0.8 1.15 1.5 1.85 2.2 2.55 2.9 3.25 3.6 4
a Т
Рис. 3. Зависимости емкости рабочей памяти от Тр для двух значений потенцированных внутрикласт аетй = 0.12 (цвет онлайн)
■ э
I
г
0,7 0.628 0.562 0.496 0.43 0.364 0.298 0.232 0.166 0.1
0.1 0.5 1.2 1.78 2.2 3.57 4.75 3.6 4 4.67
0 i 1.67 1.86 Ш 4 5.17 5.2 4.63
0.2 i 1.8 3.22 4.25 4.22 ш 5.33 4.83
0.1 Kt 3.67 4.13 4.6 5.17 5.29 4.86
0.5 1.1 2.3 3.43 4.56 5 4-8 5.86 5.13
0.78 2 3.5 4.25 4.5 5 5.67 6.5
0.8 1.75 3.57 4.5 5.6 5.67 4.25 6
0.5 2.11 4.63 5.63 5.83 5 5.75 6.25
1.3 1.78 4.22 5.5 5.89 5.6 5.83 6.4
0.6 1.56 2.89 4.33 4.57 5.8 5.83 5.6 6.5 6.33
0.8 1.15 1.5 1.85 2.2 2.55 2.9 3.25 3.6 4
I 2
I
Fig. 3. Working memory capacity as a function of tf and td obtained with numerical simulations of equations (1)-(6) for two values of potentiated intracluster synaptic weights Jp = 2.3 (a) and Jp = 2.7 (b). ^ext = 10, a2xt = 0.12 (color online)
b
p
p
и лишь слабо увеличивается с постоянной времени синаптической фасилитации». Это противоречие выглядит удивительным, но уменьшение постоянной времени синаптической депрессии позволяет кластеру генерировать следующий популяционный разряд раньше, что освежает синап-тический «отпечаток» для этого кластера. Частота популяционных разрядов растет, а значения весовых коэффициентов в кластерах остаются на более высоких уровнях, увеличивая емкость.
Потенцированные внутрикластерные синаптические веса Jp играют масштабирующую роль для емкости рабочей памяти в зависимости от тр и td: при уменьшении Jp с 2.7 (рис. 3, b) до 2.3 (рис. 3, а) емкость в среднем уменьшается, но общая зависимость от тр и td остается такой же.
2.2. Роль фонового возбуждения. Изучено влияние параметров фонового возбуждения на емкость РП. Фоновое возбуждение — это неспецифический ввод, подаваемый на каждый нейрон
в сети, моделируемой как гауссовский белый шум со средним значением p,ext и дисперсией o^xt. Емкость РП рассчитывалась для различных комбинаций среднего значения и дисперсии белого шума (рис. 4).
Обнаружено, что емкость рабочей памяти уменьшается до нуля при снижении глобальной сетевой активности в результате более низких значений как среднего ^ext, так и дисперсии o^xt шума. Дисперсия, кажется, играет более важную роль для емкости. Уровень фонового возбуждения позволяет эффективно «настроить» РП на требуемую емкость; в частности, уменьшение фонового воздействия ниже критического значения делает нейронную сеть неспособной производить популяционные разряды, следовательно, удаляет запомненные образы из РП, чтобы освободить место для новых входных данных [42].
2.3. Рабочая память в сети с перекрывающимися кластерами. Одна из нереалистичных особенностей модели касается отсутствия перекрытий между представлениями разных элементов памяти. Модель была модифицирована таким образом, чтобы некоторые возбуждающие нейроны одних кластеров имели потенцированные связи с нейронами других кластеров, то есть репрезентации памяти перекрывались. Динамика сети в случае загрузки двух элементов показана на рис. 5.
Рис. 5. Пример моделирования сети с перекрывающимися кластерами, включая спонтанную активность и РП, запускаемую загрузкой двух стимулов. Спайки 1000 нейронов показаны точками; нейроны расположены в таком порядке, что первые 560 нейронов кодируют два образа, хранящихся в сети. Серой заштрихованной областью отмечены 4 нейрона, принадлежащих к обоим кластерам. Параметры следующие: Jp = 2.3, Hext = 9.63, o^xt = 0.12, tf = 3, td = 0.6 (цвет онлайн)
Fig. 5. An example of network with overlapping clusters simulation, including spontaneous activity and WM triggered by loading two stimuli. Spikes of 600 neurons are shown as dots; neurons are arranged in order such that the first 560 neurons are encoding two items stored in the network. Grey shaded area marks the 4 neurons belonging to both clusters. Parameters are as follows: Jp=2.3, ^ext=9.63, o2xt=0.12, tf=3, td=0.6 (color online)
0 0.9 .S 5.29 6.5
0.1 0.5 3.4 5.5
0 0.2 1.5 3.44 4.78
0 0 0.7 2.3 Iii
0 0.2 0.22 1.5 3.44
I
■™ n
Рис. 4. Емкость рабочей памяти в зависимости от параметров фонового возбуждения ^ext и o2xt при тр = 3.6, td =0.1 (цвет онлайн)
Fig. 4. Working memory capacity as a function of background excitation parameters ^ext and o2xt for тр = 3.6, td =0.1 (color online)
time, s
Сеть на рис. 5 содержит два кластера возбуждающих нейронов, при этом 4 нейрона принадлежат обоим кластерам (1.4% от размера кластера). Для каждого кластера усредненные значения переменных кратковременной синаптической пластичности и и х показаны синим и красным цветом, соответственно. Через 5 секунд спонтанной активности от начала моделирования каждый кластер последовательно стимулируется внешним током 30 мВ в течение 0.3 секунды. После загрузки двух элементов в рабочую память они представляются как временное усиление связей в кластерах и попу-ляционные разряды. Несмотря на наличие перекрывания в кластерах, различие между кластерами сохраняется, и популяционные спайки одного кластера не активируют нейроны другого кластера через перекрывающиеся связи.
Изучена емкость модели с восемью элементами, загружаемыми в рабочую память, с 5.5% перекрывания кластеров. Зависимость емкости от тр и td получена для перекрывающихся кластеров при Jp = 2.3 (рис. 6).
Зависимость емкости рабочей памяти для перекрывающихся кластеров схожа с зависимостями, полученные без перекрытия (см. рис. 3). Таким образом, наблюдаемая модель является грубой и не требует жесткого разграничения кластеров. Следовательно, все результаты для непересекающихся представлений памяти можно адаптировать к перекрывающимся.
3. Обсуждение
Изучена вычислительная модель формирования рабочей памяти на основе импульсной нейронной сети. Модель имитирует формирование рабочей памяти в рамках синаптической теории: запоминаемые образы сохраняются в виде кратковременно усиленных связей в выборочной популяции, а не в виде постоянной активности. Кратковременное усиление связей моделировалось как кратковременная синаптическая пластичность. Рекуррентная нейронная сеть состоит из возбуждающих и тормозных нейронов, связанных вероятностным образом. Некоторые возбуждающие нейроны принадлежат кластерам и селективны к определенному стимулу. Связи между нейронами в кластере сильнее, чем связи между разными кластерами; они имитируют предварительное формирование нейронных цепей или динамическое долговременное формирование сети с адаптивными связями [44]. Тормозные нейроны формируют неспецифическую группу, связанную с возбуждающими кластерами неструктурированным образом, что приводит к динамической конкуренции между различными выборочными популяциями. Пока внутрикластерные связи остаются усиленными, объект может быть вызван из РП за счет реактивации кластерной активности в ответ на предъявление слабого неспецифического возбуждающего сигнала всей сети или за счет внутренней шумовой активности, даже если нейронная активность находится на спонтанном уровне. Реактивация кластерной активности выражается в виде популяционного разряда, когда почти каждый нейрон в популяции генерирует импульс в течение короткого интервала времени.
Количество элементов, которые могут одновременно храниться в рабочей памяти, отражает ее емкость. В исследуемой модели емкость рабочей памяти определяется как количество кластеров, генерирующих популяционные разряды после прекращения внешней стимуляции.
0,7 0.628 0.562 0.496 0.43
а
0.364 0.298 0.232 0.166
0.1
0 0 0.2 0.1 0.2 0.22 0.78 I 0.2 0.71
0 0.1 0.2 0.4 0.22 0.86 0.29 0.7 1.1 1
0 0 0.22 0.5 0.75 0.5 1 0.44 1 0.86
0 0.11 0 0.86 1.1 0.38 0.88 0.8 0.8 1.5
0 0.22 0.4 0.56 0.43 0.89 0.5 1.43 0.88 0.67
0 0.22 0.25 0.43 1.5 И 1.86 1.5 1; 1.4
0.1 0.22 0.44 0.22 1 1 0.67 0.8 0.67 1.33
0 0 0.25 0.86 0.63 0.83 1.33 1.4 1 1.6
0 0.4 025 0.В6 0.43 0.75 1.13 1.33 1.6 1
0.2 0.44 029 0.4 088 0.67 1.6 1 1.8 3.33
0.8 1.15 1.5
1.85 2.2 2.55 2.S
Рис. 6. Зависимость емкости рабочей памяти в сети с перекрывающимися кластерами от тр и тр, полученная при численном моделировании уравнений (1)-(6) для 7Р = 2.3, И-ех1 = 10 и о^ =0.12 (цвет онлайн)
Fig. 6. Working memory capacity in a network with overlapping clusters as a function of tf and td obtained with numerical simulations of equations (1)-(6) for Jp = 2.3 and ^ext = 10 and a2xt = 0.12 (color online)
Эта популяционная активность является той же активностью, зарегистрированной в электрофизиологических экспериментах в префронтальной коре, которая предположительно является нейронной основой РП [20,25].
Изучена емкость рабочей памяти в зависимости от времен синаптической фасилитации и депрессии и фонового возбуждения сети. Эти параметры являются основными параметрами корковых сетей.
Обнаружено, что емкость рабочей памяти увеличивается по мере увеличения времени синаптической фасилитации тр. Время синаптической депрессии td показывает противоположную роль в наших симуляциях: при фиксированном тр емкость увеличивается с уменьшением td. Этот результат частично противоречит выводам, приведенным в работе [42]: как «емкость РП в основном увеличивается с постоянной времени синаптической депрессии», но «увеличение постоянной времени синаптической депрессии выше определенного значения приводит сеть в режим, при котором невозможны никакие популяционные разряды, и, следовательно, РП разрушается». Наши результаты показывают, что такого противоречия в роли времени синаптической депрессии нет.
Также показано, что емкость РП уменьшается до нуля при снижении глобальной сетевой активности в результате более низких значений как среднего значения p,ext, так и дисперсии o^xt фонового шумового возбуждения. Дисперсия, кажется, играет более важную роль для емкости. Это интересно, поскольку демонстрирует возможную существенную роль нетождественностей и неидеальностей в динамике нейронных сетей и должно учитываться при математическом моделировании нейронных сетей. Зависимость емкости РП от фонового возбуждения позволяет эффективно «настроить» систему на требуемую емкость.
Показано, что емкость РП может быть больше, чем классические экспериментальные оценки четырех элементов [39,47]. Но емкость сильно зависит от параметров нейронных сетей, которые нельзя значительно улучшить простым обучением. Столь сильная зависимость емкости от внутренних параметров нейронной сети могла быть причиной индивидуальных различий в экспериментальных исследованиях. Эти параметры также могут быть одной из причин дисфункции РП при шизофрении [48,49]. Все полученные данные о зависимости емкости РП от параметров нейронной сети могут быть полезны в клинических исследованиях нарушений памяти, связанных с неврологическими расстройствами.
Заключение
В данной статье представлено подробное исследование влияния времен синаптической фасилитации и депрессии и фонового возбуждения нейронной сети на емкость рабочей памяти. Емкость рабочей памяти сильно зависит от многих параметров и, как показано, может быть больше, чем классические экспериментальные оценки. Наши результаты демонстрируют возможность синаптической теории рабочей памяти имитировать различные экспериментальные оценки емкости РП по индивидуальным различиям параметров синаптической пластичности. Модель может быть улучшена для имитации различных экспериментальных протоколов загрузки памяти.
Список литературы
1. Baddeley A. Working memory // Science. 1992. Vol. 255, no. 5044. P. 556-559. DOI: 10.1126/ science.1736359.
2. Baddeley A. Working memory: looking back and looking forward // Nat. Rev. Neurosci. 2003. Vol. 4, no. 10. P. 829-839. DOI: 10.1038/nrn1201.
3. Miller E.K., Erickson C.A., Desimone R. Neural mechanisms of visual working memory in prefrontal cortex of the macaque // J. Neurosci. 1996. Vol. 16, no. 16. P. 5154-5167. DOI: 10.1523/JNEUR0SCI.16-16-05154.1996.
4. Fuster J. M., Alexander G.E. Neuron activity related to short-term memory // Science. 1971. Vol. 173, no. 3997. P. 652-654. DOI: 10.1126/science.173.3997.652.
5. Funahashi S., Bruce C.J., Goldman-Rakic P.S. Mnemonic coding of visual space in the monkey's dorsolateral prefrontal cortex // J. Neurophysiol. 1989. Vol. 61, no. 2. P. 331-349. DOI: 10.1152/jn.1989.61.2.331.
6. Spaak E., Watanabe K., Funahashi S., Stokes M. G. Stable and dynamic coding for working memory in primate prefrontal cortex // J. Neurosci. 2017. Vol. 37, no. 27. P. 6503-6516. DOI: 10.1523/JNEUROSCI.3364-16.2017.
7. Barak O., Tsodyks M. Working models of working memory // Curr. Opin. Neurobiol. 2014. Vol. 25. P. 20-24. DOI: 10.1016/j.conb.2013.10.008.
8. Goldman-Rakic P. S. Cellular basis of working memory // Neuron. 1995. Vol. 14, no. 3. P. 477-485. DOI: 10.1016/0896-6273(95)90304-6.
9. Bray N.Working memory: Persistence is key // Nat. Rev. Neurosci. 2017. Vol. 18, no. 7. P. 385. DOI: 10.1038/nrn.2017.70.
10. Guo Z. V., Inagaki H.K., Daie K., Druckmann S., Gerfen C.R., Svoboda K. Maintenance of persistent activity in a frontal thalamocortical loop // Nature. 2017. Vol. 545, no. 7653. P. 181-186. DOI: 10.1038/nature22324.
11. Baddeley A. Working memory // Curr. Biol. 2010. Vol. 20, no. 4. P. R136-R140. DOI: 10.1016/ j.cub.2009.12.014.
12. Diamond A. Executive functions // Annu. Rev. Psychol. 2013. Vol. 64. P. 135-168. DOI: 10.1146/ annurev-psych-113011-143750.
13. Pasternak T., Greenlee M.W. Working memory in primate sensory systems // Nat. Rev. Neurosci. 2005. Vol. 6, no. 2. P. 97-107. DOI: 10.1038/nrn1603.
14. Afraimovich V., GongX., Rabinovich M. Sequential memory: Binding dynamics // Chaos. 2015. Vol. 25, no. 10. P. 103118. DOI: 10.1063/1.4932563.
15. Kilpatrick Z. P. Synaptic mechanisms of interference in working memory // Sci. Rep. 2018. Vol. 8, no. 1. P. 7879. DOI: 10.1038/s41598-018-25958-9.
16. Nachstedt T. The Processing and Storage of Information in Neuronal Memory Systems Across Time Scales. Dissertation for the award of the degree «Doctor rerum naturalium». Gottingen: Georg-August-Universitat Gottingen, 2017. 149 p.
17. Curtis C. E., D'Esposito M. Persistent activity in the prefrontal cortex during working memory // Trends Cogn. Sci. 2003. Vol. 7, no. 9. P. 415-423. DOI: 10.1016/S1364-6613(03)00197-9.
18. Riley M. R., Constantinidis C. Role of prefrontal persistent activity in working memory // Front. Syst. Neurosci. 2016. Vol. 9. P. 181. DOI: 10.3389/fnsys.2015.00181.
19. Bolkan S. S., Stujenske J.M., Parnaudeau S., Spellman T. J., Rauffenbart C., Abbas A. I., Harris A. Z, Gordon J. A., Kellendonk C. Thalamic projections sustain prefrontal activity during working memory maintenance //Nat. Neurosci. 2017. Vol. 20, no. 7. P. 987-996. DOI: 10.1038/nn.4568.
20. Constantinidis C., Funahashi S., Lee D., Murray J.D., Qi X.-L., Wang M., Arnsten A.F.T. Persistent spiking activity underlies working memory // J. Neurosci. 2018. Vol. 38, no. 32. P. 7020-7028. DOI: 10.1523/JNEUROSCI.2486-17.2018.
21. Rabinovich M., Huerta R., Laurent G. Transient dynamics for neural processing // Science. 2008. Vol. 321, no. 5885. P. 48-50. DOI: 10.1126/science.1155564.
22. Mongillo G., Barak O., Tsodyks M. Synaptic theory of working memory // Science. 2008. Vol. 319, no. 5869. P. 1543-1546. DOI: 10.1126/science.1150769.
23. Lundqvist M., Rose J., Herman P., Brincat S. L., Buschman T. J., Miller E. K. Gamma and beta bursts underlie working memory // Neuron. 2016. Vol. 90, no. 1. P. 152-164. DOI: 10.1016/ j.neuron.2016.02.028.
24. Lisman J.E., Idiart M.A.P. Storage of 7 ± 2 short-term memories in oscillatory subcycles // Science. 1995. Vol. 267, no. 5203. P. 1512-1515. DOI: 10.1126/science.7878473.
25. Rolls E. T., Dempere-Marco L., Deco G. Holding multiple items in short term memory: A neural mechanism // PLOS ONE. 2013. Vol. 8, no. 4. P. e61078. DOI: 10.1371/journal.pone.0061078.
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
98
Dempere-Marco L., Melcher D. P., Deco G. Effective visual working memory capacity: An emergent effect from the neural dynamics in an attractor network // PLOS ONE. 2012. Vol. 7, no. 8. P. e42719. DOI: 10.1371/journal.pone.0042719.
Miller E. K., Lundqvist M., Bastos A. M. Working memory 2.0 // Neuron. 2018. Vol. 100, no. 2. P. 463-475. DOI: 10.1016/j.neuron.2018.09.023.
Lundqvist M., Herman P., Miller E. K. Working memory: Delay activity, yes! Persistent activity? Maybe not // J. Neurosci. 2018. Vol. 38, no. 32. P. 7013-7019. DOI: 10.1523/JNEUROSCI.2485-17.2018.
Jun J. K., Miller P., Hernandez A., Zainos A., Lemus L., Brody C. D., Romo R. Heterogenous population coding of a short-term memory and decision task // J. Neurosci. 2010. Vol. 30, no. 3. P. 916-929. DOI: 10.1523/JNEUROSCI.2062-09.2010.
Hussar C. R., Pasternak T. Memory-guided sensory comparisons in the prefrontal cortex: Contribution of putative pyramidal cells and interneurons // J. Neurosci. 2012. Vol. 32, no. 8. P. 2747-2761. DOI: 10.1523/JNEUROSCI.5135-11.2012.
Rabinovich M. I., Simmons A. N., Varona P. Dynamical bridge between brain and mind // Trends Cogn. Sci. 2015. Vol. 19, no. 8. P. 453-461. DOI: 10.1016/j.tics.2015.06.005. Wang Y, Markram H., Goodman P. H., Berger T.K., Ma J., Goldman-Rakic P. S. Heterogeneity in the pyramidal network of the medial prefrontal cortex // Nat. Neurosci. 2006. Vol. 9, no. 4. P. 534-542. DOI: 10.1038/nn1670.
Gordleeva S. Y., Tsybina Y.A., Krivonosov M.I., Ivanchenko M.V., Zaikin A. A., Kazantsev V.B., Gorban A. N. Modeling working memory in a spiking neuron network accompanied by astrocytes // Front. Cell. Neurosci. 2021. Vol. 15. P. 631485. DOI: 10.3389/fncel.2021.631485. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information//Psychol. Rev. 1956. Vol. 63, no. 2. P. 81-97. DOI: 10.1037/h0043158. Koyluoglu O. O., Pertzov Y, Manohar S., Husain M., Fiete I. R. Fundamental bound on the persistence and capacity of short-term memory stored as graded persistent activity // eLife. 2017. Vol. 6. P. e22225. DOI: 10.7554/eLife.22225.
Cowan N., Elliott E. M., Saults J. S., Morey C. C., Mattox S., Hismjatullina A., Conway A. R. A. On the capacity of attention: Its estimation and its role in working memory and cognitive aptitudes // Cogn. Psychol. 2005. Vol. 51, no. 1. P. 42-100. DOI: 10.1016/j.cogpsych.2004.12.001. Conway A.R.A., Cowan N., Bunting M.F. The cocktail party phenomenon revisited: The importance of working memory capacity // Psychon. Bull. Rev. 2001. Vol. 8, no. 2. P. 331335. DOI: 10.3758/BF03196169.
Oberauer K. Access to information in working memory: Exploring the focus of attention // J. Exp. Psychol. Learn. Mem. Cogn. 2002. Vol. 28, no. 3. P. 411-421. DOI: 10.1037/0278-7393.28.3.411. Cowan N. The magical mystery four: How is working memory capacity limited, and why? // Curr. Dir. Psychol. Sci. 2010. Vol. 19, no. 1. P. 51-57. DOI: 10.1177/0963721409359277. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity // Behav. Brain Sci. 2001. Vol. 24, no. 1. P. 87-114. DOI: 10.1017/S0140525X01003922. Frost A., Moussaoui S., Kaur J., Aziz S., Fukuda K, Niemeier M. Is the n-back task a measure of unstructured working memory capacity? Towards understanding its connection to other working memory tasks // Acta Psychol. 2021. Vol. 219. P. 103398. DOI: 10.1016/j.actpsy.2021.103398. Mi Y., Katkov M., Tsodyks M. Synaptic correlates of working memory capacity // Neuron. 2017. Vol. 93, no. 2. P. 323-330. DOI: 10.1016/j.neuron.2016.12.004.
Hopfield J. J.Neural networks and physical systems with emergent collective computational abilities // Proc. Natl. Acad. Sci. U. S. A. 1982. Vol. 79, no. 8. P. 2554-2558. DOI: 10.1073/ pnas.79.8.2554.
Song S., Sjostrom P. J., Reigl M., Nelson S., Chklovskii D.B. Highly nonrandom features of synaptic connectivity in local cortical circuits // PLOS Biol. 2005. Vol. 3, no. 3. P. e68. DOI: 10.1371/journal.pbio.0030068.
45. Дмитричев А. С., Касаткин Д. В., Клиньшов В. В., Кириллов С.Ю., Масленников О. В., Щапин Д. С., Некоркин В. И. Нелинейные динамические модели нейронов: обзор // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5-58. DOI: 10.18500/0869-6632-2018-26-4-5-58.
46. Tsodyks M.V., Markram H.The neural code between neocortical pyramidal neurons depends on neurotransmitter release probability // Proc. Natl. Acad. Sci. U. S. A. 1997. Vol. 94, no. 2. P. 719-723. DOI: 10.1073/pnas.94.2.719.
47. Luck S. J., Vogel E. K. The capacity of visual working memory for features and conjunctions // Nature. 1997. Vol. 390, no. 6657. P. 279-281. DOI: 10.1038/36846.
48. Potkin S. G., Turner J. A., Brown G. G., McCarthy G., Greve D. N., Glover G. H., Manoach D. S., Belger A., Diaz M., Wible C. G., Ford J.M., Mathalon D. H., Gollub R., Lauriello J., O'Leary D., van Erp T. G. M., Toga A. W., Preda A., Lim K. O., FBIRN. Working memory and DLPFC inefficiency in schizophrenia: The FBIRN study // Schizophr. Bull. 2009. Vol. 35, no. 1. P. 19-31. DOI: 10.1093/schbul/sbn162.
49. Godwin D., Ji A., Kandala S., Mamah D. Functional connectivity of cognitive brain networks in schizophrenia during a working memory task // Front. Psychiatry. 2017. Vol. 8. P. 294. DOI: 10.3389/fpsyt.2017.00294.
References
1. Baddeley A. Working memory. Science. 1992;255(5044):556-559. DOI: 10.1126/science.1736359.
2. Baddeley A. Working memory: looking back and looking forward. Nat. Rev. Neurosci. 2003;4(10): 829-839. DOI: 10.1038/nrn1201.
3. Miller EK, Erickson CA, Desimone R. Neural mechanisms of visual working memory in prefrontal cortex of the macaque. J. Neurosci. 1996;16(16):5154-5167. DOI: 10.1523/JNEUROSCI.16-16-05154.1996.
4. Fuster JM, Alexander GE. Neuron activity related to short-term memory. Science. 1971;173(3997): 652-654. DOI: 10.1126/science.173.3997.652.
5. Funahashi S, Bruce CJ, Goldman-Rakic PS. Mnemonic coding of visual space in the monkey's dorsolateral prefrontal cortex. J. Neurophysiol. 1989;61(2):331-349. DOI: 10.1152/jn.1989.61.2.331.
6. Spaak E, Watanabe K, Funahashi S, Stokes MG. Stable and dynamic coding for working memory in primate prefrontal cortex. J. Neurosci. 2017;37(27):6503-6516. DOI: 10.1523/JNEUROSCI.3364-16.2017.
7. Barak O, Tsodyks M. Working models of working memory. Curr. Opin. Neurobiol. 2014;25:20-24. DOI: 10.1016/j.conb.2013.10.008.
8. Goldman-Rakic PS. Cellular basis of working memory. Neuron. 1995;14(3):477-485. DOI: 10.1016/ 0896-6273(95)90304-6.
9. Bray N. Working memory: Persistence is key. Nat. Rev. Neurosci. 2017;18(7):385. DOI: 10.1038/ nrn.2017.70.
10. Guo ZV, Inagaki HK, Daie K, Druckmann S, Gerfen CR, Svoboda K. Maintenance of persistent activity in a frontal thalamocortical loop. Nature. 2017;545(7653):181-186. DOI: 10.1038/ nature22324.
11. Baddeley A. Working memory. Curr. Biol. 2010;20(4):R136-R140. DOI: 10.1016/j.cub.2009.12.014.
12. Diamond A. Executive functions. Annu. Rev. Psychol. 2013;64:135-168. DOI: 10.1146/annurev-psych-113011-143750.
13. Pasternak T, Greenlee MW. Working memory in primate sensory systems. Nat. Rev. Neurosci. 2005;6(2):97-107. DOI: 10.1038/nrn1603.
14. Afraimovich V, Gong X, Rabinovich M. Sequential memory: Binding dynamics. Chaos. 2015; 25(10):103118. DOI: 10.1063/1.4932563.
15. Kilpatrick ZP. Synaptic mechanisms of interference in working memory. Sci. Rep. 2018;8(1):7879. DOI: 10.1038/s41598-018-25958-9.
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
100
Nachstedt T. The Processing and Storage of Information in Neuronal Memory Systems Across Time Scales. Dissertation for the award of the degree «Doctor rerum naturalium». Gottingen: Georg-August-Universitat Gottingen; 2017. 149 p.
Curtis CE, D'Esposito M. Persistent activity in the prefrontal cortex during working memory. Trends Cogn. Sci. 2003;7(9):415-423. DOI: 10.1016/S1364-6613(03)00197-9. Riley MR, Constantinidis C. Role of prefrontal persistent activity in working memory. Front. Syst. Neurosci. 2016;9:181. DOI: 10.3389/fnsys.2015.00181.
Bolkan SS, Stujenske JM, Parnaudeau S, Spellman TJ, Rauffenbart C, Abbas AI, Harris AZ, Gordon JA, Kellendonk C. Thalamic projections sustain prefrontal activity during working memory maintenance. Nat. Neurosci. 2017;20(7):987-996. DOI: 10.1038/nn.4568. Constantinidis C, Funahashi S, Lee D, Murray JD, Qi XL, Wang M, Arnsten AFT. Persistent spiking activity underlies working memory. J. Neurosci. 2018;38(32):7020-7028. DOI: 10.1523/ JNEUROSCI.2486-17.2018.
Rabinovich M, Huerta R, Laurent G. Transient dynamics for neural processing. Science. 2008; 321(5885):48-50. DOI: 10.1126/science.1155564.
Mongillo G, Barak O, Tsodyks M. Synaptic theory of working memory. Science. 2008;319(5869): 1543-1546. DOI: 10.1126/science.1150769.
Lundqvist M, Rose J, Herman P, Brincat SL, Buschman TJ, Miller EK. Gamma and beta bursts underlie working memory. Neuron. 2016;90(1):152-164. DOI: 10.1016/j.neuron.2016.02.028. Lisman JE, Idiart MAP. Storage of 7 ± 2 short-term memories in oscillatory subcycles. Science. 1995;267(5203):1512-1515. DOI: 10.1126/science.7878473.
Rolls ET, Dempere-Marco L, Deco G. Holding multiple items in short term memory: A neural mechanism. PLOS ONE. 2013;8(4):e61078. DOI: 10.1371/journal.pone.0061078. Dempere-Marco L, Melcher DP, Deco G. Effective visual working memory capacity: An emergent effect from the neural dynamics in an attractor network. PLOS ONE. 2012;7(8):e42719. DOI: 10.1371/journal.pone.0042719.
Miller EK, Lundqvist M, Bastos AM. Working memory 2.0. Neuron. 2018;100(2):463-475. DOI: 10.1016/j.neuron.2018.09.023.
Lundqvist M, Herman P, Miller EK. Working memory: Delay activity, yes! Persistent activity? Maybe not. J. Neurosci. 2018;38(32):7013-7019. DOI: 10.1523/JNEUROSCI.2485-17.2018. Jun JK, Miller P, Hernandez A, Zainos A, Lemus L, Brody CD, Romo R. Heterogenous population coding of a short-term memory and decision task. J. Neurosci. 2010;30(3):916-929. DOI: 10.1523/JNEUROSCI.2062-09.2010.
Hussar CR, Pasternak T. Memory-guided sensory comparisons in the prefrontal cortex: Contribution of putative pyramidal cells and interneurons. J. Neurosci. 2012;32(8):2747-2761. DOI: 10.1523/ JNEUROSCI.5135-11.2012.
Rabinovich MI, Simmons AN, Varona P. Dynamical bridge between brain and mind. Trends Cogn. Sci. 2015;19(8):453-461. DOI: 10.1016/j.tics.2015.06.005.
Wang Y, Markram H, Goodman PH, Berger TK, Ma J, Goldman-Rakic PS. Heterogeneity in the pyramidal network of the medial prefrontal cortex. Nat. Neurosci. 2006;9(4):534-542. DOI: 10.1038/nn1670.
Gordleeva SY, Tsybina YA, Krivonosov MI, Ivanchenko MV, Zaikin AA, Kazantsev VB, Gorban AN. Modeling working memory in a spiking neuron network accompanied by astrocytes. Front. Cell. Neurosci. 2021;15:631485. DOI: 10.3389/fncel.2021.631485.
Miller GA. The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychol. Rev. 1956;63(2):81-97. DOI: 10.1037/h0043158. Koyluoglu OO, Pertzov Y, Manohar S, Husain M, Fiete IR. Fundamental bound on the persistence and capacity of short-term memory stored as graded persistent activity. eLife. 2017;6:e22225. DOI: 10.7554/eLife.22225.
36. Cowan N, Elliott EM, Saults JS, Morey CC, Mattox S, Hismjatullina A, Conway ARA. On the capacity of attention: Its estimation and its role in working memory and cognitive aptitudes. Cogn. Psychol. 2005;51(1):42-100. DOI: 10.1016/j.cogpsych.2004.12.001.
37. Conway ARA, Cowan N, Bunting MF. The cocktail party phenomenon revisited: The importance of working memory capacity. Psychon. Bull. Rev. 2001;8(2):331-335. DOI: 10.3758/BF03196169.
38. Oberauer K. Access to information in working memory: Exploring the focus of attention. J. Exp. Psychol. Learn. Mem. Cogn. 2002;28(3):411-421. DOI: 10.1037/0278-7393.28.3.411.
39. Cowan N. The magical mystery four: How is working memory capacity limited, and why? Curr. Dir. Psychol. Sci. 2010;19(1):51-57. DOI: 10.1177/0963721409359277.
40. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behav. Brain Sci. 2001;24(1):87-114. DOI: 10.1017/S0140525X01003922.
41. Frost A, Moussaoui S, Kaur J, Aziz S, Fukuda K, Niemeier M. Is the n-back task a measure of unstructured working memory capacity? Towards understanding its connection to other working memory tasks. Acta Psychol. 2021;219:103398. DOI: 10.1016/j.actpsy.2021.103398.
42. Mi Y, Katkov M, Tsodyks M. Synaptic correlates of working memory capacity. Neuron. 2017; 93(2):323-330. DOI: 10.1016/j.neuron.2016.12.004.
43. Hopfield JJ. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. U. S. A. 1982;79(8):2554-2558. DOI: 10.1073/pnas.79.8.2554.
44. Song S, Sjostrom PJ, Reigl M, Nelson S, Chklovskii DB. Highly nonrandom features of synaptic connectivity in local cortical circuits. PLOS Biol. 2005;3(3):e68. DOI: 10.1371/journal.pbio. 0030068.
45. Dmitrichev AS, Kasatkin DV, Klinshov VV, Kirillov SY, Maslennikov OV, Shchapin DS, Nekorkin VI. Nonlinear dynamical models of neurons: Review. Izvestiya VUZ. Applied Nonlinear Dynamics. 2018;26(4):5-58. DOI: 10.18500/0869-6632-2018-26-4-5-58.
46. Tsodyks MV, Markram H. The neural code between neocortical pyramidal neurons depends on neurotransmitter release probability. Proc. Natl. Acad. Sci. U. S. A. 1997;94(2):719-723. DOI: 10.1073/pnas.94.2.719.
47. Luck SJ, Vogel EK. The capacity of visual working memory for features and conjunctions. Nature. 1997;390(6657):279-281. DOI: 10.1038/36846.
48. Potkin SG, Turner JA, Brown GG, McCarthy G, Greve DN, Glover GH, Manoach DS, Belger A, Diaz M, Wible CG, Ford JM, Mathalon DH, Gollub R, Lauriello J, O'Leary D, van Erp TGM, Toga AW, Preda A, Lim KO, FBIRN. Working memory and DLPFC inefficiency in schizophrenia: The FBIRN study. Schizophr. Bull. 2009;35(1):19-31. DOI: 10.1093/schbul/sbn162.
49. Godwin D, Ji A, Kandala S, Mamah D. Functional connectivity of cognitive brain networks in schizophrenia during a working memory task. Front. Psychiatry. 2017;8:294. 10.3389/fpsyt. 2017.00294.
Ковалева Наталья Сергеевна — родилась в Нижнем Новгороде (1994). Окончила радиофизический факультет Национального исследовательского Нижегородского государственного университета им. Н.И. Лобачевского (2018). Выпускник института аспирантуры и докторантуры по программе «Радиофизика» (2022). Область научных интересов — нелинейная динамика, нейродинамика, математическое моделирование.
Россия, 603950 Нижний Новгород, пр. Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского E-mail: [email protected] AuthorID (eLibrary.Ru): 1030307
Матросов Валерий Владимирович — родился в 1960 году. Окончил Горьковский (Нижегородский) государственный университет им. Н.И. Лобачевского по специальности «Прикладная математика» (1982). Доктор физико-математических наук (2007), профессор (2009). Научный сотрудник НИИ прикладной математики и кибернетики при ННГУ им. Н.И. Лобачевского (1984-1999), доцент кафедры теории колебаний и автоматического регулирования (1999), профессор этой кафедры (2007), заведующий кафедрой теории колебаний и автоматического регулирования (с 2013), декан радиофизического факультета ННГУ им. Н.И. Лобачевского (с 2014). Имеет более 100 научных и методических работ, в том числе 3 монографии и 3 учебных пособия, изданных как в России, так и за рубежом. Под его руководством защищено 4 кандидатских диссертации. Член диссертационного совета Д 212.166.07 при ННГУ (радиофак); научно-методического совета исследовательской школы «Колебательно-волновые процессы в природных и искусственных средах». Почетный работник сферы образования РФ, награжден знаком НТОРЭС им. А. С. Попова «За заслуги в развитии радиоэлектроники и связи».
Россия, 603950 Нижний Новгород, пр. Гагарина, 23
Нижегородский государственный университет им. Н. И. Лобачевского
E-mail: [email protected]
ORCID: 0000-0003-3146-111X
AuthorlD (eLibrary.Ru): 24397
Мищенко Михаил Андреевич — родился в городе Горьком (1987). Окончил радиофизический факультет Нижегородского государственного университета им. Н. И. Лобачевского (2010). Кандидат физико-математических наук (2013). Старший научный сотрудник и доцент кафедры теории колебаний и автоматического регулирования радиофизического факультета Национального исследовательского Нижегородского государственного университета им. Н. И. Лобачевского. Область научных интересов — нейродинамика, нелинейная динамика и синхронизация. Опубликовал свыше 20 научных статей по указанным направлениям.
Россия, 603950 Нижний Новгород, пр. Гагарина, 23
Нижегородский государственный университет им. Н. И. Лобачевского
E-mail: [email protected]
ORCID: 0000-0001-8801-7664
AuthorID (eLibrary.Ru): 655032
