CC BY
10
Нелинейная
динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2024. Т. 32, № 2 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2024;32(2)
Научная статья УДК 530.182
DOI: 10.18500/0869-6632-003092 EDN: STLCRP
Исследование влияния синаптической пластичности на формирование признакового пространства спайковой нейронной сетью*
*
А. А. Лебедев1, В. Б. Казанцев1'2, С. В. Стасенко1,2 и
1 Национальный исследовательский Нижегородский государственный университет им. Н. И. Лобачевского, Россия 2Московский физико-технический институт, Россия E-mail: [email protected], [email protected], [email protected] Поступила в редакцию 5.10.2023, принята к публикации 18.11.2023, опубликована онлайн 19.02.2024, опубликована 29.03.2024
Аннотация. Цель настоящего исследования — исследовать влияние синаптической пластичности на возбуждающих и тормозных синапсах на формирование признакового пространства входного изображения на возбуждающих и тормозных слоях нейронов спайковой нейронной сети. Методы. Для моделирования динамики нейрона использовалась вычислительно-эффективная модель «Сброс и накопление с утечкой». В качестве модели синаптических контактов использовалась модель синапса на основе проводимости. Синаптическая пластичность в возбуждающих и тормозных синапсах моделировалась классической моделью, зависимой от времен возникновения спайков синаптической пластичности. Нейронная сеть, составленная из них, порождает признаковое пространство, которое разделяется на классы алгоритмом машинного обучения. Результаты. Была построена модель спайковой нейронной сети с возбуждающими и тормозными слоями нейронов с адаптацией синаптических контактов за счет синаптической пластичности. Были рассмотрены различные конфигурации модели с синаптической пластичностью для задачи формирования признакового пространства входного изображения на возбуждающих и тормозных слоях нейронов, а также проведено их сравнение. Заключение. Было показано, что синаптическая пластичность в тормозных синапсах ухудшает формирование признакового пространства изображения для задачи классификации. Получены также ограничения модели и выбрана лучшая конфигурация модели.
Ключевые слова: спайковая нейронная сеть, синаптическая пластичность, машинное обучение, классификация изображений.
Благодарности. В части исследования конфигураций моделей при формировании признакового описания с возбуждающей популяции нейронов работа выполнена при поддержке гранта Правительства Нижегородской области для молодых ученых (соглашение № 316-06-16-111а/23 от 4 июля 2023 г.), в части исследования конфигураций моделей при формировании признакового описания с тормозной популяции нейронов работа выполнена при поддержке гранта Российского научного фонда (проект № 23-11-00134).
Для цитирования: Лебедев А. А., Казанцев В. Б., Стасенко С. В. Исследование влияния синаптической пластичности на формирование признакового пространства спайковой нейронной сетью // Известия вузов. ПНД. 2024. T. 32, № 2. С. 253-267. DOI: 10.18500/0869-6632-003092. EDN: STLCRP
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
* Работа публикуется по материалам доклада, сделанного на конференции «Нейроинформатика — 2023».
©Лебедев А. А., Казанцев В. Б., Стасенко С. В., 2024
Article
DOI: 10.18500/0869-6632-003092
Study of the influence of synaptic plasticity on the formation of a feature space
by a spiking neural network*
*
A. A. Lebedev1, V.B. Kazantsev1'2, S. V. Stasenko1'2^
National Research Lobachevsky State University of Nizhny Novgorod, Russia 2Moscow Institute of Physics and Technology, Russia E-mail: [email protected], [email protected], [email protected] Received 5.10.2023, accepted 18.11.2023, available online 19.02.2024, published 29.03.2024
l
2
Abstract. The purpose of this study is to study the influence of synaptic plasticity on excitatory and inhibitory synapses on the formation of the feature space of the input image on the excitatory and inhibitory layers of neurons in a spiking neural network. Methods. To simulate the dynamics of the neuron, the computationally efficient model "Leaky integrate-and-fire" was used. The conductance-based synapse model was used as a synaptic contact model. Synaptic plasticity in excitatory and inhibitory synapses was modeled by the classical model of time dependent synaptic plasticity. A neural network composed of them generates a feature space, which is divided into classes by a machine learning algorithm. Results. A model of a spiking neural network was built with excitatory and inhibitory layers of neurons with adaptation of synaptic contacts due to synaptic plasticity. Various configurations of the model with synaptic plasticity were considered for the problem of forming the feature space of the input image on the excitatory and inhibitory layers of neurons, and their comparison was also carried out. Conclusion. It has been shown that synaptic plasticity in inhibitory synapses impairs the formation of an image feature space for a classification task. The model constraints are also obtained and the best model configuration is selected.
Keywords: spiking neural network, synaptic plasticity, machine learning, image classification.
Acknowledgements. In terms of studying model configurations when generating an indicative description from an excitatory population of neurons the work was supported by grant from the Government of the Nizhny Novgorod Region for young scientists (agreement No. 316-06-16-111a/23 from 4 july 2023), in terms of studying model configurations when generating an indicative description from an inhibitory population of neurons the work was supported by grant from the Russian Science Foundation (project No. 23-11-00134).
For citation: Lebedev AA, Kazantsev VB, Stasenko SV. Study of the influence of synaptic plasticity on the formation of a feature space by a spiking neural network. Izvestiya VUZ. Applied Nonlinear Dynamics. 2024;32(2):253-267. DOI: 10.18500/0869-6632-003092
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Кодирование информации в спайковых нейронных сетях является активной исследовательской темой в области нейробиологии и машинного обучения. Этот подход к обработке информации имеет свои уникальные преимущества, такие как низкое энергопотребление, высокая вычислительная эффективность и возможность обработки сигналов в реальном времени. Под кодированием информации в статье будем понимать отображение векторов входных данных во входные последовательности спайков, а преобразование входных последовательностей спай-ков в выходные, которое выполняет спайковая нейронная сеть, называть выделением значимых признаков. В настоящее время были предложены различные методы кодирования.
Одним из распространенных методов кодирования является расстояние между спайками. Например, в кодировании частотой (rate coding) информация представляется количеством спайков в определенном временном окне. Чем больше спайков генерирует нейрон за определенный период времени, тем выше значение передаваемой информации. Этот метод кодирования был
*The paper presents materials of a talk given at the conference "Neuroinformatics — 2023".
Введение
широко изучен как в биологических системах, так и в спайковых нейронных сетях. Например, Сонг и др. [1] показали, что спайковые нейронные сети могут достичь надежного кодирования по частоте путем регулировки синаптических весов между нейронами. Другой метод — временное кодирование. Здесь информация кодируется временным интервалом между последовательными спайками. Относительное время между импульсами может нести конкретную информацию о стимуле. Например, более короткий интервал может означать передачу единицы информации, а более длинный — ноль. Торп и др. [2] предложили концепцию «временной связи» и показали, что спайковые нейронные сети могут использовать точное время импульсов для эффективного кодирования и обработки информации. Существуют также другие методы кодирования, такие как кодирование ранжированными интервалами (rank-order coding) [3] и фазовое кодирование (phase coding) [4]. Пачечное кодирование основывается на коллективной активности группы нейронов для представления информации. Паттерн активности в популяции несет закодированную информацию. В исследовании Боте и др. [5] было показано, что спайковые нейронные сети могут научиться кодировать входные сигналы с использованием распределенной пачечной динамики. Выбор конкретного метода кодирования зависит от задачи и особенностей конкретной спайковой нейронной сети. Кроме того, декодирование спайковой информации играет важную роль при анализе и интерпретации этих данных.
Участие зависящей от времен спайков синаптической пластичности (Spike-Timing-Dependent Plasticity, STDP) в кодировании информации является одной из важных тем в исследованиях спайковых нейронных сетей. STDP — это форма пластичности синапсов, которая основана на времени возникновения спайков в пресинаптическом и постсинаптическом нейронах. STDP ослабевает или усиливает связь между нейронами на основе временных интервалов между спайками. Если пресинаптический нейрон спайкует перед постсинаптическим нейроном, синапс усиливается, что способствует увеличению веса связи. Если пресинаптический нейрон спайкует после постсинап-тического нейрона, синапс ослабевает, что приводит к уменьшению веса связи. Такая обратная связь, наряду с другими механизмами, позволяет нейронной сети учиться и адаптироваться к предъявляемым стимулам и образам [6-9]. Правило STDP может быть использовано для кодирования и хранения информации в сети [10]. Нейроны, которые часто активируются одновременно, могут формировать более сильные связи между собой, тогда как слабо активируемые нейроны могут иметь более слабые связи. В работе Маскелье и др. [11] было показано, что STDP может позволить спайковой нейронной сети извлекать признаки из естественных изображений. STDP также активно исследуется и применяется в области машинного обучения и интеллектуальных систем. Применение STDP к задаче обработки информации на основе спайковых сетей открывает новые возможности для создания эффективных и энергоэффективных алгоритмов обучения и распознавания.
Выделение новых признаков из изображений с помощью спайковых нейронных сетей — это активная область исследований, которая имеет потенциал для разработки эффективных методов обработки и анализа изображений [12]. Спайковые нейронные сети представляют собой мощный инструмент для анализа и классификации изображений, так как они могут учитывать временные особенности сигналов и обеспечивать низкую латентность при обработке данных.
В данной статье мы предлагаем модель выделения значимых признаков изображений с использованием спайковой нейронной сети с синаптической пластичностью для задачи распознавания. В качестве нового признакового пространства используется количество спайков на каждом нейроне в тормозном и возбуждающем слоях. На базе предлагаемой модели мы исследуем влияние синаптической пластичности на возбуждающих и тормозных синапсах на формирование нового признакового пространства входного изображения на возбуждающих и тормозных слоях нейронов спайковой нейронной сети.
1. Методика
1.1. Математическая модель нейрона. Динамика нейрона в нашей модели описывалась с помощью модели нейрона «Сброс и накопление с утечкой» (Leaky-Integrate-and-Fire, ЫБ) [13]. Система уравнений, описывающих динамику мембранного потенциала LIF-нейрона, может быть записана следующим образом:
( ту К = - Ю + д? (V* - Щ + д! (У/уп -
V — ' ■ (1)
Уг г
9г + Е и,Е ' 8 С - ^¡кеД
I г
а1
д! = - — + V и)1 ■ 8 (* - 4р1ке,г).
ч *
Е I
Здесь Уг — мембранный потенциал; — реверсивный потенциал; — реверсивный
г Е,1
потенциал для возбуждающих и тормозных синапсов; ^ — синаптическая проводимость;
т^ — временная константа релаксации мембранного потенциала; т е,1 — временная константа релаксации синаптической проводимости; 4р1ке,г — моменты времени последовательных пресинаптических спайков. При достижении мембранным потенциалом порогового значения Кьг происходит генерация спайка и возвращение значения мембранного потенциала к Уге8ег. Рефрактерность для возбуждающих нейронов равнялась 5 мс, для тормозных нейронов — 2 мс. В уравнение мембранного потенциала для тормозного нейрона входила только синаптическая проводимость возбуждающих синапсов.
Спайковая нейронная сеть состоит из множества таких нейронов, каждый из которых интегрирует входные сигналы и генерирует спайки в зависимости от своего состояния. Спайки, сгенерированные одним нейроном, могут быть связаны с входными токами других нейронов в сети, что позволяет передавать информацию и обрабатывать данные в нейронной сети.
В нашей работе мы предлагаем использовать две взаимодействующие друг с другом популяции нейронов: возбуждающую и тормозную.
Для модели возбуждающих нейронов были использованы следующие параметры: V?
= -60 мВ, УгЕе4 = -65 мВ, V? = -52 мВ, V? = 0 мВ, У/уп = -100 мВ, т? = 100 мс, таЕ = 5 мс и т0/ = 10 мс.
Уг У г
Для модели тормозных нейронов были использованы следующие параметры: =
= -60 мВ, У/е8е! = -45 мВ, = -40 мВ, т е = 5 мс.
"г
Для связей «возбуждающий нейрон — тормозный нейрон» значение синаптического веса принималось равным 3, для связей типа «тормозный нейрон - возбуждающий нейрон» значение синаптического веса принималось равным 0.3.
1.2. Синаптическая пластичность. Синаптическая пластичность 8ТБР ответственна за регулирование силы связей между нейронами в мозге. Она позволяет нейронам изменять силу связи на основе временной разницы между передаваемыми друг другу сигналами. В исследовании вио^а^ Bi и Mu-ming [14] было установлено изменение синаптических связей как функция относительной синхронизации пре- и постсинаптических спайков. Результаты их эксперимента приведены на рис. 1 черными точками. В результате аппроксимации полученных данных экспоненциальными зависимостями можно записать систему уравнений
А+ ■ ехрШ/т_), М < 0, Лад = { + (2)
А- ■ ехр(-Л£/т+), Л£ > 0.
At
Рис. 1. Экспериментальная зависимость изменения синаптического веса от разницы времен возникновения спайков, полученная в работе [14]. Черными точками обозначены экспериментальные данные. Красная и синяя кривые являются аппроксимацией экспоненциальной зависимости экспериментальных данных (цвет онлайн)
Fig. 1. Experimental dependence of the change in synaptic weight on the difference in the times of occurrence of spikes, obtained in the work [14]. Black dots indicate experimental data. The red and blue curves are an approximation of the exponential dependence of the experimental data (color online)
Здесь = ¿рге — ¿рое! — разница времен между пре- (¿рге) и постсинаптическим спайком (¿ро<^); т- и т+ — времена релаксации проводимости. Константы А+ и А_ получены аппроксимацией экспериментальных данных.
Значения параметров модели 8ТЭР принимались следующие: т_ = 20 мс, т+ = 20 мс, = 0.01 и А_ = 0.01.
Таким образом, синаптические веса, в соответствии с изложенным правилом пластичности в зависимости от каждой пары пре- и постсинаптических спайков, будут изменяться следующим образом:
■ш ^ -ш + Дw. (3)
При этом изменение синаптической проводимости будет происходить при возникновении спайка на пресинаптическом нейроне для возбуждающего синапса как д® ^ д® + и для тормозного синапса как д( ^ д( + -ш7.
1.3. Данные. Классическая задача классификации изображений требует значительного количества размеченных однотипных данных, которые могут быть без труда обработаны и проанализированы. Чтобы исследовать вопрос извлечения пространства признаков с помощью спайковой нейронной сети, мы выбрали базу данных ММ8Т (http://yann.lecun.com/exdb/mnist) [15]. Каждое изображение в наборе данных представляет собой одноканальную квадратную матрицу, состоящую из 784 пикселей, каждый из которых кодируется одним байтом.
В общих терминах задача классификации может быть описана следующим образом.
1. Выделение пространства признаков на основе особенностей данных.
2. Выделение значимых признаков.
3. Разделение выбранного пространства на классы в соответствии с выбранной метрикой.
4. Оценка результатов на основе статистики, полученной из «неизвестной» выборки.
В данной работе особое внимание уделяется признаковому пространству ответов нейронов на входной стимул и качеству его выбора, на которое влияет синаптическая пластичность в модели спайковой нейронной сети.
1.4. Формирование входного сигнала. Входное изображение преобразуется в последовательность входных спайков, распределенных согласно процессу Пуассона [16] с частотой, равной значению интенсивности пикселя. Такое преобразование формирует нулевой слой (входной слой), где событие в последовательности спайков определяет момент пресинаптического спайка. Алгоритм генерации последовательности спайков схематически приведен в Алг. 1. Частота определяется пропорционально интенсивности пикселя с коэффициентом пропорциональности 0.5.
Алгоритм 1. Генерация входного стимула из одноканального изображения MNIST Algorithm 1. Generating an input stimulus from a single-channel MNIST image
forall pixels e image do
Задать среднюю интенсивность пуассоновского процесса в соответствии
с интенсивностью пикселя ^ X Задать длительность временного интервала, на котором будет генерироваться процесс
^ Т
Вычислить среднее время между событиями (инверсия интенсивности) ^ tinv Инициализировать пустой массив для хранения временных меток событий while текущая временная метка не превысит длительность временного интервала (T) do
Сгенерировать случайное число из равномерного распределения на интервале [0, 1] ^ п Вычислить величину: tinv • ln(n) ^ т Увеличить текущую временную метку на величину т Добавить временную метку в массив событий
end
Сгенерировать спайки по временным меткам
Использовать полученный сигнал как вход для каждого нейрона соответствующего слоя
end
1.5. Описание сети. В нашей работе мы предлагаем применение процессов распознавания и классификации изображений с использованием кодирования спайковой нейронной сетью. Для этого была построена двухслойная модель спайковой нейронной сети, изображенная на рис. 2. Для обеспечения однородности сгенерированный сигнал синхронно подавался на все нейроны возбуждающего слоя модели. На рис. 2 красным обозначен слой возбуждающих нейронов, а синим — тормозных нейронов. Каждый слой состоит из 100 нейронов. Слой возбуждающих нейронов связан со слоем тормозных нейронов правилом «один к одному», где каждый нейрон из одного слоя влияет на соответствующий нейрон противоположного слоя. Напротив, обратная связь от слоя тормозных нейронов определяется правилом «один ко всем, кроме одного», где тормозный нейрон влияет на все возбуждающие нейроны, кроме одного. Данный тип связи реализует механизм «победитель получает всё» (Winner Take All) [17], который включает латеральное торможение.
Для обучения и тестирования сети была разработана процедура предъявления стимула, схематически представленная на рис. 3 и состоящая из следующих основных шагов:
1) подача полезного сигнала в течение 350 миллисекунд;
2) период молчания в течение 150 миллисекунд.
Рис. 2. Схема формирования нового признакового описания изображения с детальной схемой спайковой нейронной сети с синаптической пластичностью. Желтым цветом выделен входной слой (нулевой слой), представляющий собой набор последовательностей спайков, распределенных по Пуассону с частотой (/¿), равной интенсивности отдельного пикселя изображения (Ipixe.i). Количество последовательностей спайков равно количеству пикселей кодируемого изображения. Красным цветом обозначена возбуждающая популяция нейронов (первый слой), синим — тормозная популяция нейронов (второй слой). Красными стрелками на схеме обозначены возбуждающие синапсы, характеризуемые набором возбуждающих синаптических весовых коэффициентов — vj<0j, где i = 1, 784, j = 1,100, эволюционирующие по правилу синаптической пластичности; синими же стрелками обозначены тормозные синапсы, характеризуемые набором тормозных синаптических весовых коэффициентов — wfj, где i = 1,100, j = 1,100, г = j. Фиолетовые синаптические веса не эволюционируют и их весовые коэффициенты равны и принимают постоянное значение, равное 0.03. Начальные значения возбуждающих и тормозных синаптических весов выбирались случайно согласно равномерному распределению на отрезке от 0 до 1. Так же приведены классификаторы. Классификатор, обозначенный синим цветом, принимает на вход данные с тормозного слоя, а классификатор, обозначенный красный цветом — с возбуждающего (цвет онлайн)
Fig. 2. Scheme for creating a new feature description of an image with a detailed diagram of a spiking neural network with synaptic plasticity. The input layer (zero layer) is highlighted in yellow, representing a set of spike sequences distributed according to a Poisson process with a frequency (/¿) equal to the intensity of individual pixels in the image (Ipixei). The number of spike sequences is equal to the number of pixels in the encoded image. The excitatory population of neurons (first layer) is denoted in red, and the inhibitory population of neurons (second layer) is shown in blue. Red arrows on the diagram represent excitatory synapses, characterized by a set of excitatory synaptic weight coefficients — , where i = 1, 784, j = 1,100, evolving according to the synaptic plasticity rule. Blue arrows represent inhibitory synapses, characterized by a set of inhibitory synaptic weight coefficients — , where i = 1,100, j = 1,100, i = j. Purple synaptic weights do not evolve, and their weight coefficients are constant and equal to 0.03. Initial values of excitatory and inhibitory synaptic weights were randomly chosen according to a uniform distribution in the range from 0 to 1. Classifiers are also provided. The classifier denoted in blue takes data from the inhibitory layer as input, and the classifier denoted in red takes data from the excitatory layer (color online)
Рис. 3. Схема формирования нового признакового пространства изображения спайковой нейронной сетью с процедурой предъявления стимула. В качестве ответа сети на входное изображение в работе представлено количество спайков каждого нейрона исследуемого слоя (цвет онлайн)
Fig. 3. A scheme for forming a new feature space of an image using a spiking neural network with a stimulus presentation procedure. In the study, the network's response to the input image is represented by the number of spikes of each neuron in the examined layer (color online)
1.6. Классификация. В результате стимуляции сети сигналами, кодирующими в виде последовательности спайков пиксели изображений датасета MNIST, на нейронах будут возникать спайки. Количество спайков, полученное на каждом из нейронов возбуждающего или тормозного слоя в ответ на входной стимул, было предложено в качестве двух различных признаков. Процесс кодирования изображения в новое признаковое пространство схематически представлен на рис. 3. Для классификации полученных данных был использован алгоритм случайного леса (Random Forest) с максимальной глубиной дерева равной 4.
2. Результаты
2.1. Эволюция синаптических весов. Для исследования динамики синаптических весов был проведен эксперимент, в рамках которого была составлена выборка из 100 случайных изображений из набора данных ММ8Т и подана на вход сети с использованием описанного ранее метода. Далее была рассмотрена эволюция синаптических весов в присутствии синапти-ческой пластичности на слоях возбуждающих и тормозных нейронов. Рассмотрим эволюцию синаптических весов между слоем возбуждающих нейронов и входным сигналом. Растровая диаграмма, иллюстрирующая нормированные синаптические веса между входным сигналом и слоем возбуждающих нейронов модели, показана на рис. 4. С течением времени в процессе подачи стимула происходит адаптация синаптических весов за счет синаптической пластичности, что показано на графике изменения синаптических весов от времени для нескольких нейронов, а также в соответствующих распределениях синаптических весов (рис. 4).
Были также проанализированы синаптические веса между слоями тормозных и возбуждающих нейронов в присутствии синаптической пластичности. Результаты приведены на рис. 5. Следует отметить значимое отличие от первого случая как в распределении синаптических весов, так и в их подстройке.
1.0 0.8 of 0.6
-с
on
'S 0.4 5»
0.2
tr^-JU.
—i—i—J—» '—t—
Ц^/Л 1
- neuron № 1 --neuron № 2 ..] V
---neuron № 3
- neuron № 4
ч »—I
» '•jl
V-4
10C )00 20( >00 30( )00 40000 50( )00
Time, ms
100000
80000
60000
40000
20000
Weight / g
Рис. 4. Анализ эволюции синаптических весов возбуждающего слоя нейронов: a — растровая диаграмма распределения нормированного значения синаптического веса для каждого синапса; b — изменение синаптических весов во времени; c — гистограмма распределения синаптических весов для нейронов рис. 4, b (цвет онлайн)
Fig. 4. Analysis of the evolution of the synaptic weights of the excitatory layer of neurons: a — raster diagram of the distribution of the normalized value of the synaptic weight for each synapse; b — changing synaptic weights over time; c — histogram of distribution of synaptic weights for neurons fig. 4, b (color online)
b
c
4000 6000
Synapse index
10000
20000 30000
Time, ms
0.4
c Wciahl / а
и с -^liliix
Рис. 5. Анализ эволюции синаптических весов тормозного слоя нейронов: a — растровая диаграмма распределения нормированного значения синаптического веса для каждого синапса; b — изменение синаптических весов во времени; c — гистограмма распределения синаптических весов для нейронов рис. 5, b (цвет онлайн)
Fig. 5. Analysis of the evolution of the synaptic weights of the inhibitory layer of neurons: a — raster diagram of the distribution of the normalized value of the synaptic weight for each synapse; b — changing synaptic weights over time; c — histogram of distribution of synaptic weights for neurons fig. 5, b (color online)
a
b
2.2. Признаковое пространство. Для анализа признакового пространства, размерность которого соответствует числу нейронов популяции, в качестве метрики оценки качества кластеризации было выбрано общее значение спайков для всего слоя. Предполагалось, что распределение спайков среди нейронов группы является равномерным, учитывая, что каждый нейрон в возбуждающем слое модели связан со всеми пикселями входного изображения. В среднем все нейроны в каждой популяции получают один и тот же сигнал, что позволяет использовать сумму спайков в качестве метрики для пространства признаков. Для анализа и подсчета метрики было предложено использовать данные, полученные из возбуж-
дающего и тормозного слоев нейронов. Для этого построенная модель для обоих случаев обучена на 100 случайных изображениях базы данных МШ8Т.
На основе анализа была составлена сравнительная таблица (табл. 1), демонстрирующая выбранную метрику для выборки из 100 изображений каждого класса.
В результате анализа было обнаружено, что выбранный признак приводит к пересечению классов изображений, что побудило исключить некоторые из них из дальнейшего анализа. Выбранные для эксперимента классы выделены цветом в таблице. Кроме того, были построены зависимости, отображающие распределение общего количества спайков в возбуждающем и тормозном слоях, изображенные на рис. 6 и 7.
Таблица 1. Сравнительная таблица признака для выборок из 100 изображений каждого класса
Table 1. Feature comparison table for samples of 100 images of each class
Excitatory Inhibitory
Class x о x о
"0" 517 131 1817 396
"1" 146 93 534 290
"2" 432 146 1551 496
"3" 413 127 1311 534
"4" 305 117 1013 449
"5" 330 137 753 313
"6" 380 133 1183 372
"7" 287 106 869 338
"8" 397 133 1351 183
"9" 303 105 882 235
Здесь х — среднее число спайков слоя нейронной сети; о — стандартное отклонение
Рис. 6. Зависимость суммы спайков возбуждающего слоя при отклике сети на изображения из разных классов. Синим цветом указаны данные, собранные из изображений принадлежащих классу «0» — target 0; оранжевым цветом указаны данные, собранные из изображений принадлежащих классу «1» — target 1; зеленым цветом указаны данные, собранные из изображений принадлежащих классу «8» — target 8
Fig. 6. The dependence of the sum of spikes of the excitation layer during the response of the network to images from different classes. Blue color indicates data collected from images belonging to class «0» — target 0; orange color indicates data collected from images belonging to the class «1» — target 1; green color indicates data collected from images belonging to the class «8» — target 8
Рис. 7. Зависимость суммы спайков тормозного слоя при отклике сети на изображения из разных классов. Синим цветом указаны данные, собранные из изображений принадлежащих классу «0» — target 0; оранжевым цветом указаны данные, собранные из изображений принадлежащих классу «1» — target 1; зеленым цветом указаны данные, собранные из изображений принадлежащих классу «8» — target 8 (цвет онлайн)
Fig. 7. The dependence of the sum of inhibitory layer spikes in the response of the network to images from different classes. Blue color indicates data collected from images belonging to class «0» — target 0; orange color indicates data collected from images belonging to the class «1» — target 1; green color indicates data collected from images belonging to the class «8» — target 8 (color online)
2.3. Исследование влияния синаптической пластичности. С целью исследования влияния синаптической пластичности на качество формирования пространства признаков было рассмотрено восемь конфигураций модели, отражающих участие синаптической пластичности на разных связях популяций нейронов, а также получение признакового пространства только с возбуждающей популяции нейронов или только с тормозной популяции нейронов. Для обучения и тестирования моделей была сформирована выборка данных из 6000 случайных изображений, из которых 5000 изображений использовались для формирования признакового пространства, а 1000 изображений для тестирования. В результате были построены матрицы ошибок для оценки производительности моделей (см. рис. 8 и рис. 9).
В отдельные таблицы также были вынесены точности классификации каждой конфигурации модели: с возбуждающей популяции — табл. 2, тормозной — табл. 3.
Таблица 2. Сравнительная таблица точности для 4 конфигураций моделей Table 2. Accuracy comparison table for 4 model
configurations
Таблица 3. Сравнительная таблица точности для 4 конфигураций моделей Table 3. Accuracy comparison table for 4 model
configurations
eSTDP ON eSTDP OFF
iSTDP ON 0.736 0.683
iSTDP OFF 0.803 0.745
eSTDP ON eSTDP OFF
iSTDP ON 0.742 0.700
iSTDP OFF 0.813 0.745
eSTDP — синаптическая пластичность между входными стимулами и возбуждающим слоем нейронов; iSTDP — синаптическая пластичность между тормозным и возбуждающим слоями. Конфигурация модели, которая дает лучшие результаты, выделена цветом.
eSTDP — synaptic plasticity between input stimuli and the excitatory layer of neurons; iSTDP — synaptic plasticity between inhibitory and excitatory layers. The model configuration that produces the best results is highlighted in color.
0.66 0.0033 0.26
0.077 0.95 0.12
0.23 0.057 0.6
"0" "1" "8"
0.37 0.0033 0.18
0.029 0.95 0.087
0.57 0.053 0.72
"О"
.0
10.8 0.6 0.4 0.2 0
11.0 0.8 0.6 0.4 0.2 0
0.8 0.0033 0.22
0.061 0.95 0.12
0.12 0.053 0.66
"0" "1" "8"
0.5 0.0033 0.19
0.024 0.95 0.082
0.44 0.054 0.73
d
"0"
il.о
[0.8 0.6 0.4 0.2 0
г 1.0
1-0.8 0.6 0.4 0.2 -0
Рис. 8. Матрицы ошибок для классификации данных с возбуждающей популяции: a — матрица ошибок для модели с возбуждающей и тормозной пластичностью; b — матрица ошибок для модели с возбуждающей пластичностью; c — матрица ошибок для модели с тормозной пластичностью; d — матрица ошибок для модели без пластичности (цвет онлайн)
Fig. 8. Confusion matrices for classifying data from the excitatory population: a — confusion matrix for the model with excitatory and inhibitory plasticity; b — confusion matrix for the model with excitatory plasticity; c — confusion matrix for the model with inhibitory plasticity; d — confusion matrix for a model without plasticity (color online)
0.7 0.01 0.34
0.079 0.93 0.12
0.21 0.057 0.54
"0" "1" "8"
0.34 0.0033 0.2
0.032 0.95 0.093
0.6 0.053 0.69
"0"
.0 0.8 0.6 0.4 0.2 0
г 1.0 0.8 0.6 0.4 0.2 0
0.8 0.0033 0.24
0.058 0.95 0.11
0.13 0.053 0.63
"0" "1" "8"
0.51 0.0033 0.18
0.024 0.95 0.082
0.44 0.053 0.73
ci "0"
г 1.0 0.8 0.6 0.4 0.2 0 Г1.0 0.8 0.6 0.4 0.2 0
Рис. 9. Матрицы ошибок для классификации данных с тормозной популяции: a — матрица ошибок для модели с возбуждающей и тормозной пластичностью; b — матрица ошибок для модели с возбуждающей пластичностью; c — матрица ошибок для модели с тормозной пластичностью; d — матрица ошибок для модели без пластичности (цвет онлайн)
Fig. 9. Confusion matrices for classifying data from the inhibitory population: a — confusion matrix for the model with excitatory and inhibitory plasticity; b — confusion matrix for the model with excitatory plasticity; c — confusion matrix for the model with inhibitory plasticity; d — confusion matrix for a model without plasticity (color online)
Как видно из представленных таблиц, наивысшая точность классификации достигается в конфигурации из только возбуждающей синаптической пластичности для обоих из рассмотренных случаев. Напротив, наименьшая точность достигается при использовании только синаптической пластичности между тормозным и возбуждающим слоями. Если же независимо сравнивать конфигурации классификаций с возбуждающей и тормозной популяции, лучше всех себя показал случай с классификацией изображений с возбуждающей группы с активной синаптической пластичностью между входными стимулами и возбуждающим слоем нейронов.
Заключение
Была предложена модель для кодирования изображений с использованием спайковой нейронной сети для решения задачи распознавания. В качестве новых признаков, представляющих ответ нейронной сети на сенсорный стимул, было использовано количество спайков каждого нейрона в возбуждающем и тормозном слоях. Модель продемонстрировала наиболее эффективное разделение признаков для изображений цифр из базы данных М№8Т, когда использовалась временно-зависимая пластичность (БТЭР) для возбуждающих синапсов. Модель также показала наихудшее разделение признаков в случае присутствия БТЭР для тормозных синапсов.
Следует отметить, что для улучшения разделения классов изображений на основе нового пространства признаков можно внести дополнительные улучшения в получаемое признаковое пространство, конфигурацию модели или метод подачи входного стимула. Эти области могут рассматриваться как потенциальные направления для будущих исследований и экспериментов.
References
1. Song S, Miller KD, Abbott LF. Competitive Hebbian learning through spike-timing-dependent synaptic plasticity. Nature Neuroscience. 2000;3(9):919-926. DOI: 10.1038/78829.
2. Thorpe S, Delorme A, Van Rullen R. Spike-based strategies for rapid processing. Neural Networks. 2001;14(6-7):715-725. DOI: 10.1016/S0893-6080(01)00083-1.
3. Loiselle S, Rouat J, Pressnitzer D, Thorpe S. Exploration of rank order coding with spiking neural networks for speech recognition. In: Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005. 31 July 2005 - 04 August 2005, Montreal, QC, Canada. New York: IEEE; 2005. P. 2076-2080. DOI: 10.1109/IJCNN.2005.1556220.
4. Yamazaki K, Vo-Ho V-K, Bulsara D, Le N. Spiking neural networks and their applications: A review. Brain Sciences. 2022;12(7):863. DOI: 10.3390/brainsci12070863.
5. Bohte SM, Kok JN, La Poutre H. Error-backpropagation in temporally encoded networks of spiking neurons. Neurocomputing. 2002;48(1-4):17-37. DOI: 10.1016/S0925-2312(01)00658-0.
6. Markram H, Gerstner W, Sjostrom PJ. Spike-timing-dependent plasticity: a comprehensive overview. Frontiers in Synaptic Neuroscience. 2012;4:2. DOI: 10.3389/fnsyn.2012.00002.
7. Stasenko SV, Kazantsev VB. Dynamic image representation in a spiking neural network supplied by astrocytes. Mathematics. 2023;11(3):561. DOI: 10.3390/math11030561.
8. Stasenko SV, Kazantsev VB. Information encoding in bursting spiking neural network modulated by astrocytes. Entropy. 2023;25(5):745. DOI: 10.3390/e25050745.
9. Stasenko SV, Mikhaylov AN, Kazantsev VB. Model of neuromorphic odorant-recognition network. Biomimetics. 2023;8(3):277. DOI: 10.3390/biomimetics8030277.
10. Gordleeva SY, Tsybina YA, Krivonosov MI, Ivanchenko MV, Zaikin AA, Kazantsev VB, Gorban AN. Modeling working memory in a spiking neuron network accompanied by astrocytes. Frontiers in Cellular Neuroscience. 2021;15:631485. DOI: 10.3389/fncel.2021.631485.
11. Masquelier T, Guyonneau R, Thorpe S. Spike timing dependent plasticity finds the start of repeating patterns in continuous spike trains. PLoS ONE. 2008;3(1):e1377. DOI: 10.1371/journal. pone.0001377.
12. Guo W, Fouda ME, Eltawil AM, Salama KN. Neural coding in spiking neural networks: A comparative study for robust neuromorphic systems. Frontiers in Neuroscience. 2021;15:638474. DOI: 10.3389/fnins.2021.638474.
13. Borgers C. Linear integrate-and-fire (LIF) neurons. In: An Introduction to Modeling Neuronal Dynamics. Vol. 66 of Texts in Applied Mathematics. Cham: Springer; 2017. P. 45-50. DOI: 10. 1007/978-3-319-51171-9_7.
14. Bi G-Q, Poo M-M. Synaptic modifications in cultured hippocampal neurons: Dependence on spike timing, synaptic strength, and postsynaptic cell type. J. Neurosci. 1998;18(24):10464-10472. DOI: 10.1523/JNEUROSCI.18-24-10464.1998.
15. Deng L. The MNIST database of handwritten digit images for machine learning research [best of the web]. IEEE Signal Processing Magazine. 2012;29(6):141-142. DOI: 10.1109/MSP.2012. 2211477.
16. Sterratt D, Graham B, Gillies A, Willshaw D. Principles of Computational Modelling in Neuroscience. Cambridge: Cambridge University Press; 2011. 390 p. DOI: 10.1017/CBO97805 11975899.
17. Chen Y. Mechanisms of winner-take-all and group selection in neuronal spiking networks. Frontiers in Computational Neuroscience. 2017;11:20. DOI: 10.3389/fncom.2017.00020.
Лебедев Андрей Александрович — родился в Нижнем Новгороде (2000). Окончил радиофизический факультет Нижегородского государственного университета им. Н.И. Лобачевского (2022). С 2022 года студент магистратуры Института информационных технологий математики и механики по направлению «Фундаментальная информатика и информационные технологии» ННГУ. Научные интересы — анализ данных, машинное обучение, нейронаука.
Россия, 603022 Нижний Новгород, пр-кт Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского E-mail: [email protected]
Казанцев Виктор Борисович — родился в 1973 году. Окончил радиофизический факультет ННГУ. Кандидат физико-математических наук (1999), доктор физико-математических наук (2005). Заведующий кафедрой нейротехнологий биологического факультета ННГУ (с 2005), профессор университета Иннополис (Казань), заведующий лабораторией нейромоделирова-ния НИИ нейронаук СамГМУ (Самара). Область научных интересов: нейронаука, математические модели нейронов и нейронных сетей, нейрогибридные и нейроморфные системы, нейроинтерфейсы, нейрон-глиальные взаимодействия, колебания и волны в нейродинамике. Имеет более 150 научных публикаций в российских и зарубежных реферируемых изданиях. Автор нескольких глав в книгах и монографиях, множества патентов и учебно-методических разработок. Под его руководством защищено 6 кандидатских диссертаций. Руководитель ведущей научной школы «Нелинейная динамика сетевых нейросистем: фундаментальные аспекты и приложения» в рамках гранта Президента РФ 2020-2021.
Россия, 603022 Нижний Новгород, пр-кт Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского E-mail: [email protected] ORCID: 0000-0002-2881-6648 AuthorID (eLibrary.Ru): 29851
Стасенко Сергей Викторович — родился в 1988 году. Окончил Нижегородский государственный университет им. Н.И. Лобачевского. Кандидат физико-математических наук (2017). Доцент кафедры нейротехнологий ННГУ. Область научных интересов: математическая биофизика, математическое моделирование живых систем, моделирование нейрон-астроцитарного и нейрон-ВКМ взаимодействий, спайковые нейронные сети и анализ данных.
Россия, 603022 Нижний Новгород, пр-кт Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского E-mail: [email protected] ORCID: 0000-0002-3032-5469 AuthorID (eLibrary.Ru): 655311
