CC BY
26
https://doi.org/10.15350/17270529.2022.4.41
УДК 004.032.26
Модель искусственной нейронной сети биологического типа и симуляция её работы
В. Ю. Трубицын, К. А. Шляхтин, Т. Е. Шелковникова
Удмуртский федеральный исследовательский центр УрО РАН, Россия, 426067, Ижевск, ул. Т. Барамзиной, 34
Аннотация. Статья посвящена разработке нейронной сети биологического типа, исследованию основных концепций её функционирования. В основу работы положено компьютерное моделирование процесса образования нейронных связей для системы нейронов, случайно расположенных в пространстве. Выполнен обзор различных моделей импульсных нейронных сетей, которые являются наиболее приближенными к биологическому аналогу. Предложена математическая модель обмена нейромедиаторами между нейронами в разрабатываемой сети биологического типа. Рассмотрено два метода реализации роста дендритов. Предложен алгоритм работы сети и взаимодействия нейронов с применением разработанных математических моделей. Реализована модель нейронной сети на языке Python, с применением библиотеки для распараллеливания вычислений Numba и графической библиотеки Matplotlib для визуализации модели и результатов вычислений. Проведены экспериментальные исследования разработанной модели сети биологического типа путем подачи на вход сети нескольких паттернов сигналов.
Ключевые слова: нейронная сеть биологического типа, нейрон, аксон, дендрит, нейромедиатор.
И Татьяна Шелковникова, e-mail: shelktan@udman. ru
Model of Artificial Neural Network of Biological Type and Simulation of the Network Operation
Victor Yu. Trubitsin, Konstantin A. Shlyakhtin, Tatyana E. Shelkovnikova
Udmurt Federal Research Center UB RAS (34, T. Baramzina St., Izhevsk, 426067, Russian Federation)
Summary. Currently, research in almost all fields of science and technology involves methods of machine learning and data processing. The existing principles of artificial neural networks implementation require a large dataset, significant training time as well as the choice of neural network architecture and tuning for each specific purpose. A review of different models of spiking neural networks has been conducted. A biological type of neural network is developed in the present article. The article simulates the formation of neural connections for a system of three areas of neurons. The article describes the basic concepts of functioning of the developed biological type network. The mathematical model of the exchange of neurotransmitters between neurons is proposed and two methods for the realization of the dendrite growth in the network are considered. The first method is based on the piecewise increment of the dendrite outgrowths; the second method is based on changing the length and direction of the dendrite growth. The algorithm of the network operation and neuron interaction using the developed mathematical models is proposed. The model of the neural network was created in Python using the developed algorithm and the method of piecewise dendrite regrowth. To speed up the calculations, they were parallelized using the Numba library. The library Matplotlib was used to visualize the model and plot the number of neurotransmitters on neurons. Experimental studies of the developed model of the biological type of the network were carried out. It was shown that the developed network after training responds faster to the signals that were applied to it in the process of training.
Keywords: biological neural network, neuron, axon, dendrite, neurotransmitter.
И Tatyana Shelkovnikova, e-mail: shelktan@udman.ru
ВВЕДЕНИЕ
Для решения множества практических задач сегодня предлагается применять искусственные нейронные сети (ИНС). Разработкой различных моделей сетей ученые начали заниматься еще в середине прошлого века. Согласно [1] выделяют три поколения нейронных сетей. Первое поколение - это бинарные сети (модель МакКаллока-Питса), второе - это частотные и наиболее распространенные сейчас (СНС, ГСН и др.) и третье - это импульсные нейронные сети, в которых обмен данными происходит с помощью импульсов одинаковой амплитуды. Наиболее перспективным направлением является разработка импульсных нейронных сетей (ИмНС), так как они являются наиболее приближенными к биологическому аналогу [2]. Вопросами создания новых ИмНС посвящены ряд зарубежных и российских работ [3 - 8]. В работе [3] предложено несколько моделей нейронных сетей для реализации на ЭВМ, учитывающих различные биологические свойства клеток и нейронов. Авторами в [4] рассмотрена проблема моделирования и обучения ИНС, уделяется особое внимание синаптической задержке между приходом импульса к нейрону и появлением сигнала на его выходе. Эффективность разработанной модели подтверждается посредством компьютерного моделирования. В статье [5] предлагается комбинированное использование частотных и спайковых нейросетей. После начальной фазы обучения авторы преобразуют частотную ИНС в ИмНС и моделируют автономную фазу сна, затем снова преобразуют СпНС в ИНС и оценивают качество обновленной сети. Проведенное исследование показало эффективность такого подхода. В исследованиях [6] оценивается возможность реализации высокопроизводительных управляемых событиями систем обучения с использованием наноразмерных и стохастических аналоговых синапсов памяти. Впервые экспериментально продемонстрирована способность аналоговых синапсов памяти генерировать точно синхронизированные всплески в СпНС. В [7] исследуются возможности реального применения на практике СпНС.
Целью данной работы является разработка модели нейронной сети биологического типа (в которой, как и в СпНС, обмен данными происходит с помощью импульсов), исследование процессов её реорганизации в результате прохождения через нее сигналов различной природы, исследование основных концепций её функционирования. В основу работы положено машинное моделирование процесса образования нейронных связей для системы случайно расположенных в пространстве нейронов.
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ НЕЙРОННОЙ СЕТИ БИОЛОГИЧЕСКОГО ТИПА
Основными структурными элементами сети являются нейроны, аксоны и дендриты, основной единицей обмена данными являются нейромедиаторы. Для данной сети выбран за основу мультиполярный нейрон, т.е. сам нейрон, его тело (сома) и его отростки: аксон и несколько дендритов [8]. Данный вид нервных клеток преобладает в центральной нервной системе. Аксоны в модели отвечают за передачу нейромедиаторов, а дендриты за прием. Следует отметить, что отросток аксона в модели, согласно биологическому аналогу нейронов нервной системы человека, значительно длиннее, чем отростки дендритов. Нейроны в системе имеют три состояния: состояние покоя - нейрон принимает нейромедиаторы, при этом не распространяет их; активное состояние - нейрон высвобождает нейромедиаторы, но не принимает их; состояние абсолютной рефрактерности [8] - нейрон не раздает и не принимает нейромедиаторы некоторый период времени ^^ . Период времени соответствует рефрактерному периоду в биологическом
нейроне, во время которого ткань на поверхности сомы восстанавливает способность формировать импульс и не реагирует на изменение потенциала в этом месте [8]. В предлагаемой модели не рассматривается отдельно поверхность сомы и распределение потенциалов на ней.
При разработке модели нейронной сети биологического типа (НСБТ) были определены математические модели взаимодействия между нейронами посредством обмена нейромедиаторами:
1. В качестве функции активации в данной модели выбрана экспоненциальная функция. Количество нейромедиаторов, выпускаемых аксоном у'-го нейрона на каждом шаге:
A (t,) = Aax-e
-at„
(1)
где Атах - максимальное количество нейромедиаторов на нейроне, а - коэффициент
скорости распространения нейромедиаторов в системе, II - номер шага по времени, 1а - номер шага после активации нейрона.
2.1. Количество нейромедиаторов р), которое передает у'-й аксон к-му дендриту, в зависимости от дальности его расположения г-кк:
-ßr,,
j k (h) = A, (t, )•
(2)
-ßr,,
где ß - коэффициент интенсивности поглощения нейромедиаторов дендритами в системе, Nd - количество дендритов в области.
2.2. Количество нейромедиаторов, поглощаемых к-м дендритом, на каждом шаге:
Dk (t,) =
D
При X j (t ) > Dmx ^
j=1
na nA
(t, ), При 0 <X j (t, ) < Dm
(3)
.}=1 }=1
где NА - количество аксонов в области, где находится дендрит, - максимальное количество нейромедиаторов, которое может принять дендрит за один шаг. Так как у дендритов есть ограничение на количество нейромедиаторов, которое они могут принять (что согласуется с биологическим аналогом), часть нейромедиаторов от аксона теряется (за счет этого в системе происходит затухание сигнала, она не становится замкнутой, при близком расположении нейронов).
3. Предложено два метода реализации роста дендритов.
3.1. Первый метод предполагает кусочное приращение дендритов. На рис. 1 схематично показан процесс роста дендрита. В системе начинается рост дендрита, если он поглощает максимальное количество нейромедиаторов (Бк (г) = ) в течение нескольких шагов, равнодействующая сил воздействия на дендрит от всех аксонов в области описывается формулой:
N.
F = X (j • Pjkк (t>)),
j=i
(4)
где V] к - вектор от у'-го аксона к к-у дендриту. Таким образом, вектор роста дендрита
на шаге ti равен:
VDt (tt) =
F
■ L
, при
F
> Lr
(5)
^, , при F < Ьп ,
Бтах
где Ьв - максимальная величина прироста дендрита за один шаг.
3.2. Второй метод предполагает приращение на каждом шаге в новом направлении и на разную длину отрезка в зависимости от интенсивности воздействия нейромедиаторов на дендрит, происходит изменение длины и направления дендрита, а окончание процесса обучения обуславливается окончанием изменения координат дендритов.
D
e
m=1
N
Нейрон
Поле аксона F Neuron
Рис. 1. Схема роста дендрита
Fig. 1. Dendrite growth scheme
В отличие от предыдущей модели, рассчитывается коэффициент зависимости перемещения от расстояния между аксоном и дендритом I.
f (l) =
к l
Л
-1
2—— „ г„
(6)
где 1о - расстояние, на котором притяжение и отталкивание отсутствует (Д^ = 0). Максимальное притяжение (Д^ = 1) достигается на расстоянии 2^. На рис. 2 показан график зависимости коэффициента перемещения от расстояния между аксоном и дендритом при к = 0.1:
Рис. 2. Зависимость коэффициента перемещения от расстояния между аксоном и дендритом Fig. 2. Dependence of displacement coefficient on the distance between axon and dendrite
Такой подход не требует сохранения промежуточных координат дендритов и является более быстрым. Однако, при обучении системы на новых наборах сигналов частично "затираются" результаты предыдущего обучения, так как дендриты уже перестроились и могут находиться на далеких расстояниях от аксонов возбуждаемых нейронов. Поэтому в разработанном приложении интегрирован первый метод роста дендритов.
АРХИТЕКТУРА СЕТИ
На рис. 3 приведен общий алгоритм работы НСБТ с учетом созданных математических моделей. На первом этапе после создания общей структуры сети, выполняется генерация сигналов на нескольких нейронах. Количество нейромедиаторов в них устанавливаются равными Атах, а их состояние становится активным.
Генерация нейронов их аксонов и дендритов; организация взаимосвязей между разными областями сетей
Generation of neurons by their axons and dendrites; organizing interconnections between different areas of networks
Генерация входных сигналов на нейронах в сенсорных областях
Generation of input signals on neurons in sensory areas
Рис. 3. Блок-схема обобщенного алгоритма функционирования НСБТ
Fig. 3. Block diagram of the generalized algorithm of NNBT functioning
На втором этапе аксоны начинают передавать нейромедиаторы соседним дендритам и выполняется расчет нейромедиаторов, выпущенных аксонами в систему. Затем выполняется расчет поглощаемых дендритами нейромедиаторов. Для системы важно, чтобы последние два этапа выполнялись последовательно, так как дендрит должен учитывать вклад всех ближайших аксонов и определять, в каком направлении необходимо осуществлять рост.
Архитектура нейронной сети биологического типа представляет собой две области, на которые поступают наборы сигналов и одну область, в которую приходят аксоны с двух входных областей. Также для каждой из областей создаются связующие нейроны с выходной областью. Данные нейроны соответствуют по своим функциям эфферентным нейронам в биологическом аналоге, проводящим импульсы из ЦНС к органам [9].
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
На основе описанных моделей было разработано программное приложение НСБТ. На рис. 4 показан интерфейс разработанного приложения, графики сигналов в ней. Для модели реализовано трехмерное отображение, сигналы со всех нейронов записываются в отдельный файл. Области S1, S2 и Out содержат по 20 нейронов. При этом из S1 и S2 выходят 6 аксонов в область Out от эфферентных нейронов. Таким образом, для каждой из областей создаются связующие нейроны с выходной областью.
c) d)
Рис. 4. Результаты работы НСБТ: визуализация НСБТ до обучения (а), после обучения (b); графики сигналов на нейронах в НСБТ до обучения (с), после обучения (d)
Fig. 4. Results of NNBT operation: visualization of NNBT before training (a), after training (b); graphs of signals on neurons in NNBT before training (c), after training (d)
На рис. 4, а, b нейроны обозначены темно-синим цветом, дендриты светло-синим, аксон обозначен красным. Также вокруг каждого аксона нейрона есть поле аксона F (обозначенное оранжевым на рисунке) - это область выброса нейромедиаторов для аксона, в которой он оказывает влияние на распространение импульсов в системе, на больших расстояниях его вклад незначителен. Яркость сферы изменяется в зависимости от количества нейромедиаторов на аксоне на шаге ti.
Области на рис. 4, a, b S1 и S2 являются входными, в каждой из них произвольно выбираются входные нейроны, на которые подается набор сигналов в виде бинарного набора. В системе подача 1 с нейрона означает, что на нем устанавливается активное состояние и уровень нейромедиаторов на нем устанавливается равным . Когда подается 0, нейрон находится в состоянии покоя, уровень нейромедиаторов на нем низкий. Во время обучения на нейроны области S1 (первая строка графиков обучения, рис. 4, с) и на нейроны области S2 (вторая строка графиков обучения, рис. 4, с) подавались наборы сигналов 111 и 101. В область S1 на neuronll, neuron12, neuron 13 соответственно и также 111 и 101 в область S2 на neuron21, neuron22, neuron23 соответственно. Во время обучения этот набор сигналов поступает каждые 10 шагов циклически, способствуя росту дендритов в выходной области и увеличению скорости отклика системы на входной сигнал за счет уменьшения расстояния между дендритами и аксонами. Кроме того, при максимальном сближении дендрита и аксона, коэффициент ß для данного дендрита возрастает. В процессе обучения дендриты начинают "расти" в направлении к аксонам, от которых распространяется наибольший импульс. Весь процесс обучения занимает несколько тысяч шагов. Скорость вычислений высокая, весь процесс обучения занимает несколько секунд вместе с загрузкой интерфейса программы.
Для области Out приведены графики neuron_out1, neuron_out2 и neuron_out3, каждый из которых соответствуют 3 нейронам из выходной области. На рис. 4, d приведены графики после обучения. По оси абсцисс графиков отложены номера шагов ti, по оси ординат -количество нейромедиаторов на нейроне. Анализ графиков показал, что после подачи на входные области периодических импульсов, в выходной области возбуждение нейронов на "знакомый" сигнал происходит значительно быстрее.
ВЫВОДЫ
Предложенная модель искусственной нейронной сети биологического типа имеет схожее поведение с биологической нейронной сетью. Выявлено, что передний фронт сигнала на выходных нейронах после обучения при подаче обучающего паттерна, стал меньше, что согласуется с биологическим аналогом.
В работе предложено два метода роста дендритов. Первый метод основан на кусочном приращении отростков дендритов, второй - на изменении длины и направления роста дендритов. Предложен алгоритм работы сети и взаимодействия нейронов с использованием разработанных математических моделей, а также механизмов работы биологического аналога. Создана модель нейронной сети на языке Python с использованием метода кусочного приращения дендритов. Разработка и реализация новой модели нейронной сети позволит ускоренно решать задачи, которые сегодня ставят перед искусственным интеллектом. Предметом дальнейших исследований будет являться доработка модели путем интеграции в модель новых биологических механизмов взаимодействия нейронов, разработка методов обучения такой сети и отладка алгоритмов НСБТ.
СПИСОК ЛИТЕРАТУРЫ
REFERENCES
1. Maas W. Networks of spiking neurons: The third generation of neural network models // Neural Networks, 1997, vol. 10, pp. 1659-1671. https://doi.org/10.1016/S0893-6080(97)00011-7
2. Gerstner W., Kistler W. Spiking Neuron Models: Single Neurons, Populations, Plasticity // Cambridge, U.K.: Cambridge university press, 2002. https://doi.org/10.1017/CB09780511815706
3. Савихин С. А., Терентьев А. Б., Дмитриенко Р. М., Климатов В. Ю. Применение высокопроизводительного вычислительного комплекса к анализу информационной динамики нейронных сетей мозга // Программные системы: теория и приложения. 2011. Т. 2, № 3(7). С. 41-52.
4. Андреева Е. А., Пустарнакова Ю. А. Математическая модель искусственной нейронной сети с запаздыванием // Программные продукты и системы. 2001. №3. С. 2.
5. Krishnan G. P., Tadros T., Ramyaa R., Bazhenov M. Biologically inspired sleep algorithm for artificial neural networks // arXiv.org. 2019. Дата обновления: 01.08.2019. URL: https://arxiv.org/abs/1908.02240 (дата обращения: 17.09.2022).
6. Nandakumar S. R., Boybat I., Le Gallo M., Eleftheriou E., Sebastian A., Rajendran B. Experimental Demonstration of Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses // Scientific Reports, 2020, vol. 10, 8080. https://doi.org/10.1038/s41598-020-64878-5
7. Ponulak F., Kasinski A. Introduction to spiking neural networks: Information processing, learning and applications // Acta Neurobiologiae Experimentalis, 2011, vol. 71(4), pp. 409-433. https://pubmed.ncbi.nlm.nih. gov/22237491/
8. Покровский В. М. Физиология человека. 3-е изд. М.: Медицина, 2011, 664 с.
1. Maas W. Networks of spiking neurons: The third generation of neural network models. Neural Networks, 1997, vol. 10, pp. 1659-1671. https://doi.org/10.1016/S0893-6080(97)00011-7
2. Gerstner W., Kistler W. Spiking Neuron Models: Single Neurons, Populations, Plasticity. Cambridge, U.K.: Cambridge university press, 2002. https://doi.org/10.1017/CB09780511815706
3. Savikhin S. A., Terent'ev A. B., Dmitrienko R. M., Klimashov V. Yu. Primenenie vysokoproizvoditel'nogo vychislitel'nogo kompleksa k analizu informatsionnoy dinamiki neyronnykh setey mozga [The use of highperformance computing to analyse the information dynamic of brain network]. Programmnye sistemy: teoriya i prilozheniya [Program Systems: Theory and Applications], 2011, vol. 2, no. 3(7), pp. 41-52. (In Russian).
4. Andreeva E. A., Pustarnakova Yu. A. Matematicheskaya model' iskusstvennoy neyronnoy seti s zapazdyvaniem [Mathematical model of an artificial neural network with delay]. Programmnye produkty i sistemy [Software & Systems], 2001, no. 3, p. 2.
(In Russian).
5. Krishnan G. P., Tadros T., Ramyaa R., Bazhenov M. Biologically inspired sleep algorithm for artificial neural networks. arXiv.org. 2019. Submitted on 1 Aug 2019. URL: https://arxiv.org/abs/1908.02240
(accessed September 17, 2022).
6. Nandakumar S. R., Boybat I., Le Gallo M., Eleftheriou E., Sebastian A., Rajendran B. Experimental Demonstration of Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses.
Scientific Reports, 2020, vol. 10, 8080. https://doi.org/10.1038/s41598-020-64878-5
7. Ponulak F., Kasinski A. Introduction to spiking neural networks: Information processing, learning and applications. Acta Neurobiologiae Experimentalis, 2011, vol. 71(4), pp. 409-433. https://pubmed.ncbi.nlm.nih. gov/22237491/
8. Pokrovsky V. M. Fiziologiya feloveka [Human Physiology]. 3 izd. Moscow: Medicine Publ., 2011. 664 p.
Поступила 07.10.2022; после доработки 27.10.2022; принята к опубликованию 14.11.2022 Received October 7, 2022; received in revised form October 27, 2022; accepted November 14, 2022
Информация об авторах
Трубицын Виктор Юрьевич, доктор физико-математических наук, главный научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация
Шляхтин Константин Алексеевич, младший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация
Шелковникова Татьяна Евгеньевна, младший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация, e-mail: shelktan@udman.ru
Information about the authors
Viktor Yu. Trubitsin, Dr. Sci. (Phys.-Math.), Chief Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation
Konstantin A. Shlyakhtin, Junior Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation
Tatyana E. Shelkovnikova, Junior Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation, e-mail: shelktan@udman. ru
