CC BY
173
Наука и Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 11. С. 510-520.
ISSN 1994-0448
DOI: 10.7463/1114.0743838
Представлена в редакцию: Исправлена:
© МГТУ им. Н.Э. Баумана
УДК 681.58
Моделирование нейронной сети с учетом биологических свойств нейрона
07.11.2014 05.12.2014
Чернышев С. Л.1*, Чернышев А. С.
chemshviSbmbtuju 1МГТУ им. Н.Э. Баумана, Москва, Россия
1
Проведено моделирование элемента нейронной сети с учетом свойств нейрона, как биологического объекта и принципов записи и обработки информации в нейронах. В отличие от упрощенного представления нейрона, как логического элемента в сети обработки информации, нейрон рассмотрен как аналоговый элемент, хранящий и генерирующий информацию. Рассмотрены импульсы, генерируемые в нейроне. Описана функциональная схема нейрона и передаточные функции отдельных дендритов и нейрона в целом. Приведены результаты моделирования механизма выделения синапсом ЧМ модуляции из подводимого к нему импульсного сигнала.
Ключевые слова: сверхширокополосный сигнал, согласованная фильтрация, обработка сигнала, характеристика обнаружения
Введение
Мозг является непревзойденной в природе интеллектуальной системой. Значительно уступая в быстродействии современным ЭВМ, мозг, тем не менее, проявляет более высокие возможности в сфере решения интеллектуальных задач. Поэтому решение проблемы создания искусственного интеллекта с возможностями сравнимыми с мозгом является ключевым для будущего информационного развития общества. В связи с этим актуальной является и задача моделирования нейронной системы мозга, решение которой открывает возможность применить новые принципы при построении искусственного интеллекта.
Моделирование нейрона как биологического элемента имеет большую историю. Начиная с простейшей модели порогового интегратора (Integrate-and-fire) [1] и знаменитой работы А. Ходжкина и Э. Хаксли [2], заканчивая математически нагруженной моделью Хиндмарш-Роуз (Hindmarsh-Rose model) [3] и много-компартментными моделями нейронной кабельной теории [4]. Как итог, исследования в области высшей нервной деятельности отечественных и зарубежных ученых сформировали устойчивое представление о принципах записи и обработки информации в нейронах [5].
Наряду с упрощенным представлением нейрона, как логического элемента в нейронной сети [6, 7], более детальное представление позволяет представлять настоящий нейрон, как аналоговый элемент с состоянием, хранящий и генерирующий информацию. Однако точная симуляция детальных биологических моделей может быть слишком сложной, и создание нейронных абстракций, которые бы могли бы свести нюансы работы нейрона, как биологического элемента, и требующих меньших издержек, является востребованной областью исследования.
В данной работе рассматривается абстрактная модель нейрона, сигнал которого, с некоторыми допущениями, можно рассмотреть как сверхширокополосный сигнал с определённой биологически инспирированной формой. Заложенная изначально форма сигнала не требует детальных симуляций, и в то же время модель довольно точно отражает динамику биологического нейрона.
Нейронный импульс
Нейрон, как клетка мозга, представляет собой (рис. 1) присоединенное к подводящей линии 1 (аксону) древовидное образование, состоящее из веток (дендритов), подключенных к общему сумматору 3 (телу клетки). Разрешение или запрещение генерации импульсов (возбуждение или торможение) в нейроне осуществляется с помощью синапсов 5, управляемых терминальными волокнами 4, идущими от аксонов других нейронов.
Рис. 1. Вид нейрона
Генерируемые импульсы складываются в ядре с определенными запаздываниями по времени [8], образуя аналоговый сигнал в виде сложной последовательности импульсов, поступающей в подводящую линию для передачи к другим нейронам или к исполнительным нервным окончаниям. Отдельные импульсы, будь то генерируемые в центрах зрения, мышления или движения, практически одинаковы, но в зависимости от
записанной информации они следуют с разной частотой. Таким образом, информация, хранящаяся в нейронах, переносится фактически с помощью частотно-импульсной модуляции [9] (иногда ее называют частотным кодированием). Сложение же и комбинации таких сигналов от множества разных нейронов создает сложные информационные потоки.
Ц мВ / 1 1, МС
1 2 |4 1 6 8 10 12 14 1 1 ,5 МС
Рис. 2. Импульс в нейроне
Изучение отдельных импульсов (рис. 2) в аксоне приводит также к следующим выводам. Длительность таких импульсов (без «хвоста») составляет около 1,5 мс, хотя их геометрическая длина составляет около 3 см. Такая геометрическая длина импульса в свободном пространстве соответствует длительности импульса, равной 0,1 нс. Скорость движения этих импульсов по аксону составляет около 2000 см/с, а скорость распространения импульса в свободном пространстве составляет 30 млрд.см/с. Эти данные показывают, что скорость распространения импульсов по аксону меньше скорости распространения импульсов в свободном пространстве примерно в 15 миллионов раз. Такое распространение могло бы иметь место в направляющей электромагнитной системе, расположенной в среде с относительной диэлектрической проницаемостью, равной 2,25 • 1014 (для свободного пространства она равна 1), в которую попадает эквивалентный импульс, имеющий в свободном пространстве длительность 1,5 мс. Геометрическая длина таких эквивалентных импульсов в свободном пространстве должна составлять около 450 км.
С другой стороны, понимание распространения импульсов в мозгу дает возможность создать модель нейрона, как устройства, формирующего импульсный сигнал, несущий информацию. Если представить себе дендрит в виде распределенной направляющей линии, по которой распространяется импульс (рис. 2), то процессы, возникающие в этой линии, будут полностью идентичными процессам, происходящим в некоторой эквивалентной распределенной направляющей линии с воздушным заполнением. Сигнал длительностью 0,1 нс обладает шириной спектра, равной 10 ГГц, поэтому такой сигнал
следует отнести к типу сверхширокополосных [10] (ultra-wideband). Учитывая, что по сравнению с такими линиями дендрит отличается лишь масштабом времени, пропорциональным замедлению, в измененном масштабе сигналы, распространяющиеся по нему можно также рассматривать, как сверхширокополосные.
Модель отдельного нейрона
Волновое уравнение для подобной распределенной направляющей линии имеет вид
dlv 1 ^ - 0, (1)
^2 V2 дХ2
где и - напряжение в линии, соответствующее напряжению мембранного перехода в нейроне, V - эффективная скорость распространения (в свободном пространстве равная скорости света с ), х - геометрическая координата вдоль линии. Решение уравнения (1) имеет общий вид
^ да
и =— |и(к)^[кV-х) + р(к)Щ , (2)
2ж 0
где к - постоянная распространения в линии. По существу (2) представляет собой преобразование Фурье от сигнала, изображенного на рис. 1. Поэтому, в отличие от общепринятого вида решения, в котором при координате х обычно стоит знак +, что соответствует волнам, распространяющимся в противоположном направлении, в выражении (2) взят только знак минус, так как в аксоне и дендритах сигнал распространяется только в одном направлении.
Форма сигнала, изображенного на рис. 1, хорошо аппроксимируется функцией
U (t) - Un
t t-t0
f-- t — t--0
1(t) — 1(t —10) e T
— U0,
где и т, и 0 - амплитуда и постоянная составляющая сигнала, Т, Х0 - постоянная времени и
время до начала спада импульса, функция 1(Х) = 1 при Х > 0 и 1(Х) = 0 при Х < 0.
Изображение по Лапласу такого сигнала без постоянной составляющей имеет вид
1 - е~ рХ0
и(р) = Тит -7 .
т (1 + рТ)2
Тогда спектр такого сигнала можно записать, как
1 - е~]ш0
II
(а) - u(a)eJ<p(0}) - TUm
(1 + jaT )2
Подставляя это выражение в (2) с учетом того, что к = со • V, получаем решение волнового уравнения (1) в виде
и (1) = и„
ух ух
у Х 1----у у х 1 —1--
. . 1__1 . . 1 — 1__1 10
{1 — 7)е {1 —'» — 7]е-^
— и0.
В связи с тем, что формирование импульса в дендрите осуществляется в результате калиево-натриевого обмена, производимого через мембрану на фоне теплового шума, оправданным будет представить дендрит, как формирующий фильтр, порождающий данный сигнал из белого шума s(1). Если условно считать спектральную плотность белого шума равной единице, то передаточная функция , -го дендрита при его длине dl, будет равна
Щ (р) = и (р, 1,) = и(р)е"рт, где. т = di /7, - временная задержка импульса, формируемого в дендрите, которая определяет и период повторения импульсов в данном дендрите, меняющийся в зависимости от постсинаптического потенциала. Синапс может увеличивать эффективную скорость V (возбуждение) или уменьшать (торможение), а при 7, ^ 0 т, , то есть фактически прекращается генерация импульсов.
Приведенную к месту присоединения аксона передаточную функцию , -го дендрита можно записать, как
Щ (р) = и(р)е-р1,
где 1, = т, (у,) + 6,, в1 - задержка импульса в теле нейрона из-за удаления этого дендрита от места присоединения аксона, задержка тi является функцией управляющего сигнала у, поступающего на синапс, как правило, от нейронов предыдущего слоя..
Сказанное позволяет записать передаточную функцию п -го нейрона в целом в виде
N
Щ (р, 1,) = +1)5>(р)е-р1, (у), (3)
,=1
где Nn - число дендритов в п -ом нейроне, a(yN +1) - коэффициент, равный 1 или 0,
имитирует функцию синапса на стыке нейрона и аксона в виде ключа и пропускает или не пропускает генерируемую в нейроне последовательность импульсов в зависимости от управляющего сигнала у^ +1. Из (3) видно, что нейрон, управляемый внешними
сигналами, осуществляет сложение с разными временными задержками импульсов, поступающих из разных дендритов и имеющих разные периоды повторения.
Функциональная схема нейрона, как элемента системы, изображена на рис. 3.
Рис.3. Функциональная схема нейрона
Нейронные соединения
Если принять, что каждом т -ом слое содержится Мт нейронов, то в векторном виде с учетом (3) можно записать выражение для вектора сигналов этого слоя:
и =
а(Ум, +1) * (~1(Ут-1) ■ и
а( уЫьл +1) ■ (~м (ут-1) ■и
Здесь где (1п (ут-1)- вектор-столбец элементов задержек, соответственно, п -го
нейрона, управляемых сигналами нейронов ут-1 предыдущего слоя. Отметим, что
некоторые дендриты в нейронах не содержат синапсов, а некоторые синапсы относятся сразу к нескольким дендритам (рис. 1), однако на пути импульса, генерируемого каждым дендритом, по направлению к телу нейрона обязательно встречается хоть один синапс. Поэтому в модели можно считать синапсы присутствующими в каждом дендрите.
Отличие данной модели от сети, построенной на нейронах, представляемых только логическими элементами, заключается в том, что сигналы, формируемые в каждом слое, представляют собой не набор единиц и нулей, а импульсные частотно-модулированные сигналы, управляющие синапсами следующего слоя, в зависимости от информации,
которую они несут. На рис. 4 показан частотно-модулированный импульсный сигнал, полученный из описанной модели нейрона для четырех импульсов.
ц /1В 1 1, мс
и ] 1 10 А I 20 : I 40 1 50 V
V V V
Рис.4. Последовательность импульсов
Сравнение его с экспериментальными данными [5] свидетельствует о хорошем совпадении по форме.
Синапс как детектор сигнала
Отдельной проблемой, решению которой уделяют внимание многие специалисты, является определение принципа управления синапсами с помощью поступающих на них ЧМ импульсных последовательностей. Ведь в зависимости от информации, которую они несут, синапсы могут обеспечивать как возбуждение, так и торможение. Синаптический механизм в настоящее время исследован [5] и заключается в обеспечении проводимости синаптической щели за счет того, что в нее по приходе импульсного сигнала к синапсу в течение примерно 0,1 мс выбрасывается медиатор, передающий заряд. В результате, чем выше частота повторения импульсов в сигнале, тем больше молекул медиатора выделяется в синапсе, и тем выше в управляемом дендрите потенциал, от которого зависит частота генерации импульсов. Таким образом, синапс, по сути, осуществляет детектирование частотной импульсной модуляции. В качестве такого детектора в радиоавтоматике применяется так называемый пиковый детектор, имеющий малое время заряда и большое время разряда, следовательно, подобными свойствами обладает и синапс. На рис. 5 приведены результаты моделирования механизма выделения синапсом ЧМ модуляции из подводимого к нему импульсного сигнала. Видно, что с повышением частоты повторения импульсов сигнала у,, подаваемого на синапс I -го дендрита, постсинаптический потенциал (толстая линия) возрастает. Это повышение приводит к увеличению скорости распространения у (у,) импульса по управляемому дендриту, что
приводит к уменьшению времени т1 (у1) = ^ / (у) и, соответственно, времени ^ (у1), входящего в выражение для передаточной функции нейрона (3).
120 -L
Рис. 5. Накопление потенциала в дендрите
Выводы
Взятая за основу форма отклика биологического нейрона позволяет построить на её основе как модель биологического нейрона, так и нейронных сетей. Такой подход позволяет опустить детальные биохимические уравнения динамики нейрона, но, тем не менее, в определённом приближении повторить эту динамику.
Частотно-импульсная модуляция имеет много общего с частотным кодированием нейронов (spike rate coding [9]), что естественным образом вписалось в контекст данной модели.
Приведенная в настоящей статье модель нейрона, с одной стороны, позволяет формализовать происходящие в нем процессы, а с другой стороны, может быть положена в основу создания искусственных интеллектуальных систем обработки информации.
Список литературы
1. Burkitt A.N. A review of the integrate-and-fire neuron model: I. Homogeneous synaptic input // Biological Cybernetics. 2006. Vol. 95, no. 1. P. 1-19. DOI: 10.1007/s00422-006-0068-6
2. Hodgkin A., Huxley A. A quantitative description of membrane current and its application to conduction and excitation in nerve // J. Physiol. 1952. Vol. 117. P. 500-544.
3. Hindmarsh J.L., Rose R.M. A model of neuronal bursting using three coupled first order differential equations // Proceedings of The Royal Society of London. Series B, Biological Sciences. 1984. Vol. 221, no. 1222. P. 87-102. DOI: 10.1098/rspb.1984.0024
4. Rall W. Core conductor theory and cable properties of neurons // In: Pollock D.M., ed. Comprehensive Physiology. Wiley, 2011. P. 39-97. DOI: 10.1002/cphy.cp010103
5. Хьюбел Д., Стивенс Ч., Кэнделл Э. и др. Мозг: сб. статей: пер. с англ. / Под ред. П.В. Симонова. М.: Мир, 1982. 194 с.
6. Маккаллок У.С., Питс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы: сб.: пер. с англ. / под ред. К.Э. Шеннона, Дж. Маккарти. М.: Изд-во иностранной лит-ры, 1956. С. 362-384.
7. Hopfield J.J. Neural network and physical system with emergent collective computation abilities // Proceedings of the National Academy of Sciences of the United States of America. 1982. Vol. 79, no. 8. P. 2554-2558. DOI: 10.1073/pnas.79.8.2554
8. Rubinov M., Sporns O., Thivierge J.-P., Breakspear M. Neurobiologically realistic determinants of self-organized criticality in networks of spiking neurons // PLoS Computational Biology. 2011. Vol. 7, no. 6. Art. no. e1002038. DOI: 10.1371/j ournal.pcbi.1002038
9. Smith L.S. Implementing Neural Models in Silicon. Section 5.4: Implementing spiking neurons // In: Handbook of Nature-Inspired and Innovative Computing: Integrating Classical Models with Emerging Technologies / A.Y. Zomaya, ed. Springer US, 2006. P. 459.
10. Лазоренко О.В., Черногор Л.Ф. Сверхширокополосные сигналы и физические процессы. 1. Основные понятия, модели и методы описания // Радиофизика и радиоастрономия. 2008. Т. 13, №. 2. С. 166-195.
Science and Education of the Bauman MSTU, 2014, no. 11, pp. 510-520.
DOI: 10.7463/1114.0743838
Received: Revised:
07.11.2014 05.12.2014
Science ^Education
of the Bauman MSTU
ISSN 1994-0448 © Bauman Moscow State Technical Unversity
Neuron Network Simulation Taking into Consideration the Biological Properties of Neuron
S.L. Chernyshev1 A.S. Chernyshev1
chemshyigbm5tu.-nj :Bauman Moscow State Technical University, Moscow, Russia
Keywords: Ultra-Wideband signal, matched filtering, signal processing, detection characteristics
The simulation of the neural network element based on the properties of the neuron as a biological object and principles of the recording and processing of information in neurons was done. In contrast to the simplified representation of a neuron as the logic element in a network data processing a neuron is considered as an analog element to store and generate information. In neural information processing, dendrites, synapses, and axons are involved to form and transmit pulses. Pulses generated in the neuron are considered. Expressions for the shape and spectrum of pulses and their FM sequence were written. The pulses are generated from the thermal white noise, and it is possible to find the transfer function of individual dendrites. Due to these functions the transfer function of the neuron as a whole is recorded. Neuron driven by external signals performs addition to the different time delays of pulses coming from different dendrites and with different repetition periods. The functional diagram of the neuron is described. The equation for the vector of signals of several separate layer neurons is obtained. Signals generated in each layer are not a set of ones and zeros, but pulse frequency modulated signals which control synapses of next layer. The principle of control synapses using them arriving on FM pulse sequences is described. The results of modeling the mechanism of allocation synapse FM modulation of the supplied thereto pulse signal were carried. The higher is pulse repetition frequency in the signal, the more molecules of neurotransmitter released into the synapse, and the higher is the potential in a controlled dendrite, which determines the frequency of pulse generation. The paper considers a model of a neuron that can be a basis for the creation of artificial intelligent information processing systems.
References
1. Burkitt A.N. A review of the integrate-and-fire neuron model: I. Homogeneous synaptic input. Biological Cybernetics, 2006, vol. 95, no. 1, pp. 1-19. DOI: 10.1007/s00422-006-0068-6
2. Hodgkin A., Huxley A. A quantitative description of membrane current and its application to conduction and excitation in nerve. J. Physiol., 1952, vol. 117, pp. 500-544.
3. Hindmarsh J.L., Rose R.M. A model of neuronal bursting using three coupled first order differential equations. Proceedings of The Royal Society of London. Series B, Biological Sciences, 1984, vol. 221, no. 1222, pp. 87-102. DOI: 10.1098/rspb.1984.0024
4. Rall W. Core conductor theory and cable properties of neurons. In: Pollock D.M., ed. Comprehensive Physiology. Wiley, 2011, pp. 39-97. DOI: 10.1002/cphy.cp010103
5. Hubel D., Stevens C., Kandell E., Nauta W., Feirtag M., Cowan W., Iversen L., Wiesel T., Evarts E., Geschwind N., Kety S., Crick F. In: Scientific American Magazine, September 1979. (Russ. ed.: Hubel D., Stevens C., Kandell E., Nauta W., Feirtag M., Cowan W., Iversen L., Wiesel T., Evarts E., Geschwind N., Kety S., Crick F. Mozg: sb. statey. Moscow, Mir Publ., 1982. 194 p.).
6. McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity. Bull. Math. Biophys, 1943, vol. 5, no. 4, pp. 115-133. DOI: 10.1007/BF02478259 (Russ. ed.: McCulloch W.S., Pitts W. Logicheskoe ischislenie idey, otnosyashchikhsya k nervnoy aktivnosti. In: Shannon C.E., McCarthy J., eds. Avtomaty: sb. Moscow, Inostrannaya literatura Publ., 1956, pp. 362-384.).
7. Hopfield J.J. Neural network and physical system with emergent collective computation abilities. Proceedings of the National Academy of Sciences of the United States of America, 1982, vol. 79, no. 8, pp. 2554-2558. DOI: 10.1073/pnas.79.8.2554
8. Rubinov M., Sporns O., Thivierge J.-P., Breakspear M. Neurobiologically realistic determinants of self-organized criticality in networks of spiking neurons. PLoS Computational Biology, 2011, vol. 7, no. 6, art. no. e1002038. DOI: 10.1371/journal.pcbi.1002038
9. Smith L.S. Implementing Neural Models in Silicon. Section 5.4: Implementing spiking neurons. In: Zomaya A.Y., ed. Handbook of Nature-Inspired and Innovative Computing: Integrating Classical Models with Emerging Technologies. Springer US, 2006, p. 459.
10. Lazorenko O.V., Chernogor L.F. The Ultrawideband Signals and Physical Processes. 1. Basic Concepts, Models and Description Methods. Radiofizika i radioastronomiya = Radio Physics and Radio Astronomy, 2008, vol. 13, no. 2, pp. 166-195. (in Russian).
