CC BY
221
СИМВОЛ НАУКИ ISSN 2410-700X № 1/2020
УДК 004.8
Д.А. Ковалев
студент НИУ МИЭТ г. Зеленоград, РФ E-mail: d.kovaleevv@mail.ru
ИМПУЛЬСНЫЕ НЕЙРОННЫЕ СЕТИ Аннотация
Данная статья повествует об истории развития импульсных нейронных сетей, их особенностях и сферах применения. Проводится сравнительный анализ с другими типами нейронных сетей, выявляются преимущества и недостатки.
Ключевые слова:
Нейронные сети, импульсные нейронные сети, методы обучения
Когда речь заходит о нейронных сетях, люди невольно проводят параллели с работой головного мозга. Импульсные нейронные сети изначально создавались на примере мозга и используют способ передачи информации на подобии биологических нейронов. В мозговых нейронах, импульс генерируется в момент, когда текущая сумма изменений мембранного потенциала пересекает порог. Скорость возникновения импульсов и временная модель пучков импульсов несут информацию о внешнем раздражителе [5] и протекающих вычислениях. ИНС используют похожий метод генерации импульсов и передачи информации. Нейроны используют дифференцируемые, нелинейные функции активации, применение которых позволяет создавать структуры толщиной более одного слоя.
Еще в 1952 году Аланом Ходжкином и Эндрю Хаксли была предложена первая научная модель импульсной нейронной сети. Эта модель описала генерацию и распространение потенциалов действия в нейронах [7]. Если конкретнее, то они создали модель генерации и передачи нервного сигнала в гигантском аксоне кальмара. После Ходжкина и Хаксли с биологическими уточнениями и большими вычислительными затратами были предложены разнообразные модели нейронов: Jolivet, &Timothy, &Gerstner, Izhikevich et al., Delorme et al.). Последняя очень популярна, так как она берет во внимание свойства внешнего раздражителя, аккумулируя протекание заряда через клеточную мембрану, при пересечении определенного порога. Следующие двадцать лет в истории развития нейронных сетей были крайне тяжелыми. Многие эксперименты заканчивались неудачей, экспериментально и теоретически было доказано, что однослойные нейронные сети, в принципе, неспособны были решить многие простые задачи, одной из которых являлась реализация функции "Исключающего ИЛИ". Но, благодаря исследованиями Кохонена, Гроссберга и Андерсона сформировался мощный теоретический фундамент, с помощью которого стало возможным дальнейшее развитие нейронных сетей, а именно проектирование и реализация многослойных структур. Но, обучение, по-прежнему, остается огромной проблемой. Так как функции активации имеют производные, то появляется простор в использовании градиентных методов оптимизации для обучения нейронных сетей. С распространением доступных крупных маркированных наборов данных для обучения нейронных сетей, с увеличением вычислительной мощности графических процессоров и продвинутыми методами регуляризации, нейронные сети становятся невероятно многослойными, что позволяет обобщать большое количество "невидимых" данных. Многослойность - огромное преимущество в производительности нейронных сетей.
Хорошо известно, что способность мозга распознавать сложные визуальные модели или идентифицировать говорящего в шумной обстановке это результат нескольких последовательных этапов обработки и множества механизмов обучения, которые также встроены в импульсные нейронные сети с глубоким обучением (ИНС) [17]. В сравнении нейронных сетей с глубоким обучением (ГНС), обучение ИНС находится на самых ранних этапах развития. Важной особенностью такого типа систем является нейронная архитектура. Она гораздо лучше подходит для обработки пространственно-временных данных,
СИМВОЛ НАУКИ ISSN 2410-700X
№ 1/2020
особенно в онлайн режиме [10]. Представление данных во времени и пространстве, которым обладают ИНС, позволяет таким нейросетям выполнять вычисления на уровне с человеческим мозгом, а также понимать деятельность мозга в пространственно-временной структуре. Очень важно в ближайшие годы понять, как обучить такие нейросети выполнять различные задачи.
На рисунке 1 представлена модель импульсной нейронной сети.
шиши
ЛЛ1-ШЖ1 -
илш
1ШШ~ -11ЩШ1 -
1ИШШ -
Рисунок 1 - Импульсная нейронная сеть.
Если посмотреть на ИНС с инженерной точки зрения, то здесь также найдутся интересные задачи. Этот тип нейросетей имеет ряд преимуществ в аппаратной реализации над обычными нейронными сетями. Пучки импульсов в ИНС разбросаны во времени, каждый из них содержит огромное количество информации, что позволяет значительно снизить энергопотребление. Таким образом, можно создать малопотребляющее "железо", подстраивающее свою работу под импульсную активность [15].
Итак, ИНС имеют необходимую для разработки эффективной и похожей на мозг системы архитектуру. Если рассмотреть работу мозга приматов, то можно отметить, что распознавание образов осуществляется с помощью многослойных нейронных цепей, которые обмениваются друг с другом всплесками импульсов, важно при обучении как импульсных, так и не импульсных нейронных сетей учитывать сложные, абстрактные и неизменяемые в пространстве особенности иерархии определения объектов [1]. Стоит отметить, что вдохновленные биологическим примером ИНС, в принципе, гораздо лучше и быстрее распознают образы, чем обычные нейросети [14]. Более того, ИНС позволяют использовать методы обучения, зависящие от времени возникновения импульсов между парами напрямую соединенных нейронов, в которых информация для изменения веса ребер доступна локально. Этот метод обучения очень напоминает то, что происходит во многих частях мозга.
Возникающие пучки импульсов представляют в виде недифференцируемых сумм дельта-функций. Соответственно, сложно применять методы оптимизации, основанные на производных, для обучения ИНС, хоть и в последнее время активно идет исследование различных типов приближенных производных [12]. Возникает вопрос: как обучаются нейронные сети в мозге, если недоступна оптимизация на основе производных? Несмотря на то, что в теории импульсные нейросети имеют эквивалентную по Тьюрингу вычислительную мощность [13], все еще проблематично обучать ИНС, в особенности те, что имеют многослойную архитектуру. Во многих существующих импульсных нейронных сетях, обучать можно лишь один слой. Если получится снабдить импульсные системы многослойным обучением, то производительность в различного рода задачах вырастет в десятки раз.
Архитектура импульсных нейронных сетей состоит из импульсных нейронов и взаимосвязанных синапсов. Пучки импульсов в нейросетях импульсных нейронов распространяются через синаптические связи. Синапс может быть как возбуждающим, когда мембранный потенциал нейрона возрастает после
СИМВОЛ НАУКИ ISSN 2410-700X № 1/2020
получения сигнала, так и замедляющим. Величина веса ребер может изменяться в результате обучения. Глубокое обучение многослойных ИНС - это настоящая головоломка, так как недифференцируемость пучков импульсов не позволяет использовать популярные методы, такие как алгоритм обратного распространения.
Как было сказано ранее, обучение всевозможных искусственных нейронных сетей происходит за счет корректировки скалярных синаптических весов. В ИНС благодаря импульсам можно использовать методы обучения приближенные к тем, которые использует мозг. Ученые определили множество вариантов этого метода обучения, но все они попадают под общий термин дендритной пластичности (англ. STDP). Ключевой особенностью дендритной пластичности является то, что вес ребра, соединяющего пре- и постсинаптический нейроны, регулируется со временем их импульса в интервале примерно в десятки миллисекунд по длине[3].
SpikeProp.
Это первый алгоритм обучения ИНС путем обратного распространения ошибок [2]. Функция стоимости учитывает период колебания и, благодаря этому, этот метод может классифицировать нелинейно разделимые данные для задачи исключающего ИЛИ со временным кодированием с использованием 3-уровневой архитектуры. Главным решением на этапе разработки метода был выбор модели нейрона Герстнера (англ. SRM) [5]. Используя эту модель, вопрос взятия производных на выходе колебания обтекался, так как требуемый результат напрямую моделировался как непрерывное значение. Одним из ограничений этого способа является то, что каждая выходная единица была вынуждена генерировать ровно одно колебание. Кроме того, значения непрерывных переменных, такие как в задаче исключающего ИЛИ, должны были быть закодированы как задержки между колебаниями, которые могут быть довольно долгими.
ReSuMe (remote supervised learning).
Данная модель обучения состоит из одного колеблющегося нейрона, который на вход принимает колебания от множества других колеблющихся пресинаптических нейронов [11]. Целью является обучить синапс вызывать постсинаптический нейрон для генерирования волн колебаний с желаемым периодом колебания. ReSuMe адаптировал Дельта-правило, использующееся для неимпульсных линеаризованных единиц, к ИНС. В Дельта-правиле веса изменяются пропорционально:
Дш = (yd-y0)x = ydx-y0x, (1)
где x - пресинаптический вход;
yd - желаемое значение на выходе;
у0 - реальное значение на выходе.
Переформулировав уравнение выше можно получить сумму STDP и anti-STDP:
Д^ = AuSTDP(Sin,Sd) + AuaSTDP(Sin,S0) (2)
Выше Дш5ТОР — это функция корреляции пресинаптических и желаемых периодов колебаний, тогда как Дша5ТОР - зависит от пресинаптических и реальных периодов колебаний. Так как этот метод использует корреляцию между множеством пресинаптических нейронов и колеблющимся нейроном, то никакой физической связи между ними нет. Вот почему этот метод называют удаленным.
Chronotron.
Этот метод был разработан на основе метода Temporton [6], который мог обучать отдельные нейроны распознавать кодировки по точному времени прихода колебания. Ограничением метода Tempotron была возможность выдавать 0 или 1 на выходе в течении выбранного интервала времени. Из-за этого в выходные данные невозможно было закодировать информацию о времени прихода колебания. На создание Chronotron повлиял успех SpikeProp и его преемников. Идеей Chronotron было использовать для обучения более сложные единицы измерения расстояний - VP [16] между двумя колебаниями. Они адаптировали расстояние VP так, чтобы оно было кусочно-дифференцируемым и подходило в качестве функции стоимости для выполнения градиентного спуска по отношению к весам.
Список использованной литературы:
1. Y. Bengio. Learning deep architectures for AI. // Foundations and Trends in Machine Learning. - 2009. - v.
2. -pp. 1-127.
СИМВОЛ НАУКИ ISSN 2410-700X № 1/2020
2. Sander M. Bohte. Error-backpropagation in temporally encoded networks of spiking neurons. // Artificial Neural Network and Machine Learning - ICANN 2011. - pp. 60-68.
3. N. Caporale, Y. Dan. Spike timing-dependent plasticity: A Hebbian learning rule. // Annual Review of Neuroscience. - 2008. - pp. 25-46.
4. A. Delorme et al. SpikeNET: A simulator for modeling large networks of integrate and fire neurons. // Neurocomputing. - 1999. - v. 26. - pp. 989-996.
5. W. Gerstner, Werner M. Kistler. Spiking neuron models: Single neurons, populations, plasticity. // Cambridge University Press. - 2002. - 496 p.
6. R. Gütig, H. Sompolinsky. The tempotron: A neuron that learns spike timing-based decisions. // Nature Neuroscience. - 2006. - v. 9. - pp. 420-428.
7. A. Hodgkin, A. Huxley. A quantitative description of membrane current and its application to conduction and excitation in nerve. // J. Physiol. - 1952. - pp. 500-544.
8. E. Izhikevich. Simple model of spiking neurons. // Transactions of neural networks. - 2003. - v. 14. - pp. 1569-1572.
9. R. Jolivet, Timothy J., W. Gerstner. The Spike Response Model: A Framework to Predict Neuronal Spike Trains. // Artificial Neural Networks and Neural Information Processing. - 2003. - pp. 846-853.
10. N. Kasabov. NeuCube: A spiking neural network architecture for mapping, learning and understanding of spatio-temporal brain data. // Neural Networks. - 2014. - v. 52. - pp. 62-76.
11. F. Ponulak, A. Kasinski. Supervised learning in spiking neural networks with ReSuMe: Sequence learning, classification, and spike shifting. // Neural Computation. - 2009. - v. 22. - pp. 467-510.
12. J. Lee, T. Delbruck, M. Pfeiffer. Training deep spiking neural networks using backpropagation. // Frontiers in Neuroscience. - 2016.
13. W. Maass. Lower bounds for the computational power of networks of spiking neurons. // Neural Computation. - 1996. - v. 8. - pp. 1-40.
14. M. Pfeiffer, T. Pfeil. Deep learning with spiking neurons: Opportunities and challenges. // Frontiers in Neuroscience. - 2018.
15. J. Victor, K. Purpura. Metric-space analysis of spike trains: Theory, algorithms and application. // Network: Computation in Neural Systems. - 1997. - v. 8. - pp. 127-164.
16. T. Serre. Hierarchical models of the visual system. // Encyclopedia of Computation Neuroscience. - 2014.
© Ковалев Д.А., 2020
УДК 630
В.Н. Колосов
студент 4 курса МФ МГТУ им. Н.Э.Баумана, г. Мытищи
E-mail: voplk9630@yandex.ru А.А. Горских
студент 4 курса МФ МГТУ им. Н.Э.Баумана, г. Мытищи
E-mail: tim.dalton2012@yandex.ru М.В. Кирпиков
студент 4 курса МФ МГТУ им. Н.Э.Баумана, г. Мытищи
E-mail: hs1998v@mail.ru
ПЕРСПЕКТИВЫ РАЗВИТИЯ ОТЕЧЕСТВЕННЫХ ПРОФЕССИОНАЛЬНЫХ БЕНЗОПИЛ
Аннотация
В статье рассмотрен вопрос о перспективах развития производства пил для лесной промышленности. Обозначены активные направления совершенствования и пути прогресса профессиональных бензопил.
