CC BY
28УДК 004
Агарков Ю.Ю.
инженер,
руководитель проектов разработки нейроморфных систем
ООО «Поликетон» (г. Москва, Россия)
ПРИКЛАДНЫЕ ПРИМЕНЕНИЯ СПАЙКОВЫХ НЕЙРОСЕТЕЙ В ОТРАСЛЯХ НАРОДНОГО ХОЗЯЙСТВА
Аннотация: в последние несколько лет наблюдается значительный прогресс в развитии технологий искусственного интеллекта (ИИ), что привело к широкому распространению их использования для решения разнообразных задач, связанных с когнитивными процессами. Для максимальной эффективности использования ИИ необходимо его интегрировать не только на мощных вычислительных системах, но и на небольших устройствах, находящихся на периферии сети.
Однако, с ростом сложности нейронных сетей и объема обрабатываемых данных, появляются серьезные проблемы с энергопотреблением современных вычислительных платформ, а также требованиям к производительности и параллельности вычислений. В связи с этим стала актуальной разработка новых видов нейросетей, которые являются более близким аналогом биологических нейросетей, т.н. импульсных нейросетей третьего поколения в которых информация передается спайками и кодируется временными
рядами.
Развитие SNN представляет собой важное направление в области ИИ, которое решает проблемы энергопотребления и производительности, сохраняя при этом высокую эффективность при решении сложных когнитивных задач. В связи с чем в данной работе автором рассматриваются различные виды нейросетей, проводится сравнение SNN с классическими нейросетями, описываются преимущества и недостатки этой технологии, а также возможности применения спайковых нейросетей при решении различных задач. Также автор рассматривает прикладное применение SNN в информационной безопасности, медицине и охране труда.
Методология данной статьи основана на обзоре и анализе актуальной литературы, научных статей, публикаций, источников и данных, связанных с применением спайковых нейросетей.
Ключевые слова: спайковые нейронные сети, импульсные нейронные сети, применение спайковых нейронных сетей.
Введение
Последнее десятилетие стало свидетелем растущих возможностей искусственных нейронных сетей (ANN) начиная с многослойного персептрона первого поколения (MLP) и заканчивая множеством новейших технологий в глубоких нейронных сетях второго поколения (DNN). Это достижение стало возможным благодаря экспоненциальному росту объемов цифровых данных, широкой доступности высокопроизводительных вычислительных устройств в т.ч. графических процессоров (GPU), а также росту компетенций разработчиков в науках об обработке данных (data science). Несмотря на этот значительный прогресс, ANN по-прежнему отстают от биологических нейронных сетей в области энергоэффективности и возможности обучения «на лету». Хотя ANN / DNN основаны на знаниях о мозге, они принципиально отличаются по структуре, нейронным вычислениям и правилам обучения по сравнению с биологической нейронной сетью. В связи с чем было предпринято много попыток, нацеленных на оптимизацию традиционных нейросетей, которые могли бы достигать лучшей производительности при гораздо меньшей сложности и меньшем количестве параметров.
Успехи в нейронауках привели к лучшему пониманию работы биологического мозга и появлению импульсных нейросетей (SNN), которые часто называют третьим поколением.
1. Виды нейросетей
Существует множество различных видов нейронных сетей, в основе классификации которых лежит:
• Зависимость от их структуры;
• Потока данных;
• Плотности нейронов;
• Архитектуры слоев;
• Функций активации;
• и т.д. [1].
ANN (искусственные нейронные сети) - это математическая модель, состоящая из набора искусственных нейронов, которые обмениваются информацией между собой путем вычисления операций матрично-векторного умножения. ANN обучается на основе заранее подготовленных данных, чтобы научиться распознавать и классифицировать информацию. В начале обучения параметры нейросети случайны, но постепенно они изменяются в процессе обучения, чтобы улучшить способность сети к предсказанию и принятию решений.
ANN используются во многих областях, таких как компьютерное зрение, обработка естественного языка, робототехника и финансовый анализ. Они используются для решения различных задач, таких как классификация изображений, распознавание речи, рекомендательные системы и многое другое.
Важно отметить, что ANN - это абстрактная математическая модель, которая приближенно имитирует работу мозга, но не в полной мере. Они не обладают сознанием или мыслями, но способны обрабатывать данные и находить закономерности в больших объемах информации.
DNN (глубокие нейронные сети) являются специфическим типом искусственных нейронных сетей (ANN), которые имеют несколько слоев нейронов между входными и выходными данными. Также их называют многослойными нейронными сетями или глубокими сетями из-за их структуры, включающей множество слоев.
В DNN каждый слой нейронов принимает данные от предыдущего слоя и передает их следующему слою. Каждый нейрон в слое вычисляет свою собственную активацию на основе входных данных и весов, которые
настраиваются в процессе обучения сети. Процесс передачи данных через слои называется прямым распространением [2].
Глубокие нейронные сети хорошо подходят для решения сложных задач, так как они способны автоматически извлекать иерархические признаки из данных. Увеличение числа слоев позволяет модели учиться более абстрактным представлениям данных на каждом последующем слое. Например, в задаче распознавания изображений первый слой может обнаруживать границы и текстуры, а последующие слои могут выявлять более сложные формы и объекты.
DNN широко применяются в областях, таких как компьютерное зрение, распознавание речи, обработка естественного языка и многих других. Они доказали свою эффективность в задачах классификации, регрессии и генерации контента.
SNN (Spiking Neural Networks) - это другой подтип ANN, который имеет существенные отличия в архитектуре сети. Это тип искусственных нейронных сетей, которые моделируют работу биологических нейронов и их взаимодействие друг с другом. Аналогично тому, как это происходит в мозге. Искусственные нейроны передают информацию импульсами (спайками), которые генерируются в зависимости других входящих спайков (Рис.1.а).
В SNN каждый нейрон моделируется как имитация биологического нейрона. Он накапливает электрический заряд (потенциал мембраны) и, если заряд превышает пороговое значение, генерирует спайк, который передается следующему связанному нейрону. Спайки обычно передаются в виде последовательностей с некоторым временным интервалом между ними (Рис. 1.б).
Группа нейронов, таким образом, может формировать среду для разреженных, асинхронных вычислений, когда для работы может быть задействована только часть сети. Асинхронность в SNN может быть полезной, поскольку имитирует поведение биологических нейронных сетей, где существует большая степень параллелизма и случайности в обработке информации. Асинхронная работа может улучшить эффективность
использования вычислительных ресурсов и способствовать быстрой обработке данных.
Однако асинхронная работа также представляет вызовы для
проектирования и обучения сетей. Обучение асинхронных ЗЫК более сложно, чем традиционных нейронных сетей, так как требует учета временной информации и изменяющейся спайковой активности. [3, 4, 5].
Рис.1.а Параллельная спайковая передача информации между нейронами Рис.1.Ь Последовательная спайковая передача информации между нейронами Fig. 1 .a Parallel spike transmission of information between neurons Fig.1.b Sequential spike transmission of information between neurons
2. Плюсы и минусы спайковых нейросетей
Спайковые нейросети имеют несколько преимуществ перед другими типами нейронных сетей:
• Энергоэффективность: ЗЫЫ могут потреблять меньше энергии по сравнению с традиционными нейронными сетями, так как используют меньше энергии для обработки информации, за счет разреженных вычислений.
• Обработка временной информации: ЗЫЫ могут учитывать пульсации во времени и использовать их для работы с временными данными, такими как звук, видео, временные ряды и т. д. Поскольку ЗЫЫ работают в режиме реального времени, они могут быть полезны для задач, требующих синхронизации и обработки потоковых данных.
• Способность моделирования нейрональных процессов: могут моделировать более точно биологические нейронные сети и процессы, включая кодирование и передачу информации спайками, пластичность синапсов и прочие механизмы, присущие естественным нейронным сетям.
• Инкрементное обучение: ЗКЫ могут быть натуральным выбором для инкрементного обучения, то есть обучения на лету с постоянным поступлением новых данных. Инкрементное обучение важно для систем, которые изменяются со временем или работают в динамической среде.
• Робастность к шуму: ЗКЫ показывают хорошую робастность к шуму из-за своей способности работать с пульсациями и за счет схожести с биологическими нейронами. Это может быть полезно для обработки данных, загрязненных шумом или неопределенностью.
• Эмуляция параллельной обработки: могут эффективно эмулировать параллельную или распределенную обработку, поскольку каждый нейрон в сети может работать независимо и генерировать свои спайки. Это можно использовать для решения задач с высокой степенью параллелизма, таких как распознавание образов в изображениях.
• Аппаратная реализация: ЗКЫ могут быть реализованы на специализированной аппаратуре, такой как нейроморфные системы, которые моделируют работу мозга более точно и обеспечивают высокую энергоэффективность.
Однако, спайковые нейросети также имеют и свои недостатки по сравнению с другими типами нейронных сетей:
• Вычислительная сложность: ЗМЫ могут быть вычислительно сложными для обучения и выполнения. Это связано с необходимостью обработки временной информации и учета временной динамики. Некоторые методы обучения ЗМЫ требуют симуляции времени и обработки спайковой активности, что может потребовать значительных ресурсов.
• Ограниченная доступность аппаратуры: Реализация ЗКЫ на специализированной аппаратуре, такой как нейроморфная аппаратура, требует
дополнительных усилий и ресурсов. Это может ограничить их доступность для широкого круга разработчиков.
• Интерпретируемость: Интерпретируемость ЗЫЫ может быть сложной задачей, особенно при использовании сложных моделей. Прямая связь между спайками и семантическим представлением информации не всегда очевидна, что затрудняет понимание, каким образом ЗЫК принимают решения.
• Ограниченное применение: в настоящее время ЗЫЫ находят свое наиболее широкое применение в области обработки сигналов и анализа временных данных. Они могут быть менее подходящими для других типов задач, таких как классификация статических изображений или работы с табличными данными.
• Отсутствие общепринятого обучения: в отличие от классических нейронных сетей, у которых есть широко используемые методы обратного распространения ошибки, обучение ЗЫК все еще является активной областью исследований. Нет универсального и общепринятого метода обучения ЗЫЫ, и каждая задача может требовать специфического подхода [6,7,8].
3. Возможности применения SNN
ЗЫЫ представляют собой новую парадигму в области искусственного интеллекта и имеют потенциал для решения различных задач:
• Динамическая обработка потока изображений: ЗЫЫ может быть использована для классификации изображений в задачах компьютерного зрения, например, для распознавания объектов на фотографиях или для диагностики медицинских изображений.
• Распознавание речи и обработка естественного языка: ЗЫЫ может быть применена для распознавания речи и обработки акустических данных, что делает ее полезной в системах распознавания голоса, виртуальных ассистентах, переводчиках.
• Анализ и прогнозирование временных рядов: ЗЫЫ может быть применена для анализа временных данных, включая сигналы
электрокардиографии (ЭКГ), электроэнцефалографии (ЭЭГ) и прогнозирования временных рядов, таких как финансовые данные, погода или трафик, где предсказание будущих значений имеет важное значение.
• Решение задач обучения с подкреплением: ЗКЫ может быть применена к задачам обучения с подкреплением, где агент должен обучаться на основе получаемых наград. Это может включать игровые сценарии, управление роботами и другие динамические среды.
• Адаптивность и самоорганизация: ЗКЫ могут обладать свойствами адаптивности и самоорганизации, подобными свойствам мозга. Они могут изменять свою структуры и веса соединений на основе входной информации и требований задачи. Это позволяет ЗМЫ обучаться на неполных или изменяющихся данных и адаптироваться к новым ситуациям и условиям.
• Изучение мозга: ЗКЫ используются в нейробиологических исследованиях для изучения процессов, происходящих в мозге. Они могут помочь углубить наше понимание работы нейронных сетей в биологических системах и исследовать принципы мозговой пластичности и обучения.
• Нейрокомпьютерные интерфейсы: ЗМЫ также привлекательны для разработки нейрокомпьютерных интерфейсов и протезов. Их импульсная природа позволяет эффективно кодировать и передавать сигналы между мозгом и компьютером, что может быть полезным для разработки более точных и реалистичных протезов или интерфейсов для восстановления или расширения функций мозга [9,10].
4. Прикладное применение SNN в информационной безопасности
Информационная безопасность - это защита данных и информации от несанкционированного доступа, изменений или порчи. Она включает в себя меры, которые помогают сохранить конфиденциальность информации, предотвращают ее потерю или повреждение, и гарантируют, что она доступна только авторизованным пользователям в нужное время. Основная цель информационной безопасности - обеспечить сохранность информации и
предотвратить любые негативные последствия, такие как утечка данных, финансовые потери или ущерб репутации. Spiking Neural Networks (SNN) могут быть применены в информационной безопасности при решении следующих прикладных задач:
• Обнаружение аномалий в трафике сети и предотвращение вторжений: SNN могут использоваться для анализа сетевого трафика и обнаружения аномалий, таких как вредоносные атаки или необычное поведение. SNN могут анализировать временные шаблоны сетевого трафика, используя импульсные кодирование, и выявлять отклонения от нормальных шаблонов, что позволяет обнаружить потенциальные атаки или нарушения безопасности.
• Идентификация вредоносного программного обеспечения: SNN могут помочь в обнаружении и классификации вредоносного программного обеспечения. Они могут быть обучены на сигнатурах, характерных для различных видов вредоносных программ, и использовать их для распознавания и идентификации новых угроз, т.о. улучшая эвристические процедуры.
• Анализ поведения пользователей: SNN могут быть применены для анализа поведения пользователей и обнаружения аномальных действий или активности.
• Анализ безопасности в интернете вещей (IoT): SNN могут быть использованы для анализа безопасности в сетях Интернета вещей. Большое количество устройств IoT большой поток данных, который может быть обработан с помощью SNN для выявления потенциально опасных корреляций.
• Управление рисками в реальном времени: SNN могут быть использованы для управления рисками в режиме реального времени. Они могут анализировать поток данных о безопасности, включая информацию о событиях, угрозах и уязвимостях, и помогать принимать автоматизированные меры по предотвращению угроз и обеспечению безопасности информационной системы [11,12,13].
5. Прикладное применение SNN в медицине
ЗМЫ имеют несколько применений в медицине:
• Анализ медицинских изображений: ЗКЫ могут использоваться для анализа потоков медицинских изображений, таких как снимки МРТ, КТ, повышая точность диагностики и сокращая время анализа изображений.
• Прогнозирование и предупреждение состояний пациентов: БМЫ могут использоваться для анализа медицинских данных, таких как пульс, давление, уровень кислорода в крови и другие физиологические показатели. Они могут помочь в прогнозировании возможных изменений состояния пациентов, таких как сердечные приступы или приступы астмы, и предупреждении медицинского персонала об этих состояниях.
• Прогнозирование заболеваний и результатов лечения: ЗКЫ могут использоваться для анализа множества медицинских данных, таких как биологические показатели, симптомы, лекарственные препараты и результаты лечения. Они могут помочь в разработке моделей прогнозирования, которые помогут предсказать вероятность развития заболеваний, эффективность определенных лечебных подходов или риски для пациента.
• Улучшение имплантов: ЗКЫ могут быть полезны при разработке искусственных протезов, таких как протезы конечностей или системы контроля движений. Они могут имитировать способность мозга к обработке сигналов от нервных волокон и использоваться для управления протезами с большей точностью и естественностью.
• Обработка электроэнцефалограммы (ЭЭГ): С помощью ЗКЫ можно анализировать сигналы ЭЭГ, записанные с электродов, размещенных на коже головы. Они могут помочь в диагностике и классификации нейрологических расстройств, таких как эпилепсия или нарушения сна. ЗКЫ могут распознавать образцы электрической активности мозга и выявлять аномалии.
• Разработка технологий стимуляции мозга: ЗКЫ могут использоваться для моделирования и анализа электрической активности мозга.
Это позволяет разрабатывать более точные и эффективные методы стимуляции мозга, такие как глубокая стимуляция мозга для лечения болезни Паркинсона или депрессии [14,15].
6. Прикладное применение SNN на производстве
ЗЫЫ могут применяться в охране труда и управлении производством для решения различных задач. Вот несколько примеров:
• Обнаружение аварийных ситуаций: ЗЫЫ могут использоваться для анализа видеоданных с камер наблюдения на производстве. Они могут обнаруживать аварийные ситуации, такие как падение рабочих, нарушение безопасности в рабочей зоне или неправильное использование оборудования. Это позволяет своевременно оповещать охрану о возникающих проблемах и предотвращать аварии.
• Оптимизация рабочих процессов: ЗЫЫ могут использоваться для анализа данных с датчиков и других источников информации, связанных с производственными процессами. Они могут определять неэффективные или опасные рабочие практики, а также предлагать оптимальные методы выполнения задач или оптимизацию производственных параметров. Это позволяет повышать эффективность производственных процессов и снижать риски для работников.
• Прогнозирование аварийных ситуаций: ЗЫЫ могут использоваться для анализа исторических данных, связанных с аварийными ситуациями на производстве. Они могут выявлять зависимости и тренды, что позволяет строить модели прогнозирования вероятности возникновения аварийных ситуаций. Это позволяет принимать предупреждающие меры и разрабатывать стратегии предотвращения аварий и улучшения безопасности на производстве.
• Мониторинг состояния работников: ЗЫЫ могут использоваться для анализа биометрических данных работников, таких как пульс, уровень стресса или утомления. Путем анализа этих данных, нейронные сети могут определить состояние работника и предотвращать возможность возникновения негативных
последствий, связанных с перенапряжением, болезнью или социальными факторами [16].
Заключение
В данной статье были рассмотрены различные виды нейросетей, проведено сравнение SNN с классическими нейросетями, описаны преимущества и недостатки этой технологии, а также возможности применения спайковых нейросетей при решении различных задач. Также было рассмотрено прикладное применение SNN в информационной безопасности, медицине и охране труда.
Подводя итоги следует сказать, что SNN демонстрируют превосходные результаты, если необходимо обработать сложную, разреженную и зашумленную информацию, обладая при этом достаточно высокой энергоэффективностью. SNN могут адаптироваться к изменениям в реальном времени и принимать решения на основе входной информации от сенсоров и датчиков. Данный класс нейросетей также может работать параллельно и распределено, что способствует эффективности вычислений и скорости обработки данных.
В настоящее время исследования по SNN активно проводятся крупными компаниями, что ведет к разработке более продвинутых алгоритмов обучения и программных инструментов. Ожидается, что в будущем SNN будут иметь еще больший прогресс и найдется широкое применение в различных областях деятельности человека.
СПИСОК ЛИТЕРАТУРЫ:
1. Types of Neural Networks and Definition of Neural Network.[Электронный ресурс] Режим доступа:https://www.mygreatlearning.com/blog/types-of-neural-networks/.- (дата обращения 02.10.2023).
2. Introduction to ANN, DNN, CNN, RNN, AND LSTM.^eKipoHHbra ресурс] Режим доступа: https://www.codersarts.com/post/introduction-to-ann-dnn-cnn-rnn-and-lstm.- (дата обращения 02.10.2023).
3. Ижунинов, М. А. Обзор современных нейронных сетей и их интеграция в жизнь человечества // Молодой ученый. 2020. № 4 (294). С. 18-19.
4. Импульсные нейронные сети: современное состояние и перспективы.[Электронный ресурс] Режим доступа: https://greatech.ru/articles/spiking-neural-networks-the-next-generation-of-machine-learning/ .-(дата обращения 02.10.2023).
5. Редакционная статья: Аппаратная реализация нейроморфных вычислений на основе spike и методологии их проектирования.[Электронный ресурс] Режим доступа: https://www.frontiersin.org/articles/10.3389/fnins.2022.1113983ЯиП-(дата обращения 02.10.2023).
6. A Tutorial on Spiking Neural Networks for Beginners.[Электронный ресурс] Режим доступа: https://analyticsindiamag.com/ a-tutorial-on-spiking-neural-networks-for-beginners/.- (дата обращения 02.10.2023).
7. Новые рубежи машинного обучения .[Электронный ресурс] Режим доступа: https://skine.ru/articles/12494/.- (дата обращения 02.10.2023).
8. High-accuracy deep ANN-to-SNN conversion using quantization-aware training framework and calcium-gated bipolar leaky integrate and fire neuron.[Электронный ресурс] Режим доступа: http s ://www.frontiersin. org/articles/10.3389/fnins.2023.1141701/ full.- (дата обращения 02.10.2023).
9. Prajapati B.B., Parikh S.M., Pafel J.M. Effective healthcare services by IoT-based model of voluntary doctors // Data Science and Big Data Analytics. Lecture Notes on Data Engineering and Communications Technologies / D. Mishra, X.S. Yang, A. Unal (eds). Springer, Singapore, 2019. Vol. 16.
10. Спайковые нейронные сети и их применение к задачам машинного обучения.[Электронный ресурс] Режим доступа: https https://www.ipu.ru/press-center/71082 .-(дата обращения 02.10.2023).
11. Kaspersky Neuromorphic Machine Leammg.[Электронный ресурс] Режим доступа: https://neuro.kaspersky.ru/neyromorfnye-tekhnologii/.- (дата обращения 02.10.2023).
12. Плугатарев А.В., Марухленко А.Л., Бугорский М.А., Булгаков А.С. , Марченко М.А. Применение нейронных сетей в системах обеспечения информационной безопасности // Безопасность информационных технологий = IT Security. 2021. Том 28, № 3. С.73-79.
13. Киберфизические системы с искусственным интеллектом: актуальное направление современной науки и техники .[Электронный ресурс] Режим доступа:https://integral-russia.ru/2020/04/01/kiberfizicheskie-sistemy-i-iskusstvennyj-intellekt-aktualnoe-napravlenie-sovremennoj-nauki-i-tehniki/.-(дата обращения 02.10.2023).
14. Алексеева М.Г. , Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине // Международный научно-исследовательский журнал. 2022. №7 (121).[Электронный ресурс] Режим доступа:https://research-journal.org/archive/7-121-2022-july/artificial-intelligence-in-medicine.-(дата обращения 02.10.2023).
15. Алексеева М.Г. , Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине // Международный научно-исследовательский журнал. 2022. №7 (121).[Электронный ресурс] Режим доступа:https://research-journal.org/archive/7-121-2022-july/artificial-intelligence-in-medicine.-(дата обращения 02.10.2023).
16. Прохоров А. С. Макаренко Д.В. Применение нейронных сетей для обеспечения безопасности человека в жилых и промышленных помещениях // Международный научный журнал «Символ науки». 2021. №1. С.25-29.
Agarkov Yu.Yu.
engineer,
project manager for the development of neuromorphic systems
Polyketon LLC (Moscow, Russia)
APPLIED APPLICATIONS OF SPIKE NEURAL NETWORKS IN THE SECTORS OF THE NATIONAL ECONOMY
Abstract: in the last few years, there has been significant progress in the development of artificial intelligence (AI) technologies, which has led to a wide spread of their use for solving various tasks related to cognitive processes. To maximize the efficiency of using AI, it is necessary to integrate it not only on powerful computing systems, but also on small devices located on the periphery of the network.
However, with the increasing complexity of neural networks and the volume of processed data, there are serious problems with the power consumption of modern computing platforms, as well as performance and parallel computing requirements. In this regard, the development of new types of neural networks has become relevant, which are a closer analogue of biological neural networks, the so-called pulse neural networks of the third generation (SNN), in which information is transmitted by spikes and encoded by time series.
The development of SNN is an important direction in the field of AI, which solves the problems of energy consumption and productivity, while maintaining high efficiency in solving complex cognitive tasks. In this connection, in this paper, the author examines various types of neural networks, compares SNN with classical neural networks, describes the advantages and disadvantages of this technology, as well as the possibilities of using spike neural networks in solving various tasks. The author also examines the application of SNN in information security, medicine and occupational safety.
The methodology of this article is based on a review and analysis of current literature, scientific articles, publications, sources and data related to the use of spike neural networks.
Keywords: spike neural networks, impulse neural networks, application of spike neural networks.
