CC BY
9Столыпинский вестник №11/2023
Научная статья Original article УДК 347.82.001
ОБЗОР НЕКОТОРЫХ РАЗНОВИДНОСТЕЙ НЕЙРОННЫХ СЕТЕЙ
OVERVIEW OF SOME TYPES OF NEURAL NETWORKS
Калик Михаил Андреевич, студент Московский технический университет связи и информатики Россия, г. Москва
Дайнеко Алексей Сергеевич, студент Московский технический университет связи и информатики Россия, г. Москва
Драгун Константин Витальевич, студент Московский технический университет связи и информатики Россия, г. Москва
Mikhail A. Kalik, student, Moscow Technical University of Communications and Informatics, Moscow, Russia
Alexey Sergeevich Daineko, student, Moscow Technical University of Communications and Informatics, Moscow, Russia
Dragoon Konstantin Vitalievich, student of Moscow Technical University of Communications and Informatics Russia, Moscow mihail.kalik68@gmail.com
Аннотация: В данной статье рассматривается четыре типа нейронных сетей: CNN, нейронная сеть с прямолинейным движением, RNN и нейронная сеть с радиальной базисной функцией. Они описываются с учетом своих
Столыпинский вестник
5516
основных характеристик, применения в различных областях и подходов к обработке данных. У каждого рассматриваемого типа нейронных сетей есть свои преимущества и ограничения. Также важно учесть ресурсы и объемы данных, используемые для обучения каждой рассматриваемой сети.
Abstract: This article discusses four types of neural networks: CNN, feedforward neural network, RNN, and radial basis function neural network. They are described in terms of their key characteristics, applications in various fields, and approaches to data processing. Each of the considered types of neural networks has its own advantages and limitations. It is also important to consider the resources and data volumes used for training each of the discussed networks.
Ключевые слова: искусственный интеллект, нейронные сети, типы нейронных сетей, применение нейронных сетей
Keywords: artificial intelligence, neural networks, types of neural networks, application of neural networks
Введение
Искусственные нейронные сети являются моделями для проведения вычислений, которые имитируют работу человеческой нервной системы. Разные типы этих сетей опираются на математические операции и набор параметров, чтобы определить свои выходные данные. Рассмотрим некоторые из этих разновидностей нейронных сетей.
Типы нейронных сетей Конволюционная нейронная сеть (CNN) — это глубокая нейронная сеть, специально разработанная для обработки данных с пространственной структурой, таких как изображения. Она использует сверточные слои для выделения признаков изображений и других данных. CNN состоит из сверточных слоев, слоев подвыборки и полносвязных слоев, и обучается через алгоритм обратного распространения ошибки. CNN имеет преимущества в извлечении иерархии признаков без программирования, а также отличается
5517
инвариантностью и применяется в компьютерном зрении, обработке речи, обработке естественного языка и анализе временных рядов. Он может быть использован для обнаружения объектов, распознавания лиц и предсказания временных рядов. Однако, CNN требует больших объемов данных и вычислительных ресурсов, и имеет ограничения в потреблении памяти и интерпретации решений [1].
Нейронная сеть с прямолинейным движением - алгоритм для перемещения без отклонений. Она принимает данные о положении и направлении, обрабатывает их через скрытые нейроны и активационные функции. Выходной нейрон определяет следующее положение. Сеть корректирует движение с помощью обратного распространения ошибки. Данные о положении могут быть представлены в виде векторов или матриц. Обучение включает подстройку весов и параметров. Слои могут быть различными - полносвязными, сверточными или рекуррентными. Сеть может обрабатывать данные в реальном времени. Результаты ее работы могут использоваться в робототехнике, автономных транспортных средствах и компьютерном зрении [2].
Рекуррентная нейронная сеть (RNN) — это тип искусственной нейронной сети, способный учитывать предыдущую информацию в процессе работы. Она наиболее часто используется для анализа последовательных данных, таких как тексты, речь или временные ряды. RNN позволяет моделировать временные зависимости и использовать информацию о предыдущих шагах для более точных предсказаний. Однако, при обучении на длинных последовательностях данных может возникнуть проблема затухающего или взрывного градиента. Для решения этой проблемы были разработаны LSTM и GRU - модификации RNN. LSTM позволяет сохранять и обрабатывать долгосрочные зависимости с использованием внутренней памяти, в то время как GRU является более простой и вычислительно эффективной модификацией с вентилями для контроля потока информации.
5518
RNN широко применяется в обработке естественного языка, распознавании речи и прогнозировании временных рядов. Обучение RNN осуществляется через обратное распространение ошибки, однако требуется большой объем данных для обучения. Кроме того, RNN может быть использована для генерации текста, музыки и изображений на основе обученных шаблонов и статистики данных [3].
Нейронная сеть с радиальной базисной функцией моделирует и аппроксимирует нелинейные зависимости в данных. Она использует радиальный базисный функционал для измерения расстояния между входными данными и центрами базисных функций. Сеть может решать задачи классификации, регрессии и аппроксимации функций. Входные данные преобразуются с помощью базисных функций и передаются на скрытые слои для дальнейшей обработки. Веса между нейронами настраиваются с использованием алгоритмов обучения. Выходные данные вычисляются через взвешенную сумму выходов скрытых слоев. Нейронная сеть с радиальной базисной функцией обладает способностью адаптироваться к данным и обрабатывать сложные зависимости. Она находит применение в компьютерном зрении, распознавании образов, прогнозировании временных рядов, медицине и других областях. В целом, это мощный инструмент для обработки данных с нелинейными зависимостями [4].
Модульная нейронная сеть — это архитектура, состоящая из небольших нейронных модулей, объединенных вместе, чтобы выполнять различные функции. Она обладает гибкостью и масштабируемостью, что позволяет добавлять или удалять модули без изменения структуры. Модульная нейронная сеть применяется в машинном обучении и может быть использована в многих областях, таких как медицина, финансы и робототехника. Она также способна параллельно обрабатывать данные, обучаться распознаванию образов, анализировать тексты и генерировать речь
[5].
5519
Заключение
В данной статье были рассмотрены четыре типа нейронных сетей: конволюционная (CNN), нейронная сеть с прямолинейным движением, рекуррентная (RNN) сеть, а также нейронная сеть с радиальной базисной функцией (RBF).
Каждая из них имеет свои преимущества и применения в различных областях, таких как компьютерное зрение, обработка естественного языка, прогнозирование временных рядов и медицина. Однако, у каждой сети есть свои ограничения, такие как требование больших объемов данных, вычислительных ресурсов или проблемы с обучением на длинных последовательностях данных. Это подчеркивает значимость выбора подходящего типа нейронной сети в зависимости от конкретной задачи и набора данных.
В будущем, развитие и совершенствование этих типов сетей продолжит играть ключевую роль в обработке сложных данных и развитии искусственного интеллекта.
Список литературы
1. Тхакур А., Ризви Х., Сатиш М. "Мультипликация в виде белого ящика с использованием расширенной структуры GAN". // Международный журнал инженерных прикладных наук и технологий, 2021, стр. 2 -3.
2. Дж.-Р. Чжан, Дж. Чжан, Т.-М. Лок, Лю М. Р. "Гибридный алгоритм оптимизации роя частиц и обратного распространения для обучения нейронной сети с прямой связью" // Приложение. Математика. Вычисл., 2006, т. 185, N. 2, с. 1026 - 1037.
3. Сандермайер М., Шлютер Р., Не Х. Нейронные сети для языкового моделирования. // В Interspeech, 2012, С. 194-197.
4. Эланаяр С., Шин. YC. "Нейронная сеть с радиальной базисной функцией для аппроксимации и оценки нелинейных стохастических динамических
5520
систем". // IEEE transactions on neural networks. V. 5, N. 4, 1994, стр. 594603.
5. Хаппел Л. М. Б., Мур М. Дж. Дж. "Проектирование и эволюция модульных архитектур нейронных сетей". // Нейронные сети. Т. 7, № 6-7, 1994, С. 985-1004.
List of literature
1. Thakur A., Rizvi H., Satish M. "White-Box Cartoonization Using An Extended GAN Framework." // International Journal of Engineering Applied Sciences and Technology, 2021, P. 2-3.
2. J.-R. Zhang, J. Zhang, T.-M. Lok, Lyu M. R. "A hybrid particle swarm optimization and backpropagation algorithm for feedforward neural network training," // Appl. Math. Comput., 2006, V. 185, N. 2, P. 1026 - 1037.
3. Sundermeyer M., Schluter R., Ney H. LSTM Neural Networks for Language Modeling. // In Interspeech, 2012, P. 194-197.
4. Elanayar S., Shin. YC. "Radial basis function neural network for approximation and estimation of nonlinear stochastic dynamic systems." // IEEE transactions on neural networks. V. 5, N. 4, 1994, P. 594-603.
5. Happel LM. B., Murre MJ. J. "Design and evolution of modular neural network architectures." // Neural networks. V. 7, N. 6-7, 1994, P. 985-1004.
© Калик М.А., Дайнеко А.С., Драгун К.В., 2023 Научный сетевой журнал «Столыпинский вестник» №11/2023.
Для цитирования: Калик М.А., Дайнеко А.С., Драгун К.В., ОБЗОР НЕКОТОРЫХ РАЗНОВИДНОСТЕЙ НЕЙРОННЫХ СЕТЕЙ// Научный сетевой журнал «Столыпинский вестник» №11/2023.
5521
