CC BY
128УДК 004.896
Технические науки
Загинайло М. В., аспирант 1 курс, направление «Информационные системы и процессы» Донской государственный технический университет (ДГТУ) Россия, г. Ростов-на-Дону
ВЛИЯНИЕ КОЛИЧЕСТВА НЕЙРОНОВ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ НА ЭФФЕКТИВНОСТЬ ЕЕ РАБОТЫ
Аннотация: В работе проводится анализ эффективности работы искусственной нейронной сети(ИНС) в задаче распознавания образов. Исследуется зависимость между эффективностью распознавания и количеством нейронов в скрытых слоях ИНС.
Ключевые слова: распознавание образов, многослойный персептрон, искусственная нейронная сеть, искусственный нейрон.
Annotation: The paper analyzes the effectiveness of the artificial neural network (ANN) in the problem of pattern recognition. We study the dependence between the recognition efficiency and the number of neurons in hidden layers of the ANN.
Keywords: pattern recognition, multilayer perceptron, artificial neural network, artificial neuron.
Многослойный персептрон является одной из самых популярных моделей построения нейронных сетей. Такая модель позволяет решать трудно формализуемые и нечетко поставленные задачи, задачи для которых неизвестно алгоритмическое решение, но для решения, которых можно оперировать выборками данных из генеральной совокупности, для которых уже известно решение [1]. На этапе обучения нейронная сеть выявляет закономерность
между входными образами и выходными, как бы «обобщая» весь полученный опыт. Такая способность к обучению является феноменальной особенностью искусственных нейронных сетей. В подобных задачах определяющим успех фактором является большая обучающая выборка, для которых известно решение. Основное направление в которых применяются искусственный сети — это разнообразные интеллектуальные системы для анализа данных, распознавания образов, прогнозирования и т.д.
Глубина и сложность топологии нейронной сети зависят от условий задачи для которой эта система моделируется. Такие факторы как сложность задачи, количество данных для обучения, выделенная память, требуемое количество входов и выходов будут влиять на сложность организации нейронов и глубину нейронной сетир [2].
В рамках данной работы будет произведен анализ влияния глубины и количества используемых нейронов на процент возникающих ошибок при распознавании изображений. Для этого смоделируем тестовую нейронную сеть. Данная тестовая сеть позволит распознавать черно-белые изображения, полученные из файла. На экране вывода информации будет предусмотрена возможность отображения хода эксперимента, а также график уменьшения ошибки с течением времени. Программа работает в два этапа: обучение и распознавание. Количество слоев нейронной сети и количество нейронов задаются пользователем на этапе инициализации программы.
Опишем процесс обучения моделируемой нейронной сети, который алгоритмически представлен на рисунке 1. На первом шаге алгоритма присвоим всем весам нейронов скрытого слоя и выходного слоя некоторые случайные величины значением от 0 до 1. Далее на подадим некий входной вектор данных на вход нейронной сети, и дождемся активации выходного вектора. Для скрытых слоев произведем суммирование произведения весов связей всех нейронов в скрытых слоях с входным вектором. Для выходного слоя произведем суммирование произведения весов связей нейронов выходного слоя с выходным вектором. В результате этой операции получаем полноценный
выходной вектор сети. Далее начинает работать алгоритм обратного распространения ошибки. В качестве функционала подлежащего минимизации с помощью метода градиентного спуска найдем среднеквадратичное отклонение реального выходного вектора сети от заранее предполагаемого. Для процесса минимизации ошибки и корректировки весов применим метод градиентного спуска, а в качестве функции активации применим сигмоидальную функцию.
коррекция весов для минимизации ошибки (алгоритм обратного распространения)
X
^^^ конец
Рисунок 1 - Алгоритм обучения нейронной сети
®
Для первого эксперимента создадим трехслойную нейронную сеть, с двумя скрытыми слоями и различным количеством нейронов в каждом слое. Результаты экспериментов занесем в таблицу 1.
В ходе эксперимента нейронная сеть распознавала одинаковые образа на различных параметрах, заданных при инициализации приложения, а именно при различном количестве нейронов в скрытом слое.
Количество нейронов в 1-м скрытом слое
Количество нейронов во 2-м скрытом слое
График ошибки
Процент ошибок в распознавании
15%
12%
11%
9%
10%
4
6
4
4
3
3
3
2
7
2
Из таблицы 1 видно, что наилучший результат работы показала нейронная сеть с 3-мя нейронами в первом скрытом слое и 2-мя нейронами во втором скрытом слое. Ошибка в такой конфигурации минимальна, а стабильный уровень отклика и безотказная работа достигается за минимальное время.
Из результатов эксперимента видно, что чрезмерное увеличение нейронов в скрытых слоях персептрона может привести к явлению переобучения, когда правильно обученная нейронная сеть теряет способность обобщать информацию, а ошибка распознавания начинает расти.
На основании проделанной работы можно сделать вывод, что при недостаточном количестве нейронов и слоев сеть обучается очень плохо, а в иных случаях может и вовсе не обучиться. Ошибка распознавания в такой ситуации остается очень большой, а на выходе нейронной сети не отразятся резкие колебания аппроксимируемой выходной функции [3].
Неоправданно большое количество нейронов и слоев так же негативно сказывается на работе нейронной сети. Самыми явными проблема будут являться большое время обучения, снижения быстродействия, появление эффекта переобучения, попадание в локальный минимум и паралич нейронной сети (явление в ходе, которого, значения весов в результате коррекции становятся очень большими, а производная сжимающей функции очень мала).
Библиографический список:
1. Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. -М.: Издательский дом «Вильямс», 2006 г. - 1104 с.
2. Каллан Р. Основные концепции нейронных сетей. — М. : Вильямс, 2001. — 287 с.
3. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика - М.: Горячая линия-Телеком, 2002. — 382 с.
