ИССЛЕДОВАНИЕ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ С ПОМОЩЬЮ ГИБРИДНОГО АЛГОРИТМА, ВКЛЮЧАЮЩЕГО В СЕБЯ ЭЛЕМЕНТЫ АЛГОРИТМА ОБРАТНОГО РАСПРОСТРАНЕНИЯ И ГЕНЕТИЧЕСКОГО АЛГОРИТМА Текст научной статьи по специальности «Компьютерные и информационные науки»

Международный научный журнал «ВЕСТНИКНАУКИ» № 12 (33) Т.3

ДЕКАБРЬ 2020 г.

УДК 004

Нуштаева Е.П.

студентка группы САИУМ-З-181 Ульяновский государственный университет (Россия, г. Ульяновск)

Научный руководитель: Санников И.А.

Заведующий кафедрой ММТС ФМИАТ Ульяновский государственный университет (Россия, г. Ульяновск)

ИССЛЕДОВАНИЕ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ С ПОМОЩЬЮ ГИБРИДНОГО АЛГОРИТМА, ВКЛЮЧАЮЩЕГО В СЕБЯ ЭЛЕМЕНТЫ АЛГОРИТМА ОБРАТНОГО РАСПРОСТРАНЕНИЯ И ГЕНЕТИЧЕСКОГО АЛГОРИТМА

Аннотация: на данный момент в области разработки ПО нейронные сети становятся все более и более популярными. Разрабатываются разные алгоритмы их обучения. Каждый алгоритм имеет собственные достоинства и недостатки. В ходе данной научно-исследовательской работы был разработан алгоритм обучения нейронной сети, содержащий в себе элементы алгоритма обратного распространения и генетического алгоритма. Далее приведено его математическое и схематическое описание.

Ключевые слова: обучение нейронной сети, алгоритм обратного распространения, генетический алгоритм

В основе нового гибридного алгоритма обучения нейронной сети лежит алгоритм обратного распространения.

Некоторое количество эпох нейронная сеть обучается с помощью модифицированного алгоритма обратного распространения. При этом невязка

сети для нейронов выходного слоя рассчитывается также как и при обратном распространении ошибки. Невязка же скрытых слоев рассчитывается по невязке всех вариантов предыдущего слоя (1):

«Т1] = т^ХЕийо*^) (1)

г к

И, исходя из представленной выше невязки, также как и в алгоритме обратного распространения происходит приращение весов в направлении, противоположном градиенту, только в данном случае градиент будет являться матрицей, а не вектором. То есть веса изменяются так, чтобы сделать ошибки как можно меньшими по всем направлениям (Рисунок 1):

Рисунок 1. Направления изменения весов Делается шаг, как можно больше уменьшающий отклонения выходов нейронной сети от целевых значений в нескольких точках.

Что касается смещений, то для каждого варианта предыдущего слоя рассчитывается средняя накопленная ошибка, равная сумме накопленных ошибок всех нейронов, разделенной на количество нейронов в предыдущем слое (2):

= (2) ¿—I п

£1

к

Где п - количество нейронов в предыдущем слое. Приращение смещений - случайная величина, принимающая любое значение из ряда невязок вариантов

предыдущего слоя с вероятностью, равной 1 - st, где £г - средняя накопленная ошибка варианта предыдущего слоя (3).

х = е(Х), Р£(В) = 1 - Si (3)

Где x - приращение смещения.

При кроссинговере нейронов во время обучающих шагов с использованием генетического алгоритма в качестве функции приспособленности используется функция, указанная в формуле (4):

Г(Х) = 1 - L (4)

т

где £- накопленная ошибка нейрона выходного слоя (при этом после обучающего шага с использованием генетического алгоритма она сбрасывается и принимает нулевое значение), величина m описана в формуле (5):

т = о * I (5)

где I- это количество обучающих наборов, о - количество эпох обучения. Схема алгоритма представлена на рисунках 2 - 6.

Начало

+

Создать нейронную

сеть с одним вариантом входного слоя и несколькими вариантами внутреннего и выходного слоя

±

Проинициализировать

веса нейронов первого слоя, сделать их всех равными 1.0

Ж

Проинициализировать

веса нейронов скрытого и выходного

слоя случайными малыми значениями от 0 до 1. Причем нужно использовать разные диапазоны весов для

разных вариантов слоев (Наприме: все веса первого варианта

слоя сделать в пределах от 0 до 0.5, а второго варианта слоя от 0.6 до 0.9).

Рисунок 2. Общая схема алгоритма обучения нейронной сети (часть 1)

_©_

Проинициализировать смещения первого слоя значениями, равными 0.

_4_

Проинициализировать смещения нейронов скрытого и выходного

слоя случайными малыми значениями

от 0 до 1. Причем нужно использовать разные диапазоны смещений для разных вариантов слоев (Например: все смещения первого варианта слоя сделать в пределах от 0 до 0.5, а второго варианта слоя от 0.6 до 0.9).

Рисунок 3. Общая схема алгоритма обучения нейронной сети (часть 2)

Рисунок 4. Общая схема алгоритма обучения нейронной сети (часть 3)

Рисунок 5. Общая схема алгоритма обучения нейронной сети (часть 4)

Начало

Рисунок 6. Обучающий шаг

Для того, чтобы провести сравнительную характеристику двух алгоритмов, были отдельно разработаны и рассмотрены примеры их работы на языке java. При обучении нейронной сети с использованием нового алгоритма, значения, полученные на основании входных данных, меньше отклоняются от целевых значений, обучение происходит за меньшее количество эпох и времени. Новый алгоритм более оптимален по времени и точности обучения, но менее оптимален по расходуемой памяти.

СПИСОК ЛИТЕРАТУРЫ:

Нейронные сети - точность решения задач [Электронный ресурс]. - Режим доступа: http://www.neuropro.ru/neu5.shtml (Дата последнего

обращения: 01.03.2020).

Алгоритм обратного распространения ошибки [Электронный ресурс]. - Режим доступа: https://wiki.loginom.ru/articles/back-propagation-algorithm.html (Дата последнего обращения: 01.03.2020).

Описание генетического алгоритма [Электронный ресурс]. - Режим доступа: http://www.machinelearning.ru/wiki/index.php?title=%D0%93%D0%B5%D0%BD %D0%B5%D 1 %82%D0%B8%D 1 %87%D0%B5%D 1 %81 %D0%BA%D0%B8%D0 %B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1o/o82o/oD0o/oB С (Дата последнего обращения: 17.03.2020).