СРАВНЕНИЕ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ОШИБКИ И ДИФФЕРЕНЦИАЛЬНОЙ ЭВОЛЮЦИИ ДЛЯ ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.87

СРАВНЕНИЕ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ОШИБКИ И ДИФФЕРЕНЦИАЛЬНОЙ ЭВОЛЮЦИИ ДЛЯ ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ

В. Г. Юршин1 Научный руководитель - В. В. Становов

1 Сибирский федеральный университет Российская Федерация, 660041, г. Красноярск, просп. Свободный, 79

2Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газеты «Красноярский рабочий», 31

E-mail: gogusnow@gmail.com

Сравниваются результаты классификации с помощью нейронной сети, обученной обратным распространением ошибки и дифференциальной эволюцией. Обученная нейронная сеть может использоваться для предсказания деградации солнечных панелей.

Ключевые слова: искусственные многослойные нейронные сети, дифференциальная эволюция, классификация.

COMPARISON OF BACKPROPAGATION AND DIFFERENTIAL EVOLUTION FOR TRAINING MULTILAYER NEURAL NETWORKS

V. G. Yurshin1 Scientific supervisor - V. V. Stanovov2

1Siberian Federal University 79, Svobodny Av., Krasnoyarsk, 660041, Russian Federation 2Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-mail: gogusnow@gmail.com

This paper compares the classification results using a neural network trained in back propagation and differential evolution. A trained neural network can be used to predict the degradation of solar panels.

Keywords: artificial multilayer neural networks, differential evolution, classification.

Название алгоритма «обратное распространение ошибки» связано со способом расчета погрешностей в конкретных слоях. Алгоритм является наиболее известным и его чаще всего применяют для обучения искусственных нейронных сетей [1].

Вначале рассчитываются погрешности в последнем слое (на основе выходных и эталонных сигналов), далее в предпоследнем и так вплоть до первого слоя. Начальные значения весов, образующих сеть, выбираются случайным образом [1], в данной работе числа сгенерированы случайным образом из нормального распределения, при среднем значении 0 и стандартном отклонении 0.05. Шаг коррекции а равен 0.09 и в процессе обучения уменьшается.

В качестве активационных функций всех нейронов, кроме нейронов выходного слоя используется сигмоида (1). Обратное распространение использует метод градиентного

Актуальные проблемы авиации и космонавтики - 2020. Том 2

спуска, поэтому нужно вычислить производную сигмоиды (2), для коррекции весов принадлежащих данному нейрону.

/(ж)=Т^ (1)

/ •( ж) = / (ж)»(1 - / (ж))

Для последнего слоя в качестве функции активации используется войтах (3).

(2)

y =■

e

I e

i=i

(3)

На каждом обучающем примере получается выход сети, которое моделирует нужное нам вероятностное распределение, а для сравнения двух вероятностных распределений используется корректная мера [2]. Этой мерой является перекрестная энтропия (4).

(4)

n

Метод дифференциальной эволюции относится к методам эволюционного моделирования, предназначенный для решения задачи многомерной оптимизации. По классификации оптимизационных методов он относится к классу стохастических методов, так как использует в процессе поиска решения генератор случайных чисел [3].

Реализация алгоритма:

1. Инициализируется популяция, состоящая из векторов размерностью равной количеству связей в искусственной нейронной сети.

2. Основной цикл.

2.1. Применяется мутация с разницей между векторами. Создается донор-вектор для каждого вектора из популяции, три различных вектора выбираются случайно из текущей популяции, при этом они не должны быть равны. После этого разница между двумя векторами умножается на масштабирующий фактор F, и прибавляется к координатам третьего вектора.

2.2. Скрещивание - полученный, на предыдущем шаге, донор-вектор обменивается компонентами с целевым вектором для формирования пробного вектора. В данной работе используется биномиальный тип скрещивания (с определенной вероятностью берется компонент из донор-вектора, иначе - из целевого вектора, но как минимум один компонент из донор-вектора).

2.3. Селекция - если вектор полученный после скрещивания лучше или имеет ту же пригодность, он заменяет исходный вектор, в противном случае отбрасывается.

В таблице 1 представлена средняя точность 10 испытаний, каждого из алгоритмов, при различных параметрах. Здесь а - скорость обучения, Р - момент, F - масштабирующий фактор, Cr - вероятность скрещивания. Набор данных был взят с сайта KEEL [4].

Из таблицы следует, что при малых значениях параметров для обоих алгоритмов, их точность приблизительно равна для больших наборов данных, для малых (iris), метод дифференциальной эволюции показал себя лучше. С увеличением скорости обучения а, для обратного распространения ошибки точность в выборках titanic и phoneme уменьшается. При увеличении параметров F и Cr метод дифференциальной эволюции показал себя лучше. С увеличение количества слоев точность падает для больших наборов данных.

Сравнение точности алгоритмов

Па заметры Название набора данных Обратное распространение ошибки Дифференциал ьная эволюция

Обратное распространение ошибки Дифф. эволюция Кол-во итераций обучения

а=0.0005, Р=0.9, 1 скрытый слой, 10 нейронов F=0.1, Cr=0.1 30 iris 0.491228 0.62807

titanic 0.770455 0.768068

phoneme 0.744403 0.74556

а=0.05, Р=0.4, 1 скрытый слой, 10 нейронов F=0.5, Cr=0.5 30 iris 0.884211 0.715789

titanic 0.7275 0.770455

phoneme 0.59593 0.7537

а=0.05, Р=0.4, 1 слой - 10 н., 2 слой - 5 н. F=0.5, Cr=0.5 30 iris 0.391228 0.547368

titanic 0.380682 0.770455

phoneme 0.415772 0.748612

а=0.05, Р=0.4, 1 слой - 10 н., 2 слой - 5 н. F=0.5, Cr=0.5 60 iris 0.821053 0.717544

titanic 0.457771 0.747271

phoneme 0.301136 0.68864

Библиографические ссылки

1. Рутковская Д., Пилиньский М., Рутковский Л. Радченко В. Нейронные сети, генетические алгоритмы и нечеткие системы. Москва. Горячая линия - Телеком. 2006 г.— 385 с.

2. Нейронная сеть с SoftMax слоем на c#. [Электронный ресурс]. URL: https://habr.com/ru/post/155235/ (дата обращения: 03.04.2020).

3. Das S., Suganthan P. Differential Evolution: A Survey of the State-of-the-Art. IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION, VOL. 15, NO. 1, FEBRUARY 2011

4. Alcalá-Fdez, L. Sánchez, S. Garcia, M. J. del Jesus, S. Ventura, J. M. Garrell, J. Otero, C. Romero, J. Bacardit, V. M. Rivas, J. C. Fernández, and F. Herrera, 2009 KEEL: A software tool to assess evolutionary algorithms for data mining problems, Soft Comput., vol. 13, no. 3, 307-318.

© Юршин В. Г., 2020