CC BY
51
УДК 004.896
ИСПОЛЬЗОВАНИЕ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА ДЛЯ РЕШЕНИЯ ЗАДАЧИ ИДЕНТИФИКАЦИИ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ
© 2016 И.В. Лёзина, Н.А.Николаева
Самарский национальный исследовательский университет имени академика С.П. Королёва
Статья поступила в редакцию 11.11.2016
В статье описана разработанная авторами автоматизированная система идентификация законов распределения многослойным персептроном. Реализованная система использует многослойный персеп-трон, обученный при помощи алгоритма обратного распространения ошибки и алгоритма Ошскргор. В статье приводятся результаты исследования качества идентификации законов распределения. Ключевые слова: автоматизированная система, нейронная сеть, многослойный персептрон, алгоритм обучения, идентификация, закон распределения.
Идентификация законов распределения случайной величины - распространенная задача, решение которой применимо в различных областях приборостроения для оценки брака на производстве, для анализа экономических процессов, в банковском деле - для расчетов времени обслуживания заявок, а также в учебных целях [1].
Одним из вариантов решения данной задачи является применение нейронных сетей. Возможность обучения - одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Она реализуется с помощью специально разработанных методов. В данной работе рассматривается идентификация законов распределения многослойным персептроном с одним скрытым слоем, обучаемым методом обратного распространения ошибки и методом Ouickprop.
Метод обратного распространения ошибки - итеративный градиентный алгоритм, который используется с целью минимизации ошибки работы многослойного персептрона и получения желаемого выхода [2]. Алгоритм состоит из следующих шагов.
1. Инициализация. Генерируются синаптиче-ские веса и пороги с помощью генератора случайных вещественное чисел из промежутка [0;1).
2. Предъявляются примеры обучения. В сеть подаются образы из обучающего множества. Для каждого образа выполняются последовательно прямой и обратный проходы, описанные в пункте 3 и пункте 4.
3. Прямой проход. Вычисляются индуцированное локальное поле нейрона (взвешенная сумма всех синаптических весов плюс порог) v(n) и выходные сигналы сети, проходя по ней в прямом направлении послойно по формуле (1) [3]
Лёзина Ирина Викторовна, кандидат технических наук, доцент кафедры «Информационные системы и технологии». E-mail: [email protected]
Николаева Настасия Александровна, студент второго курса магистратуры факультета информатики. E-mail: [email protected]
Ро
= . (1) 1=0
Выходной сигнал нейрона; слоя l определяется следующим образом:
у$1\п) = ф;.(гт/(п)) . (2)
Далее вычисляется сигнал ошибки, используя )-й элемент вектора желаемого отклика:
е]- (п) = (п) - о] (п) . (3)
4. Обратный проход. Вычисляются локальные градиенты (требуемые изменения синаптическо-го веса узлов) для нейрона ) по формуле (4):
8,(0(п) = | , ЧЛ (4)
V к
Изменение весов осуществляется по следующему общему правилу (5):
w¿iЧn + l) = w£)(n) +
+ а[п}р(п - 1)] + ^(гОу^Сп), (5)
где к - коэффициент обучения,
а - постоянная момента.
5. Итерации. Последовательно повторяется прямой и обратный проход, пока не будет достигнут критерий останова.
Минусом этого алгоритма является неопределённо долгий процесс обучения.
В данной работе также рассматривается метод обучения сети Ошскргор. Ошскргор- один из эвристических методов, являющийся модификацией метода обратного распространения ошибки. Модификации вносятся для ускорения процесса обучения. Как правило, такие методы основаны на личном опыте работы авторов с нейронными сетями. Известна упрощенная версия алгоритма
Ошскргор, в которой значения весов изменяются в соответствии с правилом, представленным формулами (6, 7, 8)[4]
(«у (/с) Дм/у (/с - 1), для Дм/у (А: - 1) Ф О дЕ (6)
Дм/£ =
дм/у
«¿у (/с) = шт(
- 1) - 5£;(УС) дЕ(игц(к))
,а
тах
Зм^-
) (7)
(8)
где а- коэффициент момента, соответствует оригинальному слагаемому в методе наискорейшего спуска, а = 1,75.
' ' тах '
Для решения поставленных задач была разработана автоматизированная система идентификации законов распределения [5]. Функции системы представлены на диаграмме вариантов использования (рис. 1), разработанной по методологии иМЬ. После запуска системы пользователь может задать нейронную сеть, указав различные параметры сети, обучить сеть, указав параметры обучения, сохранить сеть для последующего использования, генерировать выборки, строить гистограммы выборок, добавить выборку в библиотеку выборок, идентифицировать законы распределения.
Результаты исследования зависимости количества верно распознанных законов распреде-
ления от различных параметров представлены в табл. 1-6.
В табл.1 представлен результат исследования зависимости процента верно распознанных законов распределения от выбранного метода обучения. Метод обратного распространения ошибки показывает более точные результаты, чем метод Ошскргор, однако сеть, обученная методом Ошскргор, также показывает высокий процент распознавания законов распределения.
Зависимость количества итераций обучений сети от выбранного метода обучения представлена в табл. 2. Количество итераций обучения меньше у сети, обученной методом ОuiqPгop- 34 итерация против 75 по сравнению с сетью, обученной методом обратного распространения ошибки.
В табл. 3 представлена зависимость процента верно распознанных законов распределения от числа дифференциальных коридоров. Исходя из полученных результатов, можно сделать вывод о том, что чем больше количество отсчетов, тем точнее и приближенней к плотности вероятности получается гистограмма, сеть обучается на данных более приближенным к реальным и дает ответы точнее.
Как показывает табл. 4, нейронная сеть, использующая гиперболический тангенс в качестве функции активации, обучается лучше. Кроме того, использование гиперболического тангенса позволяет обучать сеть быстрее, чем при использовании логистической функции активации.
Рис. 1. Диаграмма вариантов использования
Таблица 1. Зависимость процента верно распознанных законов распределения
от выбранного метода обучения
Метод Ошскргор Метод обратного распространения ошибки
93 96
Таблица 2. Зависимость количества итераций обучений сети от выбранного метода обучения
Метод Ошскргор Метод обратного распространения ошибки
34 76
Таблица 3. Зависимость процента верно распознанных законов распределения от числа дифференциальных коридоров
Число дифференциальных коридоров Процент верно распознанных законов распределения
10 78
12 84
15 88
17 90
20 94
Таблица 4. Зависимость процента верно распознанных законов распределения
от функции активации
Логистическая функция активации Функция активации гиперболический тангенс
94 95
Таблица 5. Зависимость процента верно распознанных законов распределения от размера выборки
Размер выборки Процент верно распознанных законов распределения
1000 75
5000 83
10000 87
15000 92
20000 96
Таблица 6. Зависимость процента верно распознанных законов распределения от числа нейронов в скрытом слое
Число нейронов на скрытом слое Процент верно распознанных законов распределения
5 84
8 88
10 92
12 96
Результат исследования зависимости качества идентификации от размера используемых выборок представлен в табл. 5. Чем больше количество дифференциальных коридоров, тем точнее получаются результаты идентификации.
Исходя из полученных данных, представленных в таблице 6, можно сделать вывод о том, что сеть хорошо идентифицирует законы при различном числе нейронов в скрытом слое.
Процент распознанных законов при различных параметрах сети находится в диапазоне 75-96%. Оптимальные значения получились следующие: число дифференциальных коридоров -20, число нейронов в скрытом слое - 12, функция активации - гиперболический тангенс, размер выборки - 20000. По результатам проведенных исследований можно сделать вывод о хороших идентификационных возможностях многослойного персептрона [6].
СПИСОК ЛИТЕРАТУРЫ
1. Проблемы идентификации моделей распределения случайных величин с применением современного программного обеспечения. URL: http://www.rae. ru/use/?section=content&op=show_article&article_ id=7981699 (дата обращения 15.04.2016).
2. Хайкин С. Нейронные сети: Полный курс. [пер. с англ.]. 2-е изд. М.: Вильямс, 2006. 1104 с.
3. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.
4. Эвристические алгоритмы обучения многослойного персептрона. URL:http://ai-news. ru/2015/07/evristicheskie_algoritmy_obucheniya_ mnogoslojnogo_perseptrona_343719.html (дата обращения 20.04.2016)
5. Лёзина И.В., Николаева Н.А. Автоматизированная система идентификации законов распределения многослойным персептроном // Наука и образование в жизни современного общества, том 5: сб. научных трудов по материалам международной научно-практической конференции 30 апреля 2015 г. Тамбов, 2015. С. 77-78.
7. Лёзина И.В., Николаева Н.А. Идентификация законов распределения многослойным персептроном // Перспективные информационные технологии
(ПИТ 2016): труды Международной научно-технической конференции [под ред. С.А. Прохорова]. Самара, 2016. С. 274-276.
USING THE MULTILAYER PERCEPTRON FOR IDENTIFYING THE DISTRIBUTION LAWS
© 2016 I.V. Lyozina, N.A. Nikolaeva
Samara National Research University named after Academician S.P. Korolyov
The article describes an automated system identification of probability distribution by multilayer perceptron. The implemented system uses a multilayer perceptron learned by back propagation algorithm and Ouickprop algorithm. The article presents the results ofresearch identifying qualityof probability distributions. Keywords: automated system, neural network, multilayer perceptron, learning rule, identification, probability distribution.
Irina Lyozina, Candidate of Technics, Associate Professor at the Information Systems and Technologies Department. E-mail: [email protected].
Nastacia Nikolaeva, Second-Year Student of Magistracy of the Faculty of Computer Science. E-mail:[email protected]
