CC BY
69
УДК 004.89
ИССЛЕДОВАНИЕ ИДЕНТИФИЦИРУЮЩИХ СВОЙСТВ НЕЧЕТКОГО МНОГОСЛОЙНОГО ПЕРСЕПТРОНА
© 2014 И.В. Лёзина, А.Е. Краснов
Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Поступила в редакцию 17.12.2013
В статье описана автоматизированная система для идентификации плотности распределения вероятности. В системе используется нейронная сеть модели нечеткий многослойный персептрон. В статье анализируются результаты идентификации, полученные сетями, в которых применяется различные алгоритмы обучения, и делается вывод о наилучшем алгоритме обучения. Ключевые слова: автоматизированная система, нейронная сеть, идентификация, нечеткий многослойный персептрон, алгоритмы обучения
Решение задачи идентификации является одним из важнейших применений нейронных сетей [1].
Задача идентификации представляет собой задачу отнесения образца к одному из нескольких попарно не пересекающихся множеств. Примером таких задач может быть, например, задача определения кредитоспособности клиента банка, медицинские задачи, в которых необходимо определить, например, исход заболевания, решение задач управления портфелем ценных бумаг (продать, купить или "придержать" акции в зависимости от ситуации на рынке), задача определения жизнеспособных и склонных к банкротству фирм.
Для исследования идентифицирующих свойств была разработана автоматизированная система, реализующая нечеткий многослойный персептрон, а также алгоритмы обучения данной нейронной сети.
С учётом ярко выраженной двухкомпонент-ной структуры гибридной сети для её обучения применялся алгоритм, состоящий из двух этапов.
На первом этапе обучения использовался алгоритм нечеткой самоорганизации C-means или K-means.
Рассмотрим алгоритм C-means.
Подаваемый на вход сети вектор x будет принадлежать к различным группам, представляемым центрами с,, в степени u t , причем 0 < u ,t < 1, а суммарная степень принадлежности ко всем группам, очевидно, равна единице [2].
Поэтому:
Лёзина Ирина Викторовна, кандидат технических наук, доцент кафедры "Информационные системы и технологии", E-mail: [email protected]
Краснов Андрей Евгеньевич, студент второго курса магистратуры шестого факультета. E-mail: [email protected]
2 ut = 1.
(1)
Первичная инициализация центров функции Гаусса:
/ m
Ж Tx . t=1_
" г
(2)
Функцию погрешности можно определить как сумму частных погрешностей принадлежности к центрам , с учетом степени принадлежности ч. Следовательно:
М Р / \ 2
Е = 22 КЛК - х>\\ . (3)
I =1 t=\
Новые значения степеней принадлежности: 1
M I d2 ) m-1
2 i ¿I j
(4)
Рассмотрим второй использованный алгоритм нечеткой самоорганизации K - means.
Главной концепцией алгоритма K - means является центроид, или центр масс. В кластеризации данных центр масс набора последовательностей данных — это одна из последовательностей, которая является наиболее репрезентативной в группе.
На рис. 1 представлен пример самоорганизации входных данных. Элемент данных, заключенный в окружность, в каждом наборе, является центром масс этого набора [3].
В конечном счете, цель данного алгоритма -это минимизация целевой функции:
' = 221
j=i i=1
(5)
i=1
с
t=1
и
x (j' - с
260 240 220 200 180 160 140 120 100 SO
/ л. \
( rt ♦ ♦ Л 1 L
( taster . ч V ♦ ♦ \ /
4х \
V т А
Cluster \ У /
Л \ Ilusterl
♦ ■Л. ♦ )
55 60 65 70 7S
Рис. 1. Пример самоорганизации входных данных
80
На втором этапе обучения возможно использование алгоритма обратного распространения ошибки или эвристического алгоритма.
Алгоритм обратного распространения ошибки сводится к корректировке синоптических связей по формулам [4]:
w ( + 1 )= w ( )+ Д w (6),
где д w = ц р ( ) (7)
Обучение многослойной сети с применением градиентных методов требует определения вектора градиента относительно весов всех слоев сети, что необходимо для правильного выбора направления p(w).
Простой эвристический алгоритм, демонстрирующий высокую эффективность обучения, -это алгоритм М. Ридмиллера и Х. Брауна, называемый КРКОР [5]. В этом алгоритме при уточнении весов учитывается только знак градиентной составляющей, а ее значение игнорируется:
коэффициента обучения составляют цтт = 10 "6 и цтах = 50. Функция sgn( ) принимает значение, равное знаку градиента.
В начале работы системы, можно загрузить из файла ранее созданную нейронную сеть или создать новую. На рис. 2 представлена форма создания новой нейронной сети [6].
A wy (t) = -nv (t )sgn
( Э E (w (t)) A Э w „
(8)
Коэффициент обучения подбирается индивидуально для каждого веса щ. с учетом изменения значения градиента:
min (aп.(t - 1 ),пmax ; для S.(t)S .(t - 1 )> 0 max (bпv(t - 1 ),пmn ) для S.(t)S.(t - 1 )< 0 П.. (t -1) в остальных случаях
П y(t)={ {
(9)
где
„ , ч Э E (w (t)) , , 0
Sy (t) = —^—, a и b - константы: a=1.2;
Э
b=0.5. Минимальное и максимальное значения
Рис. 2. Создание новой нейронной сети
Пользователь может выбрать для персептро-на функцию активации его нейронов, алгоритм обучения, коэффициент, погрешность обучения и количество нейронов в скрытом слое. Также возможно подключить нечеткий слой и тогда нейронная сеть будет работать как нечеткий многослойный персептрон. Если не подключать нечеткий слой, то сеть будет работать, как обычный многослойный персептрон, что может негативно
w
Таблица 1. Зависимость качества идентификации от модели нейронной сети и алгоритма обучения
Нечеткий многослойный персептрон Многослойный персептрон
Алгоритм обратного распространения ошибки 116 107
Эвристический алгоритм обучения RPROP 130 113
Таблица 2. Зависимость качества идентификации от функции активации нейронов
Логистическая функция активации Функция активации гиперболический тангенс
Количество правильно идентифицированных классов 124 129
Таблица 3. Зависимость качества идентификации от алгоритма обучения нечеткого слоя
K - means C - means
Количество правильно идентифицированных классов 119 122
сказаться на идентифицирующих способностях сети [7].
Для двух идентифицируемых классов было сгенерировано 200 тестовых примеров. В таб. 1 представлено сравнение идентифицирующих способностей нейронной сети с включенным и отключенным нечетким слоем, а также сравнение различных алгоритмов обучения для многослойного персептрона.
Как видно из таб. 1, наиболее хорошими идентифицирующими способностями обладает гибридная нейронная сеть модели нечеткий многослойный персептрон.
Эвристические алгоритмы обладают более высокой эффективностью при обучении нейронной сети.
При отключенном нечетком слое эвристический алгоритм обучения КРКОР обладает более высокой эффективностью, однако общее качество идентификации сети ухудшилось.
Качество идентификации может зависеть и от функции активации нейронов. В таблице 2 для 200 тестовых выборок представлена зависимость качества идентификации нечеткого многослойного персептрона от функций активации нейронов персептрона.
Как видно из таб. 2, функция активации гиперболический тангенс позволяет нейронной сети приобрести более высокие идентифицирующие свойства. Однако стоит заметить, что большой разницы в качестве идентификации при разных функция активации не наблюдается.
Качество идентификации может зависеть от
алгоритма обучения нечеткого слоя. В таб. 3 для 200 тестовых выборок представлена зависимость качества идентификации нечеткого многослойного персептрона от выбора алгоритма обучения нечеткого слоя.
Как видно из таб. 3, наиболее хорошие идентифицирующие свойства сеть приобретает при использовании алгоритма C - means.
Исследования показали, что наилучшими идентифицирующими свойствами обладает сеть модели нечеткий многослойный персептрон, для обучения которого применялся эвристический алгоритм RPROP.
СПИСОК ЛИТЕРАТУРЫ
1. Стариков А. Применение нейронных сетей для задач классификации. URL: http://www.basegroup.ru/ library/analysis/neural/classification/ (дата обращения 22.11.2013).
2. Осовский С. Нейронные сети для обработки информации [пер. с польского И. Д. Рудинского]. М.: издательский дом «Финансы и статистика», 2002. 344 с.
3. Маккафри Д. Обнаружение аномальных данных методом k - средних URL: http://msdn.microsoft.com/ ru-ru/magazine/jj891054.aspx (дата обращения 22.11.2013).
4. Уоссерман Ф. Нейрокомпьютерная техника: теория и практика [пер. с англ. Ю.А. Зуева]. М.: Мир, 1992. 184 с.
5. Хайкин С. Нейронные сети: Полный курс [Пер. с англ.]. 2-е изд. М.: Вильямс, 2006. 1104 с.
6. Лёзина И.В., Краснов А. Е. Идентификация плотности распределения вероятности нечетким многослойным персептроном // Перспективные научные технологии в научных исследованиях, проектировании и обучении (ПИТ 2012). Самара: Издательство Са-
марского научного центра РАН, 2012. 317 с. 7. Лёзина И.В., Краснов А. Е. Исследование погрешности идентификации законов распределения искусственной
нейронной сетью // XII Королёвские чтения: Международная молодёжная научная конференция: тезисы докладов. Самара: Издательство СГАУ, 2013. С. 204
STUDY OF IDENTIFYING PROPERTIES OF NON-DISTINCT MULTILAYER PERCEPTRON
© 2014 I.V. Lyozina, A.E. Krasnov
Samara State Aerospace University after Academician S.P. Korolev (National Research University)
The article describes an automated system for identification of the density distribution probability function. This system uses a neural network model of fuzzy-logic multilayer perceptron. The article analyzes the results of identification calculated by the networks applying different learning algorithms, and concludes on the best learning algorithm.
Keywords: automated system, neural network, identification, non-distinct multilayer perceptron, learning algorithms
Irina Lyozina, Ph.D., Assoc. Prof. of Department "Information Systems and Technologies". E-mail: [email protected]. Andrey Krasnov, Second-Year Undergraduate student of Department "Information Systems and Technologies" E-mail: [email protected]
