CC BY
80
УДК 004.896
ИСПОЛЬЗОВАНИЕ АЛГОРИТМА ИМИТАЦИИ ОТЖИГА ДЛЯ ОБУЧЕНИЯ СЕТИ ТСК
© 2015 И.А. Лёзин, С.А. Кирьяков
Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет), г. Самара
Поступила в редакцию 30.07.2015
В статье описана сеть ТСК, модернизированная под использование алгебр Гёделя, Гогена и Лукашевича. Здесь рассматривается алгоритм имитации отжига в сравнении с классическим алгоритмом обратного распространения ошибки. На основе полученных результатов приводится анализ и рекомендации по использованию алгоритмов обучения.
Ключевые слова: нейронная сеть, сеть ТСК, алгебра, алгоритм имитации отжига, алгоритм обратного распространения ошибки.
Структура нечёткой сети ТБК основана на системе нечёткого вывода Такаги-Сугэно-Канга. Модель сети ТСК представлена на рис. 1.
Рис. 1. Модель сети ТСК Параметры сети:
Fzd) = Т — норма,
1v
F3Q) = P0 + YjPjIj , j=i
F4(/) = Т — норма,
F5(/) — S — норма.
Алгоритм имитации отжига — общий алгоритмический метод решения задачи глобальной оптимизации, особенно дискретной и комбинаторной оптимизации.
Алгоритм основывается на имитации физического процесса, который происходит при кристаллизации вещества, в том числе при от-Лёзин Илья Александрович, кандидат технических наук, доцент кафедры «Информационные системы и технологии». E-mail: [email protected].
Кирьяков Степан Алексеевич, студент пятого курса факультета информатики. E-mail: [email protected]
жиге металлов. Предполагается, что атомы уже выстроились в кристаллическую решётку, но ещё допустимы переходы отдельных атомов из одной ячейки в другую. Предполагается, что процесс протекает при постепенно понижающейся температуре. Переход атома из одной ячейки в другую происходит с некоторой вероятностью, причём вероятность уменьшается с понижением температуры. Устойчивая кристаллическая решётка соответствует минимуму энергии атомов, поэтому атом либо переходит в состояние с меньшим уровнем энергии, либо остаётся на месте. г 1 ¿-(Г) - < о
ПХ')-Р(Ю>0.(1)
Алгоритм имитации отжига применительно к сети ТСК:
где у - выход нейронной сети, у' - контрольные значения.
На каждой итерации происходит понижение температуры.
Ьь = Т - ехр(-а • ¿ь), а> 0, 0<Ь<1,
где Т - стартовая температура.
График уменьшения температуры приведен на рис. 2.
ЮО -1
90
ч= 50 - ^Ч^
40
30 - --
20 - -
ТО -
о ....................................................................................................
— Ч » cj к. - lije^mt4- — ч) е»? г«, — "*) о- го г4- — w) t>- <»> ir4-— — гчсчечтото-ч'-ч'-ч-'очо'о'очэг^г^тсососко-
Рис. 2. Зависимость температуры от итерации
Известия Самарского научного центра Российской академии наук, т.17, №2(5), 2015
Новые коэффициенты X' рассчитываются по формуле:
х/ = Бдп (а - • х,
где а - равномерно распределенная на отрезке [0, 1] случайная величина.
График зависимости отклонения параметров от итерации приведен на рис. 3.
Рис. 3. Зависимость отклонения параметров от итерации
Сравнительный анализ алгоритмов обратного распространения ошибки и алгоритма имитации отжига осуществлялся на выборке из 160 объектов. Число входных параметров N - 3. Число правил М - 5. Число классов К - 3.
Рассмотрим далее различные варианты построения сети ТСК в зависимости от выбранных операций Т- нормы и Б-нормы. На рисунках будут приведены зависимости числа ошибок от итерации обучения для двух указанных алгоритмов при решении задачи идентификации. В качестве исходных данных взята классическая задача ирисов Фишера.
ТСК сеть на основе операций сложение и произведение.
Тп(Х) = Пх1.
Рис. 4. Алгоритм имитации отжига
Рис. 5. Алгоритм обратного распространения ошибки
ТСК сеть на основе алгебры Гёделя. 5пШ = Мах(Х) . Тп(Х) = МЫ(Х).
180
200 300
Число итераций
Рис. 6. Алгоритм имитации отжига
120
100 --
60
40
20
20
40
60
100
120
Рис. 7. Алгоритм обратного распространения ошибки
ТСК сеть на основе алгебры Гогена. 5п(Х) = 5п(х£_1) Ч- л:£ — 5П(Х£_1) • х£.
Тп(Х) = П*;.
Число итераций
Рис. 8. Алгоритм имитации отжига
О 20 40 60 ВО 100 120
Число итераций
Рис. 9. Алгоритм обратного распространения ошибки
ТСК сеть на основе алгебры Лукашевича. Sn(X) = MinCl^Xi).
TnOO = Max(0,Max(X) + Мах(Х') - 1,).
160 I i i i
140 -о 120 "
ID
| 100 ---
о
180 t60 -в
о
К 40 -20 -0 ti''
0 100 200 300 400 500 600
Число итераций
Рис. 10. Алгоритм имитации отжига
Как видно из результатов испытаний, в алгебрах, где используются операции S-нормы и T-нормы, ко-
0 50 100 150 200 250
Число итераций
Рис. 11. Алгоритм обратного распространения ошибки
торые можно дифференцировать, алгоритм обратного распространения ошибки показывает лучший результат за меньшее число итераций. В алгебрах, где указанные операции не дифференцируемы и их дифференциал заменялся некоторой суррогатной функцией, алгоритм имитации отжига показывает меньшее число ошибок, но при этом требует большего числа итераций обучения.
В случае с алгеброй Лукашевича из-за ограничений функции сверху и снизу невозможно оценить новое состояние, поэтому алгоритм имитации отжига работает некорректно.
СПИСОК ЛИТЕРАТУРЫ
1. ХайкинС Нейронные сети: полный курс, 2-е издание [пер. с англ.]. М.: Издательский дом «Вильямс», 2006. 1104с.
2. Осовский С. Нейронные сети для обработки информации [пер. с польского И. Д. Рудинского]. М.: Финансы и статистика, 2002. 344с.
3. Алгоритм имитации отжига [Электронный ресурс].
- URL: ЬИрБ://т.тк1реШа.ог§;/тк1/Алгоритм_ими-тации_отжига (дата обращения 15.06.2015).
4. Метод имитации отжига [Электронный ресурс].
- URL: http://habrahabr.ru/post/112189/ (дата обращения 15.06.2015).
5. Введение в оптимизацию. Имитация отжига [Электронный ресурс]. - URL: http://habrahabr.ru/ post/209610/ (дата обращения 15.06.2015).
6. Нейронные сети для обработки информации [Электронный ресурс]. - URL: http://stu.scask.ru/ book_ns.php?id=29. (дата обращения 15.06.2015).
7. UCI Machine Learning Repository: Iris Data Set [Электронный ресурс]. - URL: http://archive.ics.uci. edu/ml/datasets/Iris (дата обращения 15.06.2015).
USAGE OF SIMULATED ANNEALING ALGORITHM TO TRAIN THE TSK NETWORK
© 2015 I.A. Lyozin, S.A. Kiryakov Samara State Aerospace University named after Academician S.P. Korolyov (National Research University)
The article describes the TSK network modified for using Goedel, Goguen and Lukasiewicz algebras. Here we consider the simulated annealing algorithm in comparison with the classic back-propagation algorithm. We provide an analysis and recommendations of using the learning algorithms based on the results. Keywords: neural network, TSK network, simulated annealing algorithm, backpropagation algorithm.
Ilya Lyozin, Candidate of Technics, Associate Professor at the Information Systems and Technologies Department. E-mail: [email protected].
Stepan Kiryakov, Fifth-Year Student of the Faculty of Computer Science. E-mail: [email protected]
