CC BY
21Математические методы моделирования, управления и анализа данных
УДК 519.87
САМОНАСТРАИВАЮЩИЙСЯ НЕЙРОГЕНЕТИЧЕСКИЙ АЛГОРИТМ
Я. С. Полонская
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
При помощи разработанного алгоритма решаются задачи распознавания сигналов, эффективное решение которых позволяет повысить надёжность работы навигационных систем дальней радиосвязи и обеспечения полётов космических аппаратов.
Ключевые слова: нейронные сети, самонастройка, генетический алгоритм, оптимизация, классификация, распознавание сигналов.
SELF-CONFIGURATING NEUROGENETIC ALGORITHM
Y. S. Polonskaya
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation Е-mail: [email protected]
The signal recognition problems are solved with the help of the developed algorithm, effective solution of such problems will make to improve the reliability of the navigation systems of long-range radio communication and flights spacecrafts.
Keywords: neural networks, self-configuration, genetic algorithm, optimization, classification, signal recognition.
Благодаря развитию современной компьютерной техники, существует возможность эффективно анализировать большие объемы информации. Искусственные нейронные сети (ИНС), являются мощным инструментом анализа данных. В то же время, для эффективного использования ИНС необходимо решить две задачи безусловной оптимизации: одна задача связана с выбором структуры сети, а другая - подбором весовых коэффициентов [1]. При настройке нейронных сетей с помощью классических методов существует риск попадания в локальный оптимум, эффективность модели в таком случае значительно падает. Для предотвращения этого риска, в данной работе для настройки структуры нейронной сети и предварительной настройки комбинации весовых коэффициентов, перед использованием локального метода оптимизации используется самонастраивающийся генетический алгоритм (СГА), аналогичный использованному в [2]. В качестве локального метода оптимизации в данной работе выступает метод сопряженных градиентов. Эффективность использования СГА для глобальной оптимизации доказана путем сравнительного тестирования ГА с лучшими настройками и СГА на десяти тестовых функциях. Лучшая комбинация настроек генетического алгоритма так же была определенная путем тестирования: турнирная селекция с размером турнира 9, средняя мутация, двухточечное скрещивание, вероятность скрещивания: 0,95.
В каждом из тестов алгоритмам были заданы одинаковые ресурсы и область поиска решения. Размерность тестовых функций достигала 50, а наибольшая область поиска решения была задана [-80000; 80000].
Надежности обоих алгоритмов были усреднены по всем тестовым прогонам, в результате чего для стандартного ГА с лучшими настройками средний показатель надежности был равен 0,75, а для СГА 0,87.
При автоматическом проектировании нейросетей использованы 16 активационных функций нейронов. Такой подход позволяет сделать структуру нейронной сети более адаптивной. Разработанный алгоритм был проверен на наборе тестовых задач моделирования функций. Фрагмент результатов теста представлен в таблице.
С помощью разработанного алгоритма были решены 3 задачи классификации.
Эти же задачи были также решены шестью различными способами в программной системе анализа данных RapidMinerStudio [3]:
1) ИНС, оптимизированная при помощи ГА с лучшими настройками;
2) ИНС, оптимизированная при помощи ГА со стандартными настройками программы Rapid Miner;
3) стандартная ИНС;
4) ИНС с заданным оптимальным количеством слоев и нейронов на каждом слое, полученными при помощи самонастраивающегося нейрогенетического алгоритма;
5) ИНС с заданным оптимальным количеством слоев и нейронов на каждом слое (найденными самонастраивающимся нейрогенетическим алгоритмом), оптимизированная при помощи ГА со стандартными настройками; 6) ИНС с заданным оптимальным количеством слоев и нейронов на каждом слое, оптимизированная при помощи ГА с лучшими настройками.
Решетневские чтения. 2017
Результаты тестирования самонастраивающегося нейрогенетического алгоритма
Моделируемая функция Диапазон входных переменных Ошибка моделирования, %
Обучение Тест
y = х2 • sin(x) X e [-10; 10] 0,08 0,1
y = Xj2 sin sin ( Xj) + x22 sin( x2) x e[-4;3] 0,33 0,61
y = 100(x2 -X2)2-(1 -X)2 x e[-2;3] 0,22 0,29
sin^ x2 + x22 y ¡22 •y/X + x2 X e [-4л; 4л] 0,31 0,51
y = 10sinsin (;tx1 x2) + 20 (x3 - 0,5)2 +10x4 + 5x5 x e[0;1] 0,84 1,22
y = -2-exp -2 (x2 + x22) cos [2тс( + x2) x e [0; 2] 0,54 0,86
y = 0,1x2 + 0,1x2 -4coscos(0,8x1)-4coscos(0,8x2) + 8 X e [-4; 4] 0,12 0,35
f (х) = 0,05 (x -1)2 + (3 - 2,9e-2'77257x2 ) x X 1 - coscos (x (4 - 50e-2 77257x2 )) X e [-2; 2] 0,4 0,5
Первая задача состоит в классификации высокочастотных радарных сигналов, возвращаемых из ионосферы. Данные несут в себе информацию о наличии или отсутствии заряженных частиц в ионосфере Земли. База данных, содержит 351 экземпляр и 34 атрибута [4]. База данных о гидроакустических сигналах содержит 208 экземпляров и 60 атрибутов [5]. И третья задача состояла в распознавании спама в электронных письмах. База данных содержала 1000 экземпляров, и 58 атрибутов [6]. Наибольший показатель эффективности в первых двух задач был получен разработанным самонастраивающимся нейрогенети-ческим алгоритмом. Для первой задачи он составил 94,77 %, но в то же время, один из алгоритмов в программе RapidMiner показал довольно близкий результат, который составил 93,33 %. Для второй задачи наибольший показатель эффективности 86,77 %, а наилучший из показателей эффективности полученных в программе RapidMiner 80,03 %. И, наконец, для третьей задачи эффективность разработанного метода и одного из алгоритмов в программе RapidMiner совпали, и были равны 96,33 %.
Проведенные численные эксперименты демонстрируют возможность эффективного применения самонастраивающегося генетического алгоритма для структурной и параметрической оптимизации нейро-сетевых технологий.
Библиографические ссылки
1. Brester Ch. Yu., Semenkin E. S. Development of adaptive genetic algorithms for neural network models multicriteria design // Вестник СибГАУ. 2013. № 4 (50). С. 99-103.
2. Решение задачи прогнозирования экологического состояния города нейроэволюционными алгорит-
мами / Д. И. Хритоненко и др. // Вестник СибГАУ. 2015. Т. 16, № 1. С. 137-142.
3. RapidMiner Studio [Электронный ресурс]. URL: https://rapidminer.com/ (дата обращения: 10.03.2017).
4. Ionosphere Data Set. URL: http://archive.ics.uci.edu/ ml/datasets/Ionosphere (дата обращения: 15.04.2016).
5. Connectionist Bench (Sonar, Mines vs. Rocks) Data Set. URL: https://archive.ics.uci.edu/ml/datasets/ Connec-tionist+Bench+(Sonar %2C+Mines+vs.+Rocks) (дата обращения: 12.04.2016).
6. Spambase Data Set. URL: https://archive.ics. uci. edu/ml/datasets/spambase (дата обращения: 20.05.2017).
References
1. Brester Ch. Yu., Semenkin E. S. [Development of adaptive genetic algorithms for neural network models multicriteria design] // Vestnik SibSAU. 2013. № 4 (50). P. 99-103.
2. Reshenie zadachi prognozirovaniya ehkologiches-kogo sostoyaniya goroda nejroehvolyucionnymi algoritmami. [Solving the problems of forecasting the ecological state of cities of neuroevolutionary technologies] / D. I. Khritonenko et al. // Vestnik SibSAU. 2015. Vol. 16, № 1. P. 137-142.
3. RapidMiner Studio. Available at: https://rapi-dminer.com/ (accessed: 10.03.2017).
4. Ionosphere Data Set. Available at: http://archive.ics. uci.edu/ml/datasets/Ionosphere (accessed: 15.04.2016).
5. Connectionist Bench (Sonar, Mines vs. Rocks) Data Set. Available at: https://archive.ics.uci.edu/ml/ datasets/ Connectionist+Bench+(Sonar %2C+Mines+vs.+Rocks) (accessed: 12.04.2016).
6. Spambase Data Set. Available at: https://archive. ics.uci.edu/ml/datasets/spambase (accessed: 20.05.2017).
© Полонская Я. С., 2017
