CC BY
14Решетневские чтения. 2017
УДК 004.942
ПРИМЕНЕНИЕ НЕЙРОЭВОЛЮЦИОННОГО ПОДХОДА ПРИ РЕШЕНИИ ЗАДАЧ КЛАССИФИКАЦИИ*
С. А. Митрофанов
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
Нейросетевые классификаторы являются универсальными моделями, полезными при анализе сложных систем, в том числе и в области ракетно-космической техники. Развивается эволюционный подход к проектированию таких классификаторов.
Ключевые слова: классификация, искусственная нейронная сеть, самоконфигурируемый алгоритм генетического программирования.
APPLYING THE NEURO-EVOLUTIONAL APPROACH FOR CLASSIFICATION
PROBLEMS SOLVING
S. A. Mitrofanov
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation Е-mail: [email protected]
Neural network classifiers are universal models useful in the analysis of complex systems, including in the field of rocket and space technology. This paper develops an evolutionary approach to the design of such classifiers.
Keywords: classification, artificial neural network, self-configuring algorithm of genetic programming.
На сегодняшний день можно говорить о массовом применении интеллектуальных информационных технологий во всех областях человеческой деятельности, включая планирование, проектирование и управление ракетно-космическими системами [1].
Задача классификации заключается в разбиении пространства признаков на непересекающиеся области, причем по одной для каждого класса. Для разделения пространства признаков необходимо построить решающую функцию, для чего часто используются интеллектуальные искусственные нейронные сети (ИНС) [2].
Для пользователя использование ИНС является трудоемким процессом, так как для качественной работы просто обучить ИНС недостаточно, необходимо выбрать структуру ИНС, а под этим в свою очередь подразумевается определение количества слоев, количества нейронов на слоях, соединений между нейронами и выбор активационных функций. Так как не каждый пользователь может самостоятельно выбрать подходящую под задачу структуру ИНС, то необходимо автоматизировать процесс ее формирования. Для автоматизации проектирования ИНС может использоваться алгоритм генетического программирования (ГП) [3].
В ГП решения представлены в виде деревьев, т. е. можно сказать, что алгоритм осуществляет поиск ре-
шения в пространстве деревьев. Чтобы применить ГП для проектирования ИНС были определены функциональное и терминальное множества для представления ИНС в виде дерева.
Терминальное множество состоит из одиночных нейронов, а функциональное множество включает два оператора: оператор объединения в слой и оператор, означающий, что «левое» поддерево является входом в «правое».
Применение ГП позволяет существенно облегчить и ускорить процесс разработки ИНС за счет его автоматизации. Но ГП имеет множество своих настроек, что затрудняет работу с ним. Поэтому было решено использовать самоконфигурируемый ГП. Самоконфигурация представляет собой процесс автоматического выбора и использования алгоритмических операторов [4]. Под этим подразумевается, что выбор того или иного вида оператора основывается на вероятности и зависит от успешности его применения на предыдущих итерациях.
После того как дерево, сформированное ГП преобразуется в ИНС, необходимо настроить ее весовые коэффициенты. Для настройки весовых коэффициентов используется бинарный генетический алгоритм (ГА). Так как ГА тоже имеет множество своих параметров, то для него был использован тот же метод самоконфигурирования.
* Работа выполняется в рамках НИР 2.1680.2017/ПЧ проектного задания Министерства образования и науки РФ Сибирскому государственному университету науки и технологий имени академика М. Ф. Решетнева.
Математические методы моделирования, управления и анализа данных
Эффективность различных методов в задачах распознавания изображений
№ ИНС (ГП) NN MLP k-NN SVM RI NB RF DT LDA LR
1 91,83 89,56 89,87 90,71 90,8 85,8 79,6 68,73 83,08 79,42 76,19
2 75,06 77,04 73,47 29,18 18,37 73,8 81,05 43,26 78,82 73,47 74,23
3 89,9 91,72 92,70 97,68 98,14 88,74 82,15 69,22 88,64 82,22 82,26
4 85,35 82,60 81,53 65,32 68,28 68,65 46,29 57,98 63,33 76,56 75,39
5 66,53 71,63 95,8 96,32 15,67 95,11 79,39 68,35 95,84 14,29 74,82
Для проверки работоспособности алгоритма было проведено решение реальных задач классификации. Рассматривались пять задач классификации, которые относятся к классу задач распознавания изображений.
Были использованы 5 баз данных, в соответствии с содержанием которых определилось пять задач [5]: распознавание типа почвы по снимкам со спутника
(1); распознавание объектов в городском ландшафте
(2); распознавание цифры по рукописи (3); распознавание типа автомобиля (4); распознавание объекта в сегментированном изображении (5).
Проведено сравнение результатов работы алгоритма с ранее полученными в среде RapidMiner [6; 7]. Для обучения системы были применены 10 методов классификации, реализованные в системе RapidMiner: нейронная сеть (ЫЫ), метод к ближайших соседей (к-ЫЫ), деревья решений (БТ), индуктивный вывод правил (Ш), метод опорных векторов (8УМ), многослойный персептрон (МЬР), наивный байесовский классификатор (ЫВ), метод линейной регрессии (LR), линейный дискриминантный анализ ^БЛ), случайный лес (RF). Результаты, полученные в системе RapidMiner, сравнивались с точностью классификации ИНС, проектируемой с помощью ГП. Результаты представлены в таблице.
Как видно из результатов для задач 2, 3 и 5 с помощью ГП «удачную» архитектуру для ИНС подобрать не удалось, но полученный результат не многим хуже точности, показанной ИНС в системе RapidMiner. Это может быть связано с некорректным выбором активационных функций или с неправильным выбором настроек ГП, таких как глубина дерева или число циклов обучения. Также это может быть связано с выбором функционального и терминального множеств. Однако для остальных задач удалось подобрать архитектуру ИНС, показывающую эффективность выше, чем ИНС, используемая в системе RapidMiner.
Библиографические ссылки
1. Семенкин Е. С., Клешков В. М. Модели и алгоритмы распределения общих ресурсов при управлении инновациями реструктурированного машиностроительного предприятия // Проблемы машиностроения и автоматизации. 2006. № 3. С. 24-30.
2. Решение задачи прогнозирования экологического состояния города нейроэволюционными алгоритмами / Д. И. Хритоненко, Е. С. Семенкин, Е. В. Сугак и др. // Вестник СибГАУ. 2015. Т. 16. № 1. С. 137-142.
3. Semenkina M., Semenkin E. Classifier ensembles integration with self-configuring genetic programming algorithm // Lecture Notes in Computer Science. 2013. Vol. 7824 LNCS. Р. 60-69.
4. Semenkin E., Semenkina M. Self-configuring genetic programming algorithm with modified uniform crossover // 2012 IEEE Congress on Evolutionary Computation, CEC 2012. 2012. Р. 1918-1923.
5. Machine Learning Repository [Электронный ресурс]. URL: http://archive.ics.uci.edu/ (дата обращения: 20.02.2016).
6. RapidMiner [Электронный ресурс]. URL: https://rapidminer.com/ (дата обращения: 20.08.2017).
7. Митрофанов С. А. Сравнение эффективности различных методов интеллектуального анализа данных в задачах распознавания изображений // Инновационная наука : междунар. науч. журн. Уфа : Аэтерна, 2015. С. 96-98.
References
1. Semenkin E. S., Kleshkov V. M. Models and algorithms for the distribution of general resources in the management of innovations of a restructured machinebuilding enterprise // Problems of Mechanical Engineering and Automation. 2006. № 3. P. 24-30.
2. Khritonenko D. I., Semenkin E. S., Sugak E. V., Potylitsyna E. N. Solution of the problem of forecasting the ecological state of the city by neuroevolutionary algorithms // Vestnik SibGAU. 2015. Vol. 16. № 1. P. 137-142.
3. Semenkina M., Semenkin E. Classifier ensembles integration with self-configuring genetic programming algorithm // Lecture Notes in Computer Science. 2013. Т. 7824 LNCS. Р. 60-69.
4. Semenkin E., Semenkina M. Self-configuring genetic programming algorithm with modified uniform crossover // 2012 IEEE Congress on Evolutionary Computation, CEC 2012. 2012. Р. 1918-1923.
5. Machine Learning Repository [Electronic resource]. Available at: http://archive.ics.uci.edu/ (accessed: 20.02.2016).
6. RapidMiner [Electronic resource]. Available at: https://rapidminer.com/ (accessed: 20.08.2017).
7. Mitrofanov S. A., Comparison of the effectiveness of various methods of data mining in pattern recognition problems. Mezhdunarodnyy nauchnyy zhurnal "Innovatsionnaya nauka", Ufa publishing and research center «Aeterna», December 2015. P. 96-98, 2015. (In Russ.)
© Митрофанов С. А., 2017
