CC BY
15Решетневские чтения. 2017
УДК 519.6
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ КОЛЛЕКТИВОВ НЕЙРОСЕТЕВЫХ И НЕЧЕТКИХ КЛАССИФИКАТОРОВ
А. А. Коромыслова
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Предлагается использование коллективов эволюционных алгоритмов для решения задач классификации. Решение этих проблем поможет в различных областях, в том числе в аэрокосмической. Проведен анализ и исследование их эффективности на тестовых задачах.
Ключевые слова: классификация, анализ данных, нейронные сети, нечеткая логика, коллектив.
RESEARCHING THE EFFECTIVENESS OF ENSEMBLES OF NEURAL NETWORK
AND FUZZY CLASSIFIERS
A. A. Koromyslova
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
We propose to use ensembles of evolutionary algorithms to solve classification problems. Solving these problems will help in various areas including aerospace. We conduct an analysis and study of their effectiveness on the test problems.
Keywords: classification of speech, data mining, artificial neural networks, fuzzy logic, ensemble.
Классификация является важной задачей обработки информации, которая применяется для фильтрации спама, для снятия неоднозначности при автоматическом переводе текстов, для распознавания заболевания, для определения платежеспособности человека и в других областях науки и техники.
В данной статье представлены результаты работы коллективов эволюционных алгоритмов, в том числе сочетающий в себе две вычислительные технологии -искусственные нейронные сети и системы на нечеткой логике - для решения задачи классификации. Выбор эволюционных алгоритмов для решения задач обусловлен высокой эффективностью таких алгоритмов при решении задач классификации и аппроксимации [1; 2].
Исследование в данной статье проводилось на двух тестовых задачах банковского скоринга [3]: Австралийская и Немецкая, которые содержат данные о состоянии счета, о планируемом сроке возврата кредита, о цели кредита, о сумме кредита, о возрасте, о семейном положении и т.п., по имеющимся атрибутам необходимо определить является ли клиент кредитоспособным или нет.
Для данного исследования использовался следующий принцип построения коллектива:
1. Случайным образом генерировалось одиннадцать участников коллектива (искуственных нейронных сетей (ANN) и/или систем, основанных на нечеткой логике (FL)).
2. Все участники коллектива производили поиск решения задачи одновременно.
3. Определялось решение. Использовалось три вида принятия решения:
3.1. «Простое большинство» - ответом на задачу принималось решение, которое набрало 6 и более голосов.
«Взвешенное голосование» - при принятии решения голос каждого участника умножался на вес (от 0 до 1), изначально веса голоса у каждого участника равны, в процессе обучения вес перераспределяется в зависимости от эффективности участника.
«Нейронная сеть для принятия решения» - строилась нейронная сеть, которая использовала в качестве входа из нейрона решение участника коллектива.
Эффективность алгоритма определялась по 100 запускам на тестовой выборке.
Для сравнения эффективности работ алгоритмов в данной работе используется нейронная сеть, а также следующие классические методы классификации:
1. Бэггинг [4], который использует параллельное обучение базовых классификаторов. Алгоритм:
1.1. Из множества исходных данных случайным образом отбирается несколько подмножеств, содержащих количество примеров, соответствующее количеству примеров исходного множества.
1.2. Поскольку отбор осуществляется случайным образом, то набор примеров всегда будет разным: некоторые примеры попадут в несколько подмножеств, а некоторые не попадут ни в одно.
Математические методы моделирования, управления и анализа данных
Результат решения задач классификации
Название метода Австралийская Немецкая
задача о кредитах задача о кредитах
ANN (взвешенное голосование) 0,935 0,902
FL (взвешенное голосование) 0,93 0,869
ANN+FL (взвешенное голосование) 0,906 0,874
Бустинг 0,866 0,821
FL (простое большинство) 0,863 0,815
Бэгинг 0,849 0,8
ANN (простое большинство) 0,821 0,783
ANN (нейронная сеть для принятия решения) 0,816 0,795
Нейронная сеть 0,816 0,742
1.3. На основе каждой выборки строится классификатор.
1.4. Выводы классификаторов определяется путем усреднения.
2. Бустинг [5], при котором происходит последовательное обучение классификаторов. Таким образом, обучающий набор данных на каждом последующем шаге зависит от точности прогнозирования предыдущего базового классификатора.
Алгоритм:
2.1. Определяются несколько базовых классификатора, которые обучаются на разных выборках.
2.2. Вычисляются предсказанные классификации и относятся веса к наблюдениям в обучающей выборке, которые обратно пропорциональны точности классификации.
2.3. Вбирается следующий набор классификаторов.
2.4. Выводы классификаторов определяется путем усреднения.
Результат исследования приведены в таблице.
Как видно из таблицы:
1. Коллективы эволюционных алгоритмов показали высокую эффективность при решении задач классификации.
2. Эффективность работы алгоритмов возрастает, если использовать взвешенное голосование вместо «Простого большинства». © Коромыслова А. А., 2017
References
1. Sergienko R., Semenkin E., Bukhtoyarov V. Michigan and Pittsburgh Methods Combining for Fuzzy Classifier Generating with Coevolutionary Algorithm for Strategy Adaptation // Proceedings of IEEE Congress on Evolutionary Computation (CEC'2011). June 5-8. 2011. New Orleans, LA.
2. Yu J. J. Q., Lam A. Y. S., Li V. O. K. Evolutionary Artificial Neural Network Based on Chemical Reaction Optimization // Proceedings of IEEE Congress on Evolutionary Computation (CEC'2011). New Orleans, LA. 2011.
3. Frank, A. & Asuncion, A. UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science. 2010.
4. Breiman L. Bagging predictors / Machine Learning. 1996. Vol. 24 (2). P. 123-140.
5. Freund Y., Schapire R. E. Experiments with a new boosting algorithm // International Conference on Machine Learning. 1996. P. 148-156.
