CC BY
3
Секция «Математические методы моделирования, управления и анализа данных»
УДК 004.8
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ ПРОЦЕДУРЫ СТЕКИНГА ПРИ РЕШЕНИИ ЗАДАЧ КЛАССИФИКАЦИИ.
И. А. Снопкова Научный руководитель - Л. В. Липинский
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газеты «Красноярский рабочий», 31
E-mail: irishasnopkova1110@mail.ru
Исследуется эффективность процедуры стекинга при решении задач классификации. Проводится статистическая оценка результатов работы стекинга и его участников отдельно. Анализируются полученные результаты.
Ключевые слова: ансамблевые методы, стекинг, слабые ученики.
RESEARCH ON THE EFFECTIVENESS OF THE STACKING PROCEDURE IN SOLVING THE CLASSIFICATION PROBLEM.
I. A. Snopkova Scientific supervisor - L. V. Lipinskiy
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-male: irishasnopkova1110@mail.ru
The effectiveness of the stacking procedure in solving classification problems is investigated. The statistical evaluation of the results of the staking and its participants is carried out separately. The results obtained are analyzed.
Keywords: ensemble methods, stacking, weak students.
При решении сложных задач классификации, регрессии, прогнозирования часто оказывается, что ни один из алгоритмов не обеспечивает желаемого качества восстановления зависимости. Различные способы ансамблирования обучающихся алгоритмов применяется в задачах обучения с учителем, в которых качество решения преобладает над ограничением его вычислительной сложности. В таких случаях имеет смысл строить композиции алгоритмов, в которых ошибки отдельных алгоритмов взаимно компенсируются.
Что такое ансамблевые методы? Ансамблевые методы — это парадигма машинного обучения, где несколько моделей (часто называемых «слабыми учениками») обучаются для решения одной и той же проблемы и объединяются для получения лучших результатов. Основная гипотеза состоит в том, что при правильном сочетании слабых моделей мы можем получить более точные и/или надежные модели.
В ансамблевой теории обучения существует понятие слабых учеников (или базовых моделей), которых можно использовать в качестве компонентов для проектирования более сложных моделей путем объединения нескольких из них. В большинстве случаев эти базовые модели работают сами по себе не так хорошо. Идея ансамблевых методов состоит в том, чтобы попытаться, объединяя несколько слабых учеников вместе, создать сильного ученика (или модель ансамбля), который достигает лучших результатов.
Актуальные проблемы авиации и космонавтики - 2020. Том 2
Чтобы реализовать ансамблевый метод, нам сначала нужно отобрать наших слабых учеников для агрегирования. Одним из важных моментов является то, что наш выбор слабых учеников должен быть согласован с тем, как мы агрегируем эти модели. Это подводит нас к вопросу о том, как комбинировать эти модели. Мы можем упомянуть три основных типа мета-алгоритмов, которые направлены на объединение слабых учеников:
Бэггинг. В этом случае часто рассматривают однородных слабых учеников, обучают их параллельно и независимо друг от друга, а затем объединяют их, следуя некоторому детерминированному процессу усреднения.
Бустинг. В этом случае часто рассматривают однородных слабых учеников, обучают их последовательно адаптивным способом (слабый ученик зависит от предыдущих) и объединяет их, следуя детерминированной стратегии.
Стекинг. В этом случае часто учитывают разнородных слабых учеников, изучают их параллельно и объединяют их, обучая метамодель для вывода прогноза, основанного на предсказаниях различных слабых моделей.
Стекинг имеет два основных отличия от бэггинга и бустинга. Во-первых, стекинг часто учитывает разнородных слабых учеников (комбинируются разные алгоритмы обучения), тогда как бэггинг и бустинг учитывают в основном однородных слабых учеников. Во-вторых, стекинг учит объединять базовые модели с использованием метамодели, тогда как бэггинг и бустинг объединяют слабых учеников с помощью детерминистическим алгоритмам.
Как уже упоминалось ранее, идея стекинга состоит в том, чтобы выучить нескольких разных слабых учеников и объединить их, обучив метамодель для вывода предсказаний, основанных на множественных предсказаниях, возвращаемых этими слабыми моделями. Итак, нужно определить две вещи для построения модели стека: L учеников, которых необходимо обучить, и метамодель, которая их объединяет.
Например, для задачи классификации можно в качестве слабого ученика выбрать классификатор KNN, дерево решений, Байесовский классификатор и SVM и принять решение обучить нейронную сеть в качестве метамодели. Затем нейронная сеть примет в качестве входных данных результаты четырех наших слабых учеников и научится давать окончательные прогнозы на их основе. Была проведена статистическая оценка результатов и были сформулированы некоторые выводы. Стоит отметить, что алгоритм отрабатывал на следующих задачах: «Breast cancer», «Wine» и «Digits».
Выводы следующие:
1. На базе данных «Breast cancer» стекинг отработал не хуже своих частей, даже лучше некоторых из них.
2. На базе данных «Wine» стекинг уступил только Байесовскому классификатору.
3. На базе данных «Digits» стекинг уступил классификатору KNN и методу опорных векторов.
Полагалось, что стекинг отработает лучше своих участников. Возможно, такие результаты получены из-за простоты используемых баз данных. В дальнейшем будут рассмотрены более сложные задачи, в идеале реальные данные.
Библиографические ссылки
1. Djork-Arne Clevert, Thomas Unterthiner & Sepp Hochreiter "Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)".
2. Орельон Жерон «Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow».
3. M. D. Zeiler, "ADADELTA: An Adaptive Learning Rate Method". arXiv:1212.5701 2012
4. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — Springer, 2001. ISBN 0-387-95284-5.
О Снопкова И. А., 2020
