CC BY
21
УДК 004.838.2
doi:10.21685/2307-4205-2021-4-3
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ DATA MINING
А. Д. Тулегулов1, Д. С. Ергалиев2, С. Ж. Кенбеилова3, А. Исмаилов4, К. М. Акишев5
1 2' 3 Академия гражданской авиации, Алматы, Казахстан 4 5 Казахский университет технологии и бизнеса, Нур-Султан, Казахстан 1 tad62@yandex.kz, 2 DES-67@yandex.kz, 3 sal-japaspai@mail.ru, 4 Asyl@mail.ru, 5 tad62@ya.ru
Аннотация. Актуальность и цели. Рассматривается нейронная сеть (искусственная нейронная сеть) как некая математическая модель. Также в работе анализируется ее программное и аппаратное воплощение. Материалы и методы. Метод нейронных сетей ассоциируется с глубоким обучением (deep learning). Предлагаемая модель построена по принципу организации и функционирования биологических нейронных сетей -сетей нервных клеток живого организма. Она представляет собой систему соединенных и взаимодействующих между собой простых процессоров в виде искусственных нейронов. Будучи соединенными в большую сеть с управляемым взаимодействием, такие по отдельности взятые простые процессоры вместе способны выполнять довольно сложные задачи. Результаты. Как результат проведенных исследований можно отметить ансамблевые методы, которые являются методом интеллектуального обучения, где несколько моделей обучаются для решения поставленного единого вопроса и объединяются для получения лучших результатов. Основное предположение применения метода: при верном сочетании слабых моделей можно достигнуть более надежных и точных результатов. Выводы. Описываемые ансамблевые методы машинного обучения являются так называемыми мета-алгоритмами, позволяющими объединить несколько методов машинного обучения в одну прогностическую модель. Указанные алгоритмы состоят из двух шагов: создание распределения простых моделей ML по подмножествам исходных данных и объединение распределения в одну «агрегированную» модель.
Ключевые слова: нейронная сеть, математическая модель, аппаратное воплощение, процессор, задачи
Для цитирования: Тулегулов А. Д., Ергалиев Д. С., Кенбеилова С. Ж., Исмаилов А., Акишев К. М. Математическая модель искусственной нейронной сети для решения задач data mining // Надежность и качество сложных систем. 2021. № 4. С. 20-26. doi:10.21685/2307-4205-2021-4-3
MATHEMATICAL MODEL OF AN ARTIFICIAL NEURAL NETWORK FOR SOLVING DATA MINING PROBLEMS
A.D. Tulegulov1, D.S. Ergaliev2, S.Zh. Kenbeilova3, A. Ismailov4, K.M. Akishev5
1 2' 3 Academy of Civil Aviation, Almaty, Kazakhstan 4' 5 Kazakh University of Technology and Business, Nur-Sultan, Kazakhstan 1 tad62@yandex.kz, 2 DES-67@yandex.kz, 3 sal-japaspai@mail.ru, 4 Asyl@mail.ru, 5 tad62@ya.ru
Abstract. Background. The article discusses a neural network (artificial neural network) as a kind of mathematical model. Also, the work analyzes its software and hardware implementation. Materials and methods. The neural network method is associated with deep learning. The proposed model is built on the principle of organization and functioning of biological neural networks - networks of nerve cells of a living organism. It is a system of interconnected and interacting simple processors in the form of artificial neurons. When connected in a large network with controlled interactions, these simple processors taken separately are capable of performing quite complex tasks together. Results. As a result of the research carried out, ensemble methods can be noted, which are a method of intellectual learning, where several models are trained to solve a single question posed and are combined to obtain the best results. The main assumption of the application of the method: with the right combination of weak models, more reliable and accurate results can be achieved. Conclusions. The described ensemble machine learning methods are so-called meta-algorithms that combine several machine learning methods into one predictive model. These algorithms consist of two
© Тулегулов А. Д., Ергалиев Д. С., Кенбеилова С. Ж., Исмаилов А., Акишев К. М., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.© Юрков Н. К., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This
steps: creating a distribution of simple ML models over subsets of the original data and combining the distribution into one "aggregated" model.
Keywords: neural network, mathematical model, hardware implementation, processor, tasks
For citation: Tulegulov A.D., Ergaliev D.S., Kenbeilova S.Zh., Ismailov A., Akishev K.M. Mathematical model of an artificial neural network for solving data mining problems. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2021;(4):20-26. (In Russ.). doi:10.21685/2307-4205-2021-4-3
Введение
Методы интеллектуального обучения предполагают более гибкий подход к процессу обучения. Особое место в этом вопросе уделяется нейронным сетям. В настоящее время с помощью метода нейронных сетей успешно решаются задачи Data Mining, такие как классификация, прогнозирование и кластеризация.
Учитывая тот факт, что в современном мире активно развиваются цифровые образовательные технологии, было бы как минимум неправильным не использовать нейронные сети как эффективный инструмент. Уже существуют разные методы применения нейронных сетей.
Условия применения метода нейронных сетей:
1) необходимо выбирать переменные, которые скорее всего влияют на требуемый результат;
2) работать с числовыми и номинальными переменными, переменные других типов требуется преобразовать в указанные типы;
3) требуется иметь порядка сотен или тысяч наблюдений; чем больше в задаче переменных, тем больше нужно иметь наблюдений;
4) при необходимости можно работать с наблюдениями, содержащими пропущенные значения, если данных достаточно, исключить подобные наблюдения;
5) наличие выбросов в данных может создать трудности, при возможности требуется их удалить [1].
Методы исследования
Метод нейронных сетей ассоциируется с глубоким обучением (deep learning). Пример производительности методов нейронных сетей и глубокого обучения показан на рис. 1.
Объем данных
Рис. 1. Пример производительности методов нейронных сетей и глубокого обучения
Понятие глубокого обучения относится к другой классификации и обозначает подход к обучению так называемых глубоких структур, к которым можно отнести многоуровневые нейронные сети.
Глубокое обучение - совокупность методов машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением), основанных на обучении представлениям, а не специализированным алгоритмам под конкретные задачи [1].
В качестве преимуществ метода глубокого обучения можно отметить:
1) лучшее соотношение время-производительность - точность метода глубоких сетей превосходит иные методы машинного обучения в различных областях деятельности человека, как понимание устной речи, обработка естественного языка, компьютерное зрение и игровая индустрия;
2) масштабируемость - метод глубокого обучения не зависит от количества и прироста данных;
3) для метода не требуется разработка функций, так как данные передаются непосредственно в обучаемую сеть, т.е. полностью исключаются сложные этапы разработки функций по сравнению с классическими методами;
4) легкая адаптация методов глубокого обучения для использования в соседних областях, т.е. имеется возможность использования заранее подготовленных глубоких сетей для разных задач. Это позволяет достичь высокой производительности в кратчайшие сроки и облегчения обучения всей модели;
5) возможность переноса созданных методов глубокого обучения в другие области, это связано с похожестью базовых знаний рассматриваемых областей.
На рис. 2 методы глубокого обучения классифицированы по способу обучения.
Методы глубокого обучения
Методы обучения с учителем (supervised learning) Методы обучения без учителя (unsupervised learning)
Многослойные полносвязные нейронные сети (Fully-Connected Neural _Networks, FCNN)
Сверточные нейронные сети (Convolutions! Neural Networks, CNN)
Рекуррентные нейронные сети (Recurrent Neural Networks, RNN)
Автокодировщики (Autoencoders, AE)
Ограниченные машины Больцмана (Restricted Boltzmann Machines, RBM)
Разверточные нейронные сети (Deconvolutional Neural Networks)
Глубокие машины Больцмана (Deep Boltzmann Machines, DBM)
Генеративные состязательные сети (Generative Adversarial Networks, GAN)
Рис. 2. Методы глубокого обучения по способу обучения
Существуют и другие формы классификации.
Результаты
Как результат проведенных исследований можно отметить ансамблевые методы, которые являются методом интеллектуального обучения, где несколько моделей обучаются для решения поставленного единого вопроса и объединяются для получения лучших результатов. Основное предположение применения метода: при верном сочетании слабых моделей можно достигнуть более надежных и точных результатов [2].
Ансамбль методов в обучении машин использует несколько обучающих алгоритмов с целью получения лучшей эффективности прогнозирования, чем могли бы получить от каждого обучающего алгоритма по отдельности.
В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль методов в обучении машин состоит из конкретного конечного множества альтернативных моделей, но обычно позволяет существовать более гибким структурам.
Рисунок 3 показывает пример ансамблевого метода с последовательным использованием методов.
Рис. 3. Пример ансамблевого метода На рис. 4 приведен график взаимосвязи между смещением и разбросом.
Рис. 4. Выбор между смещением и разбросом
В ансамблевой теории обучения вводятся понятия слабых учеников (или базовых моделей), которые используются в качестве базовых блоков для проектирования более сложных моделей путем объединения нескольких из них. В большинстве случаев эти базовые модели работают сами по себе не так хорошо в связи с тем, что они имеют высокое смещение или большой разброс.
Тогда идея ансамблевых методов состоит в том, чтобы попытаться уменьшить смещение и/или разброс таких слабых учеников, объединяя несколько из них вместе, чтобы создать сильного ученика (или модель ансамбля), который достигает лучших результатов [3].
Описание трех методов ансамблевого обучения:
1. Бэггинг (англ. Bootstrap Aggregating) является способом уменьшения дисперсии прогноза путем генерирования дополнительных данных для обучения из исходного набора данных с помощью комбинации с повторениями для получения мультинаборы той же мощности / размера как исходные данные.
Увеличивая размер тренировочного набора, вы не сможете улучшить прогнозирующую силу модели, а просто уменьшите дисперсию, узко настраивая прогноз на ожидаемый результат.
2. Бустинг представляет собой двухэтапный подход, при котором сначала используются подмножества исходных данных для создания ряда моделей со средней эффективностью, а затем повышается их производительность путем их объединения вместе с использованием определенной функции стоимости ( = большинство голосов).
В отличие от пакетного применения, при классическом повышении создание подмножества не является случайным и зависит от производительности предыдущих моделей. При этом каждое новое подмножество содержит элементы, которые, вероятно, неправильно классифицированы предыдущими моделями.
Благодаря таким свойствам, как простота, универсальность, гибкость и высокая обобщающая способность, бустинг остается одним из наиболее популярных методов машинного обучения, наряду с нейронными сетями и методом опорных векторов.
3. Стекинг похож на бустинг: также применяется несколько моделей к исходным данным.
Обсуждения
Разница в том, что у это не просто эмпирическая формула для весовой функции, а ввод мета-уровня и использования другой модели. Подход оценивает входные данные вместе с выходными данными каждой модели для оценки весов. Иными словами, метод определяет, какие модели работают хорошо, а какие плохо, результаты определения учитывают входные данные [4-6].
Таблица 1
Сравнение возможностей методов ансамблей
Метод Ва^тр, Stacking
Разбиение данных на подмножества Случайные Предоставление неправильно классифицированных выборок Разные
Цель Свести распределение к минимуму Увеличение прогноза Оба
Методы, в которых используются Случайный лес Градиентный спуск Смешивание
Функция для объединения отдельных моделей (Взвешенное) среднее Взвешенное, большинством голосов Логистическая регрессия
Как видно в табл. 1, все три метода ансамблевого машинного обучения являются различными подходами к объединению нескольких моделей в лучшую. У каждой есть как преимущества, так и недостатки.
Заключение
Таким образом, можно отметить, что описываемые ансамблевые методы машинного обучения являются так называемыми метаалгоритмами, позволяющими объединить несколько методов машинного обучения в одну прогностическую модель.
Указанные алгоритмы состоят из двух шагов: создание распределения простых моделей ML по подмножествам исходных данных и объединение распределения в одну «агрегированную» модель.
Список литературы
1. Силен Д., Мейсман А., Али М. Основы Data Science и Big Data. Python и наука о данных. СПб. : Питер, 2017. 336 с.
2. Ансамблевые методы: бэггинг, бустинг и стекинг. URL: https://neurohive.io/ru/osnovy-data-science/ ansamblevye-metody-begging-busting-i-stekin
3. Witten I. H., Eibe F. Data Mining: practical machine learning tools and techniques. 2nd ed. (Morgan Kaufmann series in data management systems). URL: http://www.academia.dk
4. Ясницкий Л. Н. Искусственный интеллект. Элективный курс : учеб. пособие. М. : БИНОМ. Лаборатория знаний, 2012. 197 с.
5. Кочегаров И. И., Юрков Н. К., Ергалиев Д. С. [и др.]. Методика оценки остаточного ресурса электронного блока с использованием ускоряющих факторов // Надежность и качество сложных систем. 2020. № 4. С. 58-72. doi: 10.21685/2307-4205-2020-4-7.
6. Тулегулов А. Д., Ергалиев Д. С., Бейсембиева Б. С., Акишев К. М. Методы нейронных сетей и глубокого обучения на основе интеллектуального агента // Надежность и качество сложных систем. 2021. № 3. С. 25-32.
1. Silen D., Meysman A., Ali M. Osnovy Data Science i Big Data. Python i nauka o dannykh. Saint Petersburg: Piter,
2. Ansamblevye metody: begging, busting i steking = Ensemble methods: bagging, boosting and stacking. Available at: https://neurohive.io/ru/osnovy-data-science/ansamblevye-metody-begging-busting-i-stekin
3. Witten I.H., Eibe F. Data Mining: practical machine learning tools and techniques. 2nd ed. (Morgan Kaufmann series in data management systems). Available at: http://www.academia.dk
4. Yasnitskiy L.N. Iskusstvennyy intellekt. Elektivnyy kurs: ucheb. posobie = Artificial intelligence. Elective course : study guide. Moscow: BINOM. Laboratoriya znaniy, 2012:197. (In Russ.)
5. Kochegarov I.I., Yurkov N.K., Ergaliev D.S. [et al.]. Methodology for estimating the residual life of an electronic unit using accelerating factors. Nadezhnost' i kachestvo slozhnykh system = Reliability and Quality of Complex Systems. 2020;(4):58-72. (In Russ.). doi: 10.21685/2307-4205-2020-4-7
6. Tulegulov A.D., Ergaliev D.S., Beysembieva B.S., Akishev K.M. Methods of neural networks and deep learning based on an intelligent agent. Nadezhnost' i kachestvo slozhnykh system = Reliability and Quality of Complex Systems. 2021;(3):25-32. (In Russ.). doi: 10.21685/2307-4205-2021-3-3
doi: 10.21685/2307-4205-2021-3-3.
Reference
2017:336.
Информация об авторах I Information about the authors
Амандос Дабысович Тулегулов
кандидат физико-математических наук, доцент, заведующий кафедрой авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: tad62@yandex.kz
Amandos D. Tulegulov
Candidate of physical and mathematical sciences,
associate professor,
head of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Дастан Сырымович Ергалиев
PhD, доцент, профессор кафедры авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: DES-67@yandex.kz
Dastan S. Ergaliev
Ph.D., associate professor,
professor of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Салтанат Жапаспаевна Кенбеилова
PhD, ученый секретарь, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: sal-japaspai@mail.ru
Saltanat Zh. Kenbeilova
PhD, scientific secretary, Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Асылхан Исмаилов
магистрант,
Казахский университет технологии и бизнеса (Казахстан, г. Нур-Султан, ул. Кайым Мухамедханова, 37А) E-mail: Asyl@mail.ru
Asylkhan Ismailov
Master degree student,
Kazakh University of Technology and Business (37A Kayim Mukhamedkhanova street, Nur-Sultan, Kazakhstan)
Каршыга Максутович Акишев
старший преподаватель
кафедры информационных технологий,
Казахский университет технологии и бизнеса
(Казахстан, г. Нур-Султан,
ул. Кайым Мухамедханова, 37 А)
E-mail: tad62@ya.ru
Karshyga M. Akishev
Senior lecturer of the sub-department of information technologies, Kazakh University of Technology and Business (37A Kayim Mukhamedkhanova street, Nur-Sultan, Kazakhstan)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 02.09.2021 Поступила после рецензирования/Revised 20.10.2021 Принята к публикации/Accepted 10.11.2021
