CC BY
81
УДК 004.838.2
doi:10.21685/2307-4205-2021-3-3
МЕТОДЫ НЕЙРОННЫХ СЕТЕЙ И ГЛУБОКОГО ОБУЧЕНИЯ НА ОСНОВЕ ИНТЕЛЛЕКТУАЛЬНОГО АГЕНТА
А. Д. Тулегулов1, Д. С. Ергалиев2, Б. С. Бейсембаева3, К. М. Акишев4
1 2’ 3 Академия гражданской авиации, Алматы, Казахстан 4 Казахский университет технологии и бизнеса, Нур-Султан, Казахстан 1 3 4 tad62@yandex.kz, 2 DES-67@yandex.kz
Аннотация. Актуальность и цели. Новые задачи, возникающие практически ежедневно, приводят к появлению новых направлений машинного обучения. Приведены результаты исследования основных видов машинного обучения по признаку наличия и сложности данных. Материалы и методы. Основным методом исследования является метод подбора. Под каждую конкретную задачу подбирается свой алгоритм, так как от него зависит скорость и точность результата обработки исходных данных. Рассматриваются методы машинного обучения. В частности, анализируется вариант на основе обучения интеллектуального агента, который действует во внешней среде и называется обучением с подкреплением. Обучение с подкреплением (англ. reinforcement learning) - способ машинного обучения, при котором система обучается, взаимодействуя с некоторой средой. Результаты. Как результат проведенных исследований, можно отметить тот факт, что в обучении с подкреплением агент взаимодействует с окружающей средой, предпринимая действия и получая награду за эти действия. Выводы. Таким образом можно утверждать, что на данный момент классические методы машинного обучения для цифровых технологий охватывают широкий спектр приложений от различных потребителей. Новые задачи, возникающие практически ежедневно, приводят к появлению новых направлений машинного обучения.
Ключевые слова: алгоритм, искусственный интеллект, машинное обучение, data mining, методы
Для цитирования: Тулегулов А. Д., Ергалиев Д. С., Бейсембаева Б. С., Акишев К. М. Методы нейронных сетей и глубокого обучения на основе интеллектуального агента // Надежность и качество сложных систем. 2021. № 3. С. 25-31. doi:10.21685/2307-4205-2021-3-3
METHODS OF NEURAL NETWORKS AND DEEP LEARNING ON THE BASIS OF AN INTELLIGENT AGENT
A.D. Tulegulov1, D.S. Yergaliyev2, B.S. Beisembayeva3, K.M. Akishev4
1 2’ 3 Academy of Civil Aviation, Almaty, Kazakhstan 4 Kazakh University of Technology and Business, Nur-Sultan, Kazakhstan 1 3’ 4 tad62@yandex.kz, 2 DES-67@yandex.kz
Abstract. Background. New tasks arising almost daily lead to the emergence of new directions of machine learning. The article presents the results of the study of the main types of machine learning on the basis of the availability and complexity of data. Materials and methods. The main research method is the selection method. For each specific task, its algorithm is selected, since the speed and accuracy of the result of processing the source data depends on it. We consider methods of machine learning. In particular, an option is analyzed based on the training of an intelligent agent, which acts in the external environment and is called training with reinforcement. Reinforcement training (Eng. Reinforcement Learning) is a method of machine learning, in which the system is learning, interacting with some medium. Results. As a result of research, it is possible to note the fact that in training with reinforcement an agent interacts with the environment, taking actions and receives a reward for these actions. Conclusions. In this way, it can be argued that at the moment the classic methods of machine learning for digital technologies cover a wide range of applications from different consumers. New tasks arising almost daily lead to the emergence of new directions of machine learning.
Keywords: algorithm, artificial intelligence, machine learning, data mining, methods
For citation: Tulegulov A.D., Yergaliyev D.S., Beisembayeva B.S., Akishev K. M. Methods of neural networks and deep learning on the basis of an intelligent agent. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2021;(3):25-31. (In Russ.). doi:10.21685/2307-4205-2021-3-3
© Тулегулов А. Д., Ергалиев Д. С., Бейсембаева Б. С., Акишев К. М., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
25
НАДЕЖНОСТЬ И КАЧЕСТВО СЛОЖНЫХ СИСТЕМ. 2021. № 3
Введение
В настоящее время цифровые образовательные технологии оказались очень востребованы и актуальны. Особую значимость при этом имеют цифровые навыки большей части населения планеты. Важную роль при этом отводят в первую очередь элементарным базовым знаниям, без которых невозможно поднять на должный уровень цифровую грамотность населения. В свете этого необходимо понимать, насколько важным и серьезным может стать вопрос изучения новых цифровых технологий. Одним из важных вопросов является понимание понятия «искусственный интеллект».
Алгоритм является системой последовательных операций для решения определенной задачи, по-другому, метод решения. Под каждую конкретную задачу подбирается свой алгоритм, так как от него зависят скорость и точность результата обработки исходных данных [1].
Иногда подготовленный алгоритм не помогает решить поставленную задачу. Для начала работы требуется определить реальную причину проблемы [2]. В таком случае на помощь могут прийти методы машинного обучения.
Методы исследования
На рис. 1 показаны основные виды машинного обучения по признаку наличия и сложности данных.
Рис. 1. Основные виды машинного обучения
По признаку наличия тьютора обучение делится на:
- обучение с тьютором (Supervised Learning) - применяют, когда нужно научить машину распознавать объекты или сигналы;
- без тьютора (Unsupervised Learning) - используется принцип «эта вещь такая же, как другие». Алгоритмы изучают свойства и находят необычные или несхожие с другими аномалии;
- с подкреплением (Reinforcement Learning) - используют там, где перед машиной ставится задача - верно выполнить поставленные задачи во внешней среде, имея множество возможных вариантов действия [3].
По типу применяемых алгоритмов можно выделить два вида:
1) классическое обучение - известные и хорошо изученные алгоритмы обучения, разработанные для статистических задач: классификация, кластеризация, регрессия и другие, которые применяются для решения задач прогнозирования, сегментации клиентов;
2) нейронные сети и глубокое обучение - современный подход к МО. Они применяются для распознавания или генерации изображений, управления или принятия решений, машинного перевода и схожих по сложности задач [3].
Несколько различных подходов можно объединить, и тогда получатся ансамбли моделей машинного обучения.
Предлагаемая общая классификация методов машинного обучения приведена на рис. 2.
26
RELIABILITY AND QUALITY OF COMPLEX SYSTEMS. 2021;(3)
Рис. 2. Классификация методов интеллектуального анализа данных
Перечислим наиболее популярные классические методы машинного обучения:
— деревья решений;
— метод опорных векторов;
— метод «ближайшего соседа»;
— линейная регрессия;
— метод Байесовской классификации;
— алгоритм T-средних (T-means);
— методы поиска ассоциативных правил.
Методы обучения с подкреплением
Метод машинного обучения на основе обучения интеллектуального агента, который действует во внешней среде, называется обучением с подкреплением. Обучение с подкреплением (англ. reinforcement learning) - способ машинного обучения, при котором система обучается, взаимодействуя с некоторой средой [2].
Полагается, что в каждый момент времени заранее программируемый агент находится в предназначенном состоянии и в зависимости от нее у агента есть выбор нескольких возможных действий. После выбора агентом некоторого действия он оказывается в новом состоянии и получает определенное подкрепление (вознаграждение), которое зависит от предыдущего состояния и выбранного действия. Предполагается, что агенту нужно увеличивать сумму своих подкреплений.
Результаты
Как результат проведенных исследований можно отметить тот факт, что в обучении с подкреплением агент взаимодействует с окружающей средой, предпринимая действия, и получает награду за эти действия [4]. Это очень важный момент процесса обучения.
27
НАДЕЖНОСТЬ И КАЧЕСТВО СЛОЖНЫХ СИСТЕМ. 2021. № 3
Методы с частичным обучением находятся в поиске стратегии, приписывающей состояниям окружающей среды действия, одно из которых может выбрать агент в этих состояниях.
Примеры методов: адаптивный эвристический критик (Adaptive Heuristic Critic, AHC), SARSA и Q-обучение (Q-learning).
Процесс Q-обучения:
- множество состояний;
- множество действий;
- функция награды;
- функция перехода;
- learning rate (обычно 0,1), чем он выше, тем сильнее агент доверяет новой информации;
- discounting factor, чем он меньше, тем меньше агент задумывается о выгоде от будущих своих действий [1].
Нейронные сети (Neural network, NN), или искусственные нейронные сети (Artificial neural networks, ANN) - один из видов машинного обучения. Нейронные сети используются в качестве алгоритма для машинного зрения и перевода, распознавания речи, музыки, обработки изображений.
Глубокое обучение (Deep learning) - это метод машинного обучения, основанный на нейронных сетях. В современной реальности практически во всем, что касается Deep Learning, используют нейронные сети.
Успех глубокого обучения напрямую зависит от мощности техники. На момент появления нейронных сетей мощности компьютеров были низкими, из-за чего и сами сети были довольно слабыми, поэтому невозможно было создать большое количество слоев.
С появлением мощных машин все изменилось и современное глубокое обучение способно справиться с большими размерами сетей с использованием фреймворки: Keras, Detectron, TensorFlow и PyTorch.
Обсуждение
Полученные результаты подтверждают то, что нейронные сети используют практически во всех задачах, где человек пытается применить ИИ. CNN (Convolutional neural network) используется в области компьютерного зрения, GAN (Generative Adversarial Nets) - в криминалистике, в дизайне и в кинопроизводстве [5].
Нейронные сети DQN (Deep Q-Learning) используются для принятия решений на основании анализа текущей ситуации, т.е. система сама собирает данные, сама их анализирует, прогнозирует наиболее вероятный исход в той или иной ситуации, принимает максимально выгодное решение на основании всех факторов.
Работу подобных нейронных сетей демонстрируют беспилотный транспорт, различные боты [6].
Машинное обучение - свод набора алгоритмов и методов в области ИИ, которые применяются для создания машины, которая учится на собственном опыте. В качестве обучения машина обрабатывает огромные массивы входных данных и находит в них закономерности [7].
Понятия Data science и Machine learning во многом пересекаются, но все же они разные и каждый со своими задачами.
В понятие ИИ входят технологические, научные решения и методы, которые помогают сделать программы по подобию интеллекта человека. ИИ включает в себя множество инструментов, алгоритмов и систем, среди которых также все составляющие Data science и Machine learning [8].
Data science - наука о методах анализа данных и извлечения из них ранее неизвестной информации, ценных знаний. Она пересекается с такими областями, как машинное обучение и наука о мышлении, большие данные. Результатом его работы являются разобранные данные и найденные верные подходы для их дальнейшей обработки, сортировки, выборки и поиска [9].
На рис. 3 приведен пример классификации метода нейронных сетей.
«Нейронные сети - это модели биологических нейронных сетей мозга, в которых нейроны имитируются относительно простыми, часто однотипными, элементами (искусственными нейронами)» [5].
28
RELIABILITY AND QUALITY OF COMPLEX SYSTEMS. 2021;(3)
Рис. 3. Пример классификации нейронных сетей
Заключение
Таким образом, можно утверждать, что на данный момент классические методы машинного обучения для цифровых технологий охватывают широкий спектр приложений от различных потребителей. Новые задачи, возникающие практически ежедневно, приводят к появлению новых направлений машинного обучения.
Методы нейронных сетей и глубокого обучения
Идея метода нейронных сетей сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
«Нейронная сеть (искусственная нейронная сеть, ИНС) - математическая модель, а также ее программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Она представляет собой систему соединенных и взаимодействующих между собой простых процессоров в виде искусственных нейронов, будучи соединенными в большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи» [1].
Нейронные сети вошли в практику машинного обучения, где нужно решать задачи прогнозирования, классификации или управления. Успешность метода определяется следующими причинами:
1) богатые возможности нейронных сетей - этот метод моделирования позволяет воспроизводить чрезвычайно сложные зависимости;
2) простота в использовании - данный метод учится на примерах, предоставляемых пользователем, зависит от его знаний;
3) метод нейронных сетей основан на простейшей биологической модели нервных систем.
29
НАДЕЖНОСТЬ И КАЧЕСТВО СЛОЖНЫХ СИСТЕМ. 2021. № 3
Список литературы
1. Вирт Н. Алгоритмы и структуры данных. Новая версия для Оберона + CD / пер. с англ. Ф. В. Ткачева. М. : ДМК Пресс, 2010. 272 с.
2. Ясницкий Л. Н. Искусственный интеллект. Элективный курс : учеб. пособие. М. : БИНОМ. Лаборатория знаний, 2012. 197 с.
3. Люгер Д. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем : пер. с англ. 4-е изд. М. : Вильямс, 2003. 864 с.
4. Исмаилов А. Х., Буленов Б., Наурызбаева А. Н. [и др.]. Интеллектуальные программные комплексы анализа больших данных // Интеграция науки, образования и производства индустриального государства : сб. Междунар. науч.-практ. конф. Нур-Султан : Мастер По ЖШС, 2020. С. 79-81.
5. Чубукова И. А. Data Mining. Курс лекций INTUIT. 2006. 328 с. URL: https://www.twirpx.com/file/116669/
6. Новые возможности развития в условиях четвертой промышленной революции : послание Президента РК Н. Назарбаева народу Казахстана от 10 января 2018 г. URL: https://www.akorda.kz/ru/addresses/
7. Замятин А. В. Интеллектуальный анализ данных : учеб. пособие. Томск : Изд. Дом Томс. гос. ун-та, 2016. 120 с.
8. Масимов К. Следующий властелин мира. Искусственный интеллект. М. : ЛитРес, 2019. 177 с.
9. Силен Д., Мейсман А., Али М. Основы Data Science и Big Data. Python и наука о данных. СПб. : Питер, 2017. 336 с. (Сер. «Библиотека программиста»).
10. Ергалиев Д. С. Отбор информативных признаков распознавания // Труды Международного симпозиума Надежность и качество. 2008. Т. 1. С. 290-291.
11. Коптев А. Н., Ергалиев Д. С., Саханов К. Ж. Интеллектуальные системы оценки состояния бортовых комплексов оборудования // Труды Международного симпозиума Надежность и качество. 2008. Т. 1.
С. 444-446.
12. Ергалиев Д. С. Сравнительный анализ методов распознавания образов // Труды Международного симпозиума Надежность и качество. 2011. Т. 2. С. 43-44.
References
1. Virt N. Algoritmy i struktury dannykh. Novaya versiya dlya Oberona + CD = Algorithms and data structures. New version for Oberon + CD; transl. from Engl. by F.V. Tkachev. Moscow: DMK Press, 2010:272. (In Russ.)
2. Yasnitskiy L.N. Iskusstvennyy intellekt. Elektivnyy kurs: ucheb. posobie = Artificial intelligence. Elective course : study guide. Moscow: BINOM. Laboratoriya znaniy, 2012:197. (In Russ.)
3. Lyuger D.F. Iskusstvennyy intellekt: strategii i metody resheniya slozhnykh problem: per. s angl. = Artificial intelligence: strategies and methods for solving complex problems : trans. from English. 4th ed. Moscow: Vil'yams, 2003:864. (In Russ.)
4. Ismailov A.Kh., Bulenov B., Narnyzbaeva A.N. [et al.]. Intelligent software systems for big data analysis. Inte-gratsiya nauki, obrazovaniya i proizvodstva industrial'nogo gosudarstva: sb. Mezhdunar. nauch.-prakt. konf. = Integration of science, education and production of an industrial state : collection of International scientific and practical conf Nur-Sultan: Master Po ZhShS, 2020:79-81. (In Russ.)
5. Chubukova I. A. Data Mining. Kurs lektsiy INTUIT = Data Mining. INTUIT Lecture Course. 2006:328. (In Russ.). Available at: https://www.twirpx.com/file/116669/
6. Novye vozmozhnosti razvitiya v usloviyakh chetvertoy promyshlennoy revolyutsii: poslanie Prezidenta RK N. Nazarbaeva narodu Kazakhstana ot 10 yanvarya 2018 g. = New development opportunities in the conditions of the Fourth Industrial Revolution : Message of the President of the Republic of Kazakhstan N. Nazarbayev to the People of Kazakhstan on January 10,2018. (In Russ.). Available at: https://www.akorda.kz/ru/addresses/
7. Zamyatin A.V. Intellektual'nyy analiz dannykh: ucheb. posobie = Data mining: a tutorial. Tomsk: Izd. Dom Toms. gos. un-ta, 2016:120. (In Russ.)
8. Masimov K. Sleduyushchiy vlastelin mira. Iskusstvennyy intellect = The next ruler of the world. Artificial intelligence. Moscow: LitRes, 2019:177. (In Russ.)
9. Silen D., Meysman A., Ali M. Osnovy Data Science i Big Data. Python i nauka o dannykh = Fundamentals of Data Science and Big Data. Python and Data Science. Saint Petersburg: Piter, 2017:336. (In Russ.)
10. Ergaliev D.S. Selection of informative recognition features. Trudy Mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo = Proceedings of the International symposium Reliability and Quality. 2008;1:290-291. (In Russ.)
11. Koptev A.N., Ergaliev D.S., Sakhanov K.Zh. Intelligent systems for assessing the condition of on-board equipment complexes. Trudy Mezhdunarodnogo simpoziuma Nadezhnost’ i kachestvo = Proceedings of the International symposium Reliability and Quality. 2008;1:444-446. (In Russ.)
12. Ergaliev D.S. Comparative analysis of image recognition methods. Trudy Mezhdunarodnogo simpoziuma Nadezhnost’ i kachestvo = Proceedings of the International symposium Reliability and Quality. 2011;2:43-44. (In Russ.)
30
RELIABILITY AND QUALITY OF COMPLEX SYSTEMS. 2021;(3)
Информация об авторах / Information about the authors
Амандос Дабысович Тулегулов
кандидат физико-математических наук, доцент, заведующий кафедрой авиационной техники и технологий,
Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44)
E-mail: tad62@yandex.kz
Дастан Сырымович Ергалиев
PhD, доцент, профессор кафедры авиационной техники и технологий,
Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44)
E-mail: DES-67@yandex.kz
Бакытгуль Сагимжановна Бейсембаева
старший преподаватель кафедры авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44)
E-mail: tad62@yandex.kz
Каршыга Максутович Акишев
старший преподаватель
кафедры информационных технологий,
Казахский университет технологии и бизнеса
(Казахстан, г. Нур-Султан,
ул. Кайым Мухамедханова, 37А)
E-mail: tad62@ya.ru
Amandos D. Tulegulov
Candidate of physical and mathematical sciences,
associate professor,
head of sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Dastan S. Ergaliev
Ph.D., associate professor, professor of sub-department of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Bakytgul S. Beisembaeva
Senior lecturer of sub-department of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Karshyga M. Akishev
Senior lecturer of sub-department of information technologies,
Kazakh University of Technology and Business (37A Kayim Mukhamedkhanova street, Nur-Sultan, Kazakhstan)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 27.08.2021 Поступила после рецензирования/Revised 07.09.2021 Принята к публикации/Accepted 04.10.2021
