87II Международная научно-практическая конференция
УДК 004.8
Гермиханова Хава Руслановна Germikhanova Khava Ruslanovna
ассистент кафедры программирования и инфокоммуникационных технологий assistant of the department of programming and infocommunication technologies
Чеченский государственный университет Chechen State University
МЕТОДЫ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ (НЕКОТОРЫЕ АСПЕКТЫ)
NEURAL NETWORK TRAINING METHODS (SOME ASPECTS)
Аннотация: В статье рассмотрены подходы к обучению нейронной сети. Искусственные нейронные сети один из самых популярных подходов к созданию систем искусственного интеллекта. На сегодняшний день с помощью нейронных сетей можно решить такие задачи как обработка естественного языка, компьютерное зрение, распознавание речи и т.д. Искусственные нейронные сети подобно их прообразу головному мозгу имеют способность обучаться. Способность к обучению - это главное свойство нейронной сети.
Abstract: The article discusses approaches to training a neural network. Artificial neural networks are one of the most popular approaches to creating artificial intelligence systems. Today, neural networks can be used to solve problems such as natural language processing, computer vision, speech recognition, etc. Artificial neural network is similar to their prototype of the brain have the ability to learn. The ability to learn is the main property of a neural network.
Ключевые слова: детерминированные методы, искусственная нейронная сеть, обучение с учителем, алгоритм обратного распространения ошибки, обучение без учителя.
Key words: deterministic methods, artificial neural network, learning with a teacher, error back propagation algorithm, learning without a teacher.
Сегодня в мире все популярнее становятся технологии машинного обучения, а именно искусственные нейронные сети (ИНН).
Машинное обучение подразумевает, что компьютер для решения поставленной задачи не просто использует заранее написанный алгоритм, а сам обучается решению задачи.
Инновационные аспекты развития науки и техники
Круг задач, решению которых может обучится компьютер широк: это компьютерное зрение, машинный перевод, синтез речи, рекомендательные системы и т.д.
Эра искусственных нейронных сетей началась в XX веке с выходом в 1943 году работы нейрофизиолога Уоррена Мак-Каллока и математика Уолтера Питтса «A logical calculus of the ideas immanent in nervous activity» (Логическое исчисление мыслей, присущих нервной деятельности). В данной работе они описали математическую модель искусственной нейронной сети [1, с.73].
Практическая реализация математической модели Мак-Каллока и Питтса - перцептрон, была предложена Фрэнком Розенблаттом в 1958 году [2]
Главное свойство нейронных сетей заключается в их «способности обучаться на основе данных и в результате обучения со временем повышать свою производительность» [1, с.89].
Под обучением нейронной сети понимают процесс, нахождения таких параметров (весов) нейронной сети, при которых сеть приближала бы необходимую функцию с максимально возможной точностью [3].
Модель нейронных сетей, предложенная Мак-Каллоком и Питтсом не обладала способностью обучаться, параметры (веса) нейронной сети для входов в нейронов необходимо было задавать заранее.
Дональд Хэбб еще в 1949 году впервые выступил с идеей обучения нейронной сети. В своей книге «The Organization of Behaviour» (Ораганизация поведения) Хэбб изложил ключевые идеи, которые легли в основу обучения нейронной сети [3].
На сегодняшний день существуют три парадигмы обучения нейронных сетей: обучение с учителем, обучение без учителя и обучение с подкреплением.
При обучении с учителем для входных сигналов, которые подаются на вход нейронной сети, правильные ответы известны заранее. Обучение сети будет происходить до тех пор, пока значения выходов сети не будут максимально приближены к правильным ответам входов сети.
II Международная научно-практическая конференция
Обучение без учителя не предполагает наличие правильных ответов для входных сигналов, т.е. правильный ответ заранее не известен. Нейронная сеть обучается давать наиболее лучшие выходные сигналы основываясь лишь на входных сигналах [4].
Третья парадигма обучение с подкреплением предполагает наличие внешней среды, в данном случае обучение происходит путем взаимодействия сети с внешней средой, внешняя среда посылает сигналы, на основе которых сеть обучается [3].
Методы (алгоритмы) обучения нейронной сети, в свою очередь подразделяются на классы, основными из которых являются: детерминированный и стохастический.
Детерминированные методы основываясь на текущих значениях параметров сети, значениях входных сигналов и значениях выходных сигналов многократным повторением корректируют веса нейронной сети, в качестве примера детерминированного метода можно привести метод обратного распространения ошибки [5].
Стохастические методы, второй класс методов обучения, основаны на том, что параметры сети корректируются рандомно, сохраняя только приведшие к улучшениям весов изменения [5].
На сегодняшний день основной метод - метод обратного распространения ошибки (error backpropagation algorithm) применяемый для обучения сети был предложен в 1970 году, он основан на методе градиентного спуска. Данный метод был предложен в магистерской диссертации С. Линнайнмаа [6], однако он не имел отношения к нейронным сетям. Для обучения нейронной сети метод error backpropagation впервые был применен в 1981 году [5].
Принцип работы метода обратного распространения ошибки заключается в том, что обучение нейронной сети происходит путем корректировки параметров сети. Отличительная особенность метода заключается в том, что ошибка сети распространяется от выходного слоя сети к входному. Корректировка весов методом обратного распространения происходит
Инновационные аспекты развития науки и техники итеративно, количество итераций метода для достижения минимально возможной ошибки может быть большим. Однако несмотря на то, что количество итераций может быть очень большим, он более функциональнее по сравнению с другими методами обучения (например, метод встречного распространения ошибки) [7].
Таким образом, способность к обучению - это основная особенность головного мозга. Поскольку мозг является прообразом искусственных нейронных сетей в них также реализована способность к обучению. Процесс обучения в контексте ИНН можно рассматривать как процесс корректировки весов на основе входных и выходных данных, для более эффективного выполнения поставленной задачи.
Библиографический список:
1. Хайкин С. Нейронные сети. Полный курс. - М.: Вильямс, 2006. - 1104 с.
2. Три революции нейронных сетей [Электронный ресурс]. - Режим доступа: https://www.if24.ru/tri-revolyutsii-nejronnyh-setej/
3. Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. Т. 6, № 3. - С. 28-59
4. Ким Е.А., Светкин А.В. Теория методов обучения нейронных сетей // Современные тенденции развития и перспективы внедрения инновационных технологий в машиностроении, образовании и экономике. 2016. Т. 2, № 1. - С. 323-325
5. Васенков Д.В. Методы обучения искусственных нейронных сетей // Компьютерные инструменты в образовании. 2007. № 1. - С. 20-29
6. Linnainmaa S. The Representation of the Cumulative Rounding Error of an Algorithm as a Taylor Expansion of the Local Rounding Errors. University of Helsinki. 1970.
II Международная научно-практическая конференция
7. Савиных Н.В., Светкин А.В. Обучение методами нейронных сетей: алгоритм обратного распространения // Известия ОГТУ. Серия Информационные системы и технологии. 2006. № 1-4. - С. 193-197
УДК 622
Жуковский Юрий Леонидович Zhukovskiy Yuriy Leonidovich
к.т.н., доцент PhD, Associate Professor Ишейский Валентин Александрович Isheyskiy Valentin Alexandrovich к.т.н., доцент, PhD, Associate Professor Булдыско Александра Дмитриевна Buldysko Aleksandra Dmitrievna
Аспирант PhD Student Гоцул Юлия Дмитриевна Gotsul Yulya Dmitrievna Студент Student
ФГБОУ ВО «Санкт-Петербургский горный университет»
Saint-Petersburg Mining University
РОЛЬ ЦИФРОВЫХ КОМПЕТЕНЦИЙ ПРИ КОМПЛЕКСНОМ ОСВОЕНИИ МЕСТОРОЖДЕНИЙ ТВЕРДЫХ ПОЛЕЗНЫХ
ИСКОПАЕМЫХ
THE ROLE OF DIGITAL COMPETENCIES IN THE INTEGRATED DEVELOPMENT OF SOLID MINERAL DEPOSITS
Аннотация. В данной работе рассмотрены основные факторы - внешние угрозы, влияющие на цифровую трансформацию горнодобывающей промышленности, выделены мировые тренды и возможности для перехода к Индустрии 4.0 в целях быстрого и оперативного реагирования отрасли на рыночные изменения в условиях неопределенности.
