CC BY
28
16. Dependency injection and inversion of control in Python. [Электронный ресурс]. Режим доступа:https://python-dependency-injector.ets-labs.org/introduction/di_in_python.html/ (дата обращения: 18.06.2021).
17. Dependency injection. [Электронный ресурс]. Режим доступа:https://en.wikipedia.org/wiki/Dependency_injection/ (дата обращения: 18.06.2021).
МЕТОДЫ ОБУЧЕНИЯ ИНС
1 2 3
Кирпиков М.В. , Немовленко А.Е. , Макарова А.В. Email: [email protected]
1Кирпиков Михаил Викторович - студент магистратуры, кафедра технологии и оборудования лесопромышленного производства; 2Немовленко Ангелина Евгеньевна - студент специалитета; 3Макарова Анастасия Владимировна - студент специалитета, кафедра систем автоматического управления, Мытищинский филиал Московский государственный технический университет им. Н.Э. Баумана,
г. Мытищи
Аннотация: в данной статье авторы рассматривают искусственные нейронные сети, имеющие несколько видов и способов классификаций, а также их структуру. Уделяют внимание методам обучения, которые могут быть применены для навигации беспилотных летательных аппаратов: метод Холтона, градиентный метод, ЛП - поиск, Метод Дэвидона - Флетчера - Пауэлла. А также приведена информация о применениях искусственных нейронных сетей. Тема статьи является актуальной, поскольку существуют системы, которым необходима дополнительная оптимизация.
Ключевые слова: искусственные нейронные сети, нейроны, навигация беспилотных летательных аппаратов, характеристики сигнала, методы обучения
ANN TRAINING METHODS Kirpikov M.V.1, Nemovlenko A.E.2, Makarova A.V.3
1Kirpikov Mikhail Vladimirovich - master's Student, DEPARTMENT OF TECHNOLOGY AND EQUIPMENT FOR TIMBER INDUSTRY; 2Nemovlenko Angelina Evgenievna - Student of specialty; 3Makarova Anastasia Vladimirovna - Student of specialty, DEPARTMENT OF AUTOMATIC CONTROL SYSTEMS, MYTISCHI BRANCH MOSCOW STATE TECHNICAL UNIVERSITY NAMED AFTER N.E. BAUMAN,
MYTISHCHI
Abstract: in this article, the authors consider artificial neural networks that have several types and methods of classification, as well as their structure. They pay attention to teaching methods that can be applied to navigation of unmanned aerial vehicles: Holton method, gradient method, LP - search, Davidon - Fletcher - Powell method. It also provides information on the use of artificial neural networks. The topic of the article is relevant, since there are systems that need additional optimization.
Keywords: artificial neural networks, neurons, navigation of unmanned aerial vehicles, signal characteristics, training methods.
УДК 62-523
Искусственная нейронная сеть (ИНС) - модель, которая содержит большое количество параметров и связей. Среди них есть и нелинейные, которые образуют направленный граф. ИНС отличается большим количеством разновидностей разной специализации. С их помощью решаются как простые задачи - распознавание образов, так и более сложные - адаптивное управление динамическими объектами. Разные виды ИНС, имеют свои специфические особенности. Структура сети включает нейроны (процессоры) и связи между ними. Выходной сигнал элемента вычисляется по входящим сигналам и по связям направляется другим элементам. Каждая связь имеет определенный коэффициент (вес), от величины которого передаваемый сигнал может подавляться или усиливаться.
Искусственные нейронные сети классифицируются:
• по типам: входные, выходные и скрытые нейроны (для трансформации сигналов);
• по структуре построения связей: иерархический способ (связь между нейронами в соседних слоях), обратные связи (внутри одного слоя или между слоями), круговые модели (элементы замкнуты в общий круг).
По правилам распространения сигналов и обновлению состояния различают:
• Комбинирование поступающих сигналов - выходной сигнал определяется комбинированием значений входящих сигналов.
• Определение функция активности - вычисляется выходное значение элемента, которое передается во внешнюю среду или следующим элементам, выходное значение называют активностью элемента.
• Управляемое обучение, которое определяет способ корректировки весов. Целью обучения сети является получение заранее заданного набора данных на выходе сети. При обучении в самом начале задаются малые случайные значения весам. Далее подаются разные наборы значений из обучающего множества до тех пор, пока ошибки будут менее заранее заданного значения.
Задача обучения ИНС - оптимизация процесса нахождения оптимального решения с учетом ограничений.
Методы обучения.
Различают «локальные» методы обучения, при которых необходимо найти локально оптимальное решение, и методы глобального поиска с использованием многих переменных. Наиболее надежными и популярными вариантами для глобальной оптимизации являются методы случайного поиска.
При наличии многих параметров очень сложно зафиксировать функциональную зависимость, которая существует между входными и выходными сигналами. На стадии проектирования значительно затрудняется применение классических методов оптимизации. Требуется использовать метод, который позволит практически при полном отсутствии предположений найти верное решение о характере исследуемой функции.
Основные методы глобального поиска.
Применяется много разных методов, рассмотрим некоторые из них.
Метод Холтона.
Данный метод отличается низким расхождением в одном измерении. Он основан на построении в виде графика бесконечных последовательных точек детерминированным образом. При этом уменьшается вероятность скапливания (расхождения) точек и обеспечивается равномерное покрытие всего пространства. Особенность метода заключается в том, что если итоговая ошибка на основании конечного количества элементов слишком велики, то последовательность можно расширить и при этом сохранить все предыдущие вычисленные точки.
Метод Холтона основан на использовании различных одномерных последовательностей. Последовательно используются точки Холтона Рь Р2, ... PN в
качестве пробных точек. Они равномерно распределены в Кп (где единичный п - это мерный куб).
Последовательность Холтона требует взаимно-простых попарно целых чисел. Если гь г2, ..., гп парные простые числа, то последовательность Холтона точек {Р1} в Кп в декартовых координатах Р1 = (рг1 (1), рг2(1), ..., ргп(1)), где 1 =1, 2, ... и рг(1) -числовая последовательность. Эта последовательность определяется следующим образом: если в г - ичной системе счисления 1 = ат ат-1...а2 а1, то в той же г -ичной системе рг(1) = 0 а1 а2.ат-1 ат.
В десятичной системе:
'-I
а5г5 1;
Б=1
т
5
рЛ 0 = ^
а5г
Градиентный метод.
Градиентный метод - самый распространенный метод поиска при нескольких переменных. Для определения максимума в процессе поиска каждый раз ищется наибольшее возрастание целевой функции. В начале процесса проводится вычисление первых производных целевой функции по ее аргументам. Данный метод, как и предыдущий метод, является приближенным. Обычно метод не позволяет достигнуть точки оптимума, а только способствует приближению к ней за определённое количество шагов.
ЛП - поиск.
Данный метод поиска применяется для поиска оптимального решения задачи со многими критериями.
Основные достоинства поиска:
• Возможность использовать одновременно большое количество критериев оценки. Они могут быть взаимоисключающими. Задача сводится к получению одного критерия путём присваивания ему различных весовых коэффициентов.
• Использование равномерно распределенных последовательностей. Возможность резко сократить количество пробных точек по сравнению с методом последовательного перебора при зондировании многомерного единичного куба. Обрабатываются при одинаковом качестве результата сложные функции, в отличие от метода постепенного приближения. Для поиска большего количества возможных решений метод поиска может дополняться. Например, может исследоваться сконструированная функция с объединением отдельных критериев в единый глобальный критерий.
Метод Дэвидона - Флетчера - Пауэлла.
Данный метод высокоэффективный для минимизации произвольных функций. Его часто называют методом переменной метрики. В данном методе при помощи формулы ищется решение, которое наиболее близко к оценке и удовлетворяет условие кривизны. Это был первый метод, который обобщил метод секущих при решении многомерной задачи. При этом методе вместо точной матрицы Гессе используется приближение к ней. По мере приближения к минимуму приближение постепенно уточняется. В классе квазиньютоновского процесса поиск задаётся в виде -Dj*gгad (Ду)). Направление градиента отклоняется при умножении на -^Ъ где Dj - симметрическая положительно определённая матрица пхп. Она аппроксимирует в обратную матрицу Гессе. Далее матрица Dj+1 указывается в виде суммы Dj и двух симметрических матриц ранга.
Алгорим данного метода
На начальном этапе выбирается значение константы для остановки - eps >0, точка х1 и положительно определённая матрица D1. Допустим, что у1 = х1, к=]=1 и переходим к следующему этапу.
Шаг 1. Если ||grad(f(x))|| < eps, то в этом случае необходимо остановиться. В противном случае необходимо допустить = -Dj*grad(f(yj)). В
качестве 1ут] использовать функцию ^(у) + 1ут*4]) при 1ут >= 0 и у[]+1] = у] + 1ут]. Если ] < п, то перейти к следующему шагу. Если ]=п, то принять у1=х[к+1]=у[п+1] и ]=1, заменить к на к+1 и повторить шаг 1.
Шаг 2. Построить:
£>; + ! = оу +
Р]'ТР]'
Здесьqj = grad(f(y[]+1])) - grad(f(yj)), р] = 1ут]*4]. Заменить ] на ]+1 и перейти к шагу 1.
Рассмотрим использование описанных методов
В качестве примера рассмотрим конкретную задачу - навигацию беспилотных летательных аппаратов (БЛА). Применение БЛА имеют целый ряд сложностей. Одной из технических сложностей является навигационное обеспечение. На большой высоте плохая видимость объекта, большое влияние ионосферы. При решении задачи прогнозирования, распознавания аппарата, управления с помощью ИНС, главное -верный выбор структуры НС и ее параметров. При составлении функционала качества обучения Q(wJ), где WJ - синоптические коэффициенты, то отыскать оптимальное значение WJ не особенно сложно с данным методом.
Однако, ни один из рассмотренных методов не гарантирует, что будет найдено его оптимальное значение при структуре, которая была задана. Поэтому используются при обучении НС разные методы одновременно для поиска глобального минимума с необходимой точностью. Рекомендуется использовать комбинацию градиентного метода и дополнительно ЛП - поиска или Холтона.
В начале процесса обучения определяется значение WJ методом Холтона/ ЛП -поиска, которое находится в окрестностях WJOПT. Далее методом Давидона-Флетчера-Пауэлла определяется значение WJOПT. Применение этих методов одновременно улучшает значительно качество обучения НС и уменьшает время обучения.
В примере при посадке БЛА с применением управления ИНС на приемники поступают излучения от сигналов ориентиров (рис. 1).
Рис. 1. Структура однослойной нейронной сети
Сигнал обладает заданными характеристиками:
• длина волны (X);
• скважность (длина молчания и отдельного импульса) (Т);
• частота модуляции (v);
• скважность между пакетами импульсов (ТП).
Через блок согласования с приёмников информация поступает на НС. Обрабатывается каждый поступающий входной сигнал с определением параметров сигнала X (Т, v, ТП). После проведения обработки и анализа информации, сигнал причисляется к ложному сигналу или полученному от ориентира. Полезный сигнал далее классифицируется. Класс зависит от того, в какой части посадочной полосы располагается ориентир, подающий летающему аппарату сигнал. После проведённой обработки всех поступивших сигналов НС автоматически выдаёт сведения обо всех сигнальных ориентирах и секторе их нахождения.
В рассмотренном примере, НС имеет четыре нейрона на входе, которые представлены вектором Х (Т, X, Тп, v) и четыре на выходе, по числу возможных классов. I-й нейрон имеет поляризацию b (поступает сигнал смещения), по четыре связи с весами Wij (входные сигналы Xj).
В процессе обучения подбираются значения весов сети. Функция выходных сигналов yj должна быть приближена к целевой функции (стоимостной функции).
Нейронные сети широко используются в анализе данных, а их модули входят в состав практически любой аналитической платформы. При этом решаются основные задачи анализа - численное предсказание, классификация, прогнозирование.
ИНС на логическом уровне моделирует нервную систему человека. Поэтому постоянно растёт интерес к сети, привлекается внимание специалистов разных областей. Глубокие нейронные сети - один из самых популярных подходов к созданию систем искусственного интеллекта. Применяется ИНС с успехом в системах управления, распознавания образов для диагностики, предсказания именно в тех областях, в которых традиционные методы оказываются особенно трудоёмкими и сложными. Сегодня уже всем понятно, что у ИНС большое будущее.
Список литературы /References
1. Пантелеев А.В. Методы оптимизации в примерах и задачах: учебное пособие /
A.В. Пантелеев, Т.А. Летова. 4-е изд., испр. Санкт-Петербург: Лань, 2021. 512 с.
2. Ростовцев В.С. Искусственные нейронные сети: учебник для вузов /
B.С. Ростовцев. 2-е изд., стер. Санкт-Петербург: Лань, 2021. 216 с.
3. Хливненко Л.В. Практика нейросетевого моделирования: учебное пособие для
вузов / Л.В. Хливненко, Ф.А. Пятакович. 2-е изд., стер. Санкт-Петербург: Лань,
2021. 200 с.
ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ ПАРАЛЛЕЛЬНОГО ПРОГРАММИРОВАНИЯ Фирагин Н.Г. Email: [email protected]
Фирагин Никита Григорьевич - студент, кафедра прикладной математики и искусственного интеллекта,
Институт информационных и вычислительных технологий Национальный исследовательский университет «МЭИ», г. Москва
