CC BY
146
3. Использование принципов роевого интеллекта для управления целенаправленным поведением массово-применяемых микророботов в экстремальных условиях / Иванов Д.Я. // Известия высших учебных заведений, 2011. №9. С. 70-78.
4. Chen X. Review of Unmanned Aerial Vehicle Swarm Communication Architectures and Routing Protocols / Chen X, Tang J, Lao S // MDPI Applied Sciences, 2020. №10. p 3661
5. Ефанов В.Н., Мизин С.В., Нетерина В.В. Управление полетом БПЛА в строю на основе координации взаимодействия группы летательных аппаратов // Вестник УГАТУ, 2014. №1. С. 114-121.
6. Ильичев К.В., Манцеров С.А. Разработка масштабируемой мобильной робототех-нической системы роевого взаимодействия // Вестник ПНИПУ, 2017. № 21. С. 91-108.
7. Karpov V.E., Karpova I.P. Formation of Control Structures in Static Swarms // Procedia Engineering, 25th DAAAM International Symposium on Intelligent Manufacturing and Automation. Elsevier, 2015. Vol. 100. P. 1459-1468.
8. Heiss E.A. Movement of a group of unmanned aerial vehicles in formation // IOP: Conf. Ser.: Mater. Sci. Eng., 2021. C. 12019.
9. Heiss E.A. Organization of unmanned aerial vehicles movement as a group // IOP: Conf. Ser.: Mater. Sci. Eng., 2021 C. 11001.
10. Никитин Д.А. Адаптивная система управления квадрокоптером на основе кватер-нионной модели вращений // Управление большими системами, 2017. №90. С. 76-101.
Гейс Эдуард Альбертович, инженер, аспирант, edheiss73@gmail.com, Россия, Тула, ОАО «Конструкторское бюро приборостроения»
DEVELOPMENT OF A QUADROCOPTER REGULATOR, WITH AN EQUIVALENT OF POTENTIAL FIELD STRENGTH VECTOR AS AN INPUT
E.A. Heiss
The paper presents several quadrocopter controller. The input of controllers is the potential field strength vector equivalent. These regulators are required to organize the potential field of the thermal motion of quadrocopters as part of a group. This approach should increase the survivability of the swarm and adaptability to changes in the properties of the environment. The results of modeling the proposed regulators in proprietary software are presented, on the basis of which one regulator was selected for subsequent work.
Key words: potential field, quadrocopter, controller.
Heiss Edward Albertovich, engineer, postgraduate, edheiss73@gmail.com, Russian, Tula, JSC «KBP» Instrument Design Bureau
УДК 004
КРАТКИЙ ОБЗОР И КЛАССИФИКАЦИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
Г.Д. Бородин
В тексте рассматриваются недостатки традиционных алгоритмов по сравнению с нейросетевыми, простейшая математическая модель искусственного нейрона, виды функций активации, классификация нейросетей с некоторыми примерами.
Ключевые слова: искусственные нейросети, искусственный нейрон, функция активации, парадигма обучения, обзор.
Введение. Современные цифровые вычислительные машины при всей своей мощности и универсальности обладают рядом недостатков:
- последовательное выполнение вычислений ограничивает скорость выполнения алгоритмов;
- вычислительный модуль и модуль памяти являются целостными физическими устройствами, что может привести к полному отключению системы при её частичном повреждении;
- для корректных результатов требуется наличие чёткого алгоритма, что приводит к необходимости иметь априорные знания об условиях, в которых будет функционировать программа.
Для преодоления приведённых недостатков необходимо создать некий параллельный распределённый процессор, который будет иметь возможность самонастройки по результатам взаимодействия со средой, в которой предполагается выполнение задачи. Такой процессор уже создан природой — человеческий мозг является живым примером не только возможности существования такого устройства, но и его эффективности.
Логика вычислений в нейронных сетях человека была описана в классической работе Мак-Каллока и Питца [2]. Они формализовали модель нейрона и показали, что сеть из большого числа таких вычислителей, работающих синхронно и правильно соединённых, способна выполнять любые вычисления. Согласно [3], именно этот результат явился причиной зарождения таких направлений в науке, как искусственный интеллект и нейронные сети.
Приведём определение нейронной сети из [1]: «Нейронная сеть — это громадный распределённый параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки. Нейронная сеть сходна с мозгом с двух точек зрения.
- Знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения.
- Для накопления знаний применяются связи между нейронами, называемые синапти-ческими весами».
Таким образом, преимуществами нейронных сетей перед традиционными цифровыми машинами являются: распределённость и параллельность вычислений, способность работы без чёткого алгоритма, способность к обобщению и выделению глобальных свойств набора данных.
Недостатками же являются необходимость сбора достаточного для обучения набора данных о среде, в которой предполагается работа, всегда приблизительный вывод нейросети, то есть невозможность использовать нейросети для точных вычислений, трудоёмкость обучения.
Биологический нейрон и математическая модель нейрона. Нейрон — электрически возбудимая клетка, которая предназначена для приёма извне, обработки, хранения, передачи и вывода вовне информации с помощью электрических и химических сигналов [5]. Биологический нейрон принимает сигналы через синоптические связи своих дендритов с аксонами других нейронов. Если сумма этих сигналов превысила некий порог возбуждения, то сам нейрон становится активным и посылает электрический сигнал через свой аксон к другим нейронам. Так сигналы распространяются в биологической нейронной сети.
По аналогии с живыми организмами, искусственный нейрон является базовой единицей обработки информации в искусственных нейронных сетях (ИНС).
Модель нейрона можно представить в виде схемы, рис. 1 [3].
Порог
сигналы
Функция активации Входные I ■>'-К*")—...... V V ХЛк
Ф(')
Сумматор
Выходной ► сигнал
Ук
Синаптические
веса
Рис. 1. Нелинейная модель нейрона
В соответствии с этой моделью, искусственный нейрон характеризуется набором си-наптических связей, каждая из которых представлена своим синаптическим весом, пороговым элементом, сумматором, а также функцией активации. В общем случае, пороговый элемент можно представить, как дополнительный синапс, на вход которого всегда поступает единица. Тогда порог будет равен синаптическому весу этой связи.
В математическом представлении искусственный нейрон выполняет взвешенное суммирование входных сигналов:
т
V к = Х ^ктХ! + Ьк, 7=1
где Vк — индуцированное локальное поле, или потенциал активации (по [3]); т — число входов нейрона; Мк1, Wk 2,-, Мкт — синаптические веса; дц, X 2,-, Хт — входные сигналы; Ьк — величина порога.
В случае общего представления порогового элемента формула запишется следующим
образом:
т
V к = X МктХр
7=0
где Мк 0 — величина порога; хо — постоянный единичный входной сигнал.
Полученная на сумматоре взвешенная сумма затем подвергается воздействию функции активации, которая и формирует отклик нейрона к на данные т входных сигналов:
Ук = Ф^ к х
где Ук — выходной сигнал нейрона; ф^ к) — функция активации.
Согласно [3], использование порога необходимо для обеспечения афинного преобразования выхода сумматора.
Типы нейронов различаются между собой функциями активации. Приведём некоторые из них.
Виды функций активации. Функция единичного скачка. Искусственный нейрон с такой функцией активации называется персептроном. Он был описан в работе Фрэнка Розен-блатта [4]. Его также иногда называют моделью Мак-Каллока-Питца, отдавая дань пионерской работе [2], так как в ней описан принцип «всё или ничего», соответствующий работе персеп-трона:
Г1, если V > 0;
ф^) Чо о
[0, если V < 0.
Такая функция активации позволяет работать с бинарным разделением данных, когда выходной нейрон либо активен (первый класс данных), либо нет (второй класс данных). Попытка классификации на несколько групп может привести к тому, что активными будут несколько нейронов одновременно и установление точной группы станет невозможным. Также нейронные сети с активационной функцией единичного скачка невозможно обучать с использованием градиентных методов, так как производная этой функции равна 0 для всех значений аргумента, кроме 0, где она бесконечна. Однако нельзя не отметить, что это очень простая с вычислительной точки зрения функция активации. График этой функции активации приведён на рис. 2 а.
Линейная функция. Простейшим вариантом функции активации, которая могла бы принимать не только дискретные значения, является линейная функция:
ф(у) = с -V,
где с — параметр наклона прямой.
Недостатки этой функции:
- производная постоянная на всей области определения;
- невозможно построить многослойную сеть, так как выходная величина является линейной комбинацией входных данных, то есть любое количество слоёв можно заменить одним слоем. График линейной функции представлен на рис. 2 Ь.
Сигмоидальная (логистическая) функция. Искусственный нейрон с такой функцией активации называется сигмоидом [6]. Функция имеет следующую запись:
ф(^) =-1-
1 , - а^
1 + е
где а — параметр наклона сигмоиды.
Сигмоида принимает бесконечное количество значений, как и линейная функция, однако сигмоида нормализована на интервале от 0 до 1. Это нелинейная функция, а значит, с ней можно создавать многослойные нейронные сети. В районе начала координат у сигмоиды наблюдается достаточно большой наклон, то есть большая производная, что способствует быстрому «прижиманию» выходных значений сигмоидных нейронов к асимптотам в процессе обучения.
Рис. 2. Графики функции единичного скачка а и семейства прямых Ь
Недостаток этой функции активации — явление исчезновения градиента при приближении к границам интервала значений функции. По графику этой функции активации, изображённому на рис. 3 а, видно, что чем ближе функция к 0 или к 1, тем более пологий у неё наклон и тем меньше производная. Это приводит к замедлению обучения градиентными методами. Другой вариант логистической функции — гиперболический тангенс:
ф(у) = tanh(v).
Здесь сохраняются те же преимущества и недостатки, что и у сигмоиды, за исключением того, что гиперболический тангенс принимает значения из интервала (-1; 1). Его график приведён на рис. 3 Ь.
Рис. 3. Графики семейста сигмоид a и гиперболического тангенса b
Функция активации ReLU. ReLU (Rectified Linear Unit) названа так по аналогии с полупроводниковым однополупериодным выпрямителем. Математическая запись имеет вид:
fv, если v > 0;
Ч0' 0'
[0, если v < 0.
К преимуществам этой функции относят:
- нелинейность (возможность построения многослойных сетей);
- принимает бесконечное количество значений;
- очень просто вычисляется как сама функция, так и её производная;
- разреженность активации. В сетях с очень большим количеством нейронов использование сигмоидной функции или гиперболического тангенса в качестве активационный функции влечет активацию почти всех нейронов, что может сказаться на производительности обучения модели. Если же использовать ReLU, то количество включаемых нейронов станет меньше в силу нулевого выхода при отрицательном индуцированном локальном поле [8];
- является универсальным аппроксиматором [7].
Недостатком является так называемая проблема «умирающего ReLU». Так как часть производной функции равна нулю, то и градиент для нее будет нулевым, а то это значит, что веса не будут изменяться во время градиентного спуска и нейронная сеть перестанет обучаться [8]. График этой функции активации приведён на рис. 4.
Рис. 4. График функции ЯгЬи
Виды нейронных сетей. По количеству слоёв. В нейронных сетях различают 3 вида слоёв: входной, скрытый и выходной. Первый служит для получения нейросетью входной информации. На этом слое не осуществляется обработка данных, он просто служит источником сигналов для следующих слоёв. Выходной слой — это последний слой нейронов, выходные сигналы с которого являются выходом нейросети в целом. Состоит из обычных вычислительных нейронов с взвешенным сумматором и функцией активации, предусмотренной задачей. Если сигнал с входного слоя подаётся непосредственно на вход выходного, то такая нейросеть называется однослойной. В многослойной сети входной слой соединён с некоторым слоем нейронов, который может быть далее соединён с выходным или с другим промежуточными слоями. Такие промежуточные слои называют скрытыми. Они состоят из обычных вычислительных нейронов. Скрытыми они называются потому, что их выходные значения сложно или нельзя точно интерпретировать как описание какого-либо признака, как это бывает с выходным слоем.
По способу соединения нейронов. Различают нейронные сети прямого распространения — каждый нейрон в качестве входов принимает сигналы только с предыдущего слоя нейронов (рис. 5 а [3]) — и рекуррентные — входными сигналами каждого нейрона могут также служить значения выходов других нейронов этого или следующих слоёв или его самого (рис. 5 Ь [3]).
По парадигме обучения. Обучение с учителем — обучение на наборе маркированных примеров. Концептуально это представляется так, как будто нейросеть и учитель получают вектор входных параметров из неизвестной нейросети окружающей среды. Нейросеть генерирует на выходе некоторый выходной вектор, который сравнивается с желаемым выходным откликом, сформированным учителем. Получившаяся невязка используется для коррекции весов нейросети.
Обучение без учителя — свободные параметры нейросети оптимизируются по отношению к некоторой независимой от задачи мере качества. Нейросеть учится выявлять статистические закономерности входных данных и формирует внутреннее представление их кодируемых признаков, тем самым автоматически формируя новые классы [3].
По выполняемой задаче. Одним из наиболее важных в практическом плане признаков нейросети является решаемая ею задача. Согласно [3], можно выделить следующие задачи, решаемые с помощью ИНС.
Операторы
ЙЙцЗ единичной
задержки
Входной Слой скрытых Выходной слой слой нейронов нейронов
а Ъ
Рис. 5. Архитектура сети прямого распространения а и архитектура сети
с обратными связями Ь
Ассоциативная память. Это распределённая память, обучаемая на основе ассоциаций, подобно мозгу живых существ. Существует два типа ассоциативной памяти: автоассоциативная и гетероассоциативная. Работа ИНС первого типа описывается так: нейронная сеть запоминает помещаемые в неё векторы данных (образы); затем на вход подаются неполные или зашумлённые описания запомненных образов, а ИНС должна распознать конкретный образ. Гетероассоциативная память отличается тем, что в ней произвольному набору входных образов ставится произвольный набор выходных сигналов.
Примером нейросети, основанной на ассоциативной памяти, может служить онлайн графический редактор AutoDraw, разработанный Google [9]. Данная нейросеть воспринимает нарисованное пользователем изображение как искажённый образ какого-либо объекта из базы заранее запомненных образов и предлагает заменить его рисунок из базы.
Распознавание образов. Эту задачу можно определить, как процесс, в котором получаемый образ должен быть отнесён к одному из заранее предопределённых классов. Образы можно представить в виде точек в многомерном пространстве решений. Всё пространство решений разделяется на области, каждая из которых ассоциируется с определённым классом. Границы этих областей и формируются в процессе обучения.
Одно из распространённых приложений таких нейросетей — задача распознавания лиц. Например, популярное приложение FaceApp [10] производит различные манипуляции с лицами на фотографиях. Однако, чтобы, например, состарить лицо, необходимо сначала определить его на фотографии, чем и занимается распознающая нейросеть.
Фильтрация. Фильтры могут применяться для решения трёх задач обработки информации: фильтрация, то есть извлечение полезной информации из измеренных данных; сглаживание и прогнозирование, то есть получение прогноза относительно состояния объекта управления в будущем на основе данных, полученных для текущего момента.
Аппроксимация функций. Если есть некоторая неизвестная нелинейная функциональная зависимость между входным и выходным векторами, а также имеется набор маркированных примеров вида «входной вектор — выходной вектор», то на этих данных можно обучить нейросеть приближённо воспроизводить данную неизвестную функцию. Эту способность ИНС к аппроксимации функций можно использовать для идентификации систем, то есть получить математическую модель неизвестной системы в виде обученной на примерах её работы нейросети. Другой вариант использования способности к аппроксимации — построение ин-
версных систем. Если есть некая система, преобразующая вектор входных параметров в вектор выходных, то инверсная по отношению к исходной система восстанавливает вектор входных параметров по вектору выходных.
Управление. Рассмотрим систему управления с единичной обратной связью. В ней выход объекта вычитается из эталонного задающего сигнала, и полученная ошибка подаётся на нейроконтроллер, задача которого сводится к настройке своих свободных параметров таким образом, чтобы подаваемое на вход объекта воздействие привело к минимальной разнице между его выходом и задающим воздействием. Другими словами, в задачу контроллера входит инвертирование отображения вход-выход объекта управления.
Нейроконтроллер из диссертации [11] можно отнести к решающему задачу управления. Задачи аппроксимации и управления в данном контексте довольно близки и можно сказать, что задача управления являются частным случаем задачи аппроксимации при рассмотрении инверсных по отношению к объекту функций.
Подражающее нейроуправление. Другой вариант использования нейросетей для управления объектами — подражающее нейроуправление. В данном случае ИНС учится повторять заданные идеальные траектории поведения выходного сигнала объекта. Траектории могут быть заданы как в фазовом пространстве системы, то есть для всех её переменных состояния, так и, например, только для непосредственно выходной координаты. Последний пример был реализован мной на базе математического пакета МА^АВ.
В качестве объекта управления была взята классическая математическая модель двигателя постоянного тока третьего порядка. В качестве некого идеального поведения объекта управления была выбрана обычная монотонная экспонента, а для дополнения обучающей вы-боркн она также была построена из нескольких ненулевых начальных условий (рис. 6).
Рис. 6. Идеальные траектории объекта
В качестве задающего сигнала было выбрано ступенчатое воздействие величиной 27 единиц. После чего была вычислена ошибка в каждый момент времени для этого переходного процесса, первая и вторая производная (конечная разность) ошибки, и с использованием математической модели объекта вычислено управление, реализующее выбранный режим. Была создана нейросеть (без использования специального набора инструментов), состоящая из 3 входных нейронов (ошибка и две её производные), 10 скрытых нейронов и 1 выходного нейрона — управления. Данная нейросеть была обучена с использованием полученных ранее данных. Результат обучения можно видеть на рис. 7.
По рис. 7а видно, что переходный процесс достаточно близко подходит к идеальному, изображённому на рис. 6, что свидетельствует об успешном обучении на выбранных данных. На рис. 7Ь показана реакция на гармонический сигнал амплитудой 1 и частотой 1 рад/с. Нейросеть справляется сильно лучше, чем единичный регулятор, но в целом посредственно. Это связано с тем, что специального обучения на гармонические сигналы не проводилось. Однако стоит заметить, что нейросеть его отработала в принципе и точно не ужасно, что говорит о том, что в процессе обучения была выделена общая закономерность поведения объекта.
Нейроподражающее управление едва ли можно сравнить по эффективности с традиционными регуляторами, потому что, обучая нейросеть на их примере, априори невозможно добиться лучшего качества, чем показывают оригинальные контроллеры. Однако, с помощью этого метода можно реализовывать законы управления какой-либо нестандартной формы или копировать поведение человека-оператора.
Time offset: 0 Time offset: О
а Ъ
Рис. 7. Работа нейрорегулятора: красным — выход объекта с нейрорегулятором; зелёный — выход объекта с регулятором в виде единичного коэффициента усиления;
синий пунктир — задающий сигнал
Перспективы применения нейросетей в системах автоматического управления (САУ). С точки зрения САУ полезным будет свойство ИНС аппроксимировать неизвестные функции: с практической точки зрения этим свойством можно воспользоваться для создания математических моделей физических объектов, представляющих некий «чёрный ящик», то есть не имеющих чётких математических описаний на основе общих физических законов. Таким образом, процесса аппроксимации здесь перетекает в процесс идентификации объекта, как полностью, так и только его числовых характеристик.
Близкая к задаче аппроксимации — задача управления — также позволяет нейросетям проявить себя в этой области, так как, обучаемый в реальном времени, такой контроллер будет обладать адаптивными свойствами.
Наконец, задача распознавания образов может решаться в блоках наведения ЛА, что позволит автономно наводиться на образы заранее заданных целей.
Список литературы
1. Aleksander I. and H. Morton. An Introduction to Neural Computing, London: Chapman and Hall, 1990.
2. McCulloch W.S. and W. Pitts. "A logical calculus of the ideas immanent in nervous activity", Bulletin of Mathematical Biophysics, 1943, vol. 5, p. 115-133.
3. Хайкин, Саймон. Нейронные сети: полный курс: пер. с англ. М.: Вильямс, 2006.
1104 с.
4. Rosenblatt F. Principles of Neurodynamics, Washington, DC: Spartan Books, 1962.
5. Нейрон Википедия. Свободная энциклопедия. [Электронный ресурс] URL: https://щ.wikipedia.org/wiki/Нейрон (дата обращения: 20.04.2021).
6. M. Nielsen. Neural Networks and Deep Learning. [Электронный ресурс] URL: http://neuralnetworksanddeeplearning.com/ (дата обращения: 21.04.2021).
7. Understanding Activation Functions in Neural Networks: The Theory Of Everything. [Электронный ресурс] URL: https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0 (дата обращения: 30.04.2021).
8. Практики реализации нейронных сетей: Университет ИТМО: викиконспекты. [Электронный ресурс] URL: https://neerc.i^таo.щ/wiki/index.php?title=Практики реализации нейронных сетей (дата обращения: 04.05.2021).
9. AutoDraw: онлайн графический редактор. [Электронный ресурс] URL: https://www.autodraw.com/ (дата обращения: 15.06.2021).
10. FaceApp — Редактор селфи и макияжа [мобильное приложение]: Google Play: электронный магазин мобильных приложений. [Электронный ресурс] URL: https:// play. google.com/store/apps/details?id=io.faceapp (дата обращения: 15.06.2021).
11. Кабирова А. Н. Материалы диссертации: Методы и комплексы программ построения нейросетевых моделей регуляторов для управления динамическим объектом, Казань, 2017.
Бородин Георгий Дмитриевич, студент, egor5533@yandex.ru, Россия, Тула, Тульский государственный университет
BRIEF OVERVIEW AND CLASSIFICATION OF ARTIFICIAL NEURAL NETWORKS
G.D. Borodin
The text discusses the shortcomings of traditional algorithms in comparison with neural network, the simplest mathematical model of an artificial neuron, types of activation functions, classification of neural networks with some examples.
Key words: artificial neural networks, artificial neuron, activation function, learning paradigm, overview.
Borodin George Dmitrievich, student, egor5533@yandex.ru, Russia, Tula, Tula State University
УДК. 62-503.56
DOI: 10.24412/2071-6168-2021-11-53-60
ПОСТАНОВКА ЗАДАЧИ ОПТИМИЗАЦИИ ДАЛЬНОСТИ ПОЛЕТА ЛЕТАТЕЛЬНОГО АППАРАТА
К.Ю. Нечепуренко, С.В. Феофилов
В статье сформулирована задача оптимизации дальности полета летательного аппарата, рассмотрены классы методов оптимизации и выбраны пригодные для решения поставленной задачи. Рассмотрены алгоритмы выбранных методов.
Ключевые слова: оптимальное управление, оптимизация, дальность полета, методы оптимизации, летательный аппарат.
В настоящее время одним из актуальных направлений инженерной деятельности является улучшение параметров летательных аппаратов (ЛА). Одной из основных характеристик для всех типов ЛА является дальность полета, соответственно, актуальной является задача по ее увеличению. Этого можно достигнуть различными способами для разных типов ЛА. В данной статье предлагается к рассмотрению задача оптимизации дальности полета крылатого летательного аппарата, оборудованного двигательной установкой.
Постановка задачи оптимизации. Оптимизация - процесс нахождения экстремума (глобального максимума или минимума) определённой функции или выбора наилучшего (оптимального) варианта из множества возможных [1].
В динамических задачах (ограничения, наложенные на переменные, зависят от времени) для нахождения наилучшего варианта действий используют методы оптимального управления и динамического программирования. Применить эти методы можно, если есть строгая постановка задачи:
задан набор переменных;
установлена область их возможного изменения (заданы ограничения); определён вид целевой функции (функции, экстремум которой нужно найти) от этих переменных: есть количественная мера (критерий) оценки степени достижения поставленной цели.
