CC BY
39
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ И УПРАВЛЯЮЩИЕ СИСТЕМЫ INFORMATION-MEASURING AND CONTROL SYSTEMS
УДК 62-523
DOI: 10.17586/0021-3454-2023-66-2-125-130
ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ЛОКАЛИЗАЦИИ ОТКАЗОВ ДАТЧИКОВ КВАДРОКОПТЕРА
С. А. Ким*, А. А. Маргун, А. А. Пыркин
Университет ИТМО, Санкт-Петербург, Россия skimitmo@gmail.com
Аннотация. Рассматривается задача локализации отказов датчиков (акселерометра и гироскопа) беспилотного летательного аппарата типа „квадрокоптер". Разработан алгоритм, обеспечивающий возможность детектирования и классификации отказов датчиков квадрокоптера с помощью методов машинного обучения. Для решения задачи использованы следующие методы машинного обучения: логистическая регрессия, метод случайного леса, LASSO и гребневая регрессии, а также эластичная сеть. Экспериментальные результаты, полученные в ходе компьютерного моделирования, подтверждают работоспособность предложенного алгоритма. Проведен сравнительный анализ используемых методов машинного обучения.
Ключевые слова: локализация отказов, квадрокоптер, БПЛА, логистическая регрессия, метод случайного леса, LASSO-регрессия, гребневая регрессия, эластичная сеть, акселерометр, гироскоп
Ссылка для цитирования: Ким С. А., Маргун А. А., Пыркин А. А. Применение методов машинного обучения для локализации отказов датчиков квадрокоптера // Изв. вузов. Приборостроение. 2023. Т. 66, № 2. С. 125—130. DOI: 10.17586/0021-3454-2023-66-2-125-130.
APPLICATION OF MACHINE LEARNING METHODS TO LOCALIZE QUADCOPTER SENSOR FAILURES
S. A. Kim*, А. А. Margyn, А. А. Pyrkin
ITMO Unversity, St. Petersburg, Russia skimitmo@gmail.com
Abstract. The problem of localizing failures of sensors (accelerometer and gyroscope) of an unmanned aerial vehicle of the "quadcopter" type is considered. An algorithm is developed that provides the ability to detect and classify quadcopter sensor failures using machine learning methods. To solve the problem, the following machine learning methods were used: logistic regression, random forest method, LASSO and ridge regression, as well as elastic net. Experimental results obtained in the course of computer simulation confirm the efficiency of the proposed algorithm. A comparative analysis of the used methods of machine learning is performed.
Keywords: failure localization, quadcopter, UAV, logistic regression, random forest method, LASSO regression, ridge regression, elastic net, accelerometer, gyroscope
For citation: Kim S. A., Margyn А. А., Pyrkin А. А. Application of machine learning methods to localize quadcopter sensor failures. Journal of Instrument Engineering. 2023. Vol. 66, N 2. P. 125—130 (in Russian). DOI: 10.17586/0021-34542023-66-2-125-130.
Введение. Управление движением летательных аппаратов необходимо обеспечивать в условиях различных параметрических неопределенностей, воздействий нестационарной окружающей среды, а также шумов измерения. Помимо этого в процессе полета могут возникать различные нештатные ситуации, например, повреждения частей конструкции либо
© Ким С. А., Маргун А. А., Пыркин А. А., 2023
отказы оборудования [1]. Часть из этих повреждений и отказов оказывает непосредственное влияние на динамические характеристики беспилотного летательного аппарата (БПЛА) как объекта управления. Поэтому существует потребность в методах и алгоритмах отказоустойчивой работы БПЛА.
Задача обеспечения отказоустойчивого управления разделяется на две части [1—5]. Первая касается реконфигурации алгоритмов управления движением БПЛА в случае отказа [6]; вторая — проблемы детектирования и локализации отказов.
В последнее время все более актуальна задача прогнозирования отказов оборудования с использованием методов машинного обучения [7] в таких областях, как: машиностроительное производство, транспортные системы, и другие области промышленности. Эффективность этих методов выше эффективности подходов, основанных на нечеткой логике и статистических методах. К преимуществам методов машинного обучения перед классическими математическими подходами можно отнести способность алгоритмов быстро обрабатывать большие объемы данных, кроме того, машинный алгоритм способен самостоятельно выявлять закономерности в данных. Оценочная точность модели — показатели количественные, поэтому на них можно ориентироваться в процессе принятия решений [8—10]. Ввиду описанных преимуществ целесообразно применять методы машинного обучения для повышения качества прогнозов отказов оборудования с целью снижения аварийности и затрат.
Ниже описаны основные принципы работы используемых в настоящей статье методов машинного обучения.
Метод логистической регрессии обычно используется для оценки вероятности того, что образец принадлежит к определенному классу [11].
Регрессия методом наименьшего абсолютного сокращения и выбора (LASSO-регрессия) — это вариант линейной регрессии, специально адаптированный для данных, которые демонстрируют сильную мультиколлинеарность. LASSO использует сжатие коэффициентов, которое добавляет регрессионным моделям несколько преимуществ:
— точные и стабильные оценки;
— уменьшение ошибок.
Гребневая регрессия, как и LASSO-регрессия, применяет сжатие. Оба алгоритма хорошо подходят для наборов данных с большим количеством признаков, которые не являются независимыми друг от друга (коллинеарность). Однако самое большое различие между ними состоит в том, что гребневая регрессия использует регуляризацию L2, т.е. ни один из коэффициентов не становится нулевым, как это происходит в LASSO-регрессии. Гребневую регрессию лучше использовать, когда необходимо сделать приоритетными большое количество переменных, эффект от каждой из которых невелик.
Эластичная сеть — „серединная точка" между гребневой и LASSO-регрессией: член регуляризации представляет собой смесь членов регуляризации гребневой и LASSO-регрессии.
Постановка задачи. Процесс машинного обучения требует достаточно большого объема данных, соответствующих изучаемому режиму работы. Для сбора данных, соответствующих тем или иным отказам, необходимо выполнять наблюдения на протяжении длительного времени эксплуатации. Эта задача требует больших затрат ресурсов, из-за чего на практике зачастую недостаточно данных для построения точных и репрезентативных моделей машинного обучения. Решение о наличии отказа принимается путем сравнения показаний датчиков с их ожидаемыми величинами на основе номинальной модели. В том случае, когда отклонение превышает определенный уровень, в системе возникает отказ. Далее необходимо классифицировать отказ. Ожидаемые показатели датчиков могут быть получены путем компьютерного моделирования динамики квадрокоптера. Каждая из групп отказов по-своему влияет на динамику движения БПЛА, поэтому в предложенном алгоритме используются методы классификации, специфичные для каждой из групп отказов. Рассмотрим компьютерную модель
Применение методов машинного обучения для локализации отказов датчиков квадрокоптера 127
БПЛА, включающую акселерометр и гироскоп, затем сформируем набор данных, содержащий показания БПЛА для всех видов отказов и такое же количество данных в отсутствие отказов, для того чтобы избежать разбалансировки классов. Далее выполним предобработку полученных данных и построим модели с помощью различных алгоритмов машинного обучения.
Математическая модель квадрокоптера. Для начала рассмотрим математическую модель летательного аппарата типа „квадрокоптер". Трехмерная модель квадрокоптера представлена на рис. 1, где — силы тяги, производимые каждым из четырех двигателей; т. — вращающие моменты двигателей.
' ■ 14
сс
■ Л- -I:
|
. I
^2
13
■ Ф +
1. .
12
+ - .
| \
I \
/
Рис. 1
Математическая модель движения квадрокоптера представлена в [2]. Модель динамики
квадрокоптера в инерциальной системе координат описывается уравнениями:
р.
Х = —- [пфБту + СО8фсО8у8Ш0], (1)
т р.
у =--- [сОБфвтуБ^ - СОБ^пф],
т
р.
г = g--- [сОБфсОБб],
т
ф=-
-I,
1Х
0 = ф¥+ ^,
I I
у у
¥ =
1х - 1у
I,
ф0+~",
* 7
(2)
(3)
(4)
(5)
(6)
г г
где х, у, г — линейные координаты в системе отсчета; ф, 0, ¥ — углы крена, тангажа и рысканья; ^ — сила тяги; тх, ту, тг — вращающие моменты; т — масса квадрокоптера; g — ускорение свободного падения; 1Х, 1у, 12 — моменты инерции по соответствующей оси квадро-коптера.
Типы отказов датчиков. Рассмотрим следующие виды отказов. 1. При полном выходе из строя датчика бортовая система БПЛА принимает нулевые значения вместо реальных показаний. В случае выхода из строя датчика соответствующая переменная юг принимает нулевое значение, т.е. юг = 0.
х
+
0
ю,, град 10
5
0
-5
номинальные (1) полный отказ (2) мультипликативный отказ (3) „зависание"(4)
. - * *■ \ - I Л l V i v т . „ ■ I / W. i. 4, 1 1 • » * 1 1 1 /| Ijil , л я . i ' Л" . - V. t ' . , , . с i' ■-V-f-^TW V i
0 5 10 t, c
Рис. 2
2. При мультипликативном отказе датчика:
failure (*) = (1 +Р) юпош (*) +Л (*), (7)
где юпош (t) — показания исправного датчика; р — мультипликативная постоянная (коэффициент); n(t) — шум измерений.
3. „Замораживание" показаний приводит к тому, что датчик постоянно показывает значения, соответствующие определенному прошлому моменту времени:
rofailure (t) = юпош (* ). (8)
График показаний гироскопа при разных типах отказов представлен на рис. 2. Со 2-й по 5-ю секунду наблюдается полный отказ датчика (2), с 6-й по 9-ю секунду заметен мультипликативный отказ датчика (3) с р =3, с 10-й по 13-ю секунду видно „замораживание" показаний датчика (4). В результате компьютерного моделирования были получены наборы данных по 50 датасетов для каждого типа отказов и такое же количество данных в случае безотказной работы для того, чтобы исключить разбалансировку классов. Перед тем как применять алгоритмы машинного обучения, полученные данные для разных типов отказов были преобразованы в табличное представление. Для того чтобы приблизить показания к реальным условиям эксплуатации, был добавлен белый гауссов шум при проведении измерений. В качестве целевых признаков использованы текущие показатели датчиков и их номинальные значения на основе идеализированной модели [12, 13]. Затем для увеличения числа данных был применен алгоритм аугментации. К данным были добавлены изменения сигналов датчиков в окне шириной в 1 с, шаг — 0,1 с. После процедуры аугментации размер полученных данных был увеличен вдвое.
Для обучения моделей были использованы 75 % данных, а остальные 25 % данных — в качестве тестовых. Исходные значения признаков могут изменяться в очень большом диапазоне и отличаться друг от друга на несколько порядков. Для этого проведем нормирование значений, это обеспечит корректную работу вычислительных алгоритмов. Так как квадрокоп-тер использует различные режимы полета, корректно заменить абсолютные значения нормализованными. Для этого используем нормализацию средним. Стандартизированная оценка величины х рассчитывается по формуле [14]:
х - X /ЛЧ Z =-, (9)
Sх
где X — среднее значение, Sx — стандартные отклонения, вычисленные для множества данных х, .
Применение методов машинного обучения для локализации отказов датчиков квадрокоптера 129
Далее на основе сформированного набора данных обучили модель с использованием метода логистической регрессии, случайного леса, LASSO и гребневой регрессии, а также эластичной сети.
Классификатор Точность, о.е. Полнота, о.е. F-мера, о.е.
Метод случайного леса 0,86 0,87 0,86
Логистическая регрессия 0,76 0,76 0,76
LASSO-регрессия 0,76 0,78 0,77
Гребневая регрессия 0,87 0,88 0,87
Эластичная сеть 0,61 0,62 0,61
Оптимизация гиперпараметров позволяет добиться более высокого качества классификатора за счет изменения регулирующих его функционирование настроек.
F-мера, o.e.
0,8 0,6 0,4 0,2 0
Логистическая LASSO регрессия
Метод Эластичная Гребневая ПодНый случайного сеть регрессия леса
Рис. 3
В результате испытаний подобраны параметры с использованием метода GridSearchCV (из библиотеки БЫеагп), который обеспечивает поиск наилучших параметров модели методом перебора на заданной сетке.
Заключение. В статье предложен алгоритм локализации и классификации отказов датчиков БПЛА с использованием классических методов машинного обучения. Сравнение результатов работы алгоритмов показало, что наилучшие показатели Б-меры на тестовом наборе данных обеспечивает метод гребневой регрессии.
СПИСОК ЛИТЕРАТУРЫ
1. Козлов Д. С., Тюменцев Ю. В. Нейросетевые методы обнаружения отказов датчиков и приводов летательного аппарата // Труды МАИ. 2012. Вып. 52.
2. Lee D., Burg T., Dawson D., Shu D., Xian B., and Tatlicioglu E. Robust tracking control of an underactuated quadrotor aerial-robot based on a parametric uncertain model // IEEE Intern. Conf. on Systems, Man and Cybernetics (SMC 2009). 2009. P. 3187—3192.
3. Пыркин А. А., Мальцева Т. А., Лабадин Д. В., Суров М. О., Бобцов А. А. Синтез системы управления квадрокоптером с использованием упрощенной математической модели // Изв. вузов. Приборостроение. 2013. Т. 56, № 4. С. 47—51.
4. Patan K. Artificial neural networks for the modeling and fault diagnosis of technical processes // Lecture Notes in Control and Information Sciences. Vol. 377. Berlin: Springer-Verlag, 2008. 206 p.
5. Blanke M. et al. Diagnosis and fault-tolerant control. Berlin: Springer-Verlag, 2006. 672 p.
6. Sobhani-Tehrani E., Khorasani K. Fault diagnosis of nonlinear systems using a hybrid approach // Lecture Notes in Control and Information Sciences. Vol. 383. NY: Springer-Verlag, 2009. 265 p.
7. Шаханов Н. И., Варфоломеев И. А., Юдина О. В., Ершов Е. В. Прогнозирование аномалий в работе натяжных устройств агрегата полимерных покрытий металла в условиях малого количества отказов // Программные продукты и среды. 2018. № 1(36). С. 212—217. D0I:10.15827/0236-235X.121.212-217.
8. Mian A. A., and Wang D. B. Dynamic modeling and nonlinear control strategy for an underactuated quad rotor rotorcraft // Journal of Zhejiang University Science A. 2008. Vol. 9, N 4. Р. 539—545.
9. Min B. C., Cho C. H., Choi K. M. & Kim D. H. Development of a micro quad-rotor UAV for monitoring an Indoor environment // Part of the Lecture Notes in Computer Science book series. Vol. 5744. Advances in Robotics. P. 262—271.
10. Tayebi A. and McGilvray S. Attitude stabilization of a VTOL quadrotor aircraft // IEEE Transactions on Control Systems Technology. 2006. Vol. 14, N 3. Р. 562—571.
11. Жерон О. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных схем. М.: Вильямс, 2018. 187—189 с.
12. Chen J. andPatton R. J. Model-Based Fault Diagnosis for Dynamic Systems. Kluwer Academic Publishers, 1999. 356 p.
13. Wei W. DC Motor Parameter Identification Using Speed Step Responses // Proc. of the 2010 American Control Conf. 2010. P. 1937—1941.
14. МельникМ. Основы прикладной статистики. М.: Энергоатомиздат, 1983. 416 с.
Сведения об авторах
Станислав Александрович Ким — аспирант; Университет ИТМО, факультет систем управления и робототехники; E-mail: skimitmo@gmail.com Алексей Анатольевич Маргун — канд. техн. наук, доцент; Университет ИТМО, факультет систем
управления и робототехники; E-mail: aamargun@itmo.ru Антон Александрович Пыркин — д-р техн. наук, профессор; Университет ИТМО, факультет систем
управления и робототехники; декан факультета; E-mail: pyrkin@itmo.ru
Поступила в редакцию 07.07.22; одобрена после рецензирования 23.11.22; принята к публикации 27.12.22.
REFERENCES
1. Kozlov D.S., Tyumentsev Y.V. Trudy MAI, 2012, no. 52, https://mai.ru/upload/iblock/0e5/neyrosetevye-metody-obnaruzheniya-otkazov-datchikov-i-privodov-letatelnogo-
apparata.pdf?referer=https%3A%2F%2Fyandex.ru%2Fclck%2Fjsredir%3Ffrom%3Dyandex.ru%3Bsearch%2F%3Bw eb%3B%3B. (in Russ.)
2. Lee D., Burg T., Dawson D., Shu D., Xian B., and Tatlicioglu E. IEEE International Conference on Systems, Man and Cybernetics, SMC 2009, 2009, pp. 3187-3192.
3. Pyrkin A.A., Maltseva T.A., Labadin D.V., Surov M.O., Bobtsov A.A. Journal of Instrument Engineering, 2013, no. 4(56), pp. 47-51. (in Russ.)
4. Patan K. Lecture Notes in Control and Information Sciences, vol. 377, Berlin, Springer-Verlag, 2008, 206 p.
5. Blanke M. et al. Diagnosis and fault-tolerant control, Berlin, Springer-Verlag, 2006, 672 p.
6. Sobhani-Tehrani E., Khorasani K. Lecture Notes in Control and Information Sciences, vol. 383, NY, Springer-Verlag, 2009, 265 p.
7. Shakhanov N.I., Varfolomeev I.A., Yudina O.V., Ershov E.V. Software products and environments, 2018, no. 1(36), pp. 212-217, DOI:10.15827/0236-235X.121.212-217. (in Russ.)
8. Mian A.A. and Wang Dao-bo, Journal of Zhejiang University Science A, 2008, no. 4(9), pp. 539-545.
9. Min B.C., Cho C.H., Choi K.M. & Kim D.H. Part of the Lecture Notes in Computer Science book series, vol. 5744, Advances in Robotics, pp. 262-271.
10. Tayebi A., and McGilvray S. IEEE Transactions on Control Systems Technology, 2006, no. 3(14), pp. 562-571.
11. Giron A. Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques for Building Intelligent Systems, O'Reilly Media, Inc., 2019, pp. 187-189.
12. Chen J. and Patton R.J. Robust Model-Based Fault Diagnosis for Dynamic Systems, Kluwer Academic Publishers, 1999, 356 p.
13. Wei W. Proceedings of the 2010 American Control Conference, 2010, pp. 1937-1941.
14. Melnik M. Osnovy prikladnoy statistiki (Fundamentals of Applied Statistics), Moscow, 1983, 416 p. (in Russ.)
Data on authors
Stanislav A. Kim — Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics;
E-mail: skimitmo@gmail.com
Alexey A. Margun — PhD, Associate Professor; ITMO University, Faculty of Control Systems and Robotics; E-mail: aamargun@itmo.ru
Anton A. Pyrkin — Dr. Sci., Professor; ITMO University, Faculty of Control Systems and Robotics;
Dean of the Faculty; E-mail: pyrkin@itmo.ru
Received 07.07.22; approved after reviewing 23.11.22; accepted for publication 27.12.22.
