CC BY
67
Kvetkin Georgy Alekseevich, candidate of technical sciences, head of laboratory, cniiag@cniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics ",
Shevtsova Ekaterina Viktorovna, candidate of technical sciences, docent, catrin victoraimail. ru, Russia, Moscow, Moscow Bauman State Technical University
УДК 623.746; 519; 623.746.174
ИНТЕЛЛЕКТУАЛЬНЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОЙ ПОСАДКИ БЛА ВЕРТОЛЕТНОГО ТИПА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ БОРТОВОЙ ОПТИКО-ЭЛЕКТРОННОЙ
СИСТЕМЫ
Г.Э. Каплинский
Разработан метод определения координат БЛА на основе обработки изображения искусственно созданного ориентира (маркера), полученного с бортовой ОЭС. Для поиска маркера на изображении используются анализ особенностей геометрии маркера и распознавание с помощью искусственных нейронных сетей. Рассматривается возможность применения алгоритма, а также результаты лабораторных исследований, проводимых на базе летающей лаборатории.
Ключевые слова: структурное описание, алгоритмы поиска объекта, автоматическое распознавание изображений, алгоритмы всеракурсного распознавания, искусственные нейронные сети.
Большинство современных методов управления беспилотным летательным аппаратом (БЛА) при посадке основано на дистанционном управлении обученным специалистом либо на использовании координат БЛА, определяемых спутниковыми системами (GPS, Глонасс). Целью данной работы является разработка метода определения координат БЛА на основе обработки изображения искусственно созданного ориентира (маркера), полученного с бортовой ОЭС. Для поиска маркера на изображении предлагаются использование анализа особенностей геометрии маркера и распознавание с помощью искусственных нейронных сетей.
В последнее время все больше внимания уделяется исследованиям и разработкам, направленным на создание алгоритмов автоматизированной посадки БЛА путем цифровой обработки видеоинформации, поступающей с оптико-электронных и радиолокационных систем наблюдения [1 - 5]. Главная роль в процессе построения подобных алгоритмов отводится созданию геометрически различимых маркеров, а также методам их поиска на местности.
Для успешного распознавания маркера наиболее эффективными являются алгоритмы, использующие геометрические особенности маркера с применением искусственных нейронных сетей. Такой подход к задачам распознавания имеет ряд преимуществ:
- геометрическое описание маркера, а также поиск его на изображении являются менее ресурсоемким процессом и, следовательно, требуют меньше ресурсов для выполнения;
- данный подход позволяет минимизировать влияние деталей фоно-целевой обстановки на результат распознавания;
- вероятность правильного распознавания незначительно зависит от масштаба, поворота и наклона БЛА.
- распознавание маркера, находящегося в поле зрения ОЭС, имеет высокую точность.
Для верной работы алгоритма необходимо четко определить границы всех объектов. Таким образом, решаюшую роль в построении описания изображения играют используемые методы предварительной обработки изображения. Точное определение "структуры" изображения является необходимым для успешного применения метода. В данной статье рассматриваются возможности поиска маркера с использованием его геометрических характеристик, а также применение искусственных нейронных сетей. В процессе посадки маркер находится в поле зрения ОЭС БЛА. Главная задача состоит в определении координат БЛА, которое выполняется путем обработки изображения, полученного с ОЭС.
Решение данной задачи делится на несколько этапов.
Этап 1. Алгоритм поиска маркера (рис. 1).
Этап 2. Использование найденных координат искусственно созданного ориентира (маркера) в процессе посадки для определения координат и ориентации БЛА.
Рис. 1. Общий вид маркера
1. Алгоритм поиска маркера.
Данная часть алгоритма содержит следующие операции:
- устранение геометрических искажений;
- бинаризация изображения;
- выделение отдельных объектов на бинаризованном изображении;
- отбор кандидатов маркера;
распознавание маркера с помощью искусственном нейронной се-
ти.
1.1. Устранение геометрических искажений.
Источником изображения является ТВ (ТПВ)-камера. Современные камеры описываются с помощью модели, называемой проективной камерой (projective camera) [6].
1.2. Бинаризация изображения.
Изображение, полученное с камеры, обрабатывается в несколько этапов. Первый - переход от цветного изображения (в случае ТВ-канала ОЭС) к полутоновому для уменьшения времени обработки. Второй - избавление от шума. Третий - бинаризация методом Брэдли [10].
1.3. Поиск маркера на бинаризованном изображении, отбор кандидатов. После обработки на бинаризованном изображении проводится поиск всех объектов заданных параметров.
1.4. Отбор кандидатов маркера.
Отбор кандидатов проводится по следующим параметрам:
1) площадь;
2) расположение центра масс объекта;
3) соотношение сторон описывающего прямоугольника;
4) особые геометрические признаки маркера.
1.5. Распознавание маркера с помощью искусственной нейронной сети.
Для достоверного распознавания маркера применяется искусственная нейронная сеть, обученная на большой выборке изображений маркера. Результаты распознавания маркера показаны на рис. 2.
Рис. 2. Результаты распознавания маркера искусственной
нейронной сетью
66
2. Использование найденных координат искусственно созданного ориентира (маркера) в процессе посадки.
При известном расположении маркера на изображении, а также известных высоте БЛА и угле наклона ОЭС относительно вертикали однозначно определяется положение БЛА относительно маркера [9].
Результаты лабораторных исследований, проводимых на базе летающей лаборатории.
Для апробации результатов работы алгоритма была использована летающая лаборатория, реализованная на базе квадрокоптера. Принципиальна схема управления представлена на рис. 3.
а
Ш
б
Рис. 3. Летающая лаборатория: а - принципиальна схема управления квадрокоптером; б - летающая лаборатория, реализованная на базе
квадрокоптера
Испытания проводились как в помещении, так и на открытом воздухе.
В результате работы алгоритма получены координаты БЛА относительно центра маркера, которые использовались в процессе посадки для корректировки положения БЛА. Испытания (рис. 4) показали полную работоспособность системы.
Рис. 4. Испытания системы
Таким образом, при известной обстановке местности в области расположения искусственно созданного ориентира (маркера) возможно произвести посадку БЛА. Достоинством алгоритма является то, что на результат распознавания не влияют масштаб изображения и ориентация БЛА в пространстве. Данный алгоритм обработки изображения показал высокую скорость и точность работы при выполнении данной задачи.
Список литературы
1. Долженков Н.Н., Воронов В.В. Реализация элементов искусственного интеллекта как путь повышения автономности беспилотных авиационных систем // Перспективные системы и задачи. 2014. С. 43-50.
2. Feron E., Johnson E.N., Ch 44. Aerial Robotics // Springer Handbook of Robotics. Berlin: Springer, 2008. P. 1009 - 1029.
3. Corke P. An inertial and visual sensing system for a small autonomous helicopter // Journal of Robotic Systems. 2004. Vol. 21. No. 2. P. 43 - 51.
4. Autonomous Safe Landing of a Vision Guided Helicopter / A. Cesetti, E. Frontoni, A. Mancini, P. Zingaretti // Mechatronics and Embedded Systems and Applications. 2010. P. 125 - 130.
5. Garcia-Padro Pedro J., Sukhatme Gaurav S., Montgomery J.F. Towards vision-based safe landing for an autonomous helicopter // Robotics and Autonomous Systems, 2000.
6. Tsai R.Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using offthe-shelf TV cameras and lenses // IEEE Journal of Robotics and Automation RA-3(4). P. 323 - 344.
68
7. Бездетнов Н.П., Алексеев В.В. Философия летной безопасности, М., 2014. 335 с.
8. Duda R., Hart P. Pattern Classification and Scene Analysis. N.Y.: John Wiley and Sons, 1973. 312 p.
9. Алгоритм автоматической посадки беспилотного летательного аппарата вертолетного типа с использованием бортовой оптико-электронной системы / В.А. Тупиков, В.А. Павлова, Г.Э. Каплинский, С.Н. Крюков // Известия Тульского государственного университета. Технические науки. 2016. Вып. 11. Ч. 3 С. 86 - 95.
10. Bradley D., Roth G., Adaptive Threshholding Using Integral Image // Journal of Graphics Tools, 2007. Vol. 12. Issue 2. P. 13 - 21.
Каплинский Глеб Эдуардович, науч. сотр., [email protected], Россия, Санкт-Петербург, ОАО «Научно-производственное предприятие «Авиационная и морская электроника»
INTELLIGENT ALGORITHM FOR AUTOMATIC HELICOPTER TYPE UAV LANDING USING ONBOARD ELECTRO-OPTICAL SYSTEM INFORMATION
G.E. Kaplinskiy
The aim of this work is development of a method for determining the helicopter type UA V coordinates based on artificially created reference point (marker) image processing, received with onboard electro-optical system. For marker location within an image, marker geometry features analysis and the artificial neural networks recognition are used. This paper describes the application of the proposed algorithm and testing results conducted on the flying laboratory.
Key words: structure description, object detection algorithms, automatic image recognition, the all aspects recognition algorithms, artificial neural network.
Kaplinskiy Gleb Eduardovich, researcher, glebqq@gmail. com, Russia, Saint Petersburg, OJSC "Research and Production Enterprise "Aviation and Marine Electronics"
