Способ посадки беспилотного летательного аппарата вертолетного типа с использованием инфракрасной камеры Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 623.482:004.932.4

К. В. Иванников, А. В. Гаврилов, А. С. Боев, И. С. Шошин

Способ посадки беспилотного летательного аппарата вертолетного типа с использованием инфракрасной камеры

Предложено использовать инфракрасную камеру для распознавания фигуры из набора инфракрасных излучателей - ориентиров на посадочной площадке. Построен и протестирован на стенде алгоритм распознавания инфракрасных ориентиров. Создан программный комплекс для моделирования распознавания посадочной площадки в процессе посадки беспилотного летательного аппарата (БПЛА) вертолетного типа.

Ключевые слова: посадка, БПЛА, вертолет, инфракрасная камера.

Введение

В последние годы во всем мире наблюдается повышение интереса к использованию БПЛА вертолетного типа в военной области. Такие аппараты могут нести разную полетную нагрузку: радиоэлектронную защиту, радиоэлектронную борьбу, локаторы, индикаторы попадания в цель при использовании БПЛА в качестве мишеней.

Посадка является наиболее сложной и ответственной стадией полета БПЛА. На этой стадии нельзя полагаться полностью на спутниковые навигационные системы, поскольку данные от них не обладают достаточной для этой стадии точностью и достоверностью, а во многих местах спутники просто недоступны. Инфракрасная камера Предлагается использовать инфракрасную (ПК) камеру как часть системы распознавания посадочной площадки и, соответственно, инфракрасные источники излучения в качестве ориентиров в конструкции площадки. Инфракрасная камера в отличие от камеры, осуществляющей съемку в видимом диапазоне, имеет преимущество: она позволяет получать менее сегментированные изображения, на которых проще распознать посадочные ориентиры, при отсутствии перекрывающего инфракрасного излучения [1].

В качестве ориентиров при использовании ПК-камеры используются, как правило, один или несколько источников инфракрасного излучения. Для отделения помех от источников инфракрасного излучения при распознавании или моделируют излучение с некоторой несущей частотой, или составляют из набора источников несложную геометрическую фи© Иванников К. В., Гаврилов А. В., Боев А. С., Шошин И. С., 2016

гуру. Среди наиболее распространенных фигур можно выделить формы букв ТиН.В данной статье используется фигура, образующая букву Г, которая благодаря своей форме позволяет задавать направление и использовать эту информацию при корректировке траектории посадки. Алгоритм распознавания При разработке механизма распознавания учитывалось требование на время выполнения алгоритма на процессорах типа Intel Core /5 не более 0,03 с при том, что частота кадров, получаемых с большинства современных ПК-камер, - 30 кадр/с.

Основные этапы алгоритма следующие:

• сглаживание Гаусса;

• бинаризация изображения;

• морфологическое замыкание;

• нахождение контуров сегментов;

• обнаружение ориентира.

Рассмотрим каждый из них подробнее.

Сглаживание Гаусса. На первом этапе

проводится обработка изображения сглаживающим фильтром, основанным на функции Гаусса для двумерного случая:

где х - расстояние от начала координат по горизонтальной оси;

у - расстояние от начала координат по вертикальной оси;

а - среднеквадратическое отклонение распределения Гаусса.

Фильтрация повышает качество распоз-

пз

навания путем снижения чувствительности | алгоритма к шуму. Применение сглаживания | положительно влияет на процесс выделения ^ границ, снижается количество ложных кон- ^

т

о сч

<1

м га

О

03 Я х а ф

о

о <и со

сч

ю о

I

сч

ю сч

сл ся

туров, а наиденные границы определяются точнее.

Бинаризация изображения. Следующий этап - это получение монохромного изображения, где есть только темные и светлые пиксели. Ключевой характеристикой этого процесса является порог яркости, позволяющий провести такое преобразование. Существуют принципы (критерии бинаризации), по которым выбирается этот порог. В данной работе был применен метод Оцу [2]. Идея этого метода состоит в разделении пикселов на классы полезных и фоновых таким образом, чтобы внутриклассовая дисперсия была минимальной. Она определяется как взвешенная сумма дисперсий двух классов [2]:

о 2К (Т) = щ(Т )о2(Т) + п2(Т )о 2(Т),

где вес п1{Т) и п2{Т) - это вероятности двух классов, разделенных порогом Т;

о2(Т) и о2(Т) - дисперсии этих классов.

Морфологическое замыкание. Особенность данного алгоритма в сравнении с алгоритмами, представленными, например, в статьях [1, 3], заключается в том, что он распознает в кадре не сплошной контур фигуры ориентира посадочной посадки, а контур, составленный из отдельных сегментов, соответствующих отдельным инфракрасным источникам излучения.

По этой причине перед процедурой распознавания следует провести математическую операцию морфологического замыкания [4], предназначенную для соединения отдельных сегментов на изображении для образования контура фигуры ориентира посадочной площадки (для данного примера использована конструкция из диодов, излучающих в видимом диапазоне) (рис. 1).

Характерной чертой морфологического замыкания является наличие структурообразующего элемента [1], размер которого влияет на качество слияния контуров. Поскольку размеры диодов и расстояния между ними увеличиваются по мере уменьшения высоты полета БПЛА при посадке, размер этого элемента является в алгоритме монотонно возрастающей функцией высоты.

Нахождение контуров сегментов. После операции морфологического замыкания

Рис. 1. Результат морфологического замыкания на примере буквы Т, состоящей из отдельных диодов

в изображении находятся контуры содержащихся в нем сегментов, и затем дескрипторы контура каждого найденного сегмента сравниваются с номинальными, заранее вычисленными дескрипторами контура фигуры ориентира посадки.

В качестве дескрипторов контуров, как в алгоритме [1], используются четыре первых аффинных инварианта моментов [5], позволяющих идентифицировать контур независимо от положения на изображении, угла поворота и размера. Как отмечается в работе [5], аффинные инварианты можно применять во многих случаях как аппроксимацию проекционных инвариантов для идентификации трехмерных фигур. Также при их использовании число ошибок при распознавании гораздо меньше, чем при использовании инвариантов Ни [4], чаще использующихся для идентификации контуров изображений [5]:

I1 =

Ш20 Щ02 - ти ;

т00 '

т

pq

- xУ (y- Ус )q,

Ö =2arctg

2m11

dif = ^abs

12 = (-^30 Щ3 + 6^30 ^21^12 Щ3 - 4^30 щ32 - 4т31т)3 + 3т221т12)/т10;

/3 =(^20(^21^03 - т^)-

-ти(Щ0Щя -^21^12) + +т>2 (т30 ти - т21))/ щ70;

/4 = (Щ30Щ23 - 6т20тпШ12Щ)3 -

- 6т220 т02 т21т03 + 9т220 т02т^ +

+ 12т20 т^т21т03 + 6т20 Щ1Щ2 т30 т03 --18т20 тпт02т21т12 - 8т131т30 т03 -

- 6т20 Щ2 т30 т12 + 9т20 ЩЩ +

+ 12т121т02т30 тп - бтцщт т^ + ЩЩ )/ Щ70 ,

где шм - центральные моменты изображения.

Для черно-белого изображения О центральные моменты определяются следующей формулой:

i=1,4

norm

log (If ) log (Ii)

=£abs

i=1,4

log (If)

где \н - /-й элемент дескриптора найденного контура;

1(. - /-й элемент дескриптора номинального контура.

Такой вид формулы разности между дескрипторами выбран для того, чтобы в вычислении расстояния участвовали все элементы векторов дескрипторов вне зависимости от величин их значений. Блок-схема описанного выше алгоритма представлена на рис. 2. Тестирование алгоритма распознавания на стенде

Для тестирования алгоритма распознавания был создан лабораторный стенд из 10 ИК-дио-дов Ь-538Т6С {ё =5 мм, 860 нм, 100 мВт), расположенных на площадке 0,5*0,5 м в виде буквы Т.

На рис. 3 слева представлено изображение, приходящее на вход алгоритма распознавания с ИК-камеры, а справа - результат операции морфологического замыкания, примененный к этому изображению.

Проведенная операция позволяет уверенно отделять ориентир в виде ИК-маркеров от помех (на стенде в виде помех выступают источники дневного освещения). Моделирование процесса автономной посадки на программном комплексе В рамках представленной работы разработан программный комплекс моделирования движения БПЛА при посадке. Программный комплекс предназначен для анализа точности и времени работы алгоритма в зависимости от траектории автоматической посадки и входных данных - параметров алгоритма распознавания - и позволяет анимировать поиск посадочной площадки и снижение БПЛА.

На рис. 4 представлен кадр, полученный из анимации процесса поиска цели и посадки. Буква а указывает на положение БПЛА в начальной точке анимации. Этап поиска поса-

где (хс,ус) - координаты центра изображения О.

С использованием центральных моментов можно также вычислить угол 0 между главной осью контура ориентира и осьюХсистемы координат:

г \

(Щ20 - Щ02 ) Зная угол 0, можно минимизировать отклонение от курса.

Обнаружение ориентира. Ориентир посадочной площадки считается найденным, если разность между дескрипторами номинального контура и дескриптором одного из найденных на изображении контуров меньше 0,0025. Величина выбрана для конкретного контура экспериментальным путем.

Разность между дескрипторами представляется следующей формулой:

Шз =

га 5 в)

norm

г

\

1

Конец операции

Рис. 2. Блок-схема алгоритма распознавания

Рис. 3. Морфологическое замыкание для структуры, составленной из ИК-диодов

ШЩ I

ЯгЛ ч .

Рис. 4. Кадр анимации приближения БПЛА вертолетного типа к посадочной площадке: а - начальная точка; Ь - ориентир посадочной площадки; |=> - траектория посадки

дочнои площадки происходит на спиралевидной траектории БПЛА от начальной точки до текущего положения. Под вертолетом расположена прямоугольная область фиолетового цвета, которая соответствует площади обзора ПК-камеры. В кадре, зафиксированном на рис. 4, ПК-камерой был обнаружен ориентир посадочной площадки b. Контур в виде буквы T попал в поле зрения камеры, после чего была рассчитана траектория посадки.

На рис. 5 показаны графики по завершении моделирования захода на посадку, проведенного на компьютере с процессором Intel Core i5 3.2 ГГц.

Пересечение прямой а и оси абсцисс соответствует точке определения положения ориентира посадки, когда первый раз ошибка распознавания становится ближе всего к нулю. Промежуток между прямыми b и с соответствует снижению вертолета. При этом весь оставшийся путь он находится над посадочной площадкой, что отражено на рис. 5, а, где разность между дескрипторами минимальна. На участке после пересечения прямой с и оси абс-

цисс буква Г выходит за пределы камеры, поэтому разность между дескрипторами возрастает. Дальнейшее развитие алгоритма распознавания ориентира посадочной площадки

Следующими шагами в разработке алгоритма распознавания являются:

• подбор необходимой промышленной аппаратуры для решения задачи;

• проведение натурных испытаний существующего алгоритма и подтверждение правильного выбора аппаратуры;

• исследование возможности использования источника модулируемого ПК-излучения в качестве ориентира посадочной площадки;

• создание и отработка завершенной оптической системы посадки на небольшом вертолете.

В настоящее время запланированы натурные испытания разработанного алгоритма распознавания, цель которых - решение задачи выбора ПК-камеры и ориентира посадочной площадки при предположении, что ПК-камера будет находиться на расстоянии ЮОмот ори-

га 5 в)

Время распознавания, с

Разность между дескрипторами

Я й о о

Sc

О ^

я а

td

В

43 д

Ol рз

Д 43

д рз

сг ^

Я п,

р д

о о о о о о о о о

о о о о о о о о о

I—1 I—1 о о о о о о о о о

о а\ 00 о ы * s о ю OJ о\ 00 о

>

ной для установки на борт вертолета, а также оборудованием для индикации посадочного ориентира.

Большой интерес представляет исследование возможности использования модулируемого ИК-излучения в качестве ориентира посадочной площадки, как в разработке фирмы Ш-Ьоск [6], которая с 2015 г. начала коммерческое производство комплектов ИК-камер и ИК-маяков с характеристиками, позволяющими производить распознавание практически во всех погодных условиях, при ярком солнечном свете и в темноте. Разработанная фирмой технология позволяет предотвращать ошибки распознавания и нежелательные приземления.

После всевозможных отработок и изготовления законченного изделия планируется его отработка на вертолете взлетной массой свыше 450 кг.

Список литературы

1. Research on computer vision-based for UAV autonomous landing on a ship / G. Xu et al. // Pattern Recognition Letters. 2009. No. 30. Pp. 600-605.

2. Otsu N. A threshold selection method from gray-level histograms // Proc. 1979 IEEE Trans. Sys. Man. Cybern. No. 9 (1). Pp. 62-66.

3. Saripalli S., Montgomery J., Sukhatme G. Vision-based autonomous landing of an unmanned aerial vehicle // Proc. 2002 IEEE Intern. Conf. on Robotics and Automation. Pp. 2799-2804.

4. Гонсалес P., Вудс P., Эддинс С. Цифровая обработка изображений. M.: Техносфера, 2005.

5. Flusser J., Suk T., Zitovâ В. Moments and moment invariants in pattern recognition. Wiley & Sons Ltd., 2009. 312p.

6. IR-LOCK. URL: http://irlock.com

Поступила 23.11.16

Иванников Константин Валерьевич - начальник отдела ОАО «ГосНИИП», г. Москва. Область научных интересов: беспилотные летательные аппараты.

Гаврилов Алексей Владимирович - кандидат технических наук, ведущий инженер-программист ОАО «ГосНИИП», г. Москва.

Область научных интересов: распознавание образов.

Боев Антон Сергеевич - инженер-программист ОАО «ГосНИИП», г. Москва. Область научных интересов: распознавание образов.

Шошин Илья Сергеевич - инженер-программист ОАО «ГосНИИП», г. Москва. Область научных интересов: распознавание образов, ЗО-моделирование.

Method of landing UAV of helicopter type using an infrared camera

The paper proposes using an infrared camera to detect the figure of a set of infrared emitters - guidance on the landing field. We developed an infrared guidance recognition algorithm and did its bench-test. Moreover, we made a program complex for modeling the landing field recognition during the landing of unmanned aerial vehicle (UAV) ofhelicoptertype. Keywords: landing, UAV, helicopter, infrared camera.

Ivannikov Konstantin Valerievich - Head of Department, Joint-stock Company State Research Institute of Instrument Engineering, Moscow.

Science research interests: unmanned aerial vehicle.

Gavrilov Aleksey Vladmirovich - Candidate of Engineering Sciences, leading software engineer, Joint-stock Company State Research Institute of Instrument Engineering, Moscow. Science research interests: image recognition image recognition.

Boev Anton Sergeevich - software engineer, Joint-stock Company State Research Institute of Instrument Engineering, Moscow.

Science research interests: image recognition.

Shoshin Ilya Sergeevich - Software engineer, Joint-stock Company State Research Institute of Instrument Engineering, Moscow.

Science research interests: image recognition, 3D-modeling.