CC BY
222
ОБРАБОТКА ИНФОРМАЦИИ В НАВИГАЦИОННЫХ, СПУТНИКОВЫХ И ИНТЕГРИРОВАННЫХ СИСТЕМАХ
УДК 623.746.-519:623.746.174
АЛГОРИТМ АВТОМАТИЧЕСКОЙ ПОСАДКИ БЕСПИЛОТНОГО
ЛЕТАТЕЛЬНОГО АППАРАТА ВЕРТОЛЕТНОГО ТИПА С ИСПОЛЬЗОВАНИЕМ БОРТОВОЙ ОПТИКО-ЭЛЕКТРОННОЙ
СИСТЕМЫ
В.А.Тупиков, В.А. Павлова, Г.Э. Каплинский, С.Н. Крюков
Большинство современных методов управления беспилотным летательным аппаратом при взлете (посадке) основано на дистанционном управлении обученным специалистом либо на использовании его координат, определяемых спутниковыми системами (GPS, Глонасс). Цепью данной работы является разработка метода определения координат беспилотного летательного аппарата на основе обработки изображения искусственно созданного ориентира (маркера), полученного с бортовой оп-тико-электронной системы. Для поиска маркера на изображении предлагается использование анализа особенностей геометрии маркера. Преимуществом данного метода поиска маркера является возможность распознавания маркера без использования его точного эталона.
Ключевые слова: алгоритмы поиска объекта, автоматическое распознавание изображений, алгоритмы всеракурсного распознавания, преобразование Хафа.
В последнее время все больше внимания уделяется исследованиям и разработкам, направленным на создание алгоритмов автоматизированного взлета (посадки) беспилотного летательного аппарата (БЛА) путем цифровой обработки видеоинформации, поступающей с оптико-электронных (ОЭС) и радиолокационных систем наблюдения [1-7]. Главная роль в процессе построения подобных алгоритмов отводится созданию геометрически различимых маркеров, а также методам их поиска на местности.
В настоящее время в большинстве случаев управление БЛА при взлете (посадке) контролируется человеком. Существующие алгоритмы поиска маркера функционируют в достаточно ограниченном диапазоне условий получения текущего изображения объекта (ракурс, контраст относи-
86
тельно фона, наличие фоновых помех, шумы различного происхождения и т.д.). К основным недостаткам этих методов относится резкое снижение вероятности правильного распознавания при геометрических искажениях объектов, таких, как поворот, наклон ОЭС БЛА и изменение масштаба. Кроме того, данные подходы к распознаванию изображений показывают слабый результат при сложном многокомпонентном фоне.
Для успешного распознавания маркера наиболее эффективными являются алгоритмы, использующие его геометрические особенности. Такой подход к задачам распознавания имеет ряд преимуществ:
- геометрическое описание маркера, а также поиск его на изображении являются менее ресурсоемкими процессами и, следовательно, требуют меньше времени для выполнения;
- минимизирование влияния незначительных деталей изображения на результат распознавания;
- малая зависимость вероятности правильного распознавания от масштаба, поворота и наклона БЛА.
Основные трудности в данном подходе возникают на этапе описания геометрических признаков маркера, а также на этапе бинаризации изображения. Для верной работы алгоритма необходимо четко определить границы всех объектов. Таким образом, решаюшую роль в построении описания изображения играют используемые методы предварительной обработки изображения. Точное определение "структуры" изображения является необходимым для успешного применения метода. Рассмотрим возможности поиска маркера с использованием его геометрических характеристик. В процессе посадки (взлета) маркер находится в поле зрения ОЭС БЛА. Главная задача состоит в определении координат БЛА и выполняется путем обработки изображения, полученного с ОЭС.
Решение данной задачи состоит из нескольких этапов.
Этап 1: алгоритм поиска маркера.
Этап 2: использование найденных координат искусственно созданного ориентира (маркера) в процессе взлета (посадки) для определения координат и ориентации БЛА.
1. Алгоритм поиска маркера
Данная часть алгоритма содержит следующие операции:
- устранение геометрических искажений;
- бинаризация изображения;
- поиск линий и эллипсов на изображении;
- отбор кандидатов маркера и определение положения маркера.
Устранение геометрических искажений
Источником изображения является ТВ (ТПВ) камера. Современные камеры описываются с помощью модели, называемой проективной камерой (projective camera). Формула, описывающая проективную камеру (формула проецирования), имеет следующий вид [9]:
х = РХ,
где X - однородные координаты точки пространства, х - однородные координаты точки плоскости, Р - матрица перехода размера 3 х 4,
Р = К[Д | г],
где К - матрица внутренних (физические размеры пикселя, координаты оптической оси на матрице) параметров камеры размером 3 х 3, Д -матрица, определяющая поворот камеры относительно глобальной системы координат, г - вектор, определяющий смещение камеры относительно глобальной системы координат.
Матрица внутренних параметров имеет вид:
0 с 4
K =
x 0
0
'y 0
x y
1
где fx, fy - физические размеры пикселя, cx, Cy - координаты оптической оси на матрице.
На изображении, полученном с камеры, могут быть геометрические искажения - дисторсия.
Данные искажения могут быть представлены в следующей математической записи [11]:
x" = x'(1 + k1r2 + k2 r4 + k3r6) + 2 p1x y + p2(r2 + 2 x'2),
y- = y (1 + k1r 2 + k 2 r 4 + k3r 6) + 2 P2 xy + P1(r 2 + 2 y2 ), где k1, k2, k3, p1, p2 - коэффициенты геометрических искажений (дистор-сии), (X,Y,Z) - координаты БЛА относительно центра маркера, (x',y') - координаты точек без учета дисторсии, (x,y) - координаты точек пространства, (x",y") - координаты точек с учетом дисторсии.
Зависимости между координатами задаются следующими выражениями:
x
/
У 1
[R|t ]
X x Г " x
Y
Z ? У 1 = K У 1
1
Все параметры дисторсии определяются при калибровке камеры, например, способом, рассмотренных в работах [9 - 11].
Бинаризация изображения
Изображение, полученное с камеры, обрабатывается в несколько этапов. Первый - переход от цветного изображения (в случае ТВ-канала ОЭС) к полутоновому, для уменьшения времени обработки. Второй - избавление от шума. Медианный фильтр - один из видов цифровых фильтров, широко используемый при предварительной обработке сигналов. Зна-
88
ченпя отсчётов внутри окна фильтра сортируются, значение, находящееся в середине упорядоченного списка, поступает на выход фильтра. Окно перемещается вдоль фильтруемого сигнала, и вычисления повторяются. Третий - бинаризация путем выделения границ объектов изображения. Предполагается использовать детектор границ Canny [12]. Этот алгоритм дает наилучшие результаты для данного типа задач. В данном алгоритме можно выделить пять существенных шагов.
Сглаживание при помощи размытия по Гауссу
Размытие по Гауссу - характерный фильтр размытия изображения, который использует нормальное (Гауссово) распределение для вычисления преобразования, применяемого к каждому пикселю изображения. Плотность двумерного симметричного несмещенного распределения Гаусса имеет вид [14]:
G(x,y) =
1
2п&
-02+v2) 2а2
где а - дисперсия распределения Гаусса.
Поиск градиентов яркостей
Для определения градиентов применяется пиксельный оператор Собела [15]. Вычисление первых производных функции интенсивности пикселей по горизонтальному и вертикальному направлениям выполняется посредством применения оператора Собела с ядрами:
2
Gx =
-1 0
-2 0
-1 0
1
? Gv -
-1 -2 -1
0 0 0
1 2 1
Угол направления границы округляется до одного из четырех углов (0,45,90,135).
Операции вычисления модуля и направления градиента имеют вид:
G =
Gx + Gv
f ^ \
6 = arctan
где С - модуль градиента, в - угол направления вектора градиента.
Подавление локальных максимумов
В качестве границ отмечаются только глобальные максимумы.
Двойная пороговая фильтрация
Следующий шаг - применение порога, с целью определения наличия границы в данной точке изображения. Чем меньше порог, тем больше границ будет находиться, но тем более восприимчивым к шуму станет результат, выделяя лишние изображения. Наоборот, высокий порог может проигнорировать слабые края или получить границу фрагментами.
89
Выделение границ Canny использует два порога фильтрации: если значение пикселя выше верхней границы - он принимает максимальное значение (граница считается достоверной), если ниже - пиксель подавляется, точки со значением, попадающим в диапазон между порогов, принимают фиксированное среднее значение (они будут уточнены на следующем этапе).
Трассировка области неоднозначности
Упрощённо, задача сводится к выделению групп пикселей, получивших на предыдущем этапе промежуточное значение, и отнесению их к границе (если они соединены с одной из установленных границ) или их подавлению (в противном случае). Пиксель добавляется к группе, если он соприкасается с ней по одному из 8 направлений.
Поиск линий на изображении
Для поиска отрезков на изображении было применено преобразование Хафа [8]. Использован алгоритм для поиска элементов определенной формы с процедурой голосования. Суть преобразования Хафа состоит в переходе от декартовой системы к полярной системе координат.
Так, например, при выделении прямых линий в полярной системе координат прямая задается уравнением:
х cos(0) + у sin(<9) = р. (1)
Каждой прямой в плоскости (х, у) соответствует точка в плоскости (р,9) (рис.1) и, наоборот, каждой точке в плоскости (х, у) соответствует кривая в плоскости (р?9). Таким образом, три точки изображения, лежащие на одной прямой, в плоскости (p,G) будут образовывать три кривые, пересекающиеся в одной точке.
а б
Рис. 1. Прямая в плоскости (х> у) (а) и кривая в плоскости (р, в) (б)
Если представить бинарное контурное изображение как множество точек в плоскости (х, у), то каждой контурной точке с координатами С*1>Ут) будет соответствовать кривая в плоскости (р,0). При подстановке
90
всех возможных значений 0 в формулу (1) можно получить все соответствующие значения р. Для трех точек {х^^Ут) и (хЗ>Уз)> лежа" щих на одной прямой, найдется такая пара (р7,07), которая будет удовлетворять всем трем уравнениям (1). Чем больше точек изображения лежит на одной прямой, тем большее количество раз будет встречаться пара (р7,07), соответствующая данной прямой.
Таким образом, для выделения прямых линий на изображении с использованием преобразования Хафа необходимо создать таблицу так называемых ячеек накопления. Первоначально значения во всех ячейках таблицы равны нулю. Затем для каждой контурной точки (х7-, у^) изображения последовательно перебираются все возможные значения параметра 0. По формуле (1) для заданных значений х,у и 0 вычисляется соответствующее значение р. После этого найденное значение округляется до ближайшего целого и в таблице ячеек накопления на единицу увеличивается значение ячейки, соответствующей вычисленной паре (р7,07).
Таблица ячеек накопления
Ртш ...
;
•
0/ ... ...
•
®тах ; е
После нахождения пересечений отрезков необходимо найти точки пересечения. Производится кластеризация точек пересечения по расположению их на плоскости изображения (по расстоянию между соседними точками). Находятся центры кластеров (группы точек).
Поиск эллипсов на изображении
Для поиска эллипсов на изображении необходимо найти все замкнутые контуры. Для каждого контура вычисляются значения площади и периметра. Устанавливается компактность (под которой понимается отношение квадрата периметра к площади) всех контуров. Известно, что наиболее компактная фигура - это крут - 4л;. Интервал подходящих фигур принимается от Ь\К до Ь2п. Находятся центры выбранных контуров. Параметры , ¿2 определяются эмпирически.
Поиск маркера заданного вида
Рис. 2. Вид маркера
Отбор кандидатов производится по следующим параметрам:
1) удаление центра кластера пересечений от центра эллипса;
2) расстояние от центра эллипса до дальнейшей его точки;
3) расстояние от центра кластера до малого эллипса.
Предложенный алгоритм, по результатам моделирования обеспечивает обнаружение маркера (рис. 2) с вероятностью близкой к 1.
2. Использование найденных координат искусственно созданного ориентира (маркера) в процессе взлета (посадки)
При известном расположении маркера на изображении, а также известных высоте БЛА и угле наклона ОЭС относительно вертикали однозначно определяется положение БЛА относительно маркера:
Н
X = —
1ап(7+ хсх)
( ус
У = 2 X Бт
V 2 У
(^ - Ь
а = 90 - агС;ап -
V с - а У
где Х,У - горизонтальные координаты БЛА относительно маркера, х,у -координаты центра маркера на матрице, сх, Су - разрешение пикселя в радианах, рассчитывается из параметров камеры, 7 - угол наклона ОЭС в вертикальной плоскости, а - ориентация БЛА в горизонтальной плоскости относительно маркера, (а,Ь) - координаты центра маркера на изображении, (е,ё) - координаты центра малого эллипса, И - высота над поверхностью.
В результате работы алгоритма получены координаты БЛА относительно центра маркера, которые могут использоваться в процессе взлета (посадки) для корректировки положения БЛА.
Таким образом, при известной обстановке местности в области расположения искусственно созданного ориентира (маркера) возможно произвести посадку или взлет БЛА. Достоинством алгоритма является то, что
на результат распознавания не влияет масштаб изображения и ориентация БЛА в пространстве. Данный алгоритм обработки изображения показал высокую скорость работы при выполнении данной задачи.
В дальнейшем, при помощи данного алгоритма возможно решение задачи посадки БЛА на качающуюся палубу корабля, а также посадки вертолета. Еще одно применение алгоритма - это анализ особенностей геометрии естественных ориентиров (дороги, храмы, комплекс построек и т.п.) для навигации [13].
Список литературы
1. Долженков Н.Н., Воронов В.В. Реализация элементов искусственного интеллекта как путь повышения автономности беспилотных авиационных систем // Перспективные системы и задачи. 2014. С. 43 - 50.
2. Saripalli S., Montgomery J.F., Sukhatme G.S. Visually-Guided Landing of an Unmanned Aerial Vehicle//In IEEE Transactions on Robotics and Automation. 2003. Vol. 19. No. 3. P. 371 - 381.
3. Saripalli S. and Sukhatme G., Landing a helicopter on a moving target // In IEEE International Conference on Robotics and Automation (ICRA). Roma. Italy. 2007. Apr. P. 2030 - 2035.
4. Feron E. and Johnson E. N., Ch 44. Aerial Robotics // In Springer Handbook of Robotics. Berlin, Germany: Springer, 2008. P. 1009 - 1029.
5. Corke P., An inertial and visual sensing system for a small autonomous helicopter // Journal of Robotic Systems, 2004. Vol. 21. No. 2. P. 43 - 51.
6. Autonomous Safe Landing of a Vision Guided Helicopter / A. Cesetti, E. Frontoni, A. Mancini, and P. Zingaretti // Proc. Mechatronics and Embedded Systems and Applications. 2010. P. 125 - 130.
7. Towards vision-based safe landing for an autonomous helicopter / Pedro J.Garcia-Padro, Gaurav S.Sukhatme, and J.F.Montgomery // Robotics and Autonomous Systems. 2000. (accepted, to appear).
8. Duda R.O., Hart P.E. Use of the Hough Transformation To Detect Lines and Curves in Pictures // Comm. ACM, 1972. Vol. 15. January. P. 11 -15.
9. Tsai R.Y. (1987) A versatile camera calibration technique for high-accuracy 3D machine vision metrology using offthe-shelf TV cameras and lenses // IEEE Journal of Robotics and Automation RA-3(4). P. 323 - 344.
10. Zhang Z. Flexible camera calibration by viewing a plane from unknown orientations // In ICCV. 1999.
11. Zhang Z., Matsushita Y., Yi Ma. Camera Calibration with Lens Distortion from Low-rank Textures // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2011. June.
93
12. John Canny. A computational approach to edge detection. Pattern Analysis and Machine Intelligence // IEEE Transactions on, PAMI-8(6). 1986. Nov. P. 679 - 698.
13. Бездетнов Н.П., Алексеев В.В. Философия летной безопасности. М., 2014.
14. Справочник по теории вероятностей и математической статистике. / В.С. Королюк, Н.И. Портенко, А.В. Скороход, А.Ф. Турбин. М.: Наука, 1985. 640 с.
15. Duda R., Hart P. Pattern Classification and Scene Analysis // John Wiley and Sons, 1973. P. 271 - 272.
Тупиков Владимир Алексеевич, д-р техн. наук, проф., зам. ген. директора, tupi-kov@nppame.ru, Россия, Санкт-Петербург, АО ««Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие « Авиационная и морская электроника»,
Каплинский Глеб Эдуардович, мл. науч. сотрудник, glebqq@gmail. com, Россия, Санкт-Петербург, АО ««Научно-производственное предприятие «Авиационная и морская электроника»,
Крюков Сергей Николаевич, канд. техн. наук, ведущий науч. сотрудник, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
ALGORITHM OF A UTOMA TIC HELICOPTER TYPE DRONE LANDING USING ONBOARD OPTICAL-ELECTRONIC SYSTEM
V.A. Tupikov, V.A.Pavlova, G.E. Kaplinskiy, S.N.Krjukov
The majority of modern methods of control of the drones at take-off (landing) are based on remote control by specialist, or based on use of the coordinates determined by satellite systems (GPS, GLONASS). The purpose of this work is development of a method of determination of coordinates of drone on the basis of processing of the image of artificially created reference point (marker) received with onboard OES. For search of a marker on the image use of the analysis offeatures of geometry of a marker is offered. Advantage of this method of search of a marker is possibility of recognition of a marker without use of its exact standard.
Key words: object search algorithms; automatic image recognition; the all aspects recognition algorithms; Haugh transformation.
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, Deputy Director General, Director of research - industrial complex robotic systems special purpose, tupi-kov@nppame. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics ",
Pavlova Valeria Anatolyevna, candidate of technical science, Deputy Director of research, pavlova@nppame. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Kaplinskiy Gleb Eduardovich, junior researcher at RIC RSSP, glebqq@gmail. com, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Krjukov Sergey Nikolaevich, candidate of technical science, leading researcher, SKrjukov@,mail. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics"
УДК 004.932.2
МЕТОДЫ ИНФОРМАЦИОННОГО СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ В МНОГОКАНАЛЬНЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ
В.Н. Фролов, В. А. Тупиков, В. А. Павлова, В. А. Александров
Приведен обзор шести различных способов совмещения изображений, полученных в различных спектральных диапазонах на примере использования исходных изображений в телевизионном и тепловизионном каналах. Выполнена количественная и качественная оценка полученных результатов, дана сравнительная оценка исследуемых методов по быстродействию.
Ключевые слова: информационное совмещение изображений, комплексирова-ние изображений, многоканальные оптико-электронные системы.
Введение. Развитие оптико-электронной аппаратуры (ОЭА) в системах технического зрения привело к созданию комплексированных многоканальных систем, в которых используются каналы получения информации, основанные на различных физических принципах и работающие в различных спектральных диапазонах (визуальный, лазерный, радиолокационный, дневной телевизионный (ТВ), низкоуровневый ТВ, тепловизион-ный (ТПВ) и др.).
Основной предпосылкой комплексирования ОЭА является различное воздействие факторов естественного и искусственного происхождения на различные каналы получения информации, в силу чего каждый из упомянутых каналов, взятый в отдельности, не в состоянии удовлетворять технические требования к работе аппаратуры в любых условиях.
Целью комплексирования является извлечение максимума информации путем обработки и сопоставления данных, получаемых по различным каналам комплексированной системы. При этом эффективность системы по выбранному показателю (дальность действия, вероятность опознавания, точность сопровождения и т.п.) оказывается выше эффективности каждого из отдельных каналов.
