Научная статья на тему 'АЛГОРИТМ ОБНАРУЖЕНИЯ МАРКЕРНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ВЕРТИКАЛЬНОЙ ПОСАДКИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА'

АЛГОРИТМ ОБНАРУЖЕНИЯ МАРКЕРНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ВЕРТИКАЛЬНОЙ ПОСАДКИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
152
31
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МАРКЕРНОЕ ИЗОБРАЖЕНИЕ / РАСПОЗНАВАНИЕ ОБРАЗОВ / ОБРАБОТКА ИЗОБРАЖЕНИЙ / ВЕРТИКАЛЬНАЯ ПОСАДКА

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Трусфус Михаил Валерьевич, Абдуллин Ильфир Наильевич

В данной работе рассматривается проблема автоматической вертикальной посадки летального аппарата в месте, обозначенным маркерным изображением. Описана структура маркерного изображения, которое может использоваться в качестве обозначения места посадки. Описан алгоритм обнаружения вершин маркера на изображении с камеры на основе структурного анализа изображения. Для обнаружения объекта на изображении рассмотрены методы адаптивной бинаризации и применения детектора границ Кэнни. Предложен метод сравнения длин на изображении, компенсирующий оптические и перспективные искажения размеров. Приведены результаты экспериментального исследования.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Трусфус Михаил Валерьевич, Абдуллин Ильфир Наильевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

MARKER IMAGES DETECTION ALGORITHM FOR THE UNMANNED AERIAL VEHICLE VERTICAL LANDING

The primary task while drones application consists in automatic landing ensuring. Most of the existing auto-landing solutions ensure accuracy up to three meters. For a more accurate landing, accurate distance measurements are required. Methods, ensuring accurate camera images, require accurate identification of the marker image points. The marker image consists of two black rectangles situated in the center of each other at the angle of 90 degrees. The rectangles are applied on a white surface. Their detection is based on the objects’ contours detecting on a monochrome image with further test for compliance to marker geometric shape. The dependencies of distances between the points of the geometric shape equivalent to the claimed structure are presented. This study considers the methods of adaptive binarization and the Canny boundary detector to perform camera image conversion to monochrome one. Detection of the outline of each object is being performed on the monochrome image. A convex hull of minimum area is being built for each outline in such a way that all the object points be inside. The search for the points corresponding to the marker's apexes is being performed according to the presented dependence of distances on the convex hull. Checking of all points of the initial outline on the correspondence to the marker's geometry shape by checking if each point lays on the corresponding side is being performed for the marker image identification. Software was employed for conducting experimental study of the described algorithm. One of the programs employs binarization method, while Canny boundary detector is used in the other one. Photographs in 640 ´ 480, 800 ´ 600 and 1920 ´ 1080 resolution were used while conducting the study. According to the results of the study, the highest detection accuracy and speed were displayed by an algorithm based on the use of the Canny boundary detector. False detection of marker images was not detected in any of the algorithms. The algorithm based on the adaptive binarization revealed the best performance in detecting marker images in “blurry” images. A conclusion was made by the results of the study that the developed algorithm allows detecting all points of the marker image of the vertical landing site designation without errors in false targets detecting.

Текст научной работы на тему «АЛГОРИТМ ОБНАРУЖЕНИЯ МАРКЕРНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ВЕРТИКАЛЬНОЙ ПОСАДКИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА»

Труды МАИ. Выпуск № 116 УДК 004.932

http://trudymai.ru/ DOI: 10.34759/^-2021-116-13

Алгоритм обнаружения маркерных изображений для вертикальной посадки беспилотного летательного аппарата

Трусфус М.В.*, Абдуллин И.Н.**

Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ, ул. К. Маркса, 10, Казань, 420111, Республика Татарстан, Россия

Аннотация

В данной работе рассматривается проблема автоматической вертикальной посадки летального аппарата в месте, обозначенным маркерным изображением. Описана структура маркерного изображения, которое может использоваться в качестве обозначения места посадки. Описан алгоритм обнаружения вершин маркера на изображении с камеры на основе структурного анализа изображения. Для обнаружения объекта на изображении рассмотрены методы адаптивной бинаризации и применения детектора границ Кэнни. Предложен метод сравнения длин на изображении, компенсирующий оптические и перспективные искажения размеров. Приведены результаты экспериментального исследования.

*е-таИ: т1 гт(т@\andex. ги **е-тай: ¡Щг528@таИ.гы

Статья поступила 22.12.2020

Ключевые слова: маркерное изображение, распознавание образов, обработка изображений, вертикальная посадка.

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Введение

Обеспечение автоматической посадки является одной из основных задачей при использовании автономных беспилотных летальных аппаратов. Это последний и очень важный этап в процессе полета дрона. Согласно статистическим данным из [1] более 80% аварий при эксплуатации дронов происходят в процессе посадки.

Большинство существующих систем автоматической посадки основаны на применении систем спутниковой навигации, обеспечивающие точность посадки с погрешностью до 3 м [2]. Такая погрешность требует обеспечения большой свободной площади в зоне посадки и не позволяет автоматически сажать дроны на ограниченной территории. Согласно результатам исследования [3] уменьшение погрешности посадки на основе спутниковой навигации возможно лишь путем размещения множества дополнительных спутников ГЛОНАСС. Множество исследований направлены на совершенствование точности автоматической посадки [4], основанные на иных методах определения горизонтального положения БПЛА [5-6].

В настоящее время много исследований проводятся в области разработки летательных аппаратов вертикального взлета и посадки [2]. Основным их преимуществом является возможность взлета и посадки без разгона по взлетно-посадочной полосе. Повышение точности вертикальной посадки позволит расширить спектр их применения.

В работе [7] предложен метод измерения расстояний на основе компьютерного зрения по изображениям с камеры, установленной на борту летательного аппарата. Для применения данного метода требуется точное

Труды МАИ. Выпуск № 116 http://trudymai.ru/

распознавание точек маркерного изображения в видеопотоке, полученном с камеры.

Существует множество методов распознавания объектов на изображениях и

локализации ключевых точек на основе сверточных нейронных сетей [8-11]. Они

применяются для распознавания изображений сложной или нечеткой формы.

Однако эти методы плохо работают, когда распознаваемое изображение имеет

простую форму, в которой нельзя выделить достаточное количество признаков. Для

обеспечения вертикальной посадки с большой высоты изображение должно быть

отчетливо видно, поэтому целесообразно в качестве маркерного изображение

использовать фигуры простой формы, в которых отсутствуют мелкие детали,

невидимые с большого расстояния.

В данном исследовании поставлена задача разработки алгоритма обнаружения точек маркерного изображения с целью обеспечения автоматической вертикальной посадки летательного аппарата на основе измерения расстояний по изображениям с камеры [7], установленной в направлении плоскости посадки.

Структура маркерного изображения

Маркерное изображение обозначения места посадки выполнено в виде перекрестия черного цвета на белом фоне, состоящего из 12 вершин. Структура маркерного изображения приведена на рис. 1.

Рис. 1. Структура маркерного изображения Последовательность вершин A-B-D-E-G-H-J-К образуют выпуклую оболочку, внутри которой расположены все точки маркерного изображения. Фигуры ABGH и DEJK являются равными прямоугольниками, расположенными в центре пересечения их диагоналей и повернуты относительно друг друга под прямым углом, а точки C, F, I и L расположены на пересечении их наибольших сторон. Этому эквивалентны следующие равенства расстояний:

Lab = Lhg = Lkj = Lde, (1)

Lah = Lbg = Ldk = Lej, (2)

Lag = Lbh = Lek = Ldj, (3)

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Lbd = Leg = Lhj = Lak, (4)

где Lab, Lhg, Lkj, Lde, Lah, Lbg, Ldk, Lej, Lag, Lbh, Lek, Ldj, Lbd, Leg, Lhj, Lak -физические расстояния между соответствующими точками.

Размер наибольшей стороны прямоугольника превышает размер наименьшей не менее чем в 3 раза:

Lah > 3 * Lab. (5)

Это регламентирует четко выраженную форму перекрестия, а также устанавливает зависимость между длинами сторон выпуклой оболочки являющимися и не являющимися сторонами маркерного изображения:

Lab < Lbd. (6)

Внутри маркерного изображения может находится маркерное изображение белого цвета идентичной структуры, которое применяется, если внешний маркер выходит за пределы обзора камеры [7].

Алгоритм идентификации маркера описанной структуры основан на обнаружении и анализа контуров на изображении с камеры.

Метод сравнения расстояний на изображении Цифровое изображение состоит из точек - пикселей, которые можно использовать в качестве единицы измерения расстояний на изображениях. Из-за ограниченной разрешающей способности матрицы камеры существует погрешность в определении координат физической точки на изображении равная размерам 1 пикселя. Соответственно при измерении расстояний между двумя точками минимальная погрешность составляет не менее 2 пикселей. В данном исследовании

Труды МАИ. Выпуск № 116 http://trudymai.ru/

при сравнении расстояний на изображении расстояния между отрезками считаются

равными, если их разница не превосходит 2 пикселя.

Помимо абсолютной погрешности, из-за того, что камера не всегда

направлена перпендикулярно к плоскости маркера, возникают перспективные

искажения длин. Чтобы избежать их влияния в данном исследовании расстояния

отрезков на изображение также считаются равными, если отношение наименьшего к

наибольшему превосходит 95%.

Обнаружение выпуклых оболочек маркерных изображений Маркерное изображение представляет собой замкнутый контур в виде последовательности соседних точек в порядке их обхода. Каждая из точек контура либо являются одной из 12 вершин, образующих геометрическую фигуру маркерного изображения, либо лежит на одной из ее сторон.

Для исследования структуры объектов на изображении [12], необходимо выделить границы объектов. К одной группе таких подходов относятся методы бинаризации, позволяющие отделить точки изображения, относящиеся к объектам и фону. К другой группе относятся методы выделения границ объектов на основе поиска максимального изменения в интенсивности между соседними пикселями. В данном исследовании рассматриваются алгоритмы из обоих групп.

Алгоритмы из этих групп работают с изображением, где каждый пиксель представлен в виде одной числовой величины, например величины яркости освещения [13]. Поэтому для их применения цветное изображение с камеры предварительно преобразовывается в оттенки серого. На рис. 2 приведен пример изображения маркерного изображения в виде оттенков серого цвета.

+

Л

Рис. 2. Пример маркерного изображение в виде оттенков серого цвета Так как посадка летательного аппарата может осуществляться в разных условиях освещенности, то заведомо определить оптимальный порог бинаризации нельзя. Существует метод Оцу [14], позволяющий определить такой порог, чтобы внутриклассовая дисперсия была минимальной. Однако, часть маркерного изображения может оказаться в тени от других объектов, например здания, поэтому бинаризация всего изображения по какому-либо фиксированному порогу не применима в данном случае. Существуют также методы адаптивной бинаризации [15], основанные на сравнении величины интенсивности пикселя со значением какой-либо функции, определяющей порог в зависимости от величины интенсивности пикселей в окрестности. В данном исследовании в качестве данной функции является средняя величина интенсивности пикселей в заданном радиусе. Результатом бинаризации является монохромное изображение. Пример адаптивной бинаризации изображения, приведенного на рис. 2, показан на рис. 3.

Рис. 3. Адаптивная бинаризация изображения

Из второй группы алгоритмов рассматривается детектор границ Кэнни [16], в результате которого получается монохромное изображение, точки которого обозначают границы объектов. Пример применения детектора границ Кэнни к изображению с рис. 2 показан на рис. 4.

Рис. 4. Применение детектора границ Кэнни к изображению

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Применение детектора границ Кэнни требует большего количества

процессорного времени по сравнению с адаптивной бинаризацией по средней величине интенсивности [12]. Однако, адаптивная бинаризация оставляет большее количество шумов на монохромном изображении, обработка которых также требует дополнительное процессорное время [12].

На бинаризованном изображении, построенным одним из описанных методов, осуществляется трассировка границ объектов по алгоритму, описанному в [12], в результате получается набор контуров, каждый из которых описан в виде последовательности координат пикселей в порядке их обхода.

На изображении могут присутствовать шумы в виде отдельных точек, либо малые объекты, которые из-за описанных выше погрешностей невозможно идентифицировать. Так как маркерное изображение состоит из 12 точек, то контуры с меньшим количеством точек далее не рассматриваются. Также на данном этапе отфильтровываются и далее не рассматриваются контуры, площадь которых не превышает заданный порог. Оптимальный порог определяется экспериментальным путем в зависимости от конкретных размеров маркера. Также по алгоритму из [12] определяется прямоугольник минимальной площади, внутри которого лежат все точки контура. Согласно структуре маркера такой прямоугольник должен быть квадратом, однако, ввиду перспективных искажений допускается соотношение сторон этого прямоугольника близкое к единице. Если отношение длин наименьшей стороны к наибольшей не превосходит заданный порог, то контур пропускается и далее не рассматривается.

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Для каждого контура по алгоритму [17] строится выпуклая оболочка

минимальной площади, содержащая все точки контура. Выпуклая оболочка также является контуром и представляет собой подмножество точек исходного контура в той же последовательности обхода. Так как выпуклая оболочка маркерного изображения состоит из 8 точек, то контуры с меньшим количеством точек выпуклой оболочки далее не рассматриваются. В выпуклой оболочке осуществляется отбор 4 сторон с наибольшими расстояниями с сохранением исходной последовательности точек, в которой они идут при обходе выпуклой оболочки. Согласно ограничению (6) данные стороны соединяют вершины, которые образуют выпуклую оболочку маркерного изображения. Данная последовательность точек соответствует последовательности обхода точек В-О-Е-О-Н-Д-К-А со схемы на рис. 1. Проверяются расстояния согласно равенствам (1) - (4) по описанному методу сравнения расстояний. Если равенства не выполняются, то найденный контур не является контуром маркерного изображения.

Данной выпуклой оболочке могут соответствовать и другие фигуры, отличающиеся от структуры маркера, например выпуклый восьмиугольник. Поэтому, если равенства выполняются, для идентификации маркера необходимо выполнить проверку на принадлежность каждой точки контура соответствующей стороне маркера.

Идентификация маркерных изображений

По найденным точкам определяются уравнения прямых АН, ВО, ЭК и Е1 в общем виде [18]:

ax + by + c = 0,

(7)

где а, Ь и с - параметры прямой, х, у - свободные переменные. В формуле (7) на параметры А, В наложим ограничение:

а2 + Ь2 = 1. (8)

Тогда наикратчайшее расстояние Ьр от прямой до точки Р с координатами (хр,ур) вычисляется по формуле [18]:

Lp =axp + byp + c.

(9)

Вычисляются координаты точек C, F, I и L путем решения линейных систем уравнений, описывают прямые на пересечении которых лежат точки. Среди точек исходного контура определяются наиближайшие к ним по евклидову расстоянию.

Для каждой из сторон маркера по соответствующим точкам ее вершин из контура строится уравнение прямой в общем виде (7) с применением ограничения (8) по методу, описанному в [18].

После этого осуществляется обход всех точек контура. Для каждой точки, не соответствующей вершине маркера, вычисляется наименьшее расстояние до прямой, на которой лежит сторона маркера, по формуле (9). Если расстояние всех точек не превышает заданный порог, выбираемый с учетом искажений, то идентификация маркера считается успешной. В противном случае обнаруженный контур не является искомым маркерным изображением.

Результаты экспериментального исследования Для экспериментального исследования описанного алгоритма реализованы программы на языке Python с использованием открытой библиотеки OpenCV для

Труды МАИ. Выпуск № 116 http://trudymai.ru/

работы с графическими изображениями. В одной из программ применяется метод

бинаризации, в другой детектор границ Кэнни.

Для исследования сделаны фотоснимки в разрешениях 640x480, 800x600 и 1920x1080 в общем количестве 482. Из них 352 снимка выполнены в процессе полета квадрокоптера на высоте от 1 до 10 метров и углом наклона к плоскости земли не более 15° в разрешении 640x480. На части снимках границы маркера «размыты» из-за длительной экспозиции и большой горизонтальной скорости.

В таблице 1 приведено среднее время работы обработки одного изображения в зависимости от выбранного метода и разрешения изображения. Для оценки времени выполнения использовался Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53) с тактовой частотой 1.4ГГц. На каждом входном изображении алгоритм выполнялся 1000 раз, изображение считывалось из растрового файла размещенного в RAM, в учет времени работы включено время чтения растра библиотекой OpenCV.

Таблица 1

Среднее время обработки одного изображения

Размер изображения Время работы алгоритма, с

На основе адаптивной бинаризации На основе детектора границ Кэнни

640x480 0.0635022274 0.0355629618

800x600 0.09843998083 0.07183543403

1920x1080 0.4528161196 0.1847763628

Труды МАИ. Выпуск № 116 http://trudymai.ru/

В таблице 2 приведены результаты достоверности работы алгоритма.

Результаты приведены для наилучших подобранных параметров в каждом методе,

при которых достигнут максимальный порог обнаружения на всех фотоснимках.

Под корректным обнаружением понимается обнаружение наибольшей из полностью

видимых в кадре маркерных фигур со структурой, приведенной на рис. 1 . Во всех

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

случаях не было ни одного ложного обнаружения маркера.

Таблица 2

Достоверность работы алгоритма

Категория изображений Количество достоверных обнаружений маркера Количество изображений с маркером

На основе адаптивной бинаризации На основе детектора границ Кэнни

Все 304 (68,79%) 346 (78,28%) 442

Четкие границы маркера 261 (78,15%) 334 (100%) 334

«Размытые» 43 (44,33%) 12 (12,37%) 97

Маркер с перекрытыми границами 0 (0%) 0 (0%) 18

Как видно из результатов, алгоритм, основанный применении детектора границ Кэнни оказался неустойчив к «размытым» границам маркера вследствие движения камеры при длительной выдержке, однако работает быстрее по сравнению

Труды МАИ. Выпуск № 116 http://trudymai.ru/

с алгоритмом, основанном на адаптивной бинаризации. Пример применения

детектора границ Кэнни к «движущемуся» объекту приведен на рис 5.

Рис. 5. Результат обнаружения границ «движущегося» объекта Алгоритм, основанный на бинаризации, позволяет идентифицировать маркерное изображение даже при небольшом «размытии» его границ, однако вершины маркера локализованы с большой погрешностью. Это приводит к существенной погрешности при измерении расстояний. Однако факт обнаружения маркера может быть использован для снижения скорости летательного аппарата с целью точного обнаружения места посадки. Низкая доля распознанных маркеров связана с исключительно необходимостью подбора размера окрестности адаптивной бинаризации под конкретный размер объекта на изображении. При этом для корректного распознания каждого маркерного изображения, которые были корректно распознаны на основе детектора границ Кэнни, удалось подобрать индивидуальные параметры бинаризации.

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Для измерения расстояний с целью обеспечения автоматической вертикальной

посадки из рассматриваемых предпочтительно использование алгоритма с

применением детектора границ Кэнни наиболее предпочтительно, несмотря на его

более низкий показатель обнаружения маркера. Он позволяет с высокой точностью

локализовать все точки маркера на изображении, что необходимо для корректного

измерения расстояний при построении траектории движения БПЛА к точке посадки

[19-20].

Заключение

Разработанный алгоритм позволяет обнаруживать все точки маркерного изображения обозначения места вертикальной посадки без ошибок обнаружения ложных целей. Точная локализация точек маркерного изображения необходима для измерения точных расстояний до объекта. Применение алгоритма позволяет осуществлять точную автоматическую вертикальную посадку беспилотного летательного аппарата в обозначенном месте с помощью нанесения маркерного изображения.

Библиографический список

1. Gautam A, Sujit PB, Saripalli S. A survey of autonomous landing techniques for UAVs // 2014 International Conference on Unmanned Aircraft Systems, (ICUAS), 2014 Conference Proceedings, IEEE Computer Society, 2014, pp. 1210 - 1218. DOI: 10.1109/ICUAS.2014.6842377

2. Федоренко Р.В., Абдуллин И.Н., Климчик А.С. Обзор БПЛА вертикального взлета и посадки длительного функционирования и формирование технических требований

Труды МАИ. Выпуск № 116 http://trudymai.ru/

к БПЛА вертикального взлета и посадки, разрабатываемому в университете

Иннополис // Труды центра компетенции НТИ «Технологии компонентов

робототехники и мехатроники»: сборник статей. - Ижевск, Ижевский институт

компьютерных исследований, 2019. С. 129 - 166.

3. Арефьев Р.О., Арефьева Н.Г., Скрыпник О.Н. Совершенствование аэронавигационного обеспечения этапа посадки путём оптимизации размещения псевдоспутников ГЛОНАСС // Труды МАИ. 2017. № 92. URL: http://trudymai.ru/published.php?ID=77182

4. Погосян М.А., Верейкин А.А. Системы автоматической посадки летательных аппаратов: аналитический обзор. Информационное обеспечение // Труды МАИ. 2020. № 113. URL: http://trudymai.ru/published.php?ID=118156. DOI: 10.34759/trd-2020-113-11

5. Скрябин Ю.М., Потехин Д.С. Определение траектории горизонтального пролета беспилотного летательного аппарата через линию электростатических датчиков // Труды МАИ. 2019. № 106. URL: http://trudymai.ru/published.php?ID=105747

6. Гоголев А.А., Горобинский М.А. Определение собственного положения микробеспилотного летательного аппарата в условиях замкнутого пространства // Труды МАИ. 2018. № 101. URL: http://trudymai.ru/published.php?ID=97029

7. Трусфус М.В., Эминов Ф.И., Абдуллин И.Н. Определение высоты при посадке беспилотного летательного аппарата на основе изображений с камеры // I Всероссийская научно-практическая конференция молодых авиаторов России «Авиация будущего: тренды, вызовы и возможности»: материалы конференции (Казань, 29-30 ноября 2019). - Казань: Изд-во КНИТУ-КАИ, 2019. С. 576 - 579.

Труды МАИ. Выпуск № 116 http://trudymai.ru/

8. Altwaijry H., Trulls E., Hays J., Fua P., Belongie S. Learning to Match Aerial Images with Deep Attentive Architectures // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 3539 - 3547. DOI: 10.1109/CVPR.2016.385

9. Корнеев М.А., Максимов А.Н., Максимов Н.А. Методы выделения точек привязки для визуальной навигации беспилотных летательных аппаратов // Труды МАИ. 2012. № 58. URL: http://trudymai.ru/published.php?ID=33061

10. Simo-Serra E. et al. Discriminative learning of deep convolutional feature point descriptors // 2015 International Conference on Computer Vision, ICCV 2015, Institute of Electrical and Electronics Engineers Inc., 2015, pp. 118 - 126. URL: https://doi.org/10.1109/ICCV.2015.22

11. Chen L.C. et al. Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs // Computer Science, 2014. URL: https : //arxiv.org/abs/1412.7062

12. Suzuki S. Topological structural analysis of digitized binary images by border following // Computer Vision, Graphics and Image Processing (ICVGIP), 1985, vol. 30 (1), pp. 32 - 46.

13. Burger W., Burge M.J. Principles of Digital Image Processing, Springer, London, 2009, DOI: 10.1007/978-1-84800-195-4

14. Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on Systems, Man and Cybernetics, 1979, vol. 9, no. 1, pp. 62 - 66. DOI: 10.1109/TSMC.1979.4310076

15. Dey Nilanjan, Dutta Saurab, Dey Goutami, Chakraborty Sayan, Ray Ruben, Roy Payel. Adaptive thresholding: A comparative study // 2014 International Conference on

Труды МАИ. Выпуск № 116 http://trudymai.ru/

Control, Instrumentation, Communication and Computational Technologies, ICCICCT

2014. DOI: 10.1109/ICCICCT.2014.6993140

16. Canny J. A Computational Approach to Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. PAMI-8, no. 6, pp. 679 - 69. DOI: 10.1109/TPAMI.1986.4767851

17. Sklansky J. Finding the convex hull of a simple polygon // Pattern Recognition Letters, 1982, vol. 1, no. 2, pp. 79 - 83. DOI: 10.1016/0167-8655(82)90016-2

18. Anton H. Elementary Linear Algebra, New York, Wiley, 1993, 280 p.

19. Лебедев Г.Н., Мирзоян Л.А., Ефимов А.В. Выбор многоальтернативных маршрутов полета беспилотного летательного аппарата при наблюдении трассы и наземных точечных объектов на этапе планирования полета // Труды МАИ. 2011. № 48. URL: http://trudymai.ru/published.php?ID=27150

20. Дмитриев В.И., Звонарев В.В., Лисицын Ю.Е. Методика обоснования рациональных способов управления беспилотным летательным аппаратом // Труды МАИ. 2020. № 112. URL: http://trudymai.ru/published. php?ID=116566. DOI: 10.34759/trd-2020-112-16

Marker images detection algorithm for the unmanned aerial vehicle

vertical landing

Trusfus M.V.*, Abdullin I.N.**

Kazan National Research Technical University named after A.N. Tupolev—KAI, 10, K. Marksa str., Kazan, 420111, Republic of Tatarstan, Russia *e-mail: mtrusfus@,yandex. ru **e-mail: ilfir528@,mail.ru

Abstract

The primary task while drones application consists in automatic landing ensuring. Most of the existing auto-landing solutions ensure accuracy up to three meters. For a more accurate landing, accurate distance measurements are required. Methods, ensuring accurate camera images, require accurate identification of the marker image points.

The marker image consists of two black rectangles situated in the center of each other at the angle of 90 degrees. The rectangles are applied on a white surface. Their detection is based on the objects' contours detecting on a monochrome image with further test for compliance to marker geometric shape. The dependencies of distances between the points of the geometric shape equivalent to the claimed structure are presented.

This study considers the methods of adaptive binarization and the Canny boundary detector to perform camera image conversion to monochrome one. Detection of the outline of each object is being performed on the monochrome image. A convex hull of minimum area is being built for each outline in such a way that all the object points be inside. The search for the points corresponding to the marker's apexes is being performed according to the presented dependence of distances on the convex hull. Checking of all points of the

initial outline on the correspondence to the marker's geometry shape by checking if each point lays on the corresponding side is being performed for the marker image identification.

Software was employed for conducting experimental study of the described algorithm. One of the programs employs binarization method, while Canny boundary detector is used in the other one. Photographs in 640 x 480, 800 x 600 and 1920 x 1080 resolution were used while conducting the study.

According to the results of the study, the highest detection accuracy and speed were displayed by an algorithm based on the use of the Canny boundary detector. False detection of marker images was not detected in any of the algorithms. The algorithm based on the adaptive binarization revealed the best performance in detecting marker images in "blurry" images. A conclusion was made by the results of the study that the developed algorithm allows detecting all points of the marker image of the vertical landing site designation without errors in false targets detecting.

Keywords: marker image, pattern recognition, image processing, vertical landing.

References

1. Gautam A, Sujit PB, Saripalli S. A survey of autonomous landing techniques for UAVs, 2014 International Conference on Unmanned Aircraft Systems, (ICUAS) 2014, Conference Proceedings, IEEE Computer Society, 2014, pp. 1210 - 1218. DOI: 10.1109/ICUAS.2014.6842377

2. Fedorenko R.V., Abdullin I.N., Klimchik A.S. Trudy tsentra kompetentsii NTI "Tekhnologii komponentov robototekhniki i mekhatroniki', Izhevsk, Izhevskii institut komp'yuternykh issledovanii, 2019, pp. 129 - 166.

3. Arefev R.O., Arefeva N.G., Skrypnik O.N. Trudy MAI, 2017, no. 92. URL: http://trudymai.ru/eng/published.php?ID=77182

4. Pogosyan M.A., Vereikin A. A. Trudy MAI, 2020, no. 113. URL: http://trudymai.ru/published.php?ID= 118156. DOI: 10.34759/trd-2020-113-11

5. Skryabin Yu.M., Potekhin D.S. Trudy MAI, 2019, no. 106. URL: http: //trudymai. ru/eng/published.php?ID= 105747

6. Gogolev A. A., Gorobinskii M.A. Trudy MAI, 2018, no. 101. URL: http://trudymai. ru/eng/publi shed. php? I D=97029

7. Trusfus M.V., Eminov F.I., Abdullin I.N. I Vserossiiskaya nauchno-prakticheskaya konferentsiya molodykh aviatorov Rossii "Aviatsiya budushchego: trendy, vyzovy i vozmozhnosti", Kazan', Izd-vo KNITU-KAI, 2019, pp. 576 - 579.

8. Altwaijry H., Trulls E., Hays J., Fua P., Belongie S. Learning to Match Aerial Images with Deep Attentive Architectures, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 3539 - 3547. DOI: 10.1109/CVPR.2016.385

9. Korneev M.A., Maksimov A.N., Maksimov N.A. Trudy MAI, 2012, no. 58. URL: http: //trudymai. ru/eng/published.php?ID=33061

10. Simo-Serra E. et al. Discriminative learning of deep convolutional feature point descriptors, 2015 International Conference on Computer Vision, ICCV 2015, Institute of

Electrical and Electronics Engineers Inc., 2015, pp. 118 - 126. URL: https://doi.org/10.1109/ICCV.2015.22

11. Chen L.C. et al. Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs, Computer Science, 2014. URL: https://arxiv.org/abs/1412.7062

12. Suzuki S. Topological structural analysis of digitized binary images by border following, Computer Vision, Graphics and Image Processing (ICVGIP), 1985, vol. 30 (1), pp. 32 - 46.

13. Burger W., Burge M.J. Principles of Digital Image Processing, Springer, London, 2009, DOI: 10.1007/978-1-84800-195-4

14. Otsu N. A Threshold Selection Method from Gray-Level Histograms, IEEE Transactions on Systems, Man and Cybernetics, 1979, vol. 9, no. 1, pp. 62 - 66. DOI: 10.1109/TSMC.1979.4310076

15. Dey Nilanjan, Dutta Saurab, Dey Goutami, Chakraborty Sayan, Ray Ruben, Roy Payel. Adaptive thresholding: A comparative study, 2014 International Conference on Control, Instrumentation, Communication and Computational Technologies, ICCICCT 2014. DOI: 10.1109/ICCICCT.2014.6993140

16. Canny J. A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. PAMI-8, no. 6, pp. 679 - 69. DOI: 10.1109/TPAMI.1986.4767851

17. Sklansky J. Finding the convex hull of a simple polygon, Pattern Recognition Letters, 1982, vol. 1, no. 2, pp. 79 - 83. DOI: 10.1016/0167-8655(82)90016-2

18. Anton H. Elementary Linear Algebra, New York, Wiley, 1993, 280 p.

19. Lebedev G.N., Mirzoyan L.A., Efimov A.V. Trudy MAI, 2011, no. 48. URL: http://trudymai.ru/eng/published.php?ID=27150

20. Dmitriev V.I., Zvonarev V.V., Lisitsyn Yu.E. Trudy MAI, 2020, no. 112. URL: http://trudymai.ru/eng/published.php?ID=116566. DOI: 10.34759/trd-2020-112-16

i Надоели баннеры? Вы всегда можете отключить рекламу.