CC BY
24Journal of Siberian Federal University. Engineering & Technologies, 2016, 9(3), 392-400
УДК 518.6, 536.6
Processing of Dynamic Infrared Images at Landing Unmanned Aerial Vehicles Airborne way to Control the Navigation Parameters
Vitaly S. Svicho*a, Andrey V. Parfirheva and Evgeniy N. Garinb
aMilitary Training and Research Center of the Air Force «Air Force Academy ft. Professor N.E. Zhukovsky and Y.A. Gagarin» 54a Starykh Bol'shevikov Str., Voronezh, 394064, Russia
bSiberian Federal University 79 Svobodny, Krasnoyarsk, 660041, Russia
Received 26.11.2015, received in revised form 17.01.2015, accepted 01.03.2016
Describes the features ofprocessing infrared images when landing, the UAV aircraft. The scheme of processing of dynamic infrared images and control the navigation parameters during landing approach of the aircraft. The estimation of the potential accuracy of the proposed method of determining navigation parameters.
Keywords: unmanned aerial vehicle; infrared; image segmentation; image processing; dynamic registration, automatic tracking.
Citation: Svicho V.S., Parfirhev A.V., Garin E.N. Processing of dynamic infrared images at landing unmanned aerial vehicles airborne way to control the navigation parameters, J. Sib. Fed. Univ. Eng. technol., 2016, 9(3), 392-400. DOI: 10.17516/1999-494X-2016-9-3-392-400.
© Siberian Federal University. All rights reserved Corresponding author E-mail address: s_vit77@mail.ru
Обработка динамических инфракрасных изображений при посадке беспилотных летательных аппаратов самолетным способом
для контроля навигационных параметров
В.С. Свищоа, А.В. Парфильева, Е.Н.Гаринб
аВУНЦ ВВС «ВВА им. проф. Н.Е. Жуковского и Ю.А. Гагарина» Россия, 371600, Воронеж, ул. Старых Большевиков, 54А бСибирский федеральный университет Россия, 660041, Красноярск, пр. Свободный, 79
Описаны особенности обработки инфракрасных изображений при посадке беспилотных летательных аппаратов самолетным способом. Разработана схема обработки динамических инфракрасных изображений и контроля навигационных параметров при заходе на посадку летательных аппаратов. Произведена оценка потенциальной точности предложенного метода определения навигационных параметров.
Ключевые слова: беспилотный летательный аппарат, инфракрасный диапазон, сегментация изображений, обработка изображений, динамическая регистрация, автоматическое сопровождение.
Введение
В последнее время беспилотные летательные аппараты (БЛА) все активнее используются наряду с пилотируемыми самолетами в различных сферах боевого применения авиации, включая нанесение ракетно-бомбовых ударов и радиоэлектронное противодействие средствам противника. Управление БЛА осуществляется на основе данных ГЛОНАСС и GPS [1]. Однако, как показывает опыт боевых действий, эти системы можно легко "подавить". В этом случае для определения местоположения БЛА в воздухе должны использоваться другие системы, к ним можно отнести: радиолокационные системы дальней навигации, радиотехнические системы ближней навигации, радиолокационные станции обзора воздушного пространства, радиолокационные системы посадки. Однако эти системы не обладают достаточной точностью, необходимой для посадки БЛА на аэродром.
Требуемую точность определения навигационных параметров БЛА, заходящих на посадку, обеспечивают системы с видимым и инфракрасным диапазоном волн. Использование видимого диапазона волн для контроля посадки БЛА неэффективно, так как в сложных погодных условиях (дождь, туман, снег) дальность действия таких систем резко уменьшается до сотен метров. Системы инфракрасного (ИК) диапазона волн лишены этих недостатков, поэтому для контроля БЛА, заходящего на посадку в автоматическом режиме, предлагается использовать ИК-диапазон волн.
Постановка задачи
Для контроля БЛА, заходящего на посадку в автоматическом режиме, необходимо найти способ обработки динамических изображений в зоне посадки, обеспечивающий автоматиче-
Рис. 1. Зона обзора при посадке БЛА
ское сопровождение. Под зоной посадки будем понимать объем пространства вокруг заданной линии посадки (курс, глиссада) в пределах 8 градусов по углу места и 6 градусов по азимуту (рис. 1). Экспериментальные данные были получены с тепловизионного прибора, формирующего потоковое видео с разрешением 640*480 пикселей, частотой кадров 10 кадров в секунду и углом зрения 8,3° по азимуту и 6,2°по углу места. Спектральный диапазон прибора 7,5-13,5 мкм. Потенциальная точность данного прибора составляет менее 1 мин по углу места и азимуту.
На определение местонахождения БЛА существенное влияние будет оказывать наличие местных предметов и малоподвижных метеообразований, а также зависящие от дальности геометрические размеры изображения БЛА.
В настоящее время существует множество способов обработки изображений в системах динамической регистрации объектов [1-4], которые позволяют обнаружить движущиеся объекты, вычислить их геометрические размеры, определить скорость и направление движения. Сегментация изображений в таких системах сводится к определению фона от объекта, т.е. разделению изображения на части и выделению необходимого элемента. Эти способы подвержены многочисленным ложным срабатываниям из-за неравномерного фона, незначительной разницы в контрастности между фоном и объектом, наличия большого количества скачков яркости и большому количеству пропуска цели из-за малых геометрических размеров БЛА в обрабатываемом изображении. При решении автоматического контроля за посадкой БЛА необходимо учитывать эти особенности.
Современные способы обработки изображений наиболее полно представлены в библиотеках машинного зрения, поэтому для решения поставленной задачи будем использовать объектно-ориентированный язык программирования C# и кросс-платформенного .NET - дополнения для компьютерной библиотеки машинного зрения OpenCV (Emgu CV).
Алгоритмическая схема метода контроля БЛА, заходящего на посадку
Для осуществления контроля навигационных параметров при посадке БЛА самолетным способом предлагается UML-диаграмма последовательности применения алгоритмов компьютерного зрения библиотеки OpenCV для решения задач обработки динамических ИК-изображений, изображенная на рис. 2. Для решения поставленной задачи определена по- 394 -
Исходные ИК изображения
Рис. 2. ИМЬ-диаграмма последовательности применения алгоритмов компьютерного зрения: п - текущий кадр; N - последний кадр
следовательность действий над исходными ИК-изображениями, заключающаяся в выделении движущихся пикселей, применении порогового преобразования и функций математической морфологии, алгоритмов выделения, поиска и сглаживания контуров, а также функций нанесения дополнительной графической информации.
Для выделения движущихся пикселей воспользуемся формулой вычисления разницы по модулю между двумя растрами полутоновых изображений:
A[i, j ] = |\S1[i, j ] - Sn [i, j ]||, (1)
где S1[i,j] - первый исходный растр; Sn[i,j] - n-й исходный растр; A[i,j] - результирующий растр; i,j - координаты точки на растре. Приведенное действие реализовано функцией cvInvoke. cvAbsDiff компьютерной библиотеки OpenCV. Данная функция эквивалентна системе селекции движущихся целей, используемой для обработки радиолокационного сигнала.
Для подавления собственного шума приемника исходный растр изображения преобразуется в бинарный черно-белый растр по пороговому значению сигнала (фильтр порогового преобразования). Для этого в рассматриваемой компьютерной библиотеке имеется функция cvInvoke.cvThreshold. Преобразование растра изображения (1) осуществляется в соответствии со следующим выражением:
[255, если A[i, j] >Akt;
T[l>j] = L лг- -т/л/ (2)
[0, если A[i, j] <Akt,
где Akt - пороговое значение, Akt e [0,255].
Величина порога Akt должна выбираться в зависимости от среднего значения яркости исходного растра.
Растры изображения получены в результате применения приведённых двух функций (рис. 3).
Для подавления остаточного шума тепловизионного приемника применяются функции математической морфологии - эрозия (cvInvoke.cvErode) и расширение (cvInvoke.cvDilate). В основе базовых операций математической морфологии для бинарных изображений лежат операции из теории множеств. Формально они могут быть определены следующим образом:
E(T, B) = T ® B = (T-ß),
ß^B (3)
D(T, B) = T © B = У (T + ß);
ß<eB
где T - растр изображения, полученного на предыдущем шаге; В - структурирующий элемент; ß - пиксель структурирующего элемента; E(T,B) - результирующий растр после воздействия операцией эрозии; D(T,B) - результирующий растр после воздействия операцией расширения. Действие операции эрозии заключается в уменьшении площади объекта, расширения - наоборот, в её увеличении. Величина и способ изменения площади объекта зависят от выбора струк-
Рис. 3. Растры изображения, полученные в результате применения вычисления разницы по модулю (а) и фильтра порогового преобразования (б): 1 - собственный шум тепловизионного приемника; 2 - полезный сигнал (БЛА)
турирующего элемента. Результат применения данных двух функций со значениями структурирующего элемента 3x3 для эрозии и расширения представлен на рис. 4.
После применения функций математической морфологии собственные шумы теплови-зионного приемника на изображении не наблюдаются (рис. 4), а величина полезного сигнала визуально практически не изменилась. Определение типа объекта на изображении осуществляется путем проведения анализа формы его контура. Выделение контуров на изображении основано на скачкообразном изменении значения яркости. Для этого предлагается использовать детектор границ, реализованный в функции Image<Gray,Byte>.Canny, который обеспечивает повышение значения отношения сигнал-шум, правильное определение положения границ контура и единственный отклик на одну границу [2, 3].
Структура применяемого алгоритма выделения контуров представлена на рис. 5.
Сглаживание изображения. Для удаления шума на изображении применяется алгоритм сглаживания изображения на основе фильтра Гаусса с ядром 5x5 элементов [2, 3]:
L-
1
159
5 12
12 15 9 12
4 9 12 9 4
(4)
Поиск градиентов. Для вычисления приближенного значения градиента яркости изображения используется оператор Собеля [5]. Результатом применения оператора Собеля в каждой точке изображения является либо вектор градиента яркости в этой точке, либо его норма. Маг-нитуда градиента для пикселя с координатами (/, у) находится по формуле
|=>/g )2+(Gy )2,
(5)
f-1 0 1 ^ f-1 -2 -f|
где Gx = -2 0 2 , Gy = 0 0 0
V-1 0 1У V 1 2 1 У
. Направления градиентов округляются до одного из воз-
можных значений - 0°, 45°, 90°, 135°.
а)
Рис. 4. Растры изображения в результате применения функций математической морфологии - эрозии (а) и расширения (б): 1 - собственный шум тепловизионного приемника; 2 - полезный сигнал (БЛА)
Рис. 5. Структура применяемого алгоритма
Рис. 6. Принцип подавления не-максимумов
Следующим шагом служит процедура подавления не-максимумов [2, 3]. Пикселями границ объявляются пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента. Значение направления должно быть кратно 45°. Принцип подавления проиллюстрирован на рис. 6 [2, 3].
Двойная пороговая фильтрация. Выделяются «сильные» и «слабые» ребра. Пиксели, интенсивность которых превышает максимальный порог, считаются пикселями, принадлежащими «сильным» ребрам. Принимается, что пиксели с интенсивностью, входящей в интервал от минимального до максимального порогового значения, принадлежат «слабым» ребрам. Пиксели, интенсивность которых меньше минимального порога, отбрасываются из дальнейшего рассмотрения. Результирующие ребра содержат пиксели всех «сильных» ребер и те пиксели «слабых» ребер, чья окрестность содержит хотя бы один пиксель «сильных» ребер.
Трассировка области неоднозначности. Сводится к выделению групп пикселей, отнесенных к границе контура изображения.
Результат применения алгоритма Канни показан на рис. 7.
Для поиска контуров и координат их точек воспользуемся алгоритмом поиска границ Suzuki-Abe [4], реализованным в OpenCV функцией Contour<Point>.FindContours. Результатом применения данного алгоритма является множество контуров, каждый из которых представляется множеством точек.
Для уменьшения числа точек кривой, описывающей контур, применяется алгоритм Дугласа - Пекера [6], основанного на аппроксимации большей серией точек. Данный алгоритм реализован функцией Contour<Point>.ApproxPoly.
Для нанесения на исходное изображение необходимых элементов, навигационных данных, а также любой дополнительной информации применяется функция Image<Gray,Byte>. Draw, входящая в информационный пакет компьютерной библиотеки OpenCV [5, 7]. Результат применения предложенного метода показан на рис. 8.
Рис. 7. Результат применения алгоритма Канни
(306,3
I
Рис. 8. Результат применения предложенного метода
Выводы
На основе проведенных экспериментальных исследований можно сделать вывод о том, что предложенная схема обработки ИК-изображений позволяет обнаружить и автоматически сопровождать БЛА при заходе на посадку. При этом точность определения координат по азимуту и углу места составила 1 мин. При известной дальности до БЛА точность определения высоты не превысит 2 м, что в 3 раза лучше требований, предъявляемых к аэродромам первой категории, и в десятки раз лучше военных систем посадки. Однако с помощью предложенного метода не получилось обнаружить БЛА на дальностях свыше 6 км и находящегося в зоне метеообразований. Увеличение дальности обнаружения и точности определения координат возможно, если использовать тепловизионный прибор с большим разрешением, при разрешении прибора 1920*1080 точность повысится в 3 раза.
Работа выполнена при поддержке гранта РФФИ № 15-08-02611 А.
Список литературы
[1] Глобальная навигационная спутниковая система ГЛОНАСС / под ред. В.Н. Харисова, А.И. Перова, В.А. Болдина М.:КНИЦ ВКС,1995г. [Global navigation satellite system GLONASS, Edited by Harisov V.N., Perov V.A., Boldin V. A., Moscow, KNITS VKS, 1995 (in Russian)]
[2] Canny J.F. (1983) Finding edge sand lines in images, Master's thesis, MIT. AI Lab. TR-720.
[3] Canny J.F. (1986) "A computational approach to edge detection", IEEE Transaction on Pattern Analysis and Machine Intelligence, 8. - P. 679-714.
[4] Suzuki, S. and Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Following. CVGIP 30 1, 1985. p. 32-46.
[5] Ishchuk, I.N., Parfiriev, A.V. The Reconstruction of a Cuboid of Infrared Images to Detect Hidden Objects. Part 2. A Method and Apparatus for Remote Measurements of the Thermal Parameters of Isotropic Materials (2014) Measurement Techniques, vol. 57, Issue 1, p 74-78.
[6] P. Heckbert and M. Garland. Survey of Polygonal Surface Simplification Algorithms, Siggraph 97 Course Notes, no. 25, ACM Press, New York, 1997.
[7] Courtney P, Thacker N.A. (2001) "Performance Characterization in Computer Vision: The Role of Statistics in Testing and Design", Chapter in: "Imaging and Vision Systems: Theory, Assessment and Applications", Jacques Blanc-Talon and Dan Popescu (Eds.), NOVA Science Books.
