CC BY
97DOI: 10.17516/1999-494X-0346 УДК 656.052
Model of the Method of Autonomous Navigation of Unmanned Aerial Vehicles Based on Infrared Images of the Terrain
Igor N. Ischuka and Maxim A. Likhachev*b
aSiberian Federal University Krasnoyarsk, Russian Federation bMilitary Training and Research Center of the Air Force «Air Force Academy ft. Professor N. E. Zhukovsky
and Y. A. Gagarin» Voronezh, Russian Federation
Received 15.03.2021, received in revised form 24.06.2021, accepted 25.08.2021
Abstract. The article presents a descriptive model of autonomous navigation of unmanned aerial vehicles based on infrared images. The method and algorithm for implementing the autonomous navigation model are considered. Numerical estimates of the efficiency of autonomous navigation based on multispectral multi-time photographic survey of the Earth's surface are obtained.
Keywords: autonomous navigation, unmanned aerial vehicle, cross-correlation function, infrared images.
Citation: Ischuk I. N., Likhachev M.A. Model of the method of autonomous navigation of unmanned aerial vehicles based on infrared images of the terrain, J. Sib. Fed. Univ. Eng. & Technol., 2021, 14(7), 776-787. DOI: 10.17516/1999-494X-0346
© Siberian Federal University. All rights reserved
This work is licensed under a Creative Commons Attribution-Non Commercial 4.0 International License (CC BY-NC 4.0). Corresponding author E-mail address: [email protected]
Модель способа автономной навигации беспилотных летательных аппаратов по инфракрасным изображениям местности
И. Н. Ищука, М. А. Лихачев5
аСибирский федеральный университет Российская Федерация, Красноярск бВоенный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н. Е. Жуковского и Ю. А. Гагарина» Российская Федерация, Воронеж
Аннотация. В статье представлена описательная модель автономной навигации беспилотных летальных аппаратов по инфракрасным изображениям. Рассмотрен способ и алгоритм реализации модели автономной навигации. Получены численные оценки эффективности автономной навигации по данным многоспектральной разновременной фотографической съемки земной поверхности.
Ключевые слова: автономная навигация, беспилотный летательный аппарат, взаимно-корреляционная функция, инфракрасные изображения.
Цитирование: Ищук, И. Н. Модель способа автономной навигации беспилотных летательных аппаратов по инфракрасным изображениям местности / И. Н. Ищук, М. А. Лихачев // Журн. Сиб. федер. ун-та. Техника и технологии, 2021, 14(7). С. 776-787. DOI: 10.17516/1999-494Х-0346
Введение
Автономные системы навигации в настоящее время и на ближайшую перспективу остаются одним из наиболее эффективных способов управления беспилотными летательными аппаратами (БпЛА) в условиях сложной радиоэлектронной обстановки. Для навигации или наведения БпЛА используются эталонные изображения местности, каждый элемент разрешения которых имеет топографическую привязку к местности. Основная проблема классификации объектов по аэрофотоснимкам и видеоизображениям в видимом и инфракрасном диапазонах длин волн заключается в выборе необходимых информационных признаков, которые зачастую не в полной мере раскрывают свойства объекта, что в конечном счете может привести к его неправильному распознаванию [1]. Кроме того, время применения эталонных изображений в видимом диапазоне ограничено освещенностью и состоянием погоды. Применение инфракрасных изображений в качестве эталонных обеспечит снятие этого ограничения, однако такие изображения также характеризуются зависимостью от состояния погоды. Известно, что качество аэрофотоснимков в инфракрасном диапазоне длин волн зависит от целого комплекса условий, одним из которых являются теплофизические параметры объектов воздушного мониторинга [2]. Решение задачи автономной навигации в инфракрасном диапазоне длин волн позволит повысить надежность применения БпЛА в условиях отсутствия сигнала глобальных систем спутниковой навигации (ГССН).
1. Описательная модель способа автономной навигации БпЛА
Модель способа автономной навигации БпЛА включает следующие блоки, представленные на рис. 1.
Блок начальных условий, формирующий выходные параметры: Пбпла - вектор исходного состояния БпЛА (координаты, скорость, высота над подстилающей поверхностью, скорость ветра и его направление); пФцО - вектор параметров фоноцелевой обстановки (ФЦО), к ним относятся класс объекта, координаты, состояние объекта; Пп - вектор параметров состояния погоды (температура приземного слоя земли, скорость ветра, влажность воздуха, облачность, плотность потока падающего солнечного излучения); пН - параметры способа навигации (координаты районов коррекции, координаты опорных точек и их контуров (ОТК), алгоритм расчета взаимокорреляционной функции (ВКФ), алгоритм фильтрации ИК-изображений и их пороговой обработки).
Блок модели ФЦО, формирующий географические координаты объектов ФЦО - ХФцО, 7ФцО и ОТК — хотк ^отк-
Блок модели полета БпЛА, обеспечивающий расчет динамики полета БпЛА в связанной системе координат хбпла, >"бпла в соответствии с его аэродинамическими характеристиками.
В математической модели полета БпЛА рассматривается летательный аппарат самолетного типа как твердое тело, которое имеет шесть степеней свободы, три вида поступательных движений центра масс и три вида вращательного движения относительно центра масс в связанной системе координат [3]. Для использования данной математической модели в способе автономной навигации применен ряд упрощений: боковое маневрирование происходит за счет изменения угла крена, функция управления изменяет тягу, угол атаки и угол крена БпЛА. Для оценки точности навигации земная поверхность представляется в виде плоскости, а ошибка местоположения БпЛА по высоте равна нулю.
Рис. 1. Модель способа автономной навигации БпЛА по ИК-изображению Fig. 1. The model is a method of autonomous navigation of the UAV on the IR image
Блок имитационной модели расчета инфракрасных (ИК) изображений, обеспечивающий формирование разновременных ИК-изображений ФЦО в течение суток для заданных моментов времени путем моделирования изменения пространственного распределения термодинамических температур на поверхности фона и объектов и расчета соответствующих радиационных температур с учетом их излучательной способности. Эта процедура осуществляется путем решения прямой задачи радиационного теплопереноса на основе тепловой модели местности с учетом плотности потока падающего солнечного излучения, температуры воздуха и высоты полета. Тепловая модель местности представляет собой пространственное распределение теплофизических параметров: теплопроводности, теплоемкости, плотности и излучательной способности объектов и фонов. Тепловую модель получают путем дистанционного определения пространственного распределения теплофизических параметров земной поверхности [4].
Блок модели способа автономной навигации по ИК-изображениям. Данный способ заключается в получении эталонных и рабочих изображений местности с помощью оптико-электронной системы в ИК-диапазоне длин волн. Эталонные изображения подготавливают на основе тепловой модели местности блока имитационной модели для заданных районов коррекции ОТК и конечной точки маршрута полета БпЛА в планируемые моменты времени полета. Эталонные бинарные изображения содержат метаданные о географических координатах для каждого элемента разрешения (пикселя). Рабочие изображения регистрируют в процессе съемки в надир с помощью оптико-электронной системы в инфракрасном диапазоне. Полученные эталонные и рабочие инфракрасные изображения подвергают пороговой обработке, в результате которой формируют эталонные и рабочие матрицы опорных точек (контуров) объектов. Осуществляют расчет двумерной матрицы ВКФ функции, находят ее максимум и оценивают географическое положение максимума взаимокорреляционной функции по эталонной матрице опорных точек (контуров). Используют данную оценку положения максимума взаимокорреляционной функции для автономной навигации беспилотного летательного аппарата по данным измеренных значений курса, крена, тангажа и высоты беспилотного летательного аппарата.
Блок математической модели системы наведения БпЛА по ИК-изображению, обеспечивающий вычисление ВКФ г, между эталонным и рабочим ИК-изображениями на завершающем этапе полета БпЛА при его выходе в конечную точку маршрута.
Блок расчета гистограмм распределения точности навигации путем оценки погрешности наведения БпЛА в конечной точке маршрута полета - АХ, АУ.
2. Алгоритм способа автономной навигации
Алгоритм определения опорных точек (контуров) и их дескрипторов с географическими координатами, сопоставлением рабочей и эталонной матрицы опорных точек (контуров) на основе вычисления ВКФ представлен на рис. 2.
Алгоритм структурно разбит на пороговую обработку эталонных ИК-изображений, которая осуществляется на этапе планирования полета, и пороговую обработку рабочих ИК-изображений, которая осуществляется во время полета БпЛА.
Результатом пороговой обработки эталонных ИК-изображений являются эталонные матрицы ОТК и данные географических координат центра тяжести для каждого элемента множества ОТК.
Рис. 2. Алгоритм пороговой обработки эталонных и рабочих ИК-изображений Fig. 2. Algorithm for threshold processing of reference and working IR images
Непосредственно в процессе полета БпЛА на измеренной с помощью барометрического высотомера высоте задачу навигации на заданных участках местности и траектории полета по данным эталонных ИК-изображений или эталонных матриц ОТК решают путем получения от оптико-электронной системы (ОЭС) рабочих изображений местности, снятых в надир с последующей пороговой обработкой. В результате обработки рабочих ИК-изображений в режиме, близком к реальному времени, с заданной периодичностью получают рабочие матрицы ОТК. Используя эталонные и рабочие матрицы ОТК одного и того же участка местности с помощью бортового вычислителя, осуществляют расчет двумерной матрицы ВКФ, находят максимум ВКФ, оценивают географическое положение максимума ВКФ по эталонной матрице ОТК и используют данную оценку положения максимума в ВКФ для автономной навигации БпЛА по данным измеренных значений курса, крена, тангажа и высоты летательного аппарата.
Таким образом, траектория может быть выбрана или скорректирована непосредственно в процессе движения БпЛА, а именно определения географического положения БпЛА и получения сигнала для корректировки маршрута.
Реализация процедур предварительной и непосредственной обработки ИК-изображений может быть осуществлена следующими вариантами:
Первый вариант. Пороговую обработку эталонных ИК-изображений осуществляют до начала полета БпЛА и на борт БпЛА загружают уже рассчитанные эталонные матрицы ОТК.
Второй вариант. На борт БпЛА во время его полета загружаются эталонные ИК-изображения, которые бортовым вычислителем подвергаются пороговой обработке по алгоритму пороговой обработки для получения эталонных матриц ОТК (рис. 2).
Третий вариант. При осуществлении навигации БпЛА по данным ГССН с заданной периодичностью с помощью ОЭС фиксируют ИК-изображения подстилающей поверхности в надир и передают эту информацию в бортовой вычислитель БпЛА для пороговой обработки этих ИК-изображений с известными географическими координатами, затем по алгоритму пороговой обработки (рис. 2) рассчитывают эталонные матрицы ОТК с последующим их сохранением в памяти БпЛА. При отказе приемника ГССН или попадании БпЛА в сложную радионавигационную обстановку, не позволяющую корректно определять свое местоположение по данным ГССН, автономная навигация БпЛА осуществляется по сохраненным в памяти БпЛА эталонным матрицам ОТК.
Перед получением рабочей матрицы ОТК участка местности траектории полета выполняется процедура оценки вектора собственной скорости БпЛА и его высоты полета над местностью в окрестности ОТК. Это делается с целью сокращения объема расчетов при цифровой обработке рабочей матрицы ОТК. По окончании оценки вектора собственной скорости БпЛА и его высоты над местностью в окрестности ОТК рабочее ИК-изображение подвергается пороговой обработке с получением ОТК и их географических координат. Координаты совпадающих ОТК обеих матриц ОТК в географической системе координат несут информацию о взаимном положении этих ИК-изображений в горизонтальной плоскости. В момент взаимного совмещения рабочей и эталонной матриц ОТК одного периода астрономического времени текущая рабочая матрица ОТК записывается в базу данных эталонных матриц ОТК и становится эталонной, после чего выполняется последовательность действий пороговой фильтрации для рабочих ИК-изображений с вычислением ВКФ согласно алгоритму пороговой обработки (рис. 2).
Сопоставление рабочей и эталонной матрицы ОТК происходит на основе вычисления ВКФ [5].
Взаимнокорреляционная функция - стандартный метод определения соответствия двух последовательностей. Для локализации объектов на изображении, которые представлены в виде двух двумерных дискретных функций яркости j] и w[i, j] соответственно, определяют двумерную взаимокорелляционную функцию:
На основании выражения (1) реализован частотный метод обработки путем применения ортогональных преобразований с последующей модификацией полученных откликов.
Одним из основных приемов частотной фильтрации изображений, основанных на двумерном преобразовании Фурье для двумерной функции j), является преобразование изображения, заданного в пространственной координатной системе (1, j), в двумерное изображение, заданное в частотной координатной системе (и, V).
где и и V - частотные декартовы координаты; F(u, V) - Фурье-образ функции ^1, j).
Обратное преобразование Фурье двумерной функции имеет вид
Для компьютерной реализации прямых и обратных преобразований Фурье (2) (3) используются их дискретные аналоги:
л „ ,/хи vv\
nm t=o J
f — vw_1 V™-1 T7 о J — ZjU=0 ZjV=0 Г K
2ni
.(iu iv\
Чй+дТ)
(4)
(5)
Исходя из следствия теоремы о свертке и на основе дискретного двумерного преобразования Фурье разработан алгоритм обнаружения объектов с использованием корреляционного метода обработки цифровых изображений.
Под корреляционным фильтром понимается искусственно создаваемая маска, корреляция которой с текущим кадром позволит получить заранее заданную реакцию при обнаружении искомого объекта. Под желаемой реакцией будем понимать некую легко узнаваемую функцию, которая в общем случае может быть любой. Удобно воспользоваться двумерной функцией Гаусса [6]:
9i(Uj) = е
(6)
Таким образом, по определению, имеется связь фильтра w[i, j] с дискретной функцией Лл.)] яркости точек эталонного изображения в виде д = и/ О /.
Воспользуемся следствием теоремы о свертке для нахождения w: F[w О /] = F[w]* • Т7 [/"] или С = К • F [8]. Выразим К: в
К =
(7)
Фильтр (7) является частным корреляционным фильтром. При отклонениях исследуемого сигнала от эталонного реакция системы в некоторых случаях становится неузнаваемой. Для повышения вероятности локализации объекта на динамической последовательности изображений адаптивный корреляционный алгоритм синтезируют на базе множества частных фильтров:
ts _ Vw IS
(8)
Фильтр (8) является известным адаптивным фильтром ASEF (Average of Synthetic Exact Filters), недостатком которого для систем реального масштаба времени выступает необходимость его обучения. Для качественного обнаружения ОТК на рабочем изображении и сопостав-
ления с эталоном при незначительной двумерной деформации наземного объекта, находящегося в различных условиях освещенности в масштабе времени близко к реальному, требуется применение фильтра, сводящего к минимуму выходную сумму квадратичной ошибки между текущим фрагментом и маской в процессе обработки последовательности:
К = тт&|F^-G£|2. (9)
н
При этом каждый элемент фильтра может быть оптимизирован независимо:
Kuv — minYt^FiuvKuv ~ Giuv\2. (10)
huv
Процедура нахождения минимума сводится к приравниванию частной производной по Kuv к нулю. В результате стандартных преобразований определяется окончательный вид фильтра:
Фильтр (11) является основным элементом системы, формирующей данные о географическом местоположении ОТК.
3. Экспериментальная апробация
Для численной оценки достигаемого значения ВКФ между эталонными и рабочими ИК-изображениями, формируемых для различных объектов ФЦО в течение суток, был проведен натурный эксперимент с применением БпЛА мультикоптерного типа. Съемка велась оптическим сенсором Sony EXMOR1/2.3 и тепловизионным приемником Flir Tau2 с высоты 200 м в течение суток с интервалом 2 ч. В результате съемки было получено 12 ИК-изображений заданного участка местности (рис. 3).
Анализ ИК-изображений одного и того же района ФЦО обстановки показывает, что в течение суток они характеризуются значительной вариативностью во времени, т. е. контрастность объектов и фонов изменяется в зависимости от внешних метеорологических условий (рис. 3). Так, для выбранных на рис. 3 трех объектов («вертолет», «автомобиль» и «кунг») функция теплового контраста, рассчитываемая как отношения разности яркости объекта и фона к их сумме, в течение суток меняет свой знак дважды. Такое явление называется инверсией тепловых контрастов и связано с восходом и заходом солнца. Следовательно, эталонные инфракрасные изображения могут быть использованы для их сопоставления с рабочими инфракрасными изображениями только на определенных временных интервалах астрономического времени. Оценки значений ВКФ между эталонными и рабочими изображениями наиболее контрастного объекта «кунг» представлены на рис. 4. На рис. 4а даны круговые диаграммы времени актуализированного состояния эталонных изображений, отражающие время непрерывного использования эталонного изображения с момента его формирования, когда значение ВКФ с рабочим изображением равно единице, до момента времени, когда ВКФ приближается к нулю. Так, эталонное изображение, полученное в 6:30 для критерия эффективности ВКФ > 0.5, может быть использовано в течение 1 ч, в свою очередь, эталонное изображение, полученное в 22:00, может эффективно применяться для автономной ИК-навигации БпЛА уже в течение 4 ч 30 мин.
6: 00 of the first day of the experiment
2: 00 of the second dav of the exDeriment
Рис. 3. Суточный эксперимент Fig. 3. Daily experiment
На рис. 4б представлены круговые диаграммы изменения ВКФ, рассчитанной для эталонных изображений (полученных для заданного астрономического времени) и рабочих ИК-изображений, наблюдаемых с помощью ОЭС БпЛА через заданный временной интервал: • 30 мин, • 1 ч, • 1 ч 30 мин, • 5 ч, • 6 ч, • 8 ч.
Из анализа данных диаграмм следует, что в течение суток эталонные изображения, полученные за 30 мин (•), а также за 1 ч (•) до их применения в корреляционно-экстремальных системах автономной навигации, обеспечивают в течение суток значение ВКФ не ниже 0.9 и не ниже 0.6 соответственно. Однако в ночные часы существуют интервалы времени, в ходе которых решение задачи автономной навигации по ИК-изображениям затруднено, и, наоборот, существуют интервалы времени в вечернее время (17:00-21:00), когда эталонные ИК-изображения могут обеспечить непрерывно автономную навигацию в течение 6...8 ч (•, •).
Проведенный численный эксперимент для 250 вариаций наведения БпЛА на конечную точку маршрута показал, что для 86 % выборки обеспечивает наведение БпЛА по ИК-изображению с погрешностью не более одного элемента пространственного разрешения на изображении, при этом погрешность наведения при четырех и более элементов разрешения соответствует лишь 6 % выборки.
soa
-&ЭО -МП -730 -TJLOQ -2000 - ЫД0
а)Время актуализированного состояния эталонной информации
б) Астрономическое время получения эталонного и рабочего изображения Круговые диаграммы изменения ВКФ для объекта «кунг»
Рис. 4. Круговая диаграмма изменения ВКФ при сопоставлении эталонного и рабочего ИК- изображений в зависимости от астрономического момента его получения
Fig. 4. Pie chart of the change in the WKF when comparing the reference and working IR images, depending on the astronomical moment of its receipt
Вывод
Таким образом, разработана модель способа автономной навигации БпЛА по ИК-изображениям, включающая способ ее реализации на основе алгоритма пороговой обработки эталонных и рабочих ИК-изображений. Экспериментально подтверждена возможность использования предложенного способа автономной навигации БпЛА по данным многоспектральной разновременной фотографической съемки земной поверхности, при этом время непрерывного использования одного эталонного изображения составляет не более 1 ч. Однако показано, что в течение суток наблюдаются интервалы времени от 4 до 8 ч, для которых можно применять одно эталонное изображение.
Список литературы / References
[1] Веселов Ю.Г., Данилин А. А., Тихонычев В. В. Выбор тест-объекта для оценки разрешающей способности цифровых оптико-электронных систем мониторинга земной поверхности. Наука и образование, 2012, 4. [Veselov Yu.G., Danilin A. A., Tikhonichev V. V. Select the test object for evaluation of the resolution of the digital opto-electronic systems for monitoring the earth's surface. Science and education, 2012, 4 (in Russian)]
[2] Ищук И.Н., Долгов А. А., Лихачев М. А., Тельных Б. К. Модель расчета теплофизи-ческих параметров материалов по данным многоспектральной разновременной фотографической съемки земной поверхности. Журн. Сиб. федер. ун-та. Техника и технологии, 2020, 13(7), 906-918. [Ishchuk I. N., Dolgov A. A., Likhachev M. A., Telnykh B. K. Model of calculation of thermophysical parameters of materials based on multispectral multi-time photographic survey of the Earth's surface. Zh. Sib. Feder. un-ta. Engineering and Technology, 2020. 13(7). 906-918 (in Russian)]
[3] Small Unmanned Aircraft: Theory and Practice Randal W. Beard and Timothy W. McLain, Princeton Univ. Press, Princeton, NJ, 2012, 320 pp.
[4] Пат. 2707387 С1 Российская Федерация, МПК G01J5/00. Способ дистанционного определения пространственного распределения теплофизических параметров земной поверхности. Ищук И. Н., Долгов А. А.; заявитель и патентообладатель Федеральное государственное казенное военное образовательное учреждение высшего образования «Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н. Е. Жуковского и Ю.А. ВУНЦ ВВС «ВВА», Гагарина» (г. Воронеж) Министерства обороны Российской Федерации (RU) № RU2707387d; заявл. 28.02.2019; опубл. 26.11.2019, 11 с. [PAT. 2707387 C1 of the Russian Federation, IPC G01J5 / 00. Method for determination of the spatial distribution of thermophysical parameters of the earth's power. Ishchuk I. N., Dolgov A. A.; applicant and tattoobilder Federal state military educational higher education «Military training and research centre of Militaryair forces «Military-air Academy named after Professor N. E. Zhukovsky and Y. A. VUNTS VVS «VVA» Gagarin» (Voronezh) of the Ministry of defense of the Russian Federation (ru) No. ги2707387с1; Appl. 28.02.2019; opubl. 26.11.2019, 11 р. (in Russian)]
[5] Парфирьев А. В. Модель системы автоматического сопровождения. Актуальные проблемы и перспективные направления развития комплексов авиационного оборудования. C6. науч. ст. по материалам V Международной науч.-практ. конф. «Академические Жуковские чтения» (22-23 ноября 2017 г.). Воронеж: ВУНЦ ВВС ВВА, 2017. С. 112-116. [Porfiriev A. V. Model of the automatic support system. Actual problems and promising directions of development of aviation
equipment complexes. Collection of scientific articles based on the materials of the V International Scientific and Practical Conference «Academic Zhukovsky Readings» (November 22-23, 2017). Voronezh: VUNTS VVS VVA, 2017. pp. 112-116 (in Russian)]
[6] Полоневич А.М., Ревотюк М. П. Мониторинг движущегося объекта с использованием адаптивного корреляционного фильтра. Сборник докладов Белорусского государственного университета информатики и радиоэлектроники. 2015, 7(93), 45-50. [Polonevich A. M., Revotyuk M. P. Monitoring of a moving object using an adaptive correlation filter. Collection of reports of the Belarusian State University of Informatics and Radioelectronics, 2015, 7(93), 45-50 (in Russian)]
