CC BY
6
Vol. 27, No. 02, 2024
Civil Aviation High Technologies
УДК 629.7:681.5
Р01: 10.26467/2079-0619-2024-27-2-69-79
Алгоритм комплексирования изображений при групповом применении беспилотных воздушных судов
Н.В Левшонков1, И.М. Нафиков1, Я.В. Ларюхина1
Казанский национальный исследовательский технический университет им. А.Н. Туполева, г. Казань, Россия
Аннотация: В настоящее время непрерывно расширяется область применения беспилотных воздушных судов. Перспективной областью совершенствования беспилотных воздушных судов является осуществление при выполнении управляемого полета некоторых групповых действий. В настоящей работе рассмотрены некоторые вопросы группового применения беспилотных воздушных судов, связанные с организацией согласованного планирования и управления беспилотными воздушными судами, выполняющими задачи наблюдения. Выполнение поисковых работ с воздуха технически осложнено необходимостью распознать объект поиска в произвольных условиях, которые могут быть как простыми, так и сложными. Область поиска ограничена техническими возможностями беспилотного воздушного судна, поэтому с целью повышения эффективности поисковых работ беспилотные воздушные суда объединяются в группы. Предлагается алгоритм решения задачи поиска объекта в произвольных условиях группой беспилотных воздушных судов. Преимуществом группового поиска беспилотными воздушными судами является охват района поиска большей площади за условную единицу времени. В настоящей работе рассматривается технический облик беспилотного воздушного судна, содержащий как средства осуществления группового полета, так и систему технического зрения. Изображение, получаемое системой технического зрения, является одновременно источником навигационной информации и средством, достоверно определяющим результат поисковых работ. В зависимости от условий проведения поисковых работ изображение, получаемое системой технического зрения, может потребовать дополнительной обработки для применения по назначению. Предложен алгоритм комплексирования, отличающийся адаптивной настройкой параметров в каждом кадре индивидуально для различных фрагментов изображения. На основе полученных результатов планируется создать новый продукт для коммерческой эксплуатации беспилотных воздушных судов.
Ключевые слова: беспилотное воздушное судно, групповое применение, автономное управление, системы улучшенного видения, комплексирование изображений, поисковые работы.
Для цитирования: Левшонков Н.В., Нафиков И.М., Ларюхина Я.В. Алгоритм комплексирования изображений при групповом применении беспилотных воздушных судов // Научный Вестник МГТУ ГА. 2024. Т. 27, № 2. С. 69-79. DOI: 10.26467/2079-0619-2024-27-2-69-79
Image fusion algorithm for the collaborative use of unmanned aerial
vehicles
N.V. Levshonkov1, I.M. Nafikov1, Y.V. Laryukhina1
1Kazan National Research Technical University named after A.N. Tupolev, Kazan, Russia
Abstract: Currently, the applicable scope of unmanned aircraft application is increasingly expanding. The promising field of unmanned aircraft enhancement is the implementation of some collaborative actions during controlled flight. This paper considers some issues of the group application of unmanned aerial vehicles (UAV) related to the coordinated planning and control of UAVs performing surveillance missions. Performing aerial search operations is technically complicated by the requirement to recognize a search object in arbitrary conditions, which can be both simple and severe environment. The search area is limited by the UAV capabilities, so, in order to improve the efficiency of search operations, UAVs are combined into groups. An algorithm for solving the problem of object search in arbitrary conditions by a group of unmanned aircraft is proposed. The advantage of search by a group of unmanned aircraft is the coverage of the larger search area in a conventional unit of time. This paper addresses the unmanned aircraft configuration, containing both the means of collaborative flight operation and a synthetic vision system. The
Civil Aviation High Technologies
Vol. 27, No. 02, 2024
image obtained by the synthetic vision system is both a source of navigation information and a means which reliably determines the result of search operations. Depending on the conditions of search operations, the image obtained by the synthetic vision system may require additional processing to use as intended. A fusion algorithm is proposed, which is characterized by adaptive adjustment of parameters in each frame individually for different image fragments. Based on the results obtained, it is planned to create a new product for commercial operation of unmanned aircraft.
Key words: unmanned aerial vehicle, group application, autonomous control, enhanced vision systems, image fusion, search operations.
For citation: Levshonkov, N.V., Nafikov, I.M., Laryukhina, Y.V. (2024). Image fusion algorithm for the collaborative use of unmanned aerial vehicles. Civil Aviation High Technologies, vol. 27, no. 2, pp. 69-79. DOI: 10.26467/2079-0619-2024-272-69-79
Введение
В настоящее время интерес к беспилотным воздушным судам (БВС) вызван их успешным применением при решении задач различных видов деятельности. К наиболее востребованным областям можно отнести аэрофотосъемку и картографию. Беспилотные летательные аппараты используются для съемки и создания высокоточных аэрофотографий и создания цифровых карт. А также в сельском хозяйстве для мониторинга растений, проведения агрохимического анализа почвы, контроля здоровья растений и определения потребности в удобрениях. Одной из востребованных является пожарная безопасность и лесозащита. БВС используются для быстрого обнаружения лесных пожаров и координации пожаротушения, а также для обнаружения опасных газов и контроля качества воздуха. Исследования и мониторинг окружающей среды являются экспериментальной областью изучения возможностей. В основном данная сфера изучает мониторинг изменений климата, зон природных парков, водных ресурсов, загрязнения воздуха и др. Также затрагивает сферу слежения и безопасности города на пляжах или в аэропортах. Идет активное развитие грузоперевозок и использование БВС для доставки грузов, посылок и медицинского снабжения в отдаленные районы, а также для экспресс-доставки в городских условиях. Успешное применение БВС зависит, в частности, от алгоритмов автоматизированного управления, в том числе при выполнении различных маневров. Под маневром в настоящей работе понимается вынужденное изменение положения центра для корректировки маршрута БВС
для обеспечения сохранности как самого аппарата, так и перевозимой полезной нагрузки. В условиях отсутствия экипажа на борту и при ограниченном участии оператора в управлении БВС решающее значение имеет точность и время выполнения маневров. Таким образом, актуальной задачей является принятие интеллектуальных решений по управлению БВС в нестационарных режимах полета.
В КНИТУ-КАИ внимание ученых направлено на групповые полеты БВС [1, 2]. Известны примеры, когда группы БВС привлекаются для мониторинга сухопутной области, морских акваторий, геологической разведки. В частности, интерес представляет поиск подвижных наземных объектов через обследование обширных областей на основе анализа изображений, принимаемых установленной на борту БВС фото- или видеокамерой. Преимуществом данного способа является объединение в единый кадр изображений, поступающих с различных точек, а также возможность комплексирования изображений, полученных в диапазонах видимого света и инфракрасного излучения.
Предполагается, что при выполнении полетного задания БВС функционирует в автоматизированном режиме, перемещается по сложным пространственно-временным траекториям и выполняет взлет/посадку под наблюдением оператора. В полетное задание поисковых работ входит так называемая область интереса - это предпочтительный район поиска. Рабочей гипотезой в настоящей работе является предположение, что согласованное групповое применение БВС существенно повышает производительность поиска [3, 4]. Решаемой проблемой является обес-
печение надежного управления группой и отдельными БВС в процессе поиска, в том числе при оперативном планировании и коррекции полета, и общей безопасности полетов. Также рассматривается проблема автоматизированной посадки беспилотного воздушного судна при сложных условиях, в том числе при «размывании» контуров мест посадки.
Для решения задачи выделения областей интереса и их обследования в отечественной литературе предлагаются различные подходы, такие как [5, 6]. Наибольшее распространение получили алгоритмы, основанные на трехмерной низкочастотной фильтрации [7-9]. Также рабочим методом является использование модификации комплексирования изображений с выделением локальных контрастов [10-14].
Автоматизация поисковых работ группой БВС
В отечественной литературе выделяют несколько подходов (сценариев) к групповому применению БВС: на основе потенциального поля; «лидер - ведомый»; поведенческий; на основе консенсуса и пр. Для поисковых работ одним из перспективных сценариев группового применения БВС является сценарий автономного полета группы БВС от момента получения целевой задачи до сбора группы в области ожидания или конечного пункта маршрута. Преимуществами такого применения называют повышение производительности и сохранности БВС во время поисковых работ [15-18].
В настоящей работе применяется алгоритм решения, основанный на технологии анализа ситуаций, включающей процедуры формирования описаний объектов и отношений между ними, существенных для выполнения заданных целевых задач. Корректно составленное описание позволяет повысить вероятность обнаружения объекта поиска в областях интереса, а также учесть условия наблюдаемости объекта поиска и применить соответствующий алгоритм [19, 20].
Базовый сценарий поиска объектов группой БВС включает: назначение условий решения целевой задачи; назначение областей интереса; распределение БВС на группы и подгруппы; формирование маршрутов полета к областям интереса; сопровождение полета БВС оператором для облета препятствий и предотвращения столкновений; выполнение целевой задачи; перелет в зону ожидания или к посадочной площадке.
В соответствии с данным сценарием был разработан комплексный алгоритм поиска наземных мобильных объектов автономной группой БВС. Структура алгоритма представлена на рис. 1.
Поисковые работы производятся с соблюдением условий безопасного полета как для БВС, так и для окружающих. Поэтому в составе полетного задания необходимо иметь набор ограничений для зоны интереса, связанных с картой местности. Если для безопасности окружающих в большинстве случаев достаточно задать минимальную высоту полета, то для безопасности БВС необходимо предусмотреть пригодность для полета отдельных участников области интереса с известными препятствиями (деревья, рельеф, постройки) с учетом погодных условий.
Согласно требованиям стандартов единой системы программной документации полетное задание должно быть проанализировано на предмет ошибок ввода данных (например, зона интереса нулевой площади) и возможных конфликтов при выполнении полетного задания (например, недопустимое пересечение траекторий движения БВС разных групп).
После анализа на противоречивость необходимо провести проверку возможности выполнения полетного задания при доступном количестве БВС с учетом запаса полетного времени для каждого БВС. Зона интереса, введенная в составе полетного задания, предполагает некоторое количество БВС, необходимое для обнаружения целевого объекта за приемлемое время. В случае если доступное число БВС больше необходимого для выполнения поисковых работ в конкретной зоне интереса, то выделяется группа БВС.
Civil Aviation High Technologies
Vol. 27, No. 02, 2024
Внештатная ситуация
_i_
Получение полетного задания
т
Назначение области интереса
I
Назначение БВС в группы
т
Планирование маршрутной сети
I
■—-Г Групповой полет в область интереса - -
(Комплексирования мультиспектральных^ ( ^ ~Z )
'' J „ г —Н 1 рупповои поиск в области интереса ч_изображении_) I. v' ~ 1
Посадка на безопасную область
К
Перелет в зону ожидания
т
Проверка непротиворечивости ^ полетного задания по критериям I
Анализ реализации по имеющимся ресурсам I
г
Расчет оптимального количества j
БВС в группе J
Расчет оптимальных траекторий для группового полета
Контроль полёта группы БВС оператором
Проведение поиска по критериям эффективности
Анализ ресурсов для нового поиска либо посадка БВС
Рис. 1. Алгоритм группового поиска Fig. 1. Algorithm for group search
Задача оптимизации для поисковых работ группой БВС может быть сформулирована следующим образом:
1) пусть количество всех БВС - N. При формировании полетного задания вся область поисковых работ разделяется на зоны интереса, для исследования которых затем БВС распределяются на подгруппы г = 1, 2, ..., I с численностью БВС п = 1, 2, ..., N
2) количество БВС в каждой подгруппе соответствует площади 8инт заданной области интереса;
3) производительности каждого БВС равны Wт;
4) рассчитывается теоретическое время, затрачиваемое каждой подгруппой на выполнение полетного задания:
T = tx +
Wt ■ п
+ t7
(1)
где ^ - время полета до области интереса; 8п - площадь области интереса; Х2 -время возврата из области интереса;
5) наилучшим является распределение БВС по подгруппам, которое удовлетворяет критерию
ТОшт
minie/ maxneN{T}.
Для планирования маршрутов каждой подгруппы БВС используется сценарий для имитации перемещения БВС по области интереса. В сценарии моделируется перемещение группы БВС с огибанием статических препятствий и подвижных объектов, например другой подгруппы БВС. Моделирование перемещения группы БВС производится с учетом динамически изменяемых характеристик БВС.
Техническое состояние БВС контролируется с наземного пункта управления через телеметрические данные. Однако успех поисковых работ также зависит от технических возможностей бортового оборудования БВС. Недостаточно иметь только камеру с высоким разрешением и стабильный канал связи с наземным пунктом управления, так как БВС может пролететь над целевым объектом, не распознав его. Следовательно, успешное выполнение задания на поисковые работы зависит от применяемых алгоритмов обработки изображений на борту БВС.
При внештатных ситуациях перехват на ручное управление не является выполнимым. Для обеспечения безопасности групп БВС на основе анализа комплексирования мульти-спектральных изображений определяется безопасная область посадки для группы.
Vol. 27, No. 02, 2024
Civil Aviation High Technologies
Рис. 2. К описанию метода комплексирования изображений Fig. 2. To the description of the image fusion method
Алгоритм комплексирования мультиспектральных изображений
Будем полагать, что задача состоит в получении комбинированного полутонового изображения, поскольку при наличии исходных цветовых компонент полутоновый результат комплексирования может быть подставлен в яркостной канал в цветовом пространстве YCbCr для формирования цветного кадра. Кроме того, ограничимся задачей комплексирования только двух исходных изображений, так как согласно работам [21, 22] в некоторых случаях целесообразно производить комплексирование изображений лишь двух различных каналов, даже если оптико-электронная система содержит большее количество сенсоров. Также следует отметить, что на данном этапе исходные изображения являются геометрически совмещенными.
Общая структура предлагаемого алгоритма комплексирования мультиспектральных изображений имеет следующий вид:
1) в координатах u, v для каждого пикселя откладывается исходная точка (и(ху)у(ху)), где x = ТД, у = 17? - координаты пикселей, X, Y - размеры изображения;
2) определяются значения опорных точек
щ^у) и п(ху);
3) формируется карта углов поворота палитры ^(ху);
4) рассчитываются длины К(х,у) проекций отрезков между исходной и опорной точкой на направлении ^ (х,у);
5) производится линейное преобразование для согласования значений К(ху) с динамическим диапазоном 8-битных полутоновых изображений 0,255!.
В работе описан метод комплексирования изображений с оценкой информативности. На одном из этапов этого алгоритма для исходных изображений и(ху) и v(xy) производится расчет локальных среднеквадратических отклонений sгl(ij) и sv(ij) центрального пикселя
квадратного окна со стороной Ж. Для изображения и(ху) производится операция (рис. 2)
с г- 1 v(i+1)^T"+1 v(y+1)^r"+1 ( f-w+i .w+i\ f Л\2
где i = Т, ] = Т, 12Г/ИЧ, оператор [ \
означает округление в меньшую сторону, размер Ж выбирается нечетным. Значения sv(ij) рассчитываются аналогичным образом
по изображению V.
Карта углов низкого разрешения определяется по формуле
^(и) = ага&(^)- (3)
На этом этапе данная карта углов может быть отфильтрована во времени с использованием карт углов предыдущих кадров видеопоследовательности для устранения эффектов мерцания, вызванных изменениями снимаемой сцены.
Согласно формуле (2) циклический сдвиг производится в величину (W - 1)/2. Это позволяет уменьшить объем вычислений окна на один пиксель, притом что выигрыш вычислительных затратах достигается даже при еди-
где Ь - коэффициент использования динамического диапазона, Ц^-и и - квантили изображения ДМ по уровням 1 - Б и Б соответственно.
Если в конечном итоге требуется получить полутоновое изображение, то для обеспечения максимального контраста целесообразно принять Ь = 1. Если комплексирование производится для дальнейшей подстановки значений с(ху) в яркостной канал цветного изображения, то значение Ь выбирается в
диапазоне 0,7^0,9. Уровень Б определяет долю черных и белых пикселей с яркостями соответственно 0 и 255.
В ходе эксперимента с помощью бортовой камеры БВС были получены входные муль-тиспектральные изображения. Первоначально происходит вырезание фрагментов размером 256 х 256 пикселей из мультиспектральных изображений. При этом координаты вырезаемого фрагмента на мультиспектральных изображениях задаются единообразно. Размеры фрагментов могут быть произвольными, однако большие изображения требуют больше времени на обработку. Целью эксперимента является демонстрация работоспособности предложенных алгоритмов.
На рис. 3 показан пример исходных муль-тиспектральных изображений типовой сцены и полученных результатов комплексирова-ния. Здесь буквами (а) и (б) обозначены изображения соответственно видимого и №Б.-диапазона, (в) - результат комплексиро-вания методом выделения локальных контра-
ничном сдвиге за счет исключения процедуры перебора угла
На следующем этапе производится расчет проекции вектора р( A u(x,y), A v(xy)) на направлении ^(x,y). Данная операция аналогична определению расстояния между опорной точкой и точкой отсчета, но соответствует случаю бесконечно большого значения параметра Ар.
Для решения данной задачи предлагается применять линейное преобразование вида
(4)
стов, (г) - результат применения предложенного алгоритма.
Из анализа рис. 3 видно, что на изображении (в) объекты в нижней части менее различимы, чем на изображении (г). Это связано с выбором угла ф, наилучшего для верхней части изображения, но не подходящего для нижней части. При этом использование разработанного алгоритма обеспечивает видимость объектов на изображении как в верхней части кадра, где наиболее информативным является канал видимого диапазона, так и в нижней части, где этот канал не несет полезной информации.
При использовании алгоритма комплек-сирования изображений для группового применения беспилотных воздушных судов были получены следующие результаты.
1. Улучшение качества изображений. Алгоритм комплексирования позволяет объединять несколько изображений, полученных от разных беспилотных воздушных судов, в одно общее изображение. Это позволяет значительно улучшить качество изображения, поскольку каждое изображение будет вносить свой вклад в итоговое изображение, устраняя тем самым ограничения, связанные с отдельными изображениями.
2. Широкий обзор. Благодаря групповому применению беспилотных воздушных судов и использованию алгоритма комплекси-рования изображений можно получить широкий обзор территории. Вместо того чтобы полагаться только на один беспилотный воз-
с(х,у) = 255—-—(й(х,у) — qD) + 255^—^,
Ял-п~Яп 2
Vol. 27, No. 02, 2024
Civil Aviation High Technologies
Рис. 3. Пример исходных и комплексированных изображений Fig. 3. Examples of source and intergrated images
душный летательный аппарат, можно использовать несколько, чтобы получить более полную картину событий. Это особенно полезно для масштабных операций, таких как мониторинг дикой природы, поиск пропавших людей или обнаружение изменений на земной поверхности.
3. Увеличение эффективности и скорости работы. Когда несколько беспилотных воздушных судов работают вместе, можно снизить время, затрачиваемое на выполнение задачи. Они могут быть распределены по различным районам, что позволяет быстрее получать данные и осуществлять наблюдение. Алгоритм комплексирования позволяет собирать информацию, полученную от всех беспилотных воздушных судов, и комбинировать ее в один набор данных, что упрощает и ускоряет анализ.
4. Улучшение надежности. В случае, когда одно из беспилотных воздушных судов выходит из строя или теряет связь, другие воздушные суда могут продолжить работу. Это повышает надежность и устойчивость системы, поскольку несколько аппаратов мо-
гут работать совместно, чтобы достичь общей цели и сохранить непрерывность сбора данных.
В целом использование алгоритма ком-плексирования изображений для группового применения беспилотных воздушных судов позволяет улучшить качество изображений, расширить область наблюдения, увеличить эффективность работы и повысить надежность системы. Это делает такую систему более полезной и эффективной при выполнении множества задач, связанных с наблюдением и мониторингом.
Заключение
На сегодняшний день БВС получили широчайшее распространение по всему миру, и их мобильность позволяет им быть применимыми в любой деятельности. Область исследования групповых взаимодействий БЛС является перспективным и практически значимым направлением. К нему относятся в том числе задачи группового управления беспи-
лотными летательными аппаратами, исследование некоторых аспектов которых проводилось в рамках настоящей работы.
Рассмотренный подход позволяет осуществлять автоматическое нахождение областей интереса и построение траекторий полета БВС для эффективного наблюдения. Использование типовых (унифицированных) режимов сокращает объем работ оператора при организации планирования и управления БВС. Разработаны модификации алгоритма комплексирования изображений различных диапазонов с выделением локальных контрастов, требующие меньших вычислительных затрат и адаптивно изменяющие параметры обработки для обеспечения видимости объектов на различных участках изображения.
Пример на рис. 2 показывает, что в результате комплексирования изображений видимого и NIR-диапазона при помощи разработанного алгоритма удается обеспечить различимость объектов, не присутствующих на отдельно взятых и сходных изображениях.
Для реализации автономной посадки БВС с использованием СТЗ необходимо учитывать факторы, влияющие на визуальные признаки ориентиров. Для этого необходимо формировать и анализировать описания текущего состояния БВС, окружающей среды, а также особенности посадочной площадки.
Список литературы
1. Гаинутдинова Т.Ю. Модель формирования стаи для автономных летательных аппаратов / Т.Ю. Гаинутдинова, А.В. Гайнут-динова, М.В. Трусфус, В.Г. Гайнутдинов // Известия высших учебных заведений. Авиационная техника. 2020. № 3. С. 134-138.
2. Афанасьев В.А., Дегтярев Г.Л., Ме-щанов А.С. Формирование программных пространственных траекторий полета беспилотных летательных аппаратов // Известия высших учебных заведений. Авиационная техника. 2017. № 3. С. 29-37.
3. Ким Н.В., Кузнецов А.Г., Крылов И.Г. Применение систем технического зрения на беспилотных летательных аппара-
тах в задачах ориентации на местности // Вестник МАИ. 2010. Т. 17, № 3. С. 6.
4. Zhang Y., Zhang P. Power control algorithm based on a cooperative game in user-centric unmanned aerial vehicle group [Электронный ресурс] // Complexity. 2021. ID: 7108198. 6 p. DOI: 10.1155/2021/7108198 (дата обращения: 08.02.2023).
5. Бондаренко М.А., Дрынкин В.Н. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения // Программные системы и вычислительные методы. 2016. № 1. С. 64-79. DOI: 10.7256/2305-6061.2016.1.18047
6. Гриценко А.Е., Степашкин В.Н., Сельвесюк Н.И. Алгоритм непрерывной автоматической коррекции пилотажно-навига-ционной системы беспилотного летательного аппарата на основе сквозной стереофотограм-метрической обработки изображений от бортового многокадрового датчика // Научный Вестник МГТУ ГА. 2012. № 176. С. 128-133.
7. Дрынкин В.Н., Фальков Э.Я., Царева Т.И. Формирование комбинированного изображения в двухзональной бортовой авиационно-космической системе // Механика, управление и информатика. 2012. № 3 (9). С. 33-39.
8. Зотин А.Г. Улучшение визуального качества изображений, полученных в сложных условиях освещенности на основе инфракрасных данных / А.Г. Зотин, М.В. Да-мов, А.И. Пахирка, Е.И. Савчина // Программные продукты и системы. 2016. № 3. С. 109-120.
9. Yilmaz V., Gungor O. Fusion of very high-resolution UAV images with criteria-based image fusion algorithm [Электронный ресурс] // Arabian Journal of Geosciences. 2016. Vol. 9, article number 59. 16 p. DOI: 10.1007/s12517-015-2109-8 (дата обращения: 08.02.2023).
10. Инсаров В.В. Формирование ком-плексированных телевизионно-тепловизион-ных изображений в системах переднего обзора летательных аппаратов / В.В. Инсаров, К.В. Обросов, В.Я. Ким, В.М. Лисицын // Вестник компьютерных информационных технологий. 2013. № 4. С. 3-10.
11. Пуртов И.С., Синча Д.П. Исследование методов и разработка алгоритмов обработки видеоинформации в задачах локализации положения беспилотного летательного аппарата на основе распознавания изображений при помехах и искажениях [Электронный ресурс] // Труды МАИ. 2012. № 52. 13 с. URL: https://trudymai.ru/upload/iblock/ac0/issle dovanie-metodov-i-razrabotka-algoritmov-obrabotki -videoinformatsii-v-zadachakh-lokalizatsii-polozheniya-bespilotnogo-letatelnogo-apparata-na-osnove-raspoznovaniya-izobrazheniy-pri-pomekhakh-i-iskazheniyakh.pdf?lang=ru&issue=52 (дата обращения: 08.02.2023).
12. Лунев Е.М. Повышение точности определения навигационных параметров беспилотного летательного аппарата на базе фотограмметрических измерений на этапе посадки // Вестник МАИ. 2011. Т. 18, № 2. С.150-159.
13. Yu Z. Fusion method of optical image and SAR based on UAV / Z. Yu, F. Wu, X. Ning, L. Pang, Y. He, P. Liu // Journal of Applied Optics. 2017. Vol. 38, no. 2. Pp. 174-179. DOI: 10.5768/JA0201738.0201004
14. Li S. Image fusion employing adaptive spectral-spatial gradient sparse regularization in UAV remote sensing / S. Li, F. Yu, X. Tian, Zh. Ml [Электронный ресурс] // Signal Processing. 2020. Vol. 170, ID: 107434. DOI: 10.1016/j.sigpro.2019.107434 (дата обращения: 08.02.2023).
15. Казбеков Б.В., Максимов Н.А., Шаронов А.В. Метод сопоставления изображений с эталонами как метод идентификации подвижных наземных объектов // Научный Вестник МГТУ ГА. 2014. № 207. С. 61-66.
16. Павлова Н.В., Лунев Е.М. Программно-алгоритмическое обеспечение для определения навигационных параметров беспилотного летательного аппарата на базе фотоизображения // Вестник МАИ. 2009. Т. 16, № 6. С. 16.
17. Shorakaei H. Optimal cooperative path planning of unmanned aerial vehicles by a parallel genetic algorithm / H. Shorakaei, M. Vahda-ni, B. Imani, A. Gholami // Robotica. 2016.
Vol. 34, iss. 4. Pp. 823-836. DOI: 10.1017/ S0263574714001878
18. £a?ka s., Gayretli A. An algorithm for collaborative surveillance systems with unmanned aerial and ground vehicles // International journal of engineering trends and technology. 2016. Vol. 33, no. 5. Pp. 208-212. DOI: 10.14445/22315381/IJETT-V33P241
19. Alam M. Topology control algorithms in multi-unmanned aerial vehicle networks: an extensive survey / M. Alam, M.Y. Arafat, S. Moh, J. Shen [Электронный ресурс] // Journal of network and computer applications. 2022. Vol. 207, ID: 103495. DOI: 10.1016/j.jnca.2022. 103495 (дата обращения: 08.02.2023).
20. Do H. Formation control algorithms for multiple-UAVs: a comprehensive survey / H. Do, H. Hua, M. Nguyen, V.-C. Nguyen, H. Nguyen, N. Nga [Электронный ресурс] // EAI Endorsed transactions on industrial networks and intelligent systems. 2021. Vol. 8, ID: 170230. 13 p. DOI: 10.4108/eai.10-6-2021. 170230 (дата обращения: 08.02.2023).
21. Balasundaram B., Thirugnanam G. Multiwavelet based unmanned aerial vehicle thermal image fusion for surveillance and target location // ICACDS 2020: Advances in Computing and Data Sciences, 2020. Vol. 1244. Pp 352-361. Singapore: Springer. DOI: 10.1007/ 978-981-15-6634-9_32
22. Kaimaris D., Kandylas A. Small multi-spectral UAV sensor and its image fusion capability in cultural heritage applications // Heritage. 2020. Vol. 3, no. 4. Pp. 1046-1062. DOI: 10.3390/heritage3040057
References
1. Gainutdinova, T.Y., Gainutdinova, A.V., Trusfus, M.V., Gainutdinov, V.G. (2020). Flocking model for autonomous aircraft. Russian Aeronautics, vol. 63, no. 3, pp. 134-138. DOI: 10.3103/S1068799820030198
2. Afanas'ev, V.A., Degtyarev, G.L., Me-shchanov, A.S. (2017). Formation of programmed spatial flight trajectories of unmanned aerial vehicles. Russian Aeronautics, vol. 60, no. 3, pp. 29-37. DOI: 10.3103/S1068799817030059
3. Kim, N.V., Kuznetsov, A.G., Kry-lov, I.G. (2010). Application of systems of technical vision on pilotless flying machines in problems of orientation to districts. Vestnik MAI, vol. 17, no. 3, p. 6. (in Russian)
4. Zhang, Y., Zhang, P. (2021). Power control algorithm based on a cooperative game in user-centric unmanned aerial vehicle group. Complexity, ID: 7108198, 6 p. DOI: 10.1155/ 2021/7108198 (accessed: 08.02.2023).
5. Bondarenko, M.A., Drynkin, V.N. (2016). Assessment of the information content of combined images in multispectral vision systems. Software Systems and Computational Methods, no. 1, pp. 64-79. DOI: 10.7256/23056061.2016.1.18047 (in Russian)
6. Gritsenko, A.E., Stepashkin, V.N., Selvesyuk, N.I. (2012). Algorithm for continuous automatic correction of the flight navigation system of an unmanned aircraft based on end-to-end stereophotogrammetric image processing from an onboard multi-frame sensor. Nauchnyy Vestnik MGTU GA, no. 176, pp. 128-133. (in Russian)
7. Drynkin, V.N., Falkov, E.Ya., Tsare-va, T.I. (2012). Composite image generation in two-spectral onboard airspace system. Mek-hanika, upravleniye i informatika, no. 3 (9), pp. 33-39. (in Russian)
8. Zotin, A.G., Damov, M.V., Pakhir-ka, A.I., Savchina, Ye.I. (2016). Improving the visual quality of images captured in difficult lighting conditions using infrared data. Pro-grammnyye produkty i sistemy, no. 3, pp. 109-120. (in Russian)
9. Yilmaz, V., Gungor, O. (2016). Fusion of very high-resolution UAV images with criteria-based image fusion algorithm. Arabian Journal of Geosciences, vol. 9, article number 59, 16 p. DOI: 10.1007/s12517-015-2109-8 (accessed: 08.02.2023).
10. Insarov, V.V., Obrosov, K.V., Kim, V.Ja., Lisitsyn, V.M. (2013). IR-TV images fusion in systems of the forward views of aircraft. Vestnik kompyuternykh informatsion-nykh tekhnologiy, no. 4, pp. 3-10. (in Russian)
11. Purtov, I.S., Sincha, D.P. (2012). Method analysis and development of video information processing alghoritm for UAV coor-
dinates localization based on the recognition of
the underlying surface images, Trudy MAI,
no. 52, 13 p. Available at: https://trudymai.ru/
upload/iblock/ac0/issledovanie-metodov-i-
razrabotka-algoritmov-obrabotki-
videoinformatsii-v-zadachakh-lokalizatsii-
polozheniya-bespilotnogo-letatelnogo-apparata-
na-osnove-raspoznovaniya-izobrazheniy-pri-
pomekhakh-i-iskazheniyakh.pdf?lang=ru&
issue=52 (accessed: 08.02.2023). (in Russian)
12. Lunev, Ye.M. (2011). Improving the accuracy of uav navigation parameters during landing on the basis of photogrammetric measurements. Vestnik MAI, vol. 18, no. 2, pp. 150-159. (in Russian)
13. Yu, Z., Wu, F., Ning, X., Pang, L., He, Y., Liu, P. (2017). Fusion method of optical image and SAR based on UAV. Journal of Applied Optics, vol. 38, no. 2, pp. 174-179. DOI: 10.5768/JA0201738.0201004
14. Li, S., Yu, F., Tian, X., Ml, Zh. (2020). Image fusion employing adaptive spectral-spatial gradient sparse regularization in UAV remote sensing. Signal Processing, vol. 170, ID: 107434. DOI: 10.1016/j.sigpro.2019.107434 (accessed: 08.02.2023).
15. Kazbekov, B.V., Maximov, N.A., Sharonov, A.V. (2014). The method of computation images matching with the standard as a method for identification of moving ground objects. Nauchnyy Vestnik MGTU GA, no. 207, pp. 61-66. (in Russian)
16. Pavlova, N.V., Lunev, Ye.M. (2009). Software and algorithmic maintenance for definition of navigation parameters of the unmanned aerial vehicle on the basis of photographic image. Vestnik MAI, vol. 16, no. 6, p. 16. (in Russian)
17. Shorakaei, H., Vahdani, M., Ima-ni, B., Gholami, A. (2016). Optimal cooperative path planning of unmanned aerial vehicles by a parallel genetic algorithm. Robotica, vol. 34, issue 4, pp. 823-836. DOI: 10.1017/S02635747 14001878
18. Çaçka, S., Gayretli, A. (2016). An algorithm for collaborative surveillance systems with unmanned aerial and ground vehicles. International Journal of Engineering Trends and Technology, vol. 33, no. 5, pp. 208-212. DOI: 10.14445/22315381/IJETT-V33P241
19. Alam, M., Arafat, M.Y., Moh, S., Shen, J. (2022). Topology control algorithms in multi-unmanned aerial vehicle networks: an extensive survey. Journal of network and computer applications, vol. 207, ID: 103495. DOI: 10.1016/ j.jnca.2022.103495 (accessed: 08.02.2023).
20. Do, H., Hua, H., Nguyen, M., Nguyen, V.-C., Nguyen, H., Nga, N. (2021). Formation control algorithms for multiple-UAVs: a comprehensive survey. EAI Endorsed transactions on industrial networks and intelligent systems, vol. 8, ID: 170230, 13 p. DOI: 10.4108/eai.10-6-2021.170230 (accessed: 08.02.2023).
21. Balasundaram, B., Thirugnanam, G.
(2020). Multiwavelet based unmanned aerial vehicle thermal image fusion for surveillance and target location. In: ICACDS 2020: Advances in Computing and Data Sciences, vol. 1244, pp. 352-361. Springer, Singapore. DOI: 10.1007/ 978-981-15-6634-9_32
22. Kaimaris, D., Kandylas, A. (2020). Small multispectral UAV sensor and its image fusion capability in cultural heritage applications. Heritage, vol. 3, no. 4, pp. 1046-1062. DOI: 10.3390/heritage3040057
Сведения об авторах
Левшонков Никита Викторович, к.т.н., доцент кафедры конструкций летательных аппаратов, КНИТУ-КАИ, [email protected].
Нафиков Игорь Маратович, аспирант кафедры конструкций летательных аппаратов КНИТУ-КАИ, [email protected].
Ларюхина Яна Владиславовна, студентка кафедры конструкций летательных аппаратов КНИТУ-КАИ, [email protected].
Information about the authors
Nikita V. Levshonkov, Candidate of Technical Sciences, Associate Professor of the Aircraft Structures Chair, Kazan National Research Technical University named after A.N. Tupolev, [email protected].
Igor M. Nafikov, Postgraduate Student of the Aircraft Structures Chair, Kazan National Research
Technical University named after A.N. Tupolev, [email protected].
Yana V. Laryukhina, Student of the Aircraft Structures Chair, Kazan National Research Technical University named after A.N. Tupolev, [email protected].
Поступила в редакцию 24.04.2023 Received 24.04.2023
Одобрена после рецензирования 06.12.2023 Approved after reviewing 06.12.2023
Принята в печать 21.03.2024 Accepted for publication 21.03.2024
