CC BY
0Научная статья УДК 004.932.2
https://doi.org/10.31854/1813-324X-2024-10-5-109-118
Исследование автономной навигации беспилотных летательных аппаратов на основе корреляционных методов сравнения изображений
Павел Юрьевич Беляев [email protected] Игорь Алексеевич Зикратов, [email protected]
Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, 193232, Российская Федерация
Аннотация
Автономная навигация беспилотных летательных аппаратов (БПЛА) является одной из ключевых задач в современной аэрокосмической индустрии. В особенности для малоразмерных БПЛА задача автономной навигации становится еще более сложной из-за ограничений по вычислительным ресурсам и возможностям сенсорных систем. Оптимизация методов навигации для таких условий является актуальной проблемой, требующей решений, которые могут обеспечить высокую производительность при минимальных затратах ресурсов. Основной целью служит повышение эффективности автономной навигации малоразмерных БПЛА за счет использования корреляционных методов для сравнения изображений. Достижение этой цели связано с разработкой и оценкой алгоритмов, которые позволяют обеспечить высокую скорость и точность навигации при ограниченных вычислительных ресурсах. В работе использованы методы автокорреляционной функции, корреляции Пирсона, метод на основе индекса структурного сходства изображений и простой нейронной сети для задачи сравнения изображений.
Решение. Исследование показало, что подход на основе автокорреляции демонстрирует наилучшую производительность в условиях слабых вычислительных ресурсов. Он обеспечивает высокую скорость обработки полного изображения и показывает оптимальные результаты по точности обнаружения. В сравнении с другими представленными в работе методами, автокорреляционный подход способен работать не только с зашумлением «эталонной» карты, но и использовать в качестве обнаруженной области и альтернативные области с измененными паттернами.
Научная новизна работы определяется в проведении систематического сравнения различных методов применительно к задаче сравнения изображений для малоразмерных БПЛА с ограниченными вычислительными ресурсами. В отличие от известных работ в области построения корреляционноэкстремальных систем, данное исследование ориентировано на использование «эталонной карты» и искомой области, представляющих собой два разных изображения одного и того же участка местности, взятых из различных источников. Это ключевое различие, так как большинство методов не обладает высокой эффективностью обработки таких изображений, на которых паттерны могут значительно варьироваться.
Практическая значимость разработанного алгоритма состоит в том, что предложенный метод на основе автокорреляции может использоваться разработчиками систем управления автономных малоразмерных БПЛА для снижения вычислительной нагрузки и повышения скорости обработки данных.
Ключевые слова: автономная навигация, корреляционные алгоритмы, беспилотные летательные аппараты, оптимизация
Ссылка для цитирования: Беляев П.Ю., Зикратов И.А. Исследование автономной навигации беспилотных летательных аппаратов на основе корреляционных методов сравнения изображений // Труды учебных заведений связи. 2024. Т. 10. № 5. С. 109-118. DOI:10.31854/1813-324X-2024-10-5-108-117. EDN:DXAVDQ
Original research
https://doi.org/10.31854/1813-324X-2024-10-5-109-118
Research on Autonomous Navigation of Unmanned Aerial Vehicles Based on Correlation-Based Image Comparison Methods
Pavel Yu. Belyaev®, [email protected] Igor A. Zikratov, [email protected]
The Bonch-Bruevich Saint Petersburg State University of Telecommunications,
St. Petersburg, 193232, Russian Federation
Annotation
Relevance. Autonomous navigation of unmanned aerial vehicles (UAVs) is one of the key challenges in the modern aerospace industry. Specifically, for small UAVs, the task of autonomous navigation becomes even more complex due to limitations in computational resources and sensor capabilities. Optimizing navigation methods under such conditions is a pressing issue that requires solutions capable of providing high performance with minimal resource consumption.
Objective. Improving the efficiency of autonomous navigation for small UAVs by using correlation methods for image comparison. Achieving this objective is linked to the development and evaluation of algorithms that provide high-speed and accurate navigation with limited computational resources. The work uses methods such as the autocorrelation function, Pearson correlation, the structural similarity index, and a simple neural network for image comparison.
Solution. The research showed that the autocorrelation-based approach demonstrates the best performance under low computational resources. It ensures high-speed processing of the entire image and shows optimal detection accuracy. Compared to other methods presented in the study, the autocorrelation approach is capable of working not only with noise in the "reference" map but also of using alternative areas with altered patterns as detected regions.
The scientific novelty of the study is determined by the systematic comparison of various methods applied to the task of image comparison for small UAVs with limited computational resources. Unlike well-known works in the field of correlation-extreme systems, this research focuses on the use of a "reference map" and a search area, representing two different images of the same terrain taken from different sources. This is a key difference, as most methods are not highly efficient in processing such images where patterns may differ significantly.
The practical significance of the developed algorithm lies in the fact that the proposed autocorrelation-based method can be used by developers of autonomous small UAV control systems to reduce computational load and increase data processing speed.
Keywords: autonomous navigation, correlation algorithms, unmanned aerial vehicles, optimization
For citation: Belyaev P.Yu., Zikratov I.A. Research on Autonomous Navigation of Unmanned Aerial Vehicles Based on Correlation-Based Image Comparison Methods. Proceedings of Telecommunication Universities. 2024;10(5]:109-118. (in Russ.] DOI:10.31854/1813-324X-2024-10-5-108-117. EDN:DXAVDQ
Введение
В условиях быстрого развития повсеместного использования беспилотных летательных аппаратов [БПЛА] задача обеспечения надежной автономной навигации становится все более актуальной [1]. Особенно важной является эффективность алгоритмов анализа изображений, поскольку они играют ключевую роль в обеспечении навигационной информации. Однако существует проблема
прямой зависимости сложности алгоритма от автономного времени полета БПЛА, что особенно заметно на малогабаритных моделях с ограниченным временем полета. Подобные аппараты имеют малые вычислительные ресурсы и требуют оптимизированных алгоритмов обработки данных для выполнения задач в реальном времени. В связи с этим важность скорости алгоритмов становится одним из основных критериев при выборе мето-
дов анализа изображений. Методы, рассматриваемые в данной работе, были специально выбраны для работы с изображениями, поскольку они представляют основной источник информации для восприятия окружающей среды БПЛА. Анализируемые методы включают как классические алгоритмы обработки изображений, так и более современные подходы, основанные на глубоком обучении и нейронныхсетях.
Анализ существующих работ
Развитие технологий спутниковой картографии Земли существенно улучшило качество разрешения визуальных карт для практически любой местности, даже при наличии различных особенностей рельефа или других условий. Этот прогресс активно способствует развитию области автономного позиционирования БПЛА. В настоящее время имеет значение способность определения географического положения на основе сопоставления изображений, зафиксированных оптическими системами БПЛА, с эталонным изображением со спутника.
Так, в работах [2, 3] рассматриваются методы на основе автокорреляции и корреляции Пирсона для выявления схожих структур изображения. Таким подходам обусловлено хорошее быстродействие, однако существует проблема с оптимизацией информации, хранимой непосредственно на БПЛА.
Более рациональными для хранения информации служат методы на основе нейронных сетей [4-6], где основные паттерны местности накапливаются в заранее обученной модели, что позволяет воспроизводить и дополнять исходные данные на этапе дообучения. Однако данные методы обладают довольно сильной зависимостью от установленного на БПЛА вычислителя, что негативно сказывается на времени полета. Такие методы наиболее перспективны на больших БПЛА, способных переносить дополнительные аккумуляторы и более развитые вычислители [например, NVIDIA Xavier, обладающие CUDA-ядрами для оптимизации многопоточного вычисления на GPU],
Также стоит отметить методы на основе одновременной локализации и построения карты [SLAM, аббр. от англ. Simultaneous Localization And Mapping] [7], которые также повсеместно используются в задаче автономной навигации. Так, в качестве детектора точек обнаружения выступает метод SURF [аббр. от англ. Speeded Up Robust Features] [8], метод масштабно-инвариантной трансформации признаков [SIFT, аббр. от англ. Scale-Invariant Feature Transform] [9], а также их модификации [10-12]. Данные методы эффективны при облете исследуемой местности многократно, однако на практике вся сложность упирается как в размеры местности, так и в количество обле-
тов для повышения точности, что позволяет решать более узкие задачи навигации БПЛА.
Также в задаче автономной навигации существуют схожие по своей направленности с методом SLAM, однако в качестве дескриптора точке используются физические аппаратные комплексы, такие как Lidar [13, 14] и радарные устройства [15, 16]. В задаче автономной навигации данные методы перспективны в плане выявления препятствий в режиме реального времени или составлении локальной карты автономных робототехнических комплексов.
На основе анализа существующих решений стоит отметить, что большинство классических исследований направлено на решение задачи, когда обнаруживаемая область является зашумленной копией исследуемой области. Такая модель обнаружения изображений не всегда является адекватной реальным условиям наблюдения. Принципиальной особенностью данной работы является иная постановка задачи. А именно: обнаруживаемый и эталонный участок - это снимки одной и той же местности, выполненные в разное время [суток, года] различными устройствами. Анализ подобных снимков из разных источников показал, что сцены в этом случае могут иметь отличия, например, на изображениях появляются [или пропадают] паттерны [строения, дороги, контуры лестных массивов и т. п.].
В статье в качестве меры точности совмещения двух изображений использовался простейший алгоритм, основанный на вычислении удаления геометрического центра «скользящего» окна от среднего положения точек соответствия, полученных в результате анализа пикселов изображения.
Вместе с тем авторы отдают себе отчет, что задача оценивания точности совмещения изображений является краеугольной задачей навигации. В данной работе проведено сравнение алгоритмов, основанных на простых математических методах. В отличие от более сложных подходов такие алгоритмы способны повысить эффективность автономного полета БПЛА с минимальными потерями точности. Это позволяет расширить сферу применения БПЛА при использовании как больших, так и малых групп, вместо более объемных аналогов в меньшем количестве.
Используемые методы
В качестве исследуемых были выделены корреляционные алгоритмы [автокорреляция,корреляция Пирсона], метод на основе индекса структурного сходства изображений [SSIM, аббр. от англ. Structure Similarity], а также метод на основе сверточных нейронных сетей.
При сравнении двух разных изображений автокорреляция может использоваться для измерения сходства между ними. В этом контексте автокорреляция позволяет оценить степень, с которой одно изображение похоже на другое при различных сдвигах.
Формула автокорреляции для сравнения двух разных изображений выглядит следующим образом:
к(х; — x)(yi+k — у)
R(k) = ^ 1 , m
V2r=i(*i-*)2:sr=i (yi-y)2
где n - общее количество пикселов в изображении; xt - среднее значение яркости всех пикселов изображения X-,yi+k- яркость пиксела изображения Y на позиции, сдвинутой относительно X на к позиций; у - среднее значение яркости всех пикселов изображения.
Метод на основе корреляции Пирсона измеряет степень линейной зависимости между двумя переменными. В контексте сравнения двух разных изображений этот метод может использоваться для оценки степени сходства между значениями яркости пикселов этих изображений:
E”=i(*i -*)Oi - Я
г = , Г21
Vi"^-*)2!^-?)2
где yt - яркость пиксела изображения Y.
Метод SSIM оценивает структурное сходство между двумя изображениями, учитывая их восприятие человеческим зрением [17].
Формула SSIM состоит из трех компонентов -яркость, контрастность и структура:
где цж и цу- средние значения яркости пикселов; ох и оу - стандартные отклонения яркости пикселов; оху - ковариация между яркостями пикселов; С1и С2- константы, используемые для стабилизации деления на ноль в случае, если дисперсии ох и Оу близки к нулю.
В качестве нейронной сети была выбрана простая модель на основе ResNetl8 [18]. Архитектура нейронной сети включает два линейных слоя, применяемых последовательно с нелинейной функцией активации ReLU. В конечной части нейронной сети для преобразования выходных значений в диапазон [—1;1] была выбрана гиперболическая функция тангенса. Этот выбор обусловлен требованием представить оценку сходства между изображениями в виде числовой оценки в указанном диапазоне. Полное сравнение методов представлено в таблице 1.
ТАБЛИЦА 1. Сравнение исследуемых методов
TABLE 1. Comparison of the Analyzed Methods
Метод Вычислительная сложность Преимущества Недостатки
Автокорреляция Низкая Простота реализации, низкие требования к вычислительным ресурсам Чувствительность к шумам и изменениям в окружающей среде, ограничения в точности на изображениях высокого разрешения
Корреляция Пирсона Низкая Простота реализации, устойчивость к некоторым видам шумов Ограничения в точности при сильных искажениях изображений, неэффективен для динамических сцен
SSIM Средняя Устойчивость к шумам, хорошая точность в динамических сценах Требуется предварительная обработка изображений, более высокие вычислительные затраты по сравнению с простыми методами
На основе нейронных сетей Высокая Способность к обучению на больших объемах данных, высокая точность на сложных сценах Требуется большое количество вычислительных ресурсов, высокая вычислительная сложность, неэффективен при недостаточном количестве обучающих данных
Метод «скользящего» окна для обхода карты
Метод «скользящего» окна является важным инструментом анализа для решения различных задач в области обработки изображений, геоинформационных систем и машинного зрения. Его применимость охватывает широкий спектр задач, включая обнаружение объектов, сегментацию изображений, анализ текстур и многие другие. В контексте обхода карты метод «скользящего» окна позволяет систематически исследовать содер-
жимое карты, разбивая ее на более мелкие участки и анализируя их поочередно. Этот подход особенно полезен при работе с крупномасштабными картами, когда анализировать карту целиком становится неэффективно.
Существует несколько вариантов обхода карты с помощью метода «скользящего» окна.
Вариант 1. Метод полного обхода предполагает перемещение окна по всей карте без перекрытия. Окно начинает свое движение с одного угла карты
и последовательно просматривает все пикселы без пересечения с соседними окнами.
Вариант 2. В случае метода обход с перекрытием окна перемещается с заданным шагом по горизонтали и вертикали, но при этом имеется перекрытие между соседними окнами. Такой подход позволяет более полно охватить карту и учитывать контекст окружения при анализе. Формулы для расчета количества шагов остаются теми же, но шаги должны быть выбраны с учетом перекрытия.
Вариант 3. При случайном обходе окно перемещается по карте с помощью случайных сдвигов по горизонтали и вертикали. Этот метод может быть полезен для изучения случайных областей карты или для создания случайной выборки для анализа.
Вариант 4. При обходе по спирали окно перемещается, начиная с центра карты, и движется вдоль спирали до достижения края карты, затем увеличивает радиус спирали и продолжает движение до тех пор, пока не охватит всю карту. Этот метод может быть полезен для анализа концентрических областей карты.
Сравнение методов обхода представлено в таблице 2.
ТАБЛИЦА 2. Сравнение методов обхода
TABLE 2. Comparison of Traversal Methods
Метод Преимущества Недостатки
Полный обход Прост в реализации, подходит для быстрой оценки Может быть неэффективен при больших размерах карты
Обход с перекрытием Более полный анализ, учет контекста окружения Требует дополнительной обработки результатов
Случайный обход Позволяет изучать случайные области карты Результаты могут быть менее систематическими
Обход по спирали Эффективен для анализа концентрических областей карты Сложнее в реализации, требует дополнительных вычислений
Оценка быстродействия алгоритмов
Для оценки быстродействия исследуемых подходов были произведены замеры зависимости скорости работы метода в зависимости от алгоритма (рисунок 1]. Для расчета использовался процессор Intel(R] Core(TM] i7-9700KF [email protected] на простых алгоритмах. В случае вычисления для метода на основе нейронных сетей также применялся процессор с учетом того, что при использовании малогабаритных дронов нет возможности установить на них вычислительную машину с CUDA ядрами, хотя в таком случае скорость работы алгоритма значительно возросла. В случае с обходом с перекрытием параметром перекрытия служило значение 0,75. Наибольшая
скорость свойственна более простым методам, однако при прямом обходе без перекрытия возможна ситуация, когда искомая область не попадает в нужном объеме, из-за чего возможен пропуск искомой области.
■ Прямой обход ■ Обход с перекрытием
■ Случайный обход ■ Обход по спирали
Рис. 1. Сравнение скорости работы методов обхода окна
Fig. 1. Comparison of the Processing Speed of Window Traversal Methods
Для предотвращения проблем с пропуском области был детальнее рассмотрен метод обхода с перекрытием. С повышением коэффициента перекрытия заметно вырастает вычислительная сложность, но при его правильном подборе это позволяет повысить надежность работы алгоритма. Сравнение различных коэффициентов представлено на рисунке 2.
0,05 0,1 0,25 0,5 0,75
■ Автокорреляция ■ SSIM
■ Коэффициент Пирсона ■ Перцептрон
Рис. 2. Сравнение скорости работы методов обхода окна с перекрытием при различных коэффициентах
Fig. 2. Comparison of Speed of Overlapping Window Traversal Methods at Different Coefficients
При условии, что решается задача схожести изображений, а не поиска объекта, наиболее подходящим является метод обхода с перекрытием ввиду его оптимальности для поставленной задачи. Если рассматривать применимость остальных способов, то обход по спирали и случайный обход перспективны, если используются надежные алгоритмы совместно с определенным порогом активации, когда высокое значение поиска прерывает выполнение программы. Такой подход повышает эффективность выполнения задачи, однако не лишен недостатков.
Вычислительная сложность алгоритмов в значительной степени влияет на решение задачи в работе БПЛА. Подход на основе нейронных сетей на один кадр требует от 30 до 418 с (см. рисунок 1], что делает невозможным решение поставленной задачи в режиме реального времени. Более простые алгоритмы, напротив, показывают приемлемые для решения задачи расчеты по времени, если брать показатель перекрытия от 0,25 до 0,75.
Сравнение методов
Для сравнения точности работы описанных подходов было произведено иммитационное моделирование на данных, взятых из открытых источников. В качестве карты местности была выбрана область на юге г. Санкт-Петербург, так как данная область обладает большим количеством паттернов. Импорт эталонной местности осуществлялся с сервиса Google Earth Pro. Размер области в реальном масштабе составил ~15х9 км, при этом в пиксельном эквиваленте размер карты
составляет 8192x4801 пикселов (рисунок 3]. При моделировании работы алгоритмов карта используется в качестве «эталона» и закладывается в оперативную память БПЛА.
В эксперименте для каждого окна обхода выделяется область 700x700 пикселов, так как в данном масштабе это соизмеримо с полетом БПЛА на высоте 3 км. Затем на полученном участке изображения производится сравнение с эталонным изображением и подсчет степени их схожести. Степень схожести изображений представляется в диапазоне [-1; 1], где 1 - полная схожесть, 0 -отсутствие схожести, а -1 - отрицательная схожесть, где пикселы одного изображения имеют полностью обратные значения пикселов другого изображения. Пример эталонного изображения представлен на рисунке 4: выделенная область из эталонной карты (область A), искомая область, полученная из сервиса Яндекс.Карты (область Б), а также искаженная и затемненная область из эталонной карты (область Q.
Рис. 3. Эталонная карта местности
Fig. 3. Reference Map of the Area
a) b) c)
Рис. 4. Искомая область: a) оригинальный снимок; b) область с альтернативной карты; с) затемненная и искаженная
область
Fig. 4. The Searched Area: a) Original Image; b) Area from the Alternative Map; c) Darkened and Distorted Area
Оценка точности алгоритмов
Для каждой искомой области были проведены эксперименты на оригинальной карте с различным размером региона интереса (R0I, аббр. от англ. Region of Interest], Для получения оптимальных значений шаг обхода обрамляющего окна составлял 10 пикселов. Результаты эксперимента представлены в таблице 3.
Наивысшую точность показал подход на основе нейронной сети, однако, как говорилось ранее, данный метод обладает довольно медленной скоростью работы, что негативно повлияет на время полета малогабаритного БПЛА. Также алгоритм на основе автокорреляционного подхода показал хорошие результаты с эффективным временем работы. Заметно влияние коэффициента R0I на результаты работы алгоритмов, что говорит о том, что при реализации данного подхода необходимо учитывать высоту полета и относительный масштаб исследуемой области для повышения точности навигации. Под значением точности представлено наивысшее значение в сходимости изображений.
Более подробно рассмотрим результат работы алгоритмов непосредственно на изображении. На рисунке 5 представлены три различные ситуации, когда дрон получает изображение с камеры. На рисунке 5а использован паттерн, схожий с эталонной картой, на рисунке 5Ь взят тот же участок местности с сервиса Яндекс.Карты, снятый в осенний период времени, и участок на рисунке 5с представляет собой обработанное изображение рисунка 5а (поворот и затемнение] для имитации темного времени суток.
«Скользящее» окно перемещалось по эталонной карте через каждые 200 пикселов, обрамляющее окно составляло 700x700 пикселов. Из результатов расчета следует, что алгоритмы, требующее меньшего количества ресурсов конечного устройства, способны выдавать приемлемые показатели по скорости и точности в рамках поставленной задачи. На практике это дает возможность распределять ресурсы БПЛА наиболее эффективно, что позволяет как повышать энергоэффективность автономного дрона, так и закладывать свободные ресурсы на выполнение дополнительных задач на БПЛА в процессе выполнения полета.
ТАБЛИЦА 3. Результаты работы алгоритмов
TABLE3. Results of Algorithms Performance
Метод Коэффициент корреляции
Облает ь A Облает ьB Облает ьC
Коэффициент ROI
0,5 0,75 1,0 0,5 0,75 1,0 0,5 0,75 1,0
Автокорреляция 0,717 0,449 0,426 0,64 0,482 0,469 0,626 0,557 0,463
Корреляция Пирсона 0,260 0,190 0,277 0,253 0,252 0,220 0,377 0,284 0,268
SSIM 0,164 0,188 0,139 0,291 0,330 0,302 0,0753 0,113 0,137
На основе нейронных сетей 0,93 0,91 0,93 0,90 0,88 0,89 0,79 0,81 0,84
Заключение
В ходе исследования были проведены эксперименты с использованием различных методов анализа изображений для локации объектов наблюдения с беспилотного транспортного средства. Методы автокорреляции, корреляции Пирсона, SSIM и нейронных сетей имеют разную эффективность при локации объектов наблюдения. Методы на основе нейронных сетей демонстрируют наилучшие результаты среди всех рассмотренных, однако, при решении задачи оптимизации на малоразмерном БПЛА упор стоит делать на скорость работы алгоритма. Стоит отметить, что из простых методов наиболее успешным оказался предложенный метод на основе автокорреляционной функции с условием того, что в случае области B (см. рисунок 4Ь] была использована альтернатив-
ная карта с заметным отличием структурного паттерна изображения в сравнении с «эталоном», что позволяет сделать вывод об актуальности исследования данного метода для решения похожих задач. Такая постановка задачи отличается от известной, в которой обнаруживаемое изображение представляло собой аддитивную смесь копии эталонного и гауссового шума.
В настоящий момент производятся дальнейшие исследования по усовершенствованию корреляционных подходов в рамках перехода от непосредственно самих изображений к их частотным характеристикам, что позволит оптимизировать скорость работы алгоритма и повысить точность определения местоположения в режиме реального времени.
Сравнение коэффициентов корреляции
— Autocorrelation
— Pearson
0 50 100 150 200 250 300 350 400
Номер «скользящего» окна
X
о_
1=1 Autocorr
0
500 1000 1500 2000 2500 3000 3500
0 1000 2000 3000 4000 5000
Максимальные области корреляции
Pearson
SSIM
Px
а)
0 50 100 150 200 250 300 350
Номер «скользящего» окна
400
0
500
1000
2000
2500
3000
3500
2000
3000 4000
5000 Px
b)
1500
-0,2_____________________________________,___________
0 50 100 150 200 250 300 350 400
Номер «скользящего» окна
r= Autocorr i= Pearson
0
500 1000 £1500
I 2000
s
c~ 2500 3000 3500
0 1000 2000 3000 4000 5000 Px
- - -j
SSIM
c)
Рис. 5. Результаты вычисления коэффициента корреляции при обходе «скользящего» окна по изображению (слева) и результат работы алгоритма (справа) для оригинального снимка (а), области с альтернативной карты (b) и затемненной
и искаженной области (c)
Fig. 5. Results of the Correlation Coefficient Calculation When Traversing the "Sliding" Window Over the Image (Left) and the Algorithm Result (Right) for the Original Image (a), the Area from the Alternative Map (b) and the Darkened and Distorted Area (c)
Список источников
1. Бондарев A.H., Киричек Р.В. Обзор беспилотных летательных аппаратов общего пользования и регулирования воздушного движения БПЛА в разных странах // Информационные технологии и телекоммуникации. 2016. Т. 4. № 4. С. 13-23. EDN:YLNEPH
2. Sozzi М., Kayad A., Marinello F., Taylor J., Tisseyre B. Comparing vineyard imagery acquired from Sentinel-2 and Unmanned Aerial Vehicle (UAV] platform // Oeno One. 2020. Vol. 54. Iss. 2. PP. 189-197. D01:10.20870/oeno-one.2020.54.1. 2557
3. Pastonchi L., Di Gennaro S.F., Toscano P., Matese A. Comparison between satellite and ground data with UAV-based information to analyse vineyard spatio-temporal variability // Oeno One. 2020. Vol. 54. Iss. 4. PP. 919-934. DOI:10.20870/ oeno-one.2 02 0.54.4.402 8
4. Lu Z., Liu F., Lin X. Vision-based localization methods under GPS-denied conditions // arXiv:2211.11988. 2022. DOI:10.48550/arXiv.2211.11988
5. Lu K., Xu R., Li J., Lv Y, Lin H., Liu Y. A Vision-Based Detection and Spatial Localization Scheme for Forest Fire Inspection from UAV // Forests. 2022. Vol. 13. Iss. 3. P. 383. D01:10.3390/fl3030383
6. Nassar A., Amer K., ElHakim R., ElHelw M. A Deep CNN-Based Framework for Enhanced Aerial Imagery Registration with Applications to UAV Geolocalization // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPR, Salt Lake City, USA, 18-22 June 2018]. 2018. PP. 1513-1523.
7. Zhang T., Liu C., Li J., Pang M., Wang M. A New Visual Inertial Simultaneous Localization and Mapping (SLAM] Algorithm Based on Point and Line Features // Drones. 2022. Vol. 6. Iss. 1. P. 23. D01:10.3390/drones6010023
8. Cheng C., Wang X., Li X. UAV image matching based on surf feature and harris corner algorithm // Proceedings of the 4th International Conference on Smart and Sustainable City (ICSSC, Shanghai, China, 5-6 June 2017]. IET, 2017. DOL10.1049/ cp.2017.011
9. Zhao J., Zhang X., Gao C., Qiu X., Tian Y., Zhu Y., Cao W. Rapid Mosaicking of Unmanned Aerial Vehicle (UAV] Images for Crop Growth Monitoring Using the SIFT Algorithm // Remote Sensing. 2019. Vol. 11. Iss. 10. P. 1226. D01:10.3390/rslll01226
10. Jiang S., Jiang W., Guo B., Li L., Wang L. Learned Local Features for Structure from Motion of UAV Images: A Comparative Evaluation // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. Vol. 14. PP. 10583-10597. D01:10.1109/JSTARS.2021.3119990
11. Fan J., Yang X., Lu R., Li W., Huang Y. Long-term visual tracking algorithm for UAVs based on kernel correlation filtering and SURF features // The Visual Computer. 2023. Vol. 39. PP. 319-333. D01:10.1007/s00371-021-02331-y
12. Tsai С. H., Lin Y. C. An accelerated image matching technique for UAV orthoimage registration // ISPRS Journal of Pho-togrammetry and Remote Sensing. 2017. Vol. 128. PP. 130-145. D01:10.1016/j.isprsjprs.2017.03.017
13. Lee K.W., Park J.K. Comparison of UAV Image and UAV LiDAR for Construction of 3D Geospatial Information // Sensors & Materials. 2019. Vol. 31. Iss. 10. PP. 3327-3334. DOL10.18494/SAM.2019.2466
14. Lin Y. C., Cheng Y.T., Zhou T., Ravi R., Hasheminasab S.M., Flatt J.E., et al. Evaluation of UAV LiDAR for Mapping Coastal Environments // Remote Sensing. 2019. Vol. 11. Iss. 24. P. 2893. DOI:10.3390/rsll242893
15. Bandini F., Sunding T.P., Linde J., Smith 0., Jensen I.K., Koppl C.J., Butts M., Bauer-Gottwein P. Unmanned Aerial System (UAS] observations of water surface elevation in a small stream: Comparison of radar altimetry, LIDAR and photogrammetry techniques // Remote Sensing of Environment. 2020. Vol. 237. P. 111487. DOI:10.1016/j.rse.2019.111487
16. Ezuma M., Anjinappa C.K., Semkin V., Guvenc I. Comparative Analysis of Radar Cross Section Based UAV Classification Techniques // arXiv:2112.09774. 2021. DOI:10.48550/arXiv.2112.09774
17. Palubinskas G. Image similarity/distance measures: what is really behind MSE and SSIM? // International Journal of Image and Data Fusion. 2017. Vol. 8. Iss. 1. PP. 32-53. DOI:10.1080/19479832.2016.1273259
18. Ullah A., Elahi H., Sun Z., Khatoon A., Ahmad I. Comparative Analysis of AlexNet, ResNetl8 and SqueezeNet with Diverse Modification and Arduous Implementation // Arabian Journal for Science and Engineering. 2022. Vol. 47. PP. 2397-2417. DOI:10.1007/sl3369-021-06182-6
References
1. BondarevA., Kirichek R. Overview of Unmanned Aerial Apparatus for General Use and Regulation of Air UAV Movement in Different Countries. Telecom IT. 2016;4(4]:13-23. EDN:YLNEPH
2. Sozzi M., Kayad A., Marinello F., Taylor J., Tisseyre B. Comparing vineyard imagery acquired from Sentinel-2 and Unmanned Aerial Vehicle (UAV] platform. Oeno One. 2020;54(2]:189-197. D01:10.20870/oeno-one.2020.54.1.2557
3. Pastonchi L., Di Gennaro S.F., Toscano P., Matese A. Comparison between satellite and ground data with UAV-based information to analyse vineyard spatio-temporal variability. Oeno One. 2020;54(4]:919-934. D01:10.20870/oeno-one.2020. 54.4.4028
4. Lu Z., Liu F., LinX. Vision-based localization methods under GPS-denied conditions. arXiv:2211.11988. 2022. DOL10.48550/ arXiv.2211.11988
5. Lu K., Xu R., Li J., Lv Y, Lin H., Liu Y. A Vision-Based Detection and Spatial Localization Scheme for Forest Fire Inspection from UAV. Forests. 2022;13(3]:383. D01:10.3390/fl3030383
6. Nassar A., Amer K., ElHakim R., ElHelw M. A Deep CNN-Based Framework for Enhanced Aerial Imagery Registration with Applications to UAV Geolocalization. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, CVPR, 18-22 June 2018, Salt Lake City, USA. 2018. p.1513-1523.
7. Zhang T., Liu C., Li J., Pang M., Wang M. A New Visual Inertial Simultaneous Localization and Mapping (SLAM] Algorithm Based on Point and Line Features. Drones. 2022;6(1]:23. D01:10.3390/drones6010023
8. Cheng C., Wang X., Li X. UAV image matching based on surf feature and harris corner algorithm. Proceedings of the 4th
International Conference on Smart and Sustainable City, ICSSC, 5-6 June 2017, Shanghai, China. IET; 2017. DOI:10.1049/cp. 2017.011
9. Zhao J., Zhang X., Gao C., Qiu X., Tian Y., Zhu Y., Cao W. Rapid Mosaicking of Unmanned Aerial Vehicle (UAV] Images for Crop Growth Monitoring Using the SIFT Algorithm. Remote Sensing. 2019;11(10]:1226. D01:10.3390/rslll01226
10. Jiang S., Jiang W., Guo B., Li L., Wang L. Learned Local Features for Structure from Motion of UAV Images: A Comparative Evaluation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021;14:10583-10597. D01:10.1109/JSTARS.2021.3119990
11. Fan J., Yang X., Lu R., Li W., Huang Y. Long-term visual tracking algorithm for UAVs based on kernel correlation filtering and SURF features. The Visual Computer. 2023;39:319-333. D01:10.1007/s00371-021-02331-y
12. Tsai С. H., Lin Y. C. An accelerated image matching technique for UAV orthoimage registration. ISPRSJournal of Photo-grammetry and Remote Sensing. 2017;128:130-145. D01:10.1016/j.isprsjprs.2017.03.017
13. Lee K.W., Park J.K. Comparison of UAV Image and UAV LiDAR for Construction of 3D Geospatial Information. Sensors & Materials. 2019;31(10]:3327-3334. DOL10.18494/SAM.2019.2466
14. Lin Y. C., Cheng Y.T., Zhou T., Ravi R., Hasheminasab S.M., Flatt J.E., et al. Evaluation of UAV LiDAR for Mapping Coastal Environments. Remote Sensing. 2019;11(24]:2893. DOI:10.3390/rsll242893
15. Bandini F., Sunding T.P., Linde J., Smith 0., Jensen I.K., Koppl C.J., Butts M., Bauer-Gottwein P. Unmanned Aerial System (UASJ observations of water surface elevation in a small stream: Comparison of radar altimetry, LIDAR and photogrammetry techniques. Remote Sensing of Environment. 2020;237:111487. D01:10.1016/j.rse.2019.111487
16. Ezuma M., Anjinappa C.K., Semkin V., Guvenc I. Comparative Analysis of Radar Cross Section Based UAV Classification Techniques. arXiv:2112.09774. 2021. DOI:10.48550/arXiv.2112.09774
17. Palubinskas G. Image similarity/distance measures: what is really behind MSE and SSIM? International Journal of Image and Data Fusion. 2017;8(l]:32-53. DOI:10.1080/19479832.2016.1273259
18. Ullah A., Elahi H., Sun Z., Khatoon A., Ahmad I. Comparative Analysis of AlexNet, ResNetl8 and SqueezeNet with Diverse
Modification and Arduous Implementation. Arabian Journal for Science and Engineering. 2022;47:2397-2417.
DOI:10.1007/sl3369-021-06182-6
Статья поступила в редакцию 05.05.2024; одобрена после рецензирования 20.09.2024; принята к публикации 18.10.2024.
The article was submitted 05.05.2024; approved after reviewing 20.09.2024; accepted for publication 18.10.2024.
БЕЛЯЕВ Павел Юрьевич
Информация об авторах:
аспирант кафедры информационных управляющих систем Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича € https://orcid.org/0000-0001-5387-0622
ЗИКРАТОВ Игорь Алексеевич
доктор технических наук, декан факультета кибербезопасности, профессор кафедры информационных управляющих систем Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича https://orcid.org/0000-0001-9054-800X
Авторы сообщают об отсутствии конфликтов интересов. The authors declare no conflicts of interests.
