ИССЛЕДОВАНИЕ ХАРАКТЕРИСТИК АЛГОРИТМА ЗАХВАТА И СОПРОВОЖДЕНИЯ ВОЗДУШНОЙ ЦЕЛИ ПО ВИДЕОИЗОБРАЖЕНИЮ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93'1

DOI: 10.18698/2308-6033-2023-3-2261

Исследование характеристик алгоритма захвата и сопровождения воздушной цели по видеоизображению

© А.В. Бобков, Е.Д. Белозёрова, А.М. Писцов МГТУ им. Н.Э. Баумана, Москва, 105005, Россия

Рассмотрен алгоритм захвата и сопровождения воздушных целей по видеоизображению. Использовать данный алгоритм необходимо на авиационном комплексе радиообнаружения и наведения для дальнего обнаружения объектов противника, наведения на него средств поражения и перехвата. Представлены существующие методы отслеживания объектов по видеоизображению. Определен наиболее эффективный алгоритм трекинга — трекер MOSSE, простой в реализации, точный и обладающий высокой скоростью работы. Найдены несколько видеопоследовательностей полета воздушных целей, отличающихся друг от друга по разным характеристикам. С помощью найденных видеоизображений исследованы характеристики алгоритма отслеживания воздушных целей на основе трекера MOSSE. Представлены результаты исследования и показано, что количество объектов в кадре, плохая освещенность, перемещения и вращения объекта могут помешать отслеживанию.

Ключевые слова: отслеживание объектов, алгоритм трекинга, воздушные цели

Введение. Авиационный комплекс радиообнаружения и наведения — это устанавливаемая на летательном аппарате электронная система разведки и управления, предназначенная для дальнего обнаружения объектов противника, наведения на него средств поражения или перехвата, а также для координации действий сил союзников и выполнения смежных задач. Для реализации поставленных задач на авиационном комплексе целесообразно использовать эффективный алгоритм отслеживания объектов.

Данная работа посвящена исследованию характеристик алгоритма захвата и сопровождения воздушной цели по видеоизображению с помощью алгоритма трекинга MOSSE.

Обзор алгоритмов трекинга. Всегда было важно проводить исследование такой важной задачи, как отслеживание цели по видеоизображению, т. е. трекинга. Он оценивает положение, форму или площадь отслеживаемой цели в непрерывной последовательности кадров, а также определяет информацию о скорости движения цели, направлении и траектории, чтобы проанализировать ее поведение для выполнения более сложных задач [1].

В настоящее время большое внимание уделяется визуальному отслеживанию. Был предложен ряд надежных стратегий отслеживания [2], например, следующие алгоритмы:

Incremental Visual Tracking (IVT), добавочное визуальное отслеживание [3];

Robust Fragments-based Tracking (FragTrack), надежное отслеживание на основе фрагментов [4];

Graph Based Discriminative Learning (GBDL), дискриминационное обучение на основе графов [5];

Multiple Instance Learning (MILTrack), обучение с несколькими экземплярами [6].

Данные методы эффективны, но и достаточно сложны, так как часто включают в себя сложные модели и различные методы оптимизации, из-за чего с трудом справляются со скоростью 25-30 кадр/с, с которой функционируют многие современные камеры.

Трекеры, основанные на корреляционных фильтрах, более просты в реализации, а также более устойчивы к изменениям освещенности, лучше распознают фон и объекты на фоне. К ним, например, относятся такие алгоритмы:

Average of Synthetic Exact Filters (ASEF), среднее значение синтетических точных фильтров [7];

Unconstrained Minimum Average Correlation Energy (UMACE), неограниченная минимальная средняя энергия корреляции [8];

Minimum Output Sum of Squared Error (MOSSE), минимальная выходная сумма квадратов ошибок [9].

Несмотря на простоту подхода, они хорошо ведут себя при изменениях во вращении, масштабе, освещении и при потере объекта из кадра [9]. На рис. 1 приведены входные данные, фильтр и выходные данные корреляции для тестовой последовательности изображений Naive UMACE ASEF MOSSE

Рис. 1. Пример работы четырех различных алгоритмов

рыбы, полученные четырьмя различными алгоритмами, три из которых корреляционные, а четвертый — простой метод Naive [10], создающий обширный максимум, ложно реагирующий на фон и не слишком хорошо справляющийся со сложными задачами слежения. Все три корреляционных фильтра дают максимумы гораздо компактнее и конкретнее, чем самый левый, созданный фильтром Naive.

В целом корреляционные фильтры достигают производительности, совместимой с более сложными алгоритмами, упомянутыми в начале работы. Кроме того, корреляционные фильтры достигают скорости в 20 раз большей, чем более сложные алгоритмы.

Для того чтобы показать, что MOSSE будет работать лучше алгоритмов ASEF и UMACE, был проведен эксперимент [9], в котором исследована производительность трекеров на основе четырех тестовых видеороликов. На рис. 2 представлены результаты этого эксперимента. Сверху над каждым из них приведено название видеоряда. Зеленый цвет — хороший результат, желтый — цель смещена от центра, а красный — указывает на сбой отслеживания.

Кроме того, алгоритм UMACE — это частный случай алгоритма MOSSE, являющегося улучшенной версией ASEF.

Дальнейшее развитие корреляционных фильтров связано с применением линейной регуляризации Тихонова [11]. Это фильтры с использованием корреляции ядер свертки (Kernel correlation filter, KCF) [12]. Фильтры данной группы похожи на фильтр MOSSE, однако дополнительно добавляется регуляризирующий множитель, предотвращающий их переобучение [13]. Кроме того, в различных реализациях добавляется одновременное отслеживание нескольких образцов в различных масштабах, что повышает надежность отслеживания. Кроме того, такие фильтры позволяют добиться более высокой точности отслеживания, однако при этом возрастают и затраты времени.

Наилучшие результаты отслеживания на сегодняшний день обеспечивают трекеры, основанные на сверточных сетях, такие как R-CNN [14] и YOLO [15]. Нейронная сеть дает возможность самостоятельно выявить наиболее важные признаки объекта для его точного отслеживания, что нельзя сделать с помощью классических корреляционных методов. Вместе с тем применение сверточных сетей в приложениях реального времени сталкивается с определенными ограничениями: обучение сети в реальном времени попросту невозможно, и поэтому приходится довольствоваться каталогом заранее известных образцов, на которых сеть была предварительно обучена. Более того, даже предобученная сеть будет работать существенно медленнее, чем корреляционные фильтры, потому что для расчета результата сети требуется вычислить количество сверток, равное количеству сверточных слоев [16], тогда как корреляционный фильтр вычисляет всего лишь одну свертку.

davitiin300

Naive UMACE ASEF MOSSE

dudek

600 800 trellis70

Рис. 2. Результаты эксперимента работы алгоритмов на четырех видеопоследовательностях

Вследствие изложенных причин для дальнейшего исследования было решено выбрать фильтр MOSSE, обеспечивающий наиболее высокую производительность, сохраняя достаточно высокую точность и надежность отслеживания. Его достаточно просто реализовать, он является точным, а самое главное его преимущество — высокая скорость, что очень важно, ведь данная работа посвящена отслеживанию воздушных целей, скорость которых может достигать сотен и даже тысяч километров в час.

Описание алгоритма трекинга М088Е. Корреляционно-экстремальные системы навигации и наведения — наиболее распространенные системы автоматического управления движущимися объектами, в первую очередь летательными аппаратами [17]. Принцип работы таких систем основан на сравнении текущего изображения с эталонным. Текущее изображение формируется в процессе движения управляемого объекта, эталонное составляется заранее и вводится в систему управления в виде совокупности признаков цели. В представленной работе объектом отслеживания служит воздушная цель (самолет). Сравнение текущего и эталонного изображений проводится с помощью пространственной взаимокорреляционной функции, достигающей своего максимального значения при совмещении текущего и эталонного изображений, или ее производной, достигающей своего минимального значения при аналогичном совмещении.

Основная идея корреляционного трекинга заключается в обучении корреляционного фильтра [18], с помощью которого можно на кадре отделить цель от заднего фона. Корреляционная задача заключается в том, чтобы найти позиции на изображении, наиболее соответствующие заданному изображению. Параметры корреляционного фильтра Н подбираются таким образом, чтобы его свертка с изображением представляла собой распределение Гаусса с максимумом в центре отслеживаемого объекта. Для обучения такого фильтра используется выборка, на которой минимизируется ошибка между реальным результатом свертки и ожидаемым (гауссоидой) с помощью метода наименьших квадратов.

Рассмотрим подробнее алгоритм сопровождения объекта на основе корреляционного трекера [19], схема которого приведена на рис. 3.

Инициализация

Желаемый

Определение

нового положения

Рис. 3. Алгоритм сопровождения объекта с помощью корреляционного трекера

Входными данными для инициализации являются видеокадр и ограничивающий прямоугольник, определяющий расположение цели на этом кадре и ее размер. На выделенном регионе извлекаются визуальные признаки, использующиеся для обучения корреляционного фильтра. Вектор признаков представляет собой гистограмму ориентированных градиентов (HOG) [20]. Прежде чем получить окончательный результат корреляционного фильтра, нужно осуществить свертку вектора визуальных признаков с оконной функцией Хеннинга [21], которая сгладит граничные эффекты, для того чтобы произвести быстрое преобразование Фурье (FFT) [22] и обратное преобразование Фурье (IFFT). Обучение должно происходить в области Фурье, чтобы можно было воспользоваться простой поэлементной связью между входом и выходом [23]. Затем выполняется двумерная корреляция. Местоположение максимального значения корреляции указывает на новую позицию объекта. Далее на последующих кадрах поочередно идет процесс локализации цели, причем позиция определяется в окрестности предыдущего расположения цели. С помощью изображения, полученного в новой позиции, снова извлекаются признаки, использующиеся для обновления визуальной модели фильтра.

Суть метода состоит в том, чтобы минимизировать сумму квадратов ошибок, т. е. найти наименьшие квадраты для m выборок, описываемых выражением

m 2

min H* H* Ft - Gt , (1)

=1

где Н * — фильтр; ^ — шаблон; Н • — поэлементное произведение матриц; О, — желаемый отклик при расчете корреляции, в пространственной области имеющий вид распределения Гаусса в заданном месте на изображении.

Минимизация приведенной выше формулы очень простая. Она заключается в том, чтобы найти частную производную, равную 0. Выражение для окончательного решения имеет вид

I а, • ^

Н'. (2)

г

Автор метода предлагает алгоритм обновления, который непрерывно корректируется в соответствии с текущим кадром, т. е. со стратегией онлайн-обновления [24]. Стратегия корректировки заключается в следующем:

* A■

H = A; (3)

A = цо,-F+(i -л) Ai-i; (4)

Bt =Ц01, + (1 -л)Bi-i, (5)

где л — скорость обучения, которая обычно устанавливается равной 0,125; Ai и Bi — параметры корреляции.

Сопровождение объекта определяется на основании расчета параметра PSR (Peak to Sidelobe Ratio — отношение пика к боковому лепестку), который позволяет определить, в какой момент трекер потерял объект. Параметр PSR рассчитывается по формуле

PSR = gmax , (6)

G

где gmax — максимальное значение корреляции в пространственной области; ц — среднее значение корреляции в пространственной области; о — среднеквадратическое отклонение.

При нормальных условиях сопровождения корреляционная функция дает один острый максимум (рис. 4). В этом случае значение PSR варьируется между 20 и 60, что указывает на стабильное сопровождение объекта трекером. Если значение PSR падает ниже 7, то это свидетельствует о потере объекта [25, 26]. Форма корреляционной функции при этом размывается и образует множественные максимумы (рис. 5).

PSR

80 70 60 50 40 30 20 10

0 20 40 60 80 100 № кадра

Рис. 4. Отношение пика к боковому лепестку (Р8Я) в зависимости от номера кадра (№)

а б в г

Рис. 5. Форма корреляционной функции:

а — до коллизии; б — момент начала коллизии; в — момент окончания коллизии;

г — после коллизии

Один из способов предотвратить потерю объекта при его перекрытии другим объектом или при появлении поблизости похожего объекта заключается в том, чтобы временно заморозить обновление шаблона до момента устранения коллизии и выполнять сопровождение объекта другими методами, например прогнозом траектории движения [27]. При повторном обнаружении объекта в ожидаемом положении шаблон размораживается и нормальная работа фильтра восстанавливается.

Отдельную сложность представляет отслеживание объекта в составе группы похожих объектов, к примеру при отслеживании самолета в группе. Здесь каждый из соседних объектов может генерировать дополнительный максимум корреляционной функции. В этом случае фильтр может поочередно захватывать различные объекты группы. Выходом из данной ситуации является отслеживание сразу всех похожих объектов (мультиобъектное отслеживание) [28].

Еще одна частая причина потери объектов — быстрое изменение размеров объекта, например при сближении с ним. Если размер шаблона остается постоянным, то при изменении размера объект перестает помещаться в него и вместо захвата объекта происходит захват какой-либо его области. Если область окажется малоинформативной, то произойдет сбой работы фильтра. Здесь выходом из сложившейся ситуации является отслеживание объекта в нескольких возможных масштабах (мультимасштабный поиск) [29]. В этом случае корреляционная функция рассчитывается для нескольких различных

масштабов изображения и отбирается масштаб с наилучшим отношением РБК Вместе с тем такой подход в несколько раз увеличивает время расчета. Другой подход — использование преобразования Фурье — Меллина [30] для определения изменения масштаба объекта между кадрами.

Исследование характеристик алгоритма захвата и сопровождения воздушной цели по видеоизображению. В данной работе были найдены несколько разных видеопоследовательностей, на основании которых были исследованы характеристики алгоритма.

Видеоизображение № 1 — полет самолета на фоне неба (рис. 6). Летательный аппарат в кадре находится один, т. е. лишних объектов нет; из кадра объект не пропадает; освещение хорошее и стабильное.

Видеоизображение № 2 — полет трех самолетов (рис. 7), т. е. в кадре несколько объектов; плохая освещенность — объекты не так легко отделимы от фона; объекты на время пропадают из кадра.

Видеоизображение № 3 — полет одного вращающегося самолета (рис. 8), который не полностью попадает в кадр, кроме того, фон нестабилен.

Было получено, что алгоритм верно отслеживает самолет на видеоизображении № 1 на протяжении всего времени (см. рис. 6).

КНМесНа

V.

Рис. 6. Сопровождение цели (видео № 1)

На видеоизображении № 2 (см. рис. 7) показано, что трекер начинает отслеживать самолет, причем отслеживает он в целом верно — воздушная цель попадает в прямоугольник. Однако примерно на 100-м кадре самолет уже не попадает в прямоугольник, и программа инициализирует целью пустое пространство, а примерно на 150-м кадре программа и вовсе перестает отслеживать цель и ее работа останавливается.

Номер кадра: 23

, а

а

Номер кадра: 103

б

в

Рис. 7. Сопровождение цели (видео № 2):

кадры № 23 (а), № 103 (б), № 150 (в)

Работа алгоритма на видеоизображении № 3 продемонстрирована на рис. 8. На протяжении всего этого видео трекер отслеживает воздушную цель, однако делает это неверно — самолет в прямоугольник попадает не всегда.

в г

Рис. 8. Сопровождение цели (видео № 3):

кадры № 2 (а), № 380 (б), № 614 (в), № 1422 (г)

Заключение. В данной работе был рассмотрен алгоритм захвата и сопровождения воздушных целей по видеоизображению. Был определен наиболее эффективный алгоритм трекинга — трекер MOSSE. С помощью трех различных видеопоследовательностей были исследованы характеристики алгоритма трекинга MOSSE. В результате было получено, что алгоритм успешно решает задачу отслеживания воздушных целей в режиме реального времени. Однако плохая освещенность, изменения в масштабе, лишние объекты в кадре, резкие перемещения и вращения самого объекта могут помешать отслеживанию. В дальнейшей работе предполагается устранить эти недостатки, обеспечив возможность сопровождения целей при изменении их размера, а также возможность отслеживания групповых целей.

Результаты работы могут быть использованы в разработке современных авиационных комплексов оптического наведения и визуальной обзорно-сравнительной навигации.

ЛИТЕРАТУРА

[1] Пантелеев А.С., Олейник В.В. Метод визуального мультитрекинга в реальном времени на основе корреляционных фильтров. Мiжвiдомчий науково-технЫний 36ipHUK «AdanmrnHi системи автоматичного управлтня». Киев, Полггехшка, 2018, т. 1, № 32, с. 97-106.

[2] Yuankun Li, Tingfa Xu, Honggao Deng, Guokai Shi, Jie Guo. Adaptive correlation model for visual tracking using keypoints matching and deep convolutional feature. Sensors, 2018, vol. 18 (2), paper no. 653. https://doi.org/10.3390/s18020653

[3] Ross D., Lim J., Lin R., Yang M. Incremental learning for robust visual tracking. IJCV, 2008, vol. 77 (1), pp. 125-141.

[4] Adam A., Rivlin E., Shimshoni I. Robust fragmentsbased tracking using the integral histogram. In: 2006 IEEE Conference on Computer Vision and Pattern RecognitionIn (CVPR 2006). New York, USA, July, 2006. https://doi.org/10.1109/CVPR.2006.256

[5] Zhang X., Hu W., Maybank S., Li X. Graph based discriminative learning for robust and efficient object tracking. In: IEEE 12th International Conference on Computer Vision 2007. Rio de Janeiro, Brazil, 14-21 October. https://doi.org/10.1109/ICCV.2007.4409034

[6] Babenko B., Yang M.-H., Belongie S. Visual Trackingwith Online Multiple Instance Learning. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009). Miami, Florida, USA, 20-25 June,

2009. https://doi.org/10.1109/CVPR.2009.5206737

[7] Bolme D.S., Draper B.A., Beveridge J.R. Average of synthetic exact filters. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009). Miami, Florida, USA, 20-25 June, 2009. https://doi.org/10.1109/CVPR.2009.5206701

[8] Savvides M., Kumar B., Khosla P. Face verification using correlation filters. In: The 3rd IEEE Automatic Identification Advanced Technologies, 2002, pp. 56-61.

[9] Bolme D.S., Beveridge J.R., Draper B.A., Lui Y.M. Visual object tracking using adaptive correlation filters. The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2010. San Francisco, CA, USA, 13-18 June,

2010. https://doi.org/10.1109/CVPR.2010.5539960

[10] Jiangning Chen, Zhibo Dai, Juntao Duan, Heinrich Matzinger, Ionel Popescu. Naive bayes with correlation factor for text classification problem. In: 2019 18th IEEE International Conference on Machine Learning and Applications (ICMLA). Boca Raton, FL, USA, 16-19 December, 2019. https://doi.org/10.1109/ICMLA.2019.00177

[11] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. Москва, Наука, 1979, 288 c.

[12] Xiufen Ye, Wenyang Luo, Hanjie Huang, Huiming Xing, Weizheng Zhang. Improved scale adaptive KCF-based method for forward looking sonar image. OCEANS 2021. San Diego, CA, USA, 20-23 September, 2021. https://doi.org/10.23919/0CEANS44145.2021.9706069

[13] Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Регуляризиру-ющие алгоритмы и априорная информация. Москва, Наука, 1983, 200 с.

[14] Yuxin Qian, Hongli Zheng, Dazhi He, Zhexi Zhang, Zongpu Zhang. R-CNN Object detection inference with deep learning accelerator. In: 2018 IEEE/CIC International Conference on Communications in China (ICCC Workshops). Beijing, China, 16-18 August, 2018. https://doi.org/10.1109/ICCChinaW.2018.8674519

[15] Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, realtime object detection. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA, 27-30 June, 2016. https://doi.org/10.1109/CVPR.2016.91

[16] Albawi S., Abed Mohammed T., Al-Zawi S. Understanding of a convolutional neural network. In: 2017 International Conference on Engineering and Technology (ICET). Antalya, Turkey, 21-23 August, 2017. https://doi.org/10.1109/ICEngTechnol.2017.8308186

[17] Баклицкий В.К. Корреляционно-экстремальные методы навигации и наведения. Тверь, ТО «Книжный клуб», 2009, 360 c.

[18] Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. Москва, Техносфера, 2006, 616 c.

[19] Zhe Chen, Zhibin Hong, Dacheng Tao. An experimental survey on correlation filter-based tracking. IEEE, 2015. URL: https://arxiv.org/pdf/1509.05520.pdf (дата обращения 19.03.2022).

[20] Ling Zhang, Wei Zhou, Jingwei Li, Juan Li, Xin Lou. Histogram of oriented gradients feature extraction without normalization. In: 2020 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS). Ha Long, Vietnam, 8-10 December, 2020. https://doi.org/10.1109/APCCAS50809.2020.9301715

[21] Md. Mehedi Hasan, Arifur Rahaman, Munmun Talukder, Mobarakol Islam, Mirza Md. Shahriar Maswood, Md. Mostafizur Rahman. Neural network performance analysis using hanning window function as dynamic learning rate. In: 2013 International Conference on Informatics, Electronics and Vision (ICIEV). Dhaka, Bangladesh, 17-18 May, 2013. https://doi.org/10.1109/ICIEV.2013.6572609

[22] Press W., Flannery B., Teukolsky S., Vetterling W. Numerical Recipes in C. Cambridge Univ. Press, 1988, 735 p.

[23] Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычисления сверток. Пер. с англ. Москва, Радио и связь, 1985, 248 с.

[24] Yijin Yang, Yihong Zhang, Demin LiORCID, Zhijie Wang. Parallel correlation filters for real-time visual tracking. Sensors, 2019, vol. 19 (10), paper 2362. https://doi.org/10.3390/s19102362

[25] Javed O., Rasheed Z., Shafique K., Shah M. Tracking across multiple cameras with disjoint views. In: Proceedings Ninth IEEE International Conference on Computer Vision, 2003, vol. 2, pp. 952-957.

DOI: 10.1109/ICCV.2003.1238451.

[26] Wang Y., Lu K., Zhai R. Challenge of multi-camera tracking. In: 2014 7th International Congress on Image and Signal Processing. IEEE, 2014, October, pp. 32-37.

[27] Бобков А.В., Тедеев Г.В. Система мультикамерного отслеживания объекта. Инженерный журнал: наука и инновации, 2021, вып. 10 (118). https://doi.org/10.18698/2308-6033-2021-10-2123

[28] Mei Han, A. Sethi, Wei Hua, Yihong Gong. A detection-based multiple object tracking method. In: 2004 International Conference on Image Processing, 2004. Singapore, 24-27 October, 2004. https://doi.org/10.1109/ICIP.2004.1421760

[29] Hubenko A., Fonoberov V.A., Mathew G., Mezic I. Multiscale adaptive search. In: IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics). 2011, vol. 41, pp. 1076-1087.

[30] Xiaoxin Guo, Zhiwen Xu, Yinan Lu, Yunjie Pang. An application of Fourier-Mellin transform in image registration. In: The Fifth International Conference on Computer and Information Technology. Shanghai, China, 21-23 September, 2005. https://doi.org/10.1109/CIT.2005.62

Статья поступила в редакцию 29.11.2022

Ссылку на эту статью просим оформлять следующим образом: Бобков А.В., Белозёрова Е.Д., Писцов А.М. Исследование характеристик алгоритма захвата и сопровождения воздушной цели по видеоизображению. Инженерный журнал: наука и инновации, 2023, вып. 3.

http://dx.doi.org/10.18698/2308-6033-2023-3-2261

Бобков Александр Валентинович — канд. техн. наук, доцент кафедры «Системы автоматического управления» МГТУ им. Н.Э. Баумана. e-mail: skliz@mail.ru

Белозёрова Екатерина Дмитриевна — студент МГТУ им. Н.Э. Баумана, кафедра «Системы автоматического управления». e-mail: belozerovaekaterina@icloud.com

Писцов Андрей Михайлович — студент МГТУ им. Н.Э. Баумана, кафедра «Системы автоматического управления». e-mail: pistsov.andrey@mail.ru

Study of characteristics of the algorithm for aerial target acquisition and tracking using video imaging

© A.V. Bobkov, E.D. Belozerova, A.M. Pistsov Bauman Moscow State Technical University, Moscow, 105005, Russia

The paper considers an algorithm for aerial targets acquisition and tracking using video imaging. This algorithm should be introduced in the radio acquisition and guidance aerial systems for long-range identification of the enemy objects, targeting weapons and interception thereof. Existing methods of tracking the objects by video imaging are presented. The most efficient tracking algorithm was determined, i. e. the MOSSE tracker, which is easy to implement, accurate and high-speed. Several aerial targets flight video sequences were found being different in various characteristics. The found video images were used to study characteristics of the aerial target tracking algorithm based on the MOSSE tracker. Study results are presented, and it is shown that the number of objects in the frame, poor lighting, object motion and rotation could interfere with tracking.

Keywords: object tracking, tracking algorithm, aerial targets

REFERENCES

[1] Panteleev A.S., Oleinik V.V. Metod vizualnogo multitrekinga v realnom vremeni na osnove korrelyatsionnykh filtrov [Real-time visual multi tracking method based on correlation filters]. In: Мiжвiдомчий науково-техмчний з6ipник «Aдaптивнi системи автоматичного упpaвлiння» [Interdepartmental scientific and technical bulletin "Adaptive systems of automatic control"]. Kiev, Politekhnika, 2018, vol. 1, no. 32, pp. 97-106.

[2] Yuankun Li, Tingfa Xu, Honggao Deng, Guokai Shi, Jie Guo. Adaptive correlation model for visual tracking using keypoints matching and deep convolutional feature. Sensors, 2018, vol. 18 (2), paper no. 653. https://doi.org/10.3390/s18020653

[3] Ross D., Lim J., Lin R., Yang M. Incremental learning for robust visual tracking. IJCV, 2008, vol. 77 (1), pp. 125-141.

[4] Adam A., Rivlin E., Shimshoni I. Robust fragments based tracking using the integral histogram. In: 2006 IEEE Conference on Computer Vision and Pattern Recognition. In (CVPR 2006). New York, USA, July, 2006. https://doi.org/10.1109/CVPR.2006.256

[5] Zhang X., Hu W., Maybank S., Li X. Graph based discriminative learning for robust and efficient object tracking. In: IEEE 12th International Conference on Computer Vision 2007. Rio de Janeiro, Brazil, 14-21 October. https://doi.org/10.1109/ICCV.2007.4409034

[6] Babenko B., Yang M.-H., Belongie S. Visual Tracking with Online Multiple Instance Learning. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009). Miami, Florida, USA, 20-25 June, 2009. https://doi.org/10.1109/CVPR.2009.5206737

[7] Bolme D.S., Draper B.A., Beveridge J.R. Average of Synthetic Exact Filters. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009). Miami, Florida, USA, 20-25 June, 2009. https://doi.org/10.1109/CVPR.2009.5206701

[8] Savvides M., Kumar B., Khosla P. Face verification using correlation filters. In: The 3rd IEEE Automatic Identification Advanced Technologies, 2002, pp. 56-61.

[9] Bolme D.S., Beveridge J.R., Draper B.A., Lui Y.M. Visual object tracking using adaptive correlation filters. In: The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2010. San Francisco, CA, USA, 13-18 June, 2010. https://doi.org/10.1109/CVPR.2010.5539960

[10] Jiangning Chen, Zhibo Dai, Juntao Duan, Heinrich Matzinger, Ionel Popescu. Naive Bayes with Correlation Factor for Text Classification Problem. In: 2019 18th IEEE International Conference on Machine Learning and Applications (ICMLA). Boca Raton, FL, USA, 16-19 December, 2019. https://doi.org/10.1109/ICMLA.2019.00177

[11] Tikhonov A.N., Arsenin V.Ya. Metody resheniya nekorrektnykh zadach [Methods for solving incorrect problems]. Moscow, Nauka Publ., 1979, 288 p.

[12] Xiufen Ye, Wenyang Luo, Hanjie Huang, Huiming Xing, Weizheng Zhang. Improved scale adaptive KCF-based method for forward looking sonar image. OCEANS 2021, San Diego, CA, USA, 20-23 September, 2021. https://doi.org/10.23919/0CEANS44145.2021.9706069

[13] Tikhonov A.N., Goncharsky A.V., Stepanov V.V., Yagola A.G. Regulyarizir-uyuschie algoritmy i apriornaya informatsiya [Regularizing algorithms and a priori information]. Moscow, Nauka Publ., 1983, 200 p.

[14] Yuxin Qian, Hongli Zheng, Dazhi He, Zhexi Zhang, Zongpu Zhang. R-CNN object detection inference with deep learning accelerator. In: 2018 IEEE/CIC International Conference on Communications in China (ICCC Workshops). Beijing, China, 16-18 August, 2018. https://doi.org/10.1109/ICCChinaW.2018.8674519

[15] Redmon J., Divvala S., Girshick R., Farhadi A. You only look once: unified, real-time object detection. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA, 27-30 June, 2016. https://doi.org/10.1109/CVPR.2016.91

[16] Albawi S., Abed Mohammed T., Al-Zawi S. Understanding of a convolutional neural network. In: 2017 International Conference on Engineering and Technology (ICET). Antalya, Turkey, 21-23 August, 2017. https://doi.org/10.1109/ICEngTechnol.2017.8308186

[17] Baklitsky V.K. Korrelyatsionno-ekstremalnye metody navigatsii i navedeniya [Correlation-extreme methods of navigation and guidance]. Tver, T0 Knizhnyi Klub Publ., 2009, 360 p.

[18] Gonzalez R., Woods R., Eddins S. Digital Image Processing Using MATLAB, Gatesmark Publ., 2020 [In Russ.: Gonzalez R., Woods R., Eddins S. Tsifrovaya obrabotka izobrazheniy v srede MATLAB. Moscow, Tekhnosfera Publ., 2006, 616 p.].

[19] Zhe Chen, Zhibin Hong, Dacheng Tao. An experimental survey on correlation filter-based tracking. IEEE, 2015. Available at: https://arxiv.org/pdf/1509.05520.pdf (accessed March 19, 2022).

[20] Ling Zhang, Wei Zhou, Jingwei Li, Juan Li, Xin Lou. Histogram of oriented gradients feature extraction without normalization. In: 2020 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS). Ha Long, Vietnam, 8-10 December, 2020. https://doi.org/10.1109/APCCAS50809.2020.9301715

[21] Md. Mehedi Hasan, Arifur Rahaman, Munmun Talukder, Mobarakol Islam, Mirza Md. Shahriar Maswood, Md. Mostafizur Rahman. Neural network performance analysis using hanning window function as dynamic learning rate. In: 2013 International Conference on Informatics, Electronics and Vision (ICIEV). Dhaka, Bangladesh, 17-18 May, 2013. https://doi.org/10.1109/ICIEV.2013.6572609

[22] Press W., Flannery B., Teukolsky S., Vetterling W. Numerical Recipes in C. Cambridge Univ. Press, 1988, 735 p.

[23] Nussbaumer H. Fast Fourier Transform and Convolution Algorithms. Springer, 2nd edition, 1982 [In Russ.: Nussbaumer G. Bystroe preobrazovanie Furie i algo-ritmy vychisleniya svertok. Moscow, Radio i Svyaz Publ., 1985, 248 p.].

[24] Yijin Yang, Yihong Zhang, Demin Liorcid, Zhijie Wang. Parallel correlation filters for real-time visual tracking. Sensors, 2019, vol. 19 (10), paper 2362. https://doi.org/10.3390/s19102362

[25] Javed O., Rasheed Z., Shafique K., Shah M. Tracking across multiple cameras with disjoint views. In: Proceedings Ninth IEEE International Conference on Computer Vision, 2003, vol. 2, pp. 952-957.

DOI: 10.1109/ICCV.2003.1238451

[26] Wang Y., Lu K., Zhai R. Challenge of multi-camera tracking. In: 2014 7th International Congress on Image and Signal Processing. IEEE, 2014, October, pp. 32-37.

[27] Bobkov A.V., Tedeev G.V. Sistema multikamernogo otslezhivaniya obyektov [Multi-camera object tracking system]. Inzhenerny zhurnal: nauka i innovatsii — Engineering Journal: Science and Innovation, 2021, iss. 10 (118). https://doi.org/10.18698/2308-6033-2021-10-2123

[28] Mei Han, A. Sethi, Wei Hua, Yihong Gong. A detection-based multiple object tracking method. In: 2004 International Conference on Image Processing. Singapore, 24-27 October, 2004. https://doi.org/10.1109/ICIP.2004.1421760

[29] Hubenko A., Fonoberov V., Mathew G., Mezic I. Multiscale Adaptive Search. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, vol. 41, pp. 1076-1087.

[30] Xiaoxin Guo, Zhiwen Xu, Yinan Lu, Yunjie Pang. An Application of Fourier-Mellin Transform in Image Registration. In: The Fifth International Conference on Computer and Information Technology. Shanghai, China, September 21-23, 2005. https://doi.org/10.1109/CIT.2005.62

Bobkov A. V., Cand. Sc. (Eng), Associate Professor, Department of Automatic Control Systems, Bauman Moscow State Technical University. e-mail: skliz@mail.ru

Belozerova E.D., Student, Department of Automatic Control Systems, Bauman Moscow State Technical University. e-mail: belozerovaekaterina@icloud.com

Pistsov A.M., Student, Department of Automatic Control Systems, Bauman Moscow State Technical University. e-mail: pistsov.andrey@mail.ru