CC BY
20УДК 004.021:004.932
DOI: 10.24151/1561-5405-2021-26-1-92-103
Применение алгоритма Джарвиса для сопровождения объекта на изображениях дальнего инфракрасного диапазона
Д.И. Немченко, В.П. Семаков, А.И. Шариков, Е.М. Шарикова
Национальный исследовательский университет «МИЭТ», г. Москва, Россия
siomvas@mail. ru
При решении задачи сопровождения объектов для изображений ИК-диапазона получить релевантную базу необходимого объема для обучения нейронной сети достаточно проблематично. Основными помехами являются отсутствие базы изображений дальнего ИК-диапазона и сложность калибровки оборудования камер разных производителей для составления базы. Вследствие этих причин и сложности разметки границ объектов данного диапазона использование нейронных сетей на сегодняшний день нецелесообразно. В работе рассмотрены принципы сопровождения объекта на изображениях ИК-диапазона, которые основаны на получении ключевых точек с помощью алгоритмов SIFT, SURF, ORB. Выделены особенности данных методов, а также отмечена специфика изображений дальнего ИК-диапазона и наблюдаемых на нем объектов. Проанализированы подходы для сохранения признаков сопровождаемого объекта при переходе к новому кадру видеоизображения, выявлены их основные преимущества и недостатки. На основе полученных результатов предложена модернизация алгоритма сопровождения с использованием модификации алгоритма Джарвиса, позволяющая повысить качество слежения за объектом. Экспериментально проведена оценка влияния дополнительной обработки в алгоритме сопровождения на быстродействие. Предложенный подход к сопровождению объекта на ИК-изображении, составленный на основе ключевых точек алгоритма ORB и применения модифицированного алгоритма Джарвиса, инвариантен к поворотам и масштабированию искомого объекта и позволяет отслеживать его в условиях высокой неоднородности фона и при наличии похожих объектов. Применение разработанного алгоритма дает возможность избежать существенной потери быстродействия и значительно повысить при этом эффективность сопровождения объекта в среднем на 20 %. При этом данная модификация потребовала менее 3 % дополнительного времени обработки по сравнению с методом сохранения точек объекта.
Ключевые слова: обработка изображений; алгоритмы сопровождения объекта; алгоритм Джарвиса; кластеризация; ключевые точки; изображение инфракрасного диапазона
Для цитирования: Немченко Д.И., Семаков В.П., Шариков А.И., Шарикова Е.М. Применение алгоритма Джарвиса для сопровождения объекта на изображениях дальнего инфракрасного диапазона // Изв. вузов. Электроника. 2021. Т. 26. № 1. С. 92-103. DOI: 10.24151/1561-5405-2021-26-1-92-103
© Д.И. Немченко, В.П. Семаков, А.И. Шариков, Е.М. Шарикова, 2021
Application of Jarvis Algorithm for Tracking Object on Images of Far Infrared Range
D.I. Nemchenko, V.P. Semakov, A.I. Sharikov, E.M. Sharikova
National Research University of Electronic Technology, Moscow, Russia [email protected]
Abstract: While solving the tracking of objects for infrared range images the obtaining of the necessary volume relevant basis for neuron network training is problematic enough. The main obstacles are the absence of the far infrared range images base and the complexity of calibration of cameras of various manufacturers for composing the base. Due to these causes and the complexity of marking the borders of the given range objects using the neuron networks, at the moment, is not expedient. In the paper the principles of object tracking on the infrared range images, based on obtaining the key points using the SIFT, SURF, ORB algorithms, have been considered. The specific features of the given methods have been distinguished, and also, the specifics of far infrared range images and of the objects observed on it, has been emphasized. The analysis of the approaches to preserve the features of tracking an object in transition to a new frame of a video image has been performed, their main advantages and disadvantages have been revealed. Based on the obtained results the modernization of the tracking algorithm using the Jarvis algorithm modification has been proposed. The estimation of the influence on speed of additional processing in the tracking algorithm has been experimentally performed. The proposed approach to tracking an object on the infrared image, composed on the ORB algorithm key points and the application of the modified Jervis algorithm, is invariant to turns and scaling of the sought for object and allows to watch it in conditions of high nonhomogeneity of the background and presence of similar objects. The application of the developed algorithm permits to avoid a considerable loss of speed with a significant increase of the object tracking efficiency.
Keywords: image processing; object tracking algorithms; Jarvis algorithm; key points; infrared band image
For citation: Nemchenko D.I., Semakov V.P., Sharikov A.I., Sharikova E.M. Application of Jarvis algorithm for tracking object on images of far infrared range. Proc. Univ. Electronics, 2021, vol. 26, no. 1, pp. 92-103. DOI: 10.24151/1561-5405-2021-26-1-92-103
Введение. Алгоритмы сопровождения объекта на видеоизображении применяются для решения задач из разных областей, таких как контроль автодорожной обстановки, системы безопасности, навигация и ориентация в пространстве. Для их решения используются методы, основанные на нейронных сетях, ключевых точках изображения и корреляции искомого объекта с получаемым изображением. В работе данные методы рассматриваются применительно к видеоизображениям дальнего ИК-диапазона.
Алгоритмы, основанные на нейронных сетях, позволяют получить высокую скорость обработки при сопровождении объектов видимого диапазона [1, 2]. Это направление в последнее время получило широкое развитие благодаря повышению мощности и значительному увеличению количества вычислительных блоков на современных GPU. Для решения задачи сопровождения объектов созданы библиотеки с готовыми
решениями, такие как YOLO [3] и Fast R-CNN [4]. На их основе построены алгоритмы, отслеживающие перемещение объекта на видеоизображениях. При всем многообразии созданных решений они сводились к обучению сверточных нейронных сетей на базе изображений видимого диапазона, объемы которых позволяют обрабатывать требуемые классы объектов. При решении задачи сопровождения объектов для изображений ИК-диапазона получить релевантную базу необходимого объема для обучения нейронной сети достаточно проблематично. Основными помехами являются отсутствие базы изображений дальнего ИК-диапазона и сложность калибровки оборудования камер разных производителей для составления базы. Вследствие этих причин, а также сложности разметки границ объектов данного диапазона использовать нейронные сети на сегодняшний день нецелесообразно.
Классическое решение задачи сопровождения объектов на изображении - применение корреляционных методов. В их основе лежат принципы формирования изображения эталонного объекта на определенном кадре и поиска наиболее близкого по выбранной корреляционной функции участка изображения на последующем видеокадре. При превышении пороговых значений функции объект считается отслеживаемым и локализуется на новом кадре. Этот класс алгоритмов сопровождения применяется для изображений видимого [5], ИК- [6] и комбинированного [7] диапазонов. Преимуществами корреляционных методов являются простота реализации и вычислительная эффективность за счет распараллеливания однотипных операций, но их недостаток - качество работы ввиду ограничений по возможным пространственным преобразованиям сравниваемых изображений (масштаб, поворот, перспективные искажения) [8].
Алгоритмы сопровождения объектов, основанные на вычислении ключевых точек изображений, такие как SIFT, SURF и ORB, в значительной степени решают проблемы инвариантности при повороте и масштабировании объекта на изображении. Вычисление ключевых точек не зависит от спектра обрабатываемого изображения и с успехом может применяться для ИК-диапазона, что подтверждается в работах [9, 10]. Для данного типа алгоритмов эталонное изображение воспроизводится в форме дескрипторов ключевых точек, что обеспечивает дополнительный уровень абстракции в представлении конкретного изображения. Это положительно влияет на ИК-изображения при появлении в кадре нагретых объектов, так как большинство тепловизоров автоматически настраивается, исходя из среднего уровня яркости. Указанные преимущества данного класса алгоритмов позволяют использовать их в качестве основы для сопровождения объекта изображения.
Описание алгоритма сопровождения. На рис.1 приведена схема алгоритма сопровождения объекта, построенного на базе вычисления ключевых точек на видеоизображении ИК-диапазона. Эталонное изображение, на котором вычисляются ключевые точки и рассчитываются их дескрипторы, предварительно подготавливают.
Рассмотрим вспомогательные функциональные блоки алгоритма (см. рис.1):
- предварительная обработка - к изображению применяется фильтр Гаусса и выделяется область интереса, которая определяется координатами объекта и ограничена максимально возможным перемещением объекта за один кадр (опционально);
- сопоставление дескрипторов с искомым набором - вычисленный набор дескрипторов изображения сопоставляется с набором дескрипторов сопровождаемого объекта и создаются пары: точка сопровождаемого объекта - точка нового изображения;
- кластер соответствует условиям - проверяется наличие кластера, состоящего из двух или более соответствий. Если условие выполняется, то слежение за объектом осуществляется верно, его дескрипторы передаются на следующий кадр в качестве эталона. Иначе, сопровождение данного объекта заканчивается, выдается сообщение об окончании процесса слежения.
На поступающем кадре видеоизображения необходимо провести предварительную обработку с помощью фильтра Гаусса с матрицей размытия размером не менее чем 3*3 пикселя. Это позволяет удалить шумы размером 1-2 пикселя, из-за которых при дальнейшей обработке может возникнуть значительное количество ключевых точек, не имеющих полезной информации. Потери информации при данном типе фильтрации некритичны для изображений дальнего ИК-диапазона, а эффективность ее применения исследована в работе [11], где указано, что габариты сопровождаемого объекта с учетом оптической системы и матрицы камеры должны быть не менее 3*3 пикселей.
При вычислении параметров оптической системы имеется возможность задать классы сопровождаемых объектов и рассчитать их максимальные скорости перемещения, измеряемые в пикселях. Такой подход позволяет рассматривать для поиска объекта не полный кадр, а лишь некоторую его часть, что значительно снижает вычислительную нагрузку.
Построение области интереса (ROI) позволяет локализовать объект при условии его невысокой скорости перемещения или при высокой частоте получения изображения с камеры. Размеры области интереса выражаются формулами:
ROL.. = S-
ROIh = S -
obj
H
obj
2
где Wobj и Hobj - ширина и высота сопровождаемого объекта для первого кадра, которые задаются в пикселях оператором, для последующих - вычисляются по результатам сопровождения; S - максимально возможное перемещение сопровождаемого объекта по изображению (в пикселях) за период получения очередного кадра.
Рассмотрим процесс вычисления ключевых точек и их дескрипторов с помощью алгоритма ORB [12]. Для выделения искомых точек первым шагом является использование детектора углов FAST [13], а полученные ключевые точки подвергаются ранжи-
Рис. 1. Схема алгоритма сопровождения объекта на видеоизображении Fig. 1. Diagram of the algorithm for tracking an object in the video image
2
рованию. В дальнейшем проводится выборка заданного количества лучших по рангу и вычисляются их дескрипторы с помощью алгоритма BRIEF [14]. При этом используются градиенты второго порядка, устойчивые к масштабированию изображения.
Детектор ORB использует центры масс C для определения ориентации ключевой точки на изображении [12]. Для их построения вычисляются центральные моменты яркости m окрестности особой точки:
т
pq
= £ xpyqI ( x, y ),
x ,y
C =
rmo т01Л
m m
V moo moo J
где (х, у) - координаты ключевой точки; I(x, у) - яркость в точке (х, у); т10 , mol - центральные моменты яркости первого порядка по координатам х и у соответственно; т00 - момент нулевого порядка (яркость в точке (х, у)).
Угол ориентации 0 окрестности радиусом 3 пикселя ключевой точки рассчитывается как 9 = atan2 (т01, щ0).
Вычисленные дескрипторы изображения сравниваются с заранее подготовленными дескрипторами сопровождаемого объекта, сохраненными на предыдущем кадре. Сопоставление этих двух наборов дескрипторов основано на расчете расстояния Хэммин-га [15]. В результате сравнения получаем пары точек-соответствий, одна из которых сохранена на предыдущем кадре, а другая - на текущем кадре видеоизображения. Это быстрый способ поиска подобия точек, учитывающий, что их дескрипторы представляет собой строку из 32-двоичных значений [12].
Кластеризация используется для формирования объекта из множества точек-соответствий на текущем кадре по заданным размерам. В работе использован алгоритм, описанный в [10], главным параметром которого при рассмотрении кластеров является количество попавших в него точек. В условиях плохой видимости или при наличии множества ярких элементов фона на изображении с его помощью можно нормировать результаты.
При использовании алгоритма сопровождения (см. рис.1) решаются проблемы изменения масштаба и поворота объекта на ИК-изображении за счет использования инвариантных к данным процессам дескрипторов ключевых точек. Получить абстрактное представление объекта, не зависящее от его формы и яркости, позволяет кластеризация сопоставлений, полученных на основе расстояния Хэмминга [15]. При построении кластеров требуемого размера, содержащего более чем одну ключевую точку, появляется возможность перейти к сопровождаемым объектам. Информация о сопровождаемых объектах должна быть актуальна на протяжении всего процесса слежения. Дескрипторы ключевых точек в процессе сопровождения изменяются и с течением времени могут заметно отличаться от начальных, что ведет к потере отслеживаемого объекта.
Первый вариант представления объекта на протяжении всей видеопоследовательности - сохранение начальных признаков объекта без добавления новых. В таком случае обеспечивается хорошее качество сопровождения на начальном отрезке видеопоследовательности, так как изменение дескрипторов объекта на соседних кадрах незначительное. С течением времени набор ключевых точек постепенно обновляется: часть из них пропадает, другие точки изменяются, а также появляются новые. Сопоставление дескрипторов один к одному не позволяет расширить представление объекта за счет вновь появившихся ключевых точек.
Результаты работы такого подхода показаны на рис.2,а. Отметим постепенную потерю ключевых точек сопровождаемого объекта (легкового автомобиля) и их перемещение в локальную область.
Рис.2. Сопровождение автомобиля при изменении его масштаба и конфигурации фона: а - легковой; б - грузовой (параметры алгоритма: число ключевых точек кластера (kp)
и количество обрабатываемых кадров в секунду (FPS)) Fig.2. Tracking a car when changing its scale and background configuration: a - passenger car; b - truck (algorithm parameters: number of cluster key points (kp) and number of processed
frames per second (FPS))
Другим вариантом является сохранение достаточного для сопровождения количества ключевых точек, возможно, при добавлении вновь появившихся точек Р в представление объекта при использовании геометрии его кластера. Оценим диапазон точек кластера по осям координат:
Р (X™ )< Р (х )< Р (),
РС1 (Утп )< Р (У )< Р (Утах ) ,
где Р (х^п) и Ры (хтах) - ключевые точки кластера с минимальным и максимальным значениями координаты х; Рс1 (утп) и Рс1 (утах) - ключевые точки кластера с минимальным и максимальным значениями координаты у.
В представление сопровождаемого объекта попадают все точки кластера независимо от их схожести с точками на предыдущем кадре. Таким образом, происходит обновление текущего набора точек объекта. Недостатком данного подхода является включение в описание части точек фона. При высоком уровне яркости фона может возникнуть ситуация, когда алгоритм сопровождения начнет следить за участком изображения с высоким контрастом и произойдет потеря искомого объекта (рис.2,б). Если в кластер грузового автомобиля включаются признаки, принадлежащие легковому, то набор признаков для сопровождения теряет свою локальность и создается множество отдельных соответствий с элементами фона.
Выделение границ объекта на изображениях, полученных в ИК-диапазоне, подробно изложено в работе [16], где контур объекта выделяется с помощью эквидистантной кривой. В работе показано, что множество точек сопровождаемого объекта с достаточной точностью может быть описано внешним выпуклым и-угольником. Такой подход позволяет сохранить все дескрипторы искомого объекта, учесть его изменчивость и при этом практически не захватывать дескрипторы фона. Применим построение выпуклого и-угольника для множества точек сопровождаемого объекта и оценим результаты работы алгоритма сопровождения, а также дополнительные вычислительные затраты.
Применение алгоритма Джарвиса. Для построения выпуклой оболочки использован модифицированный алгоритм Джарвиса [17]. Алгоритм основан на поиске крайних точек множества точек сопровождаемого объекта и последовательном подборе точек-кандидатов для выпуклой оболочки. Представим пошаговое описание алгоритма.
Шаг 1. Определяется крайняя точка Р0 (х, у) из множества точек сопровождаемого объекта с наименьшим значением координаты х и добавляется в выпуклую оболочку.
Шаг 2. Строится единичный вектор V из точки Р0(х, у) в точку р+1 (х +1, у) .
Шаг 3. Для каждой точки р (х, у) рассматриваемого множества строится вектор РР и вычисляется угол между ним и единичным вектором V.
Шаг 4. Так как обход контура ведется по часовой стрелке, то вычисляется наибольший угол и соответствующая ему точка Рг-, которая добавляется в выпуклую оболочку.
Шаг 5. До тех пор пока добавленная точка Р1 не совпадет с точкой Р0, выполняется переход к шагу 2. Если Р^ совпала с Р0, выпуклая оболочка замыкается.
Построенная таким образом выпуклая оболочка включает в себя все внутренние точки сопровождаемого объекта, в том числе не попавшие в кластер через отбор соответствий.
Оценим время выполнения алгоритма Джарвиса. На шаге 3 строится вектор для каждой точки множества. В худшем случае, когда все точки составляют выпуклую оболочку, алгоритмическая сложность будет 0(п2). Существуют эффективные подходы к решению задачи, например, такие как алгоритмы Грэхема [18], Чана [19] и QuickHull [20], где вычислительная сложность равна 0(п ^(п)).
Эмпирически установлено, что количество точек сопровождаемого объекта редко превышает 50 и расхождение во времени выполнения выбранного подхода с другими методами [18-20] построения выпуклой оболочки минимально. Если рассматривать дополнительное время, затрачиваемое на построение выпуклой оболочки, относительно общего времени выполнения алгоритма сопровождения, то снижение скорости обработки изображения составит примерно 2 % в зависимости от характера видео, что подтверждено экспериментально.
Эксперимент. Тестирование алгоритма сопровождения объекта с применением метода Джарвиса проводилось на видеозаписях дальнего ИК-диапазона. В качестве объектов выбраны автомобили, слежение начиналось после ручного выбора объекта оператором. Объекты на видео либо частично перекрывались фоном, либо на короткое время (до 0,25 с) закрывались полностью, но не исчезали из кадра. Расчет эффективности сопровождения проводился по следующей формуле:
„ , Число кадров с успешным сопровождением .,--„.
Эффективность =--------100%.
Число кадров на сопровождении
Здесь число кадров с успешным сопровождением определялось количеством кадров, на которых разница между геометрическим центром масс объекта, вычисленным в результате кластеризации, и реальным центром объекта, не превышала половины размера объекта.
В ходе эксперимента видеопоследовательности разделены на пять групп по 10 в каждой в зависимости от характера перемещения сопровождаемого объекта и перекрытия его фоном. Объекты для сопровождения - легковые автомобили и грузовики со скоростью перемещения не более 30 пикселей от кадра к кадру. Масштабирование объектов происходило как при их приближении к камере по встречной полосе движения, так и при их удалении при движении в попутном с камерой направлении. Зависимость эффективности сопровождения объекта от выбора подхода для сохранения признаков на различных видео представлена в таблице.
Наибольший процент успешно обработанных кадров при сопровождении в каждой тестируемой группе показывает алгоритм слежения с использованием добавления точек методом Джарвиса. Результаты работы алгоритма сопровождения с применением метода Джарвиса при движении объекта без перекрытия и перемещении камеры показаны на рис.3.
Ключевые точки на рис.3 распределены по всей площади, что позволяет построить кластер, близкий к центру объекта. На кадрах 2-4 значительно возрастает количество ключевых точек в рассматриваемой области сопровождения грузовика, но благодаря использованию выпуклой оболочки удается исключить попадание точек соседних объектов.
Эффективность сопровождения объекта в зависимости от выбора подхода
для сохранения признаков, % Efficiency of object tracking depending on the choice of approach to preserve features, %
Тестируемая группа Сохранение Добавление точек Добавление точек
видео точек объекта по геометрии кластера методом Джарвиса
Движение объекта без перекрытия 71 90 95
Движение объекта с перекрытием 62 25 89
Движение камеры, неподвижный объект 83 94 91
Движение камеры, движение объекта 45 27 88
без перекрытия
Движение камеры, движение объекта 65 36 85
с перекрытием
Рис. 3. Успешное сопровождение грузового автомобиля с помощью предложенного алгоритма (параметры алгоритма: число ключевых точек кластера (kp) и количество обрабатываемых кадров
в секунду(FPS)): 1-4 - последовательность кадров при слежении за объектом Fig.3. Successful tracking of a truck based on the proposed algorithm (algorithm parameters: number of cluster key points (kp) and number of processed frames per second (FPS)): 1-4 - sequence of frames
for object tracking
Тестирование алгоритма сопровождения проведено на процессоре Intel Atom E3950 под ОС Ubuntu 16.04. Код алгоритма написан на языке программирования С++ и собран с помощью компилятора GCC версии 7.3.0. При этом среднее значение числа обрабатываемых кадров для всех тестовых видео составило 202 в секунду. Средние значения количества обрабатываемых за секунду кадров для различных вариантов алгоритма сопровождения: сохранение точек объекта - 208; добавление точек ROI - 198; добавление точек методом Джарвиса - 202.
Таким образом, добавление точек методом Джарвиса позволило повысить точность работы алгоритма сопровождения в среднем на 20 %, при этом данная модификация потребовала менее 3 % дополнительного времени обработки по сравнению с методом сохранения точек объекта.
Заключение. Предложенный метод сопровождения объекта на ИК-изображении составлен на основе ключевых точек алгоритма ORB и применения модифицированного алгоритма Джарвиса. Метод инвариантен к поворотам и масштабированию искомого объекта и позволяет отслеживать его в условиях высокой неоднородности фона и при наличии похожих объектов. Разработанный алгоритм позволяет использовать результаты кластеризации соответствий ключевых точек на вновь полученном кадре для построения объекта с помощью выпуклого n-угольника.
Применение разработанного алгоритма позволяет избежать существенной потери быстродействия и значительно повысить при этом эффективность сопровождения объекта.
Литература
1. Luo W., Yang B., Urtasun R. Fast and furious: real time end-to-end 3D detection, tracking and motion forecasting with a single convolutional net // IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. June. P. 3569-3577.
2. Богуш Р.П., Захарова И.Ю. Алгоритм сопровождения людей на видеопоследовательностях с использованием сверточных нейронных сетей для видеонаблюдения внутри помещений // Компьютерная оптика. 2020. Т. 44. №1. С. 109-118.
3. Redmon J., Farhadi A. Y0L09000: Better, Faster, Stronger // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. July. P. 7263-7271.
4. Girshick R. Fast R-CNN // 2015 IEEE International Conference on Computer Vision (ICCV). 2015. December. P. 1440-1448.
5. Телевизионные методы сопровождения объектов в сложных условиях наблюдения / В.И. Мо-жейко, Н.А. Обухова, Б.С. Тимофеев и др. // Изв. вузов. Приборостроение. 2009. Т. 52. №8. С. 20-29.
6. Катулев А.Н., Колонсков А.А., Храмичев А.А., Ягольников С.В. Адаптивный метод и алгоритм обнаружения малоконтрастных объектов оптико-электронным средством // Оптический журнал. 2014. Т. 81. №2. С. 29-39.
7. Шарак Д.С., Хижняк А.В., Шевяков А.В., Михненок Е.И. Снижение вероятности срыва сопровождения оптически наблюдаемых объектов в корреляционных алгоритмах сопровождения за счет ком-плексирования исходных изображений ИК- и ТВ- диапазонов // Доклады Белорусского государственного университета информатики и радиоэлектроники. 2016. Т. 96. №2. С. 88-94.
8. Тананыкина Л.В. Сравнительное исследование структурных и корреляционных методов при сопоставлении разнородных изображений // Прикладные проблемы безопасности технических и биотехнических систем. 2016. № 1. С. 11-21.
9. Бондаренко В.А., Капулинский Г.Э., Павлова В.А., Тупиков В.А. Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов // Изв. ЮФУ. Технические науки. 2019. Т. 203. № 1. С. 281-296.
10. Семаков В.П. Алгоритм кластеризации ключевых точек на изображениях ИК-диапазона // Изв. вузов. Электроника. 2017. Т. 22. №2. С. 187-191.
11. Шакенов А.К., Будеев Д.Е. Фильтрация изображений малоразмерных объектов в системах с круговым микросканированием // Автометрия. 2017. Т. 53. № 4. С. 120-126.
12. Rublee E., Rabaud V., Konolige K. ORB: an efficient alternative to SIFT or SURF // Computer Vision and 2011 IEEE International Conference. 2011. November. P. 2564-2571.
13. Rosten E., Drummond T. Machine learning for high-speed corner detection // ECCV: European Conference on Computer Vision. 2006. Vol. 1. No. 1. P. 430-443.
14. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: binary robust independent elementary features // 11th European Conference on Computer Vision. 2010. September. P. 778-792.
15. Hamming R. Error detecting and error correcting codes //The Bell System Technical Journal. 1950. Vol. 29. No. 2. P. 147-160.
16. Зеленский А.А., Семенищев Е.А., Франц В.А. Алгоритм определения формы объектов по анализу изображений, полученных в инфракрасном диапазоне // Докл. ТУСУР. 2018. Т. 21. № 3. С. 63-67.
17. Прапарата Ф., Шеймос М. Вычислительная геометрия. Введение. М.: Мир, 1989. 478 с.
18. Кормен Т., Лейзерсон Ч., Ривест Р., Штайн К. Алгоритмы. Построение и анализ. 2-е изд. М.: Изд. дом «Вильямс», 2011. 1296 с.
19. MountD.M. Computational geometry. University of Maryland, 2002. 122 p.
20. Bradford Barber C., Dobkin D., Huhdanpaa H. The quickhull algorithm for convex hulls // ACM Transactions on Mathematical Software. 1996. Vol. 4. No. 22. P. 469-483.
Поступила в редакцию 15.09.2020 г.; после доработки 15.09.2020 г.; принята к публикации 24.11.2020 г.
Немченко Дмитрий Игоревич - инженер НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), [email protected]
Семаков Василий Павлович - инженер-программист НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), [email protected]
Шариков Антон Игоревич - инженер-электроник НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), [email protected]
Шарикова Елена Михайловна - инженер-электроник НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), ellenasharikova@ gmail.com
References
1. Luo W., Yang B., Urtasun R. Fast and furious: Real time end-to-end 3D detection, tracking and motionforecasting with a single convolutional net. 2018IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. pp. 3569-3577.
2. Bogush R.P., Zakharova I.Yu. Tracking people algorithm on video sequences using convolutional neural networks for indoor video surveillance. Komp'yuternaya optika = Computer Optics, 2020, vol. 44, no. 1, pp. 109-118. (In Russian).
3. Redmon J., Farhadi A. Y0L09000: Better, Faster, Stronger. 2017IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017, pp. 7263-7271.
4. Girshick R. Fast R-CNN. 2015 IEEE International Conference on Computer Vision (ICCV). 2015, pp. 1440-1448.
5. Mozheiko V.I., Obukhova N.A., Timofeev B.S., Fisenko V.T., Fisenko T.Yu. Television methods of object tracking in difficult observation conditions. Izvestiya vysshikh uchebnykh zavedeniy. Priborostroenie) = Journal of Instrument Engineering, 2009, vol. 52, no.8, pp. 20-29. (In Russian).
6. Kolonskov A.A., Khramichev A.A., Yagolnikov S.V. An adaptive method and algorithm for detecting low-contrast objects with an optoelectronic device. Opticheskiy zhurnal = Optical Journal, 2014, vol. 81, no. 2, pp. 29-39. (In Russian).
7. Sharak D.S., Khizhnyak A.V., Shevyakov A.V., Mikhnenok E.I. Reducing the probability of disruption of tracking of optically observed objects in correlation tracking algorithms by combining the initial images of the
IR and TV bands. Doklady Belorusskogo gosudarstvennogo universiteta informatiki i radioelektroniki = Reports of the Belarusian State University of Informatics and Radioelectronics, 2016, vol. 96, no. 2, pp. 88-94. (In Russian).
8. Tananykina L.V. Comparative study of structural and correlation methods when comparing heterogeneous images. Prikladnyye problemy bezopasnosti tekhnicheskikh i biotekhnicheskikh sistem = Applied problems of safety of technical and biotechnical systems, 2016, no. 1. pp. 11-21. (In Russian).
9. Bondarenko V.A., Kapulinsky G.E., Pavlova V.A., Tupikov V.A. Method of search and comparison of key features of images for pattern recognition and object tracking. Izvestiya YuFU. Tekhnicheskiye nauki =Izvestiya SFedU. Engineering Sciences, 2019, vol. 203, no. 1, pp. 281-296. (In Russian).
10. Semakov V.P. Algorithm for clustering key points on images of the infrared range // News of higher educational institutions. Izvestiya vuzov. Elektronika = Proceedings of University. Electronics, 2017, vol. 22, no. 2, pp. 187-191. (In Russian).
11. Shakenov A.K., Budeev D.E. Filtration of images of small-sized objects in systems with circular microscanning. Avtometriya = Autometry, 2017, vol. 53, no. 4, pp. 120-126. (In Russian).
12. Rublee E., Rabaud V., Konolige K. ORB: An efficient alternative to SIFT or SURF. Computer Vision and 2011 IEEE International Conference, 2011, pp. 2564-2571.
13. Rosten E., Drummond T. Machine learning for high-speed corner detection. ECCV: European Conference on Computer Vision. 2006, vol. 1, no. 1, pp. 430-443.
14. Calonder M., Lepetit V., Strecha C., Fua P.BRIEF: Binary Robust Independent Elementary Features. 11th European Conference on Computer Vision. 2010, pp. 778-792.
15. Hamming R. Error detecting and error correcting codes. The Bell System Technical Journal, 1950, vol. 29, no. 2, pp. 147-160.
16. Zelensky A.A., Semenishchev E.A., Franz V.A. Algorithm for determining the shape of objects by analyzing images obtained in the infrared range. Doklady TUSUR = Reports of TUSUR, 2018, vol. 21, no. 3, pp. 63-67. (In Russian).
17. Praparata F., Sheimos M. Computational geometry: An introduction. Moscow, Mir Publ., 1989 . 478 p. (In Russian).
18. Cormen T., Leiserson C., Rivest R., Stein K. Algorithms. Formation and analysis. 2nd ed. Moscow, Williams Publ., 2011. 1296 p. (In Russian).
19. Mount D.M. Computational geometry. University of Maryland, 2002. 122 p.
20. Bradford Barber C., Dobkin D., Huhdanpaa H. The quickhull algorithm for convex hulls. ACM Transactions on Mathematical Software, 1996, vol. 4, no. 22, pp. 469-483.
Received 15.09.2020; Revised 15.09.2020; Accepted 24.11.2020. Information about the authors:
Dmitry I. Nemchenko - Engineer of the Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), [email protected]
Vasily P. Semakov - Software Engineer of the Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), [email protected]
Anton I. Sharikov - Hardware Engineer of the Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), [email protected]
Elena M. Sharikova - Hardware Engineer of the Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), ellenasharikova@ gmail.com
