CC BY
30
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.932.2
МНОГОКОМПОНЕНТНЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ДЛЯ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
В. А. Бондаренко, Д.К. Ельцова, А.И. Лизин, В. А. Павлова, М.В. Созинова, В. А. Тупиков
В целях разработки устойчивого алгоритма автоматического обнаружения и сопровождения недетерминированных объектов для встраиваемых вычислительных систем с оптико-электронными устройствами проведены исследование и анализ имеющегося мирового научно-технического опыта в области алгоритмов автоматического сопровождения общего назначения. Показано что наиболее устойчивые современные алгоритмы автоматического сопровождения представляют собой многокомпонентную систему, принимающую решение о текущем положении, размерах и других параметрах сопровождаемого образа на основе интеллектуального голосования составляющих систему модулей, осуществляющих самостоятельное слежение за объектом и формирование его модели. Проведено полунатурное тестирование разработанного алгоритма и оценена его эффективность в решении задач не только автоматического сопровождения объектов, но и задач автоматического обнаружения объектов по нескольким эталонным образам.
Ключевые слова: многокомпонентный алгоритм, автоматическое обнаружение, автосопровождение, ключевые точки, оптический поток, встраиваемые системы.
Введение. В современных системах технического зрения всё ещё остро стоит проблема автоматического сопровождения недетерминированных объектов в осложнённых условиях наблюдения. Ни один из вариантов решения данной задачи, представленных в общедоступных научных трудах, не гарантирует уверенного долговременного сопровождения, однако анализ тенденций в разработке новых алгоритмов позволяет сделать вывод, что они чаще всего представляют собой группу разнородных связанных алгоритмов обработки изображений, осуществляющих параллельную, согласованную во времени обработку изображения, его анализ, и
дальнейшее принятие совместного решения о положении, размерах и иных параметрах сопровождаемого объекта. В ходе обзора современных алгоритмов выделены три наиболее эффективных на данный момент многокомпонентных алгоритма: TLD [1], CMT [2] и STRUCK [3, 4]. Эти алгоритмы показывают высокую устойчивость к частичным или полным перекрытиям объекта слежения, а также к различным постепенным изменениям масштаба, разворота и ракурса наблюдения объекта.
Алгоритм TLD основан на использовании подхода «Сопровождение - Обучение - Обнаружение» (Tracking - Learning - Detection). Помимо краткосрочного сопровождения объекта от кадра к кадру, проводится обнаружение всех локальных появлений объекта и на их основе строится модель объекта слежения. Модуль обучения призван снизить ошибки работы алгоритма путем коррекции модели по результатам сопровождения. Однако согласно данному алгоритму обнаружение проводится по всему кадру изображения с окнами разных масштабов, а для обучения используются вейвлеты Хаара. Это существенно увеличивает вычислительную сложность алгоритма и не позволяет использовать его в системах реального времени.
Алгоритм CMT (Consensus-based Matching and Tracking) основан на сопровождении объекта по ключевым точкам. Обнаружение проводится посредством голосования каждой отобранной точки за центр объекта. За счет использования быстрых детекторов и бинарных дескрипторов алгоритм способен работать в реальном масштабе времени, а отказ от обновления информации об объекте слежения (сравнение осуществляется с первоначально составляемым эталонным описанием) снижает риск возникновения ошибок при сопровождении.
Однако отказ от обновления информации об объекте является основным недостатком этого алгоритма, поскольку в реальных условиях наблюдения взятые на сопровождение объекты могут претерпевать сильные масштабные, поворотные и перспективные изменения.
Алгоритм Struck (Structured Output Tracking with Kernels) использует для классификации метод опорных векторов (SVM), который обучается в процессе работы для обеспечения адаптивного сопровождения. Алгоритм предполагает механизм бюджетирования, предотвращающий неограниченный рост числа применяемых для обучения векторов признаков сопровождаемого объекта.
Основные недостатки — довольно высокая вычислительная сложность, а также относительная низкая устойчивость к шуму, так как у алгоритма отсутствуют методы отбора применяемых для обучения признаков.
На основе анализа сильных сторон описанных алгоритмов авторами был разработан новый многокомпонентный алгоритм автоматического обнаружения и сопровождения объектов, позволяющий осуществлять устой-
чивое автоматическое сопровождение объектов в различных условиях наблюдения, сохраняя при этом возможность применения во встраиваемых системах в режиме реального времени [5].
Применяемый подход. На вход реализованного алгоритма подаются видеопоследовательность 1,...,1п и описывающий прямоугольник, задающий первоначальное положение объекта для сопровождения (захват на сопровождение). Основная задача алгоритма сопровождения - автоматическое нахождение положения объекта интереса на дальнейшей последовательности изображений, если объект не найден на протяжении указанного времени, сообщить оператору об этом и/или запустить алгоритм обнаружения объекта. На рис. 1 представлена общая блок-схема разработанного многокомпонентного алгоритма автоматического сопровождения.
Рис. 1. Общая блок-схема разработанного алгоритма сопровождения
5
Рассмотрим каждый шаг алгоритма подробнее.
Пирамида изображений. Пирамидой изображений называется сгруппированный набор кратномасштабных изображений сцены.
Использование пирамидальной структуры для выделения и сопоставления ключевых точек имеет следующие полезные свойства:
1) сокращение времени обработки изображений;
2) определение более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней;
3) масштабная инвариантность получаемого описания;
4) иерархическая структура объекта.
Рис. 2. Схематическое представление пирамиды изображений
Принцип построения пирамиды изображения представлен на рис. 2. Такая пирамида является последовательностью из N изображений. Каждый последующий уровень пирамиды представляет собой сжатое в K раз изображение предыдущего уровня (в применённом подходе K = [1,2 - 1,5], N = [8 - 10]). Представленная пирамида используется для детекции ключевых точек и вычисления оптического потока, о котором будет рассказано далее.
Получив пирамиду изображений, можно воспользоваться ее свойствами для получения ключевых точек и их описания. В ходе анализа алгоритмов детектирования ключевых точек были рассмотрены [6 - 11] алгоритмы SIFT, ORB, Harris и Fast. Детектор ORB оказался лучшим среди рассмотренных решением по отношению скорости работы к точности.
Детектор и дескриптор ORB. Основной используемой группой алгоритмов стали детекторы ключевых точек. Алгоритмы этой группы находят ключевые точки на изображении и описывают их так называемыми дескрипторами, позволяя отличить одну точку от другой. Главным преимуществом таких алгоритмов является существенное снижение обрабатываемой информации. В работах [7, 8] сформированы основные требования к ключевым точкам. Наилучшие результаты данные алгоритмы демонстрируют на пирамиде изображений.
6
ORB (Oriented FAST and Rotated BRIEF) является развитием алгоритмов Fast и BRIEF [10]. Основные этапы алгоритма можно описать следующим образом.
1. Особые точки обнаруживаются на исходном изображении и на нескольких изображениях из пирамиды уменьшенных изображений при помощи быстрого древовидного алгоритма FAST.
2. Для обнаруженных точек вычисляется мера Харриса, кандидаты с низким значением меры Харриса отбрасываются.
3. Вычисляется угол ориентации особой точки.
4. Последовательность точек для бинарных сравнений в дескрипторе BRIEF поворачивается в соответствии с вычисленным углом.
5. По полученным точкам вычисляется бинарный дескриптор
BRIEF.
Как было представлено на блок-схеме, на первом этапе сопровождения на вход подаются координаты описывающего прямоугольника объекта. В данной области с использованием детектора ORB проводится обнаружение ключевых точек (рис. 3). Полученные ключевые точки являются эталонным описанием объекта и будут использованы при дальнейшем сопровождении.
Рис. 3. Пример выделения ключевых точек
Поскольку были получены описание объекта и его положение на кадре, можно предположить, что на следующем кадре видеопотока сопровождаемый объект все еще находится в некоторой окрестности от предыдущего положения. Поэтому при последующем сопровождении поиск объекта будет проводиться не по всему кадру, а только в некоторой зоне (размер которой может корректироваться в процессе сопровождения на основе анализа скорости и направления движения объекта), что существенно время работы детектора ключевых точек, а также уменьшает накладные расходы для построения пирамиды изображений.
Для уменьшения количества ключевых точек, не относящихся к объекту, был применен алгоритм кластеризации БВ8САК, позволяющий значительно снизить количество ключевых точек, не принадлежащих к объекту, что, в свою очередь, ускоряет сопоставление ключевых точек и повышает его точность.
Алгоритм DBSCAN. Данный подход эффективно разбивает наборы точек на группы по принципу минимального количества соседей и плотности распределения [13]. Большим отличительным плюсом данного алгоритма является отсутствие необходимости задания количества кластеров заранее.
Точки, не принадлежащие ни одному кластеру, после работы алгоритма (помеченные особым образом) удаляются из списка, что при составлении эталонного описания сопровождаемого объекта позволяет впоследствии существенно сократить количество обрабатываемых точек.
Взятое эталонное описание сопровождаемого объекта берётся на сопровождение, по результатам которого эталонное описание обновляется. Сопровождение осуществляется с применением комбинации из трёх алгоритмов:
1) Brute Force Matching - сопоставление ключевых точек объекта и наблюдаемой сцены;
2) Lucas-Kanade - вычисление оптического потока для точек сопровождаемого объекта;
3) DBSCAN - кластеризация результатов голосования за центр сопровождаемого объекта точек, прослеживаемых методами 1 и 2.
Также применяется некоторая дополнительная обработка результатов данных алгоритмов.
Brute Force Matcher. Brute Force Matcher [14, 15] (BFM) является популярным способом сопоставления ключевых точек между собой. Алгоритм путем простого перебора всех точек находит наиболее похожий дескриптор. Такой подход никак не учитывает положение ключевой точки на сцене, поэтому довольно часто дает ложные совпадения. Предлагается несколько модификаций данного алгоритма:
1) введение штрафной функции. Чем дальше находится точка от ожидаемых координат, тем сильнее штраф на ее меру схожести;
2) голосование за центр объекта. Все сопоставленные точки, принадлежащие объекту, должны проголосовать за центр объекта (относительная дистанция до центра объекта хранится в описании сопровождаемой ключевой точки). Используя алгоритм DBSCAN, требуется отсечь некорректные голоса.
Обе модификации в ходе тестирования показали высокую степень корректного сопоставления точек объекта и наблюдаемой сцены, однако второй подход показал себя более удачным при сопровождении объектов, движущихся с непостоянной скоростью.
Lucas-Kanade. Алгоритм Lucas-Kanade (LK) - широко распространённый алгоритм, позволяющий вычислить оптический поток [16 - 19]. Оптический поток - определение вектора перемещения указанной области изображения относительно её предыдущего положения, представляющее собой сдвиг каждой точки между двумя изображениями. Метод основан на
предположении, что в локальной окрестности каждого пикселя значение оптического потока одинаково или изменяется мало, таким образом, можно записать основное уравнение оптического потока для всех пикселей окрестности
М~и = Ъ (1)
и решить полученную систему уравнений методом наименьших квадратов: /Ixi.Xi.yi) /у(*1,У1) \ /-/сОкУх) \
* * *
* * *
* *
(2)
V ~hixi>yi) )
VxO п> Уп) ly С^П' Уп) /
Сопровождение ключевых точек объекта методами Brute Force Matcher и Lucas-Kanade на данном кадре осуществляется независимо друг от друга, после результаты работы алгоритмов объединяются с применением процедуры голосования за центр цели. Из двух результатов выбирается наиболее точный результат, если дистанция между голосами d < Dn, в противном случае предпочтение отдаётся BFM.
Объединение результатов работы (процедура Consensus) разнородных алгоритмов позволяет воспользоваться их преимуществами (высокая точность сопровождения LK на малых временных отрезках) и нивелировать их недостатки («уплывание» точек, сопровождаемых LK, корректируется BFM). Благодаря комбинации трех подходов во время сопровождения имеется возможность отсекать точки, не принадлежащие объекту.
Мера похожести. Получив новые координаты ключевых точек сопровождаемого объекта, необходимо оценить корректность полученного результата и оценить общую степень уверенности системы в том, что объект удалось сопроводить. Предлагается вычислять меру уверенности (Confidence), показывающую насколько удачно удалось сопроводить объект. Предложенная мера состоит из 6 параметров и соответствующей весовой функции:
1) средняя схожесть сопоставленных точек (при сравнении дескрипторов в BFM);
2) количество успешно сопровождённых точек (по отношению к общему количеству сопровождаемых точек);
3) оценка меры сходства инвариантных Hu-моментов, вычисляемых на наборе успешно сопоставленных ключевых точек (по сравнению с предыдущим значением);
4) вероятность того, что точки принадлежат сопровождаемому объекту, полученная от байесовского классификатора (обучаемого в процессе сопровождения по бинарным дескрипторам ключевых точек);
5) схожесть площади выпуклого многоугольника, описывающего успешно сопровождённые точки;
6) схожесть периметра выпуклого многоугольника, описывающего успешно сопровождённые точки.
Оцениваемые меры взвешиваются весовой функцией и суммируются, в сумме данные параметры должны составлять единицу для полного совпадения. Некоторые из оцениваемых параметров (Hu-моменты, геометрические соотношения прямоугольников) являются менее точными при малых размерах сопровождаемого объекта и становятся значительно точнее при увеличении его размеров.
Применение весовой функции позволяет динамически изменять вклад оцениваемых параметров в определение меры сходства, что позволяет отдавать больший вклад нужным параметрам при изменении размеров объекта, и в целом повышает устойчивость получаемой оценки меры похожести.
Hu-моменты. Инвариантные моменты представляют собой комбинации нормализованных пространственных моментов с порядком до третьего включительно. Они остаются неизменными при перемещении, повороте и масштабировании изображения. В общем случае момент изображения вычисляется как
Щ>я = xpyq f(x,y)dxdy ,
гдеp,q = 0,1,2,3... n; f (x,y) - функция яркости; x,y - координаты.
Алгоритм Naive Bayes Classifier. Наивный байесовский классификатор [20, 21] - вероятностный классификатор, использующий в своей основе теорему Байеса со строгими (наивными) предположениями о независимости. Классическая область применения данного алгоритма - фильтрация писем от спама.
Основными причинами выбора данного классификатора являются малое количество данных, необходимых для обучения, оценки параметров, классификации, и возможность обучаться во время сопровождения объекта.
В основе классификатора лежит теорема Байеса
Р(с№ =
где, P(c|d) - вероятность, что d принадлежит классу с; P(d|c) - вероятность встретить d среди всей выборки класса с; Р(с) - безусловная вероятность встретить класс с в общей выборке; P(d) - безусловная вероятность d в общей выборке.
При классификации основная задача - определить наиболее вероятный класс объекта (в случае сопровождения - объект/необъект). Байесовский классификатор использует оценку апостериорного максимума для определения наиболее вероятного класса. Опуская вывод итоговой формулы, получаем
с = argmax с G С
loglogDi-+lU Wl
1С
D "L-±W\+TlifeVWifc
(3)
где Dc - количество объектов, принадлежащих классу с; D - общее количество объектов в обучающей выборке; Wic - количество, т.е. сколько раз i-й признак встречается в классе с; V - список всех уникальных объектов.
В простейшем случае выбирается тот класс, который получил наибольшую оценку. Применяя представленный подход к классификации, во время сопровождения можно распознавать два класса: объект и необъект. Под необъектом будем понимать все сторонние структуры вне прямоугольника, описывающего сопровождаемый объект. Используя формулу (3), появляется возможность на следующем поступившем кадре предположить, какой объект какого класса алгоритм пытается сопроводить.
Алгоритм Convex hull. Выпуклой оболочкой (Convex hull) называют наименьшее выпуклое множество, содержащее множество X. Данный алгоритм позволяет более корректно оценивать геометрические изменения объекта, чем простой описывающий прямоугольник, который часто используется в алгоритмах сопровождения.
Алгоритм состоит из следующих шагов.
1. Определяется точка р0 множества с самой маленькой у-координатой (если таких несколько, выбирается самая правая из них), добавляется в оболочку.
2. Все оставшиеся точки сортируются по значению полярного угла относительно р0.
3. Самая первая из отсортированных точек рг добавляется в оболочку.
4. Анализируется следующая по счету точка t. noKat и две последних точки в текущей оболочке pi и pj_ образуют неправый поворот, точка Pi удаляется из оболочки.
5. Точка t добавляется в оболочку.
6. Пункты 4-5 выполняются до тех пор, пока не закончатся точки.
Рис. 4. Пример построения выпуклой оболочки вокруг набора точек
На рис. 4 и 5 представлены примеры построения выпуклой оболочки вокруг набора точек и сопровождаемого объекта. Для полученного таким образом многоугольника можно рассчитать его площадь и периметр,
11
что дает большую точность, чем обычный описывающий прямоугольник. Вычисленные значения можно использовать при определении меры уверенности алгоритма.
Рис. 5. Пример построения выпуклой оболочки вокруг объекта
Оценка корректности сопоставления. Оценка корректности сопоставления точек - одна из важных частей разработанного многокомпонентного алгоритма. От ее правильности зависят дальнейшие этапы работы алгоритма. Рассчитанная ранее мера уверенности является достаточно точной мерой оценки, но поскольку она рассчитывается на основе сопоставленных точек, она может давать некорректные результаты. По этой причине стоит ввести несколько дополнительных условий, по которым будет выноситься решение об успешности сопровождения. К таким условиям относятся:
- количество сопоставленных точек;
- соотношение сопровождаемых точек к сопоставленным;
- разница между предыдущей мерой уверенности и текущей.
Принимая во внимание представленные условия, но в большей степени опираясь на меру схожести, можно корректно оценить правильность сопровождения.
Обновление модели сопровождаемого объекта. В процессе обновления модели сопровождаемого объекта у точек, которые удалось сопроводить, обновляются координаты, дескрипторы и параметры движения. Точки, которые не удалось сопроводить, перемещаются на новые координаты на среднее смещение объекта (если подобные точки не обновлялись достаточно давно, они удаляются из стека точек). Обновляются также Ни-моменты набора ключевых точек объекта, классификатору подаются новые данные для обучения.
Также, поскольку наблюдаемый объект со временем видоизменяется, необходима процедура не только обновления текущих точек объекта, но и добавления новых точек со сцены.
Поиск и добавление кандидатов. Данная процедура пытается добавить к сопровождаемому набору точек объекта точки со сцены. На первом этапе требуется найти возможные точки-кандидаты для сопровождае-
мого объекта. В описывающем прямоугольнике сопровождаемого объекта, увеличенного на 10 % от наименьшей стороны, запоминаются точки сцены, не относящиеся к сопровождаемому стеку.
Сохраненные точки спустя определенный отрезок времени сопоставляются с обновленной сценой. Корректно сопоставленные точки добавляются в кандидаты на добавление (в набор точек объекта) и отслеживаются параллельно с сопровождаемым объектом. Сопровождение кандидатов происходит по той же логике, как и сопровождение объекта.
Процедура добавления ключевых точек из кандидатов различна для объектов разного размера. Для больших объектов проводится кластеризация точек объекта совместно с точками-кандидатами. Из кластера, где соотношение точек-кандидатов к точкам объекта является наибольшим, добавляются точки-кандидаты, которые сопровождались дольше чем другие, в стек сопровождаемого объекта. Для малых объектов добавление происходит путем нахождения той части объекта, где множество сопровождаемых точек объекта наиболее разрежено. Таким образом, точки сцены, движущиеся вместе с объектом, могут быть добавлены к сопровождаемому объекту при условии, что сопровождаемых точек в наборе становится недостаточно, а их текстурные характеристики удовлетворяют критериям классификации Bayes Classifier.
Добавление нового эталона. Использование набора (стека) эталонных описаний объекта позволяет при потере объекта проводить его переобнаружение, используя уже описанные выше алгоритмы и меры оценки. Если мера схожести между последним эталоном и текущим состоянием объекта достаточно высока (но при этом в достаточной мере изменился периметр или площадь), имеет смысл добавить данный сопровождаемый объект как новый эталон. Максимальное количество эталонов в стеке ограничивается в соответствии с доступной производительностью применяемой вычислительной системы.
Потеря объекта. Стоит отметить, что при потере объекта трудно спрогнозировать ожидаемое положение объекта. Поэтому с каждым кадром, на котором не удалось найти объект, требуется постепенно увеличивать зону поиска. В ходе разработки алгоритма было принято решение не превышать зону поиска объекта более чем на 80 % от площади кадра для экономии вычислительных ресурсов.
В данной процедуре с каждой новой итерацией поиска перебирается накопленный список эталонов, которые удалось добавить в стек в ходе работы алгоритма сопровождения, и эталоны по очереди сопоставляются с наблюдаемой сценой до достижения наилучшего соответствия, оцениваемого по мере уверенности, описанной выше. Поиск объекта будет прекращен по истечении N секунд или после корректного повторного обнаружения (с достаточно высокой мерой сходства).
При корректном обнаружении для сопоставленных точек строится описывающий многоугольник, на основании которого со сцены берутся все ключевые точки, которыми заново инициализируется вновь обнаруженный сопровождаемый объект.
На рис. 6 представлены примеры работы разработанного алгоритма сопровождения (красные точки - точки сопровождаемого объекта).
Tracker lime, m s: 23 x: 418
у: 221
points tracking: 109 points scene: 219 numbers ethelons: 2
а
Tracker time, ms: 23
x:441
y: 200
points tracking: 87
б
в
д е
Рис. 6. Этапы сопровождения объекта типа «Группа зданий» (а - в); этапы сопровождения объекта типа «БМП» (г - е)
г
Заключение. Резюмируя изложенное, можно сказать, что разработанный многокомпонентный алгоритм позволяет выполнять высокоскоростную обработку изображений в реальном масштабе времени, что дает возможность использовать данный алгоритм, например, в составе специального программного обеспечения оптико-электронных систем беспилотных и пилотируемых летательных аппаратов.
Использование предложенного многокомпонентного алгоритма показало высокие результаты в сравнении с конкурирующими подходами и с классическими алгоритмами на основе сравнения по шаблону для средне-и крупноразмерных объектов.
На следующем этапе развития алгоритма планируется разработать и внедрить алгоритмы с применением KD-деревьев для хранения и сопоставления ключевых точек, что позволит в значительно увеличить скорость работы алгоритма. Также перспективным является улучшение в части применения классификаторов другого типа. Наиболее перспективным направлением видится использование «Мешка слов» (Bag-of-Words) и вычисления гистограммы ориентированных градиентов (Histogram of oriented Gradients).
Список литературы
1. Kalal Zdenek, Mikolajczyk Krystian and Matas Jiri. Tracking-Learning-Detection // IEEE transactions on pattern analysis and machine intelligence. 2010. VOL. 6, NO. 1. JANUARY.
2. Nebehay Georg, Pflugfelder Roman. Consensus-based Matching and Tracking of Keypoints for Object Tracking, Safety and Security Department. Austria: AIT Austrian Institute of Technology, 2014.
3. Sam Hare, Amir Saffari, Philip H. S. Torr, Struck: Structured Output Tracking with Kernels. Oxford: Oxford Brookes University, Entertainment Europe, 2014.
4. Zhang L. and van der Maaten L. Structure preserving object tracking. // CVPR, 2013.
5. Молчанов А.С. Иконические системы воздушной разведки: основы построения, оценка качества и их применение в комплексах с беспилотными летательными аппаратами. Волгоград: Панорама, 2017. 216 с.
6. Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов / В. А. Бонда-ренко, Г.Э. Каплинский, В. А. Павлова, В. А. Тупиков // Известия ЮФУ. Технические науки. 2019. №1(213). С. 281 - 293.
7. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors // Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
8. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors -Survey // Foundations and Trends in Computer Graphics and Vision. 2008. 3(3). P. 177 - 280.
9. Lowe D.G. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision. 1999. 2. P.1150 - 1157.
10. ORB: an efficient alternative to SIFT or SURF / Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary Bradski. California: Willow Garage, Menlo Park, 2011.
11. Leutenegger S., Chli M., and Siegwart R.Y. BRISK: Binary robust invariant scalable keypoints // ICCV. 2011.
12. Martin Ester, Hans-Peter Kriegel, Jiirg Sander, Xiaowei Xu. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. 67, D-80538 Miinchen: Institute for Computer Science, University of Munich Oettingenstr. 1996.
13. Schubert Erich, Sander Jorg, Ester Martin, Kriegel Hans Peter, Xu Xiaowei. DBSCAN Revisited, Revisited: Why and How You Should (Still) Use DBSCAN // ACM Trans. Database Syst. 2017.
14. Jakubovic Amila, Velagic Jasmin. Image Feature Matching and Object Detection using Brute-Force Matchers. Faculty of Electrical Engineering. Bosnia and Herzegovina: University of Sarajevo, 2018.
15. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization // Remote Sensing. 2019. 11.
16. Shahed Nejhum S.M., Ho J., and Yang M.-H. Visual tracking with histograms and articulating blocks // CVPR, 2008.
17. Shi J. and Tomasi C. Good features to track // Conference on Computer Vision and Pattern Recognition. 1994.
18. Lucas B.D. and Kanade T. An iterative image registration technique with an application to stereo vision // International Joint Conference on Artificial Intelligence. 1981. P. 674 - 679.
19. Horn B.K.P. and Schunck B.G. Determining optical flow // Artificial intelligence. 1981. Vol. 17. No. 1 - 3, P. 185 - 203.
20. Eibe Frank, Remco R. Bouckaert. Naive Bayes for Text Classification with Unbalanced Classes. Computer Science Department. New Zealand: University of Waikato, 2006.
21. Taheri S., Mammadov M. Learning the naive Bayes classifier with optimization models. Centre for Informatics and Applied Optimization School of Science, Information Technology and Engineering. Australia: University of Ballarat.
Бондаренко Владимир Александрович, начальник Центра средств интеллектуальной обработки изображений, b ondarenko @nppam e. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
16
Ельцова Дарья Константиновна, научный сотрудник, eltso va@nppam e. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
Лизин Алексей Игоревич, научный сотрудник, lizin a@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора НПК РТС СН по НИОКР, pavlova@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Созинова Мария Владимировна, начальник отдела перспективных методов обработки изображений, sozinova@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, директор НПК РТС СН, tupikov@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
MULTI-AGENT ALGORITHM FOR AUTOMATIC DETECTION AND TRACKING OF NON-DETERMINISTIC OBJECTS
V.A. Bondarenko, D.K. Eltsova, A.I. Lizin, V.A. Pavlova, M. V. Sozinova, V.A. Tupikov
In order to develop a robust algorithm for the automatic detection and tracking of non-deterministic objects for embedded computing systems, in this work, a study and analysis in the field of state-of-the-art general-purpose automatic tracking algorithms is performed. The most successful of those algorithms suitable for long-term stable automatic tracking of objects (without a priori knowledge of the type of object being tracked) have already gone beyond solving exclusively tracking problems, and include a synergistic combination of several heterogeneous tracking algorithms, as well as at least one automatic detection and / or classification algorithm. A semi-natural testing of the developed algorithm was carried out and its effectiveness in solving tasks not only of automatic tracking of objects, but also in tasks of automatic objects detection using several reference images were evaluated.
Key words: multi-agent algorithm, automatic detection, auto tracking, key points, optical flow, embedded systems.
17
Bondarenko Vladimir Alexandrovich, chief of Intellectual Image Processing Center, bondarenko@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Eltsova Darya Konstantinovna, researcher, [email protected], Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Lizin Aleksey Igorevich, researcher, lizin_a@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director of Research and Production Complex of Special Purpose Robotic Systems, pavlova@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Sozinova Maria Vladimirovna, chief of the department of Advanced Image Processing Techniques, sozinova@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, director of Research and Production Complex of Special Purpose Robotic Systems, tupikov@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
