CC BY
22
УДК 004.932
РАЗРАБОТКА ВИДЕОСИСТЕМЫ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ
А.С. Тарасов, М.Б. Никифоров
Рассматривается разработка системы сопровождения объектов в реальном времени. Для сопровождения применяются алгоритмы сравнения с шаблоном, вычисление оптического потока и предсказание направления движения. Для оптимизации работы предлагается алгоритм выделения потенциальной области поиска цели.
Ключевые слова: сопровождение объектов, оптический поток, ключевые точки, сравнение с шаблоном, поиск.
Среди задач в области систем технического зрения особо выделяются задачи сопровождения объектов. До сих пор не существует единого подхода, который бы давал высокие показатели качества. В данной работе предлагается система, основанная на использовании комбинации различных методов (рис. 1).
В ходе проведения научных исследований [1, 2] было выявлено, что наилучшие показатели при сопровождении объектов демонстрируют методы, основанные на корреляционном поиске. Дополнительно, для разрешения случаев частичного перекрытия применяется оптический поток [3], для случаев полного перекрытия - метод экстраполяции направления движения [1].
Рис. 1. Схема разработанного комплекса
Область поиска фрагмента изображения. Перед выполнением сопровождения осуществляется специальный алгоритм усечения области поиска объекта. Это позволяет ускорить работу и повысить точность обнаружения цели. Вычисление области поиска объекта в новом кадре осуществляется на основе сведений о направлении движения цели и её скорости. На рис. 2 приведена демонстрация алгоритма выбора области поиска объекта в новом кадре. Серая область - зона, не участвующая в поиске цели.
В ходе проведения эксперимента было получено, что применение данного подхода позволяет ускорить поиск объекта в 5 - 20 раз. В том случае, если резко уменьшается достоверность получаемых данных, область поиска расширяется.
Рис. 2. Выбор области поиска
Поиск фрагмента при помощи алгоритма SPM. В качестве основополагающего метода используется разработанный алгоритм SPM (Self-learning Pattern Matching - Поиск на основе самообучающихся шаблонов), основанный на нахождении переобучаемого шаблона в зоне поиска [1]. Принцип его работы, следующий: после того, как выделена потенциальная область расположения объекта в кадре, выполняется поиск шаблона (цели) на текущем кадре. Для этого применяется алгоритм корреляционного совмещения. В его основе лежит полный перебор всех возможных вариантов расположения области на кадре. В каждом таком расположении вычисляется степень соответствия фрагмента шаблону - степень корреляции. Функцию, используемую для данного сравнения называют корреляционной. Таких функций описано несколько десятков, однако в условиях временных ограничений наилучшие результаты показывает функция SQDIFF, представляющая собой сумму квадратов разности интенсивности пикселей:
Здесь T - изображение искомого шаблона; I - кадр, в котором происходит поиск данного эталона.
Применяемый метод наиболее эффективно работает в тех ситуациях, когда скорость изменения объекта или его расположения не велика. В том случае, если в зоне сопровождения начинают возникать значительные искажения, то необходимо использовать иной подход к решению, например, сопровождение оптического потока [3, 4].
Понять, когда происходит наступление подобных искажений помогает следующая формула:
п т
¿=о у=о
где D - величина искажения объекта; п и т - ширина и высота области цели; E - шаблонное изображение цели; T - текущее изображение цели на кадре; M - маска, сформированная на основе сведений о перемещении объекта.
В том случае, если объект скрылся за препятствие или сильно изменил свои характеристики, значение данной величины продемонстрирует значительный скачок. Ниже представлен график величины D с течением времени, когда объект был в кадре и когда скрылся (рис. 3).
Рис. 3. Степень соответствия величины различным кадрам при одинаковом эталоне и маске
Чем меньше значения величины D, тем выше вероятность того, то объект пропал из зоны видимости. Чем больше значения данной величины, тем больше предпосылок для переобучения маски и эталона.
В ходе работы алгоритма для данной величины формируются 2 пороговых значения: Dl - порог начала обучения шаблона; D2 - порог начала определения найденной области как цели.
В зависимости от значения данной величины выполняется корректировка шаблона. Это позволяет при незначительных искажениях выполнить адаптацию шаблона и маски под новые характеристики. Выполняется это следующим способом:
Е1 = 0,9 X + 0,1 X ; М; = 0,9 X + 0,1 X - 7^), где ЕI - шаблон цели на /-м кадре; - текущая область расположения цели; М^ - маска для вычитания фона.
Наиболее часто, трансформации объекта на кадре близки к аффинным, и, одним из способов адаптации к возникающим изменениям является периодические проверки на различных преобразованиях. В работе алгоритма предусмотрен анализ следующих ситуаций:
поворот объекта на +/- 10 градусов; сжатие/растяжение объекта на 20 %; увеличение/уменьшение на 20 %.
каждая из перечисленных ситуаций применяется поочерёдно к кадру, и, в том случае, если данный вид искажений демонтирует повышение величины D, более чем на 20 % выполняется принудительное переобучение шаблона под изменившиеся условия.
Поиск фрагмента при помощи метода SOF. Несмотря на широкие возможности метода SPM, в реальной жизни достаточно ситуаций, в которых объект меняет свою освещённость, габариты, скрывается за деревьями и тенями зданий. Все эти условия приводят к многочисленным сбоям в работе выше представленного метода. Одним из подходов к решению подобных проблем является применение метода SOF (Sparse Optical Flow - Разреженный оптический поток), основанного на вычислении разреженного оптического потока.
Оптический поток - изображение видимого движения, представляющее собой сдвиг каждой точки между двумя изображениями. Для рассматриваемых наборов кадров это по сути поле мгновенных скоростей. Примеры векторов оптического потока для выбранных точек представлены на рис. 4.
Рис. 4. Векторы перемещения точек на изображении
Оптический поток - это плотная карта значений (векторов) для всего изображения и для каждого его пикселя. Однако, в условиях цветовой неоднозначности, большая часть полученных векторов может быть разнонаправ-лена. Для повышения надёжности данного алгоритма и минимизации частоты возникновения таких векторов было предложено вычисление разреженных карт оптического потока только для точек, которые являются
190
угловыми. Для того, чтобы определить набор таких локаций, применяется детектор ключевых точек AKAZE (Accelerated KAZE detector), величина порогового значения которого вычисляется динамически для каждого кадра, с целью нормализации количества ключевых точек в зоне поиска [5, 6].
Для каждой вычисленной точки запускается процедура сравнения окрестностей. Это необходимо для того, чтобы проанализировать возможные промахи в применении алгоритма. Результатом работы становится некоторый массив векторов перемещений точек. Среди них есть 2 основных направления - направление движения фона и объекта. Выбрав медианное значение величины передвижения удастся вычислить истинное значение вектора перемещения объекта.
Сопровождение объекта в условиях ограниченной видимости. В том случае, если оба представленных метода демонстрируют низкие показатели качества, необходимо исключить возникновение случайных срабатываний и перейти в режим прогнозирования положения цели. Прогнозирование положения цели осуществляется при помощи специального фильтра, основанного на сведениях о поведении объекта за последние несколько кадров:
х = р + s * i,
где p - координата с возможным расположении цели; s - значение средней скорости движения цели по данной координате; i - кадр, для которого выполняется прогнозирование.
Для того, чтобы алгоритм корректно работал, для каждого корректного расположения цели выполняется расчёт данных параметров: р = (1 — D) * р + D * х; s = (1 — D) * s + D *(р — х).
Заключение. Предложенные методы демонстрируют высокую надёжность сопровождения. На рис. 5 отражена скорость работы и количество сбоев у представленной модели и классического коррелятора.
Сравнение предложенных методов
1000 800 600 400 200 0
Время работы (мс) Корреляционное совмещение
Количество сбоев Представленный алгоритм
Рис. 5. Сравнение алгоритмов по основным характеристикам
(время и качество работы)
Данная методология поиска позволяет не только сопроводить объект, но и определить возможные ложные срабатывания.
Список литературы
1. Tarasov A., Potapova V., Belyakov P., Melnik O. The Developing of Targets Tracking Complex // Proceedings of EWDTS-2018, Казань, 2018.
2. Новиков А.И., Саблина В.А., Горячев Е.О. Применение контурного анализа для совмещения изображений // Известия Тульского государственного университета. Технические науки, 2013. Вып. 9. Ч. 1. С. 260 - 270.
3. Lucas B.D., Kanade T. An iterative image registration technique with an application to stereo vision // Proceedings of Imaging Understanding Workshop, 1981. С.121-130.
4. Беляков П.В., Никифоров М.Б. Вариационный метод вычисления оптического потока в системе-на-кристалле // Цифровая обработка сигналов, 2018. №3. С. 76-82.
5. Абдухаликов А., Беляков П., Никифоров М. Реализация на ПЛИС алгоритма поиска ключевых точек на изображении // МНТК «Современные технологии в науке и образовании». Рязань, 2016. С. 103-108.
6. Ustukov D., Muratov Y., Nikiforov M., Gurov V. Implementing one of stereovision algorithms on FPGA // Mediterranean Conference on Embedded Computing. Bar, 2016. P. 125-130.
Тарасов Андрей Сергеевич, магистрант, инженер, [email protected], Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доцент, [email protected], Россия, Рязань, Рязанский государственныйрадиотехниче-ский университет
THE TARGET TRACKING VIDEO SYSTEM DEVELOPMENT A.S. Tarasov, M.B. Nikiforov
In this paper discussed real time target tracking system development. Template matching, Optical flow & Motion prediction are used. Rectangle of interest is usedfor describe optimization task.
Key words: template matching, optical flow, key points, target tracking.
Tarasov Andrey Sergeevich, master, engineer, vb2005@,yandex.ru, Russia, Ryazan, Ryazan state radio engineering university,
Mikhail Borisovich Nikiforov, candidate of technical sciences, docent, [email protected], Russia, Ryazan, Ryazan state radio engineering university
