CC BY
153
УПРАВЛЕНИЕ, ИНФОРМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
УДК 004.932
А. П. Кирпичников, С. А. Ляшева, М. П. Шлеймович
ОБНАРУЖЕНИЕ И СОПРОВОЖДЕНИЕ ОБЪЕКТОВ
В БОРТОВЫХ СИСТЕМАХ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
Ключевые слова: обнаружение объектов на изображении, сопровождение объектов на изображениях, локальные бинарные шаблоны, сопоставление гистограмм, алгоритм сдвига среднего, фильтр частиц.
В работе рассмотрены и проанализированы методы обнаружения и сопровождения объектов, которые можно эффективно реализовать в реальном времени в составе бортовых систем мобильных объектов.
Keywords: detect objects on images, tracking objects on images, local binary patterns, histogram matching, mean shift algorithm,
particle filters.
In this paper discusses and analyzes the methods of detection and tracking of objects that can be implemented efficiently in real-time as part of on-board systems of mobile objects.
Бортовые системы современной движущейся техники (мобильных объектов) представляют собой сложные интегрированные комплексы, в составе которых, как правило, присутствуют средства машинного зрения, основанные на применении технологий обработки и анализа изображений различной природы, например, оптических, инфракрасных и радиолокационных [1].
Среди задач, решаемых бортовыми средствами машинного зрения, можно выделить обнаружение и сопровождение объектов на изображениях. В этом случае предполагается получение и обработка последовательности кадров видеоизображения. Примерами объектов, которые требуется обнаруживать и сопровождать, могут служить автомашины, люди, дома, маяки, дорожная разметка [2].
Условно обработку видеоизображений в системах обнаружения и сопровождения объектов можно разделить на следующие этапы:
1. Обнаружение объектов на изображении;
2. Отслеживание траектории объектов;
3. Анализ траектории объектов.
При этом необходимо обеспечить реализацию эффективных алгоритмов обработки изображений, ориентированных на использование в реальном времени [3].
При проектировании систем на базе средств машинного зрения, возникает ряд трудностей, связанных с тем, что нет универсальных алгоритмов решения задач обработки изображений. Кроме того, имеются ограничения, определяемые
конструктивными недостатками аппаратных устройств, таких, как ограничения динамических диапазонов свето- и цветопередачи, дискретность фотоприёмников, астигматизм оптического канала, ошибки калибровочных характеристик и временных привязок потока видеоданных и т.д. [1, 2].
Преодоление указанных трудностей возможно только при условии разработки новых эффективных математических методов и
алгоритмов обработки и анализа изображений в процессе решения конкретных задач управления мобильными объектами.
Таким образом, разработка методов и средств машинного зрения, используемых в системах управления мобильными объектами, является актуальной научно-исследовательской и практической задачей.
Рассмотрим методы, применяемые для обнаружения и сопровождения объектов.
Под обнаружением объекта будем понимать определение некоторой области изображения, ограничивающей данный объект. На выходе процедуры обнаружения должно быть получено описание данной области, включающее ее положение на изображении, размеры и характерные особенности. Обнаружение может быть ручным или автоматическим. Ручное обнаружение объекта интереса заключается в просмотре кадров человеком-оператором и указании им области интереса. Автоматическое обнаружение подразумевает поиск области, содержащей объект, в соответствии с заданным критерием, например, допустимой степенью сходства с заданным шаблоном (изображение объекта или совокупность его характеристик).
Один из возможных подходов к решению задачи обнаружения состоит в использовании методов машинного обучения для построения моделей классов объектов [4]. Данные методы эффективно используются, например, для обнаружения лиц, пешеходов, транспортных средств. Однако необходимо отметить, что в этом случае часто необходимо предварительно подготовить обучающую выборку - множество примеров объектов классов.
Другой подход к обнаружению объектов основан на применении методов поиска по шаблону [4]. В этом случае выделяются и сравниваются однотипные признаки изображения и шаблона. В простейшем случае в качестве шаблона может выступать изображение объекта. Более сложные
методы предполагают использование характерных черт (дескрипторов) изображения объекта, которые можно разделить на цветовые, текстурные, геометрические и структурные. В процессе поиска осуществляется перемещение по изображению окна заданных размеров и сравнение описания области, соответствующей текущему положению окна и шаблонного изображения по некоторой метрике.
Традиционная техника сравнения текущего изображения с шаблоном основывается на рассмотрении изображений как двумерных функций яркости или цвета. При этом часто используется корреляционная метрика, основанная на нормированном коэффициенте корреляции.
Часто применяются методы поиска с использованием пирамиды изображений, позволяющие значительно сократить время обработки.
Эффективны методы, основанные на применении алгоритмов детектирования точечных особенностей (ключевые точки, особые точки), например, детектор углов Харриса, SIFT, SURF.
Один из развивающихся подходов основан на вейвлет-преобразовании. В этом случае используются сигнатуры - укороченные квантованные версии вейвлет-разложений. Для определения степени сходства изображений вычисляется количество их общих значимых вейвлет-коэффициентов или характеристик на их основе.
Результаты исследований показали, что эффективным соотношением между точностью, временем и ресурсоемкостью для бортовых систем мобильных объектов обладают методы обнаружения на основе локальных бинарных шаблонов [5].
Локальные бинарные шаблоны
используются для описания текстурных характеристик изображений. Локальный бинарный шаблон (ЛБШ) представляет собой описание окрестности точки изображения в двоичной форме. Оператор ЛБШ, который применяется к пикселу изображения, использует N пикселов окрестности, принимая центральный пиксел в качестве порога. Пикселы окрестности, интенсивности которых больше или равны интенсивности центрального пиксела принимают значения 1, а остальные -значения 0. Таким образом, получается N-разрядный бинарный код, который описывает окрестность пиксела:
LBP(xc, ,ус) = £ s(g, - gc )2i
i=0
(1)
где хс, ус - координаты пиксела, gc - интенсивность пиксела, gi - интенсивности пикселов окрестности, / = 0, ..., N - 1, 5 - пороговая функция, определяемая следующим образом:
[1, х > 0,
х) = ]' ' (2)
[0, х < 0.
Обычно используются восьмиразрядные ЛБШ.
Локальный бинарный шаблон называется равномерным, если он содержит не более трех серий 0 и 1 (например, 00000000, 001110000 и 11100001). Равномерные ЛБШ определяют только наиболее
важные локальные особенности изображения и обеспечивают существенное сокращение множества различных кодов. Например, на рис. 1 показаны коды для описания следующих элементов изображения: пятно (а), пятно/фон (б), конец линии (в), грань (г), угол (д).
а) б) в)
Рис. 1 - Равномерные ЛБШ
Дескриптором области изображения на основе ЛБШ является гистограмма кодов. При сравнении гистограмм Н и Н2, содержащих К ячеек, могут быть использованы различные метрики, например [6]:
- корреляционное расстояние:
£ н i(k )н 2 (k)
d (H i, н 2) =
k=i
£ H 12(k )H 22(k)
k=1
(3)
где H (k) = Ht (k) - — £ Ht (l), i = 1,2, K i=i
- расстояние Хи-квадрат:
d (H1, H 2) =£
к (h 1(k) - h 2 (k ))2
k=1 H 1(k) + H 2 (k)
пересечение:
d (H1, H 2) =£ min(H 1(k), H 2 (k)), k=1
расстояние Бхатачария:
d (H1, H 2) =
логарифмическое правдоподобие:
к JH 1(k) H 2 (k)
1 - £ I =
k=1 K K
£ H 1(k) £ H 2 (k)
k=1 k=1
d (H1, H 2) = -£ H1 (k )log H 2 (k).
(4)
(5)
(6)
(7)
k=1
Поскольку вычисление расстояния пересечения гистограмм требует наименьшего времени, то именно его можно рекомендовать для применения в бортовых системах мобильных объектов, работающих в реальном времени.
Алгоритмы на основе локальных бинарных шаблонов активно применяются для обнаружения и сопровождения лиц, транспортных средств, объектов естественной природы и решении других задач.
После обнаружения объекта на одном из кадров видеоизображения необходимо выполнить отслеживание траектории его движения, т.е. определить его положение на следующих кадрах.
Одним из подходов здесь является корреляционное слежение за объектами, которое осуществляется путем сравнения изображения объекта, полученного с одного из предыдущих
N-1
кадров (или некоторого базового шаблона объекта) с последующими кадрами. При этом считается, что максимуму корреляционной функции соответствует местоположение искомого объекта на новом кадре. Последовательное сканирование изображения с вычислением значения корреляционной функции для каждой его области в этом случае требует значительного времени.
Менее ресурсоемким и при этом эффективным алгоритмом является алгоритм сдвига среднего, который принято называть Меап8Ы1й [7]. Идея алгоритма состоит в том, что для каждого объекта выбирается окно поиска и вычисляется центр масс распределения его характеристик, который задает положение объекта на текущем кадре. Это же положение является начальным для поиска на следующем кадре. Далее подробно рассмотрим подход, на котором базируется этот алгоритм.
В основе метода Меап8ЫШ: лежит ядерная оценка плотности распределения:
1 " 1
/ (х) =-£ К (х - х;) = -£ ск
п ¿=1 П г=1
Г 2 Л
х - х; 1
к
V
(8)
где х; - вектора признаков точек распределения; I = 1, ..., п; К - ядро распределения; к - ядерная функция (или парзеновское окно); к - размер парзеновского окна.
Градиент функции /х) имеет следующий
вид:
1 п
У/(х) =-£УК (х - х;) =
п i=1
Е я
i =1
х - х;
2 Л
Е х1 я
i =1
2 Л
х - х;
к
/
Е я
¿=1
Г 2Л
х - х;
к
V /
(9)
где я(г) = -к'(г) - функция первой производной ядерной функции.
Выражение (9) в качестве сомножителя содержит вектор сдвига среднего с ядром
О(х) = ся
Г 2Л
х - х;
к
V
т(х) =
Е х1 я
i =1
2Л
х - х;
к
/
Ея
i =1
Г 2Л
х - х;
к
V /
--х .
(10)
Из выражения (10) видно, что сдвиг среднего представляет собой нормализованный градиент плотности, задаваемой ядром О.
В общем виде алгоритм сдвига среднего можно сформулировать следующим образом:
1. Определить положение и характеристики центра масс области с заданным объектом на первом кадре последовательности;
2. Для каждого последующего кадра:
2.1. Вычислить вектор сдвига среднего относительно предыдущего центра масс;
2.2. Переместить центр масс в соответствии в новое положение;
2.3. Если центр масс не изменился, то перейти к анализу следующего кадра, иначе -перейти к шагу 2.1.
Повысить устойчивость алгоритма можно за счет уточнения положения предполагаемой области изображения с сопровождаемым объектом на основе сравнения гистограмм используемых характеристик. Например, в литературе описаны алгоритмы,
базирующиеся Бхатачария.
В качестве алгоритмов можно гистограмм кодов,
на применении расстояния
модификации указанных предложить использование полученных с помощью оператора локальных бинарных шаблонов.
Сопровождение объектов на изображении можно рассматривать как задачу теории управления, которая заключается в оценке состояния системы на основе последовательности зашумленных измерений. В этом случае строится модель наблюдения и модель состояния. При обработке кадров видеоизображения последовательно выполняется предсказание и коррекция данных моделей [4].
Одними из часто применяемых алгоритмов данного класса являются алгоритмы, базирующиеся на фильтре Кальмана [4, 7]. Они строятся в предположении, что движение является линейным, а шумы описываются функцией гауссова распределения с нулевым математическим ожиданием. Однако на практике данные условия часто не выполняются. Поэтому алгоритмы сопровождения на основе фильтра Кальмана могут давать значительные ошибки.
Более общим подходом к решению задач сопровождения являются фильтры частиц, основанные на методах Монте-Карло [4, 8, 9].
Данный подход предполагает создание и анализ набора частиц (выборок). Каждая частица предсказывает положение отслеживаемого объекта. Действительным положением объекта на кадре считается математическое ожидание положений, задаваемых частицами.
Пусть |х 1к ]г=1 - множество положений центров частиц на к-м кадре видеоизображения, а ^ к} - множество наблюдений, сделанных на кадрах видеоизображения. Тогда условная плотность распределения вероятности положения объекта на к-м кадре в зависимости от сделанных до этого наблюдений может быть аппроксимирована на основе метода Монте-Карло следующим образом:
Р(хк I 21:к ) ~Е ™'к5(хк - хк)!
(11)
где
к 1С
■ =1 - множество весов частиц на к-м кадре,
5 - дельта-функция Дирака, z1:k = z1z2 ... zk.
Веса, связанные с частицами, определяются по формуле:
-х
к
г=1
^ = РМ, (12)
к I )
где ч - функция важности, обеспечивающая генерацию множества частиц. Например, в алгоритме воспроизведения условной плотности СОМЭЕ^АТЮМ используется функция важности:
к 1 ^1'1:к ) = Р(xк 1 -1 ), (13)
которая позволяет определить веса следующим образом:
W^k = p(zк | Xк ). (14)
Для вычисления условной плотности р(г к | x к) при расчете весов по формуле (14) часто применяются функции, основанные на расстоянии между характеристиками области на кадре, соответствующей частице, и характеристиками области объекта. Например, часто используется гауссова функция.
Вычислив веса и определив положение центров частиц, можно вычислить оценку положения объекта на к-м кадре:
N
Xк xк . (15)
г=1
Двумя важными этапами алгоритмов на основе фильтра частиц являются:
1) начальные распределения положений частиц и их весов,
2) создание нового множества частиц на основе текущего.
Например, начальное распределение положений частиц можно задать как смещенное случайным образом положение объекта на первом
1
кадре, а начальные веса сделать равными —, где
N
N - число частиц. Для создания нового множества частиц вычисляется оценка значимости частиц текущего множества, удаляются незначимые частицы, а вместо них формируются новые, исходя из положения объекта на текущем кадре.
Отметим также, что часто применяются техники, основанные на уточнении значений весов.
Для повышения эффективности алгоритмов на основе фильтров частиц в настоящее время разрабатываются их модификации, использующие гистограммные характеристики и процедуры сдвига среднего [9].
Достоинством фильтров частиц является возможность естественного распараллеливания, что позволяет значительно повысить скорость отслеживания объектов на изображениях.
Последний этап обобщенной схемы обработки видеоизображений в системах обнаружения и сопровождения объектов заключается в анализе траектории движения объекта. На данном этапе определяются характеристики движения высокого уровня, например, связанные с возможностью выезда на полосу встречного движения или столкновения с находящимся впереди транспортным средством. Точность и оперативность решения задач на этом этапе в значительной степени определяются алгоритмами, описанными выше.
Таким образом, применение алгоритмов анализа текстурных характеристик на основе локальных бинарных шаблонов, обнаружения и сопровождения объектов с помощью алгоритмов сдвига среднего, фильтров частиц и их комбинации позволяет обеспечить эффективное принятие решений в системах управления мобильными объектами.
Литература
1. Техническое зрение в системах управления мобильными объектами-2010: Труды научно-технической конференции-семинара. Вып. 4 / Под ред. Р.Р.Назирова. - М.: КДУ, 2011.
2. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б.А.Алпатов, П.В.Бабаян, О.Е.Балашов, А.И.Степашкин. - М.: Радиотехника, 2008.
3. Аун С., Шарнин Л.М., Кирпичников А.П. Информационно-измерительная система слежения за движущимися объектами // Вестник Казан. технол. унта. 2011. - Т. 14. №16. - С. 224-232.
4. Разработка мультимедийных приложений с использованием библиотек OpenCV и IPP [Электронный ресурс] //Национальный Открытый Университет «ИНТУИТ» [Офиц. сайт]. URL: http://www.intuit.ru/studies/courses/10622/1106/info.
5. Matti Pietikinen, Abdenour Hadid, Guoying Zhao, Timo Ahonen Computer Vision Using Local Binary Patterns. -Springer; 2011.
6. Gary Bradsky, Adrian Kaehler Learning OpenCV Computer Vision with the OpenCV Library - O'Reilly, 2008.
7. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. - М.: Издательский дом «Вильямс», 2004.
8. Мокшин В.В., Кирпичников А.П., Шарнин Л.М. Отслеживание объектов в видеопотоке по значимым признакам на основе фильтрации частиц // Вестник Казан. технол. ун-та. 2013. - Т. 16. №18. - С. 297-303.
9. Emilio Maggio, Andrea Cavallaro Video tracking: theory and practice / Andrea Cavallaro, Emilio Maggio. - John Wiley & Sons, Ltd.
© А. П. Кирпичников - д. ф.-м. н., зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, kirpichnikov@kstu.ru; С. А. Ляшева - к.т.н., доц. каф. прикладной математики и информатики КНИТУ-КАИ; М. П. Шлеймович - к.т.н., доц. каф. автоматизированных систем обработки информации и управления КНИТУ-КАИ, shlch@mail.ru.
© A. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems and Information Systems Control, KNRTU, kirpichnikov@kstu.ru; S. A. Lyasheva - PhD, Associate Professor of the Department of Applied Mathematics & Informatics, KNRTU-KAI; М. П. Шлеймович - PhD, Associate Professor of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, shlch@mail.ru.
