CC BY
31
УДК 621.397.48 : 004.932.2 DOI: 10.15587/2313-8416.2017.96524
СТРОБИРОВАНИЕ ОТМЕТОК ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМЕ ОБРАБОТКИ ИЗОБРАЖЕНИЙ СО СТАЦИОНАРНОЙ ВИДЕОКАМЕРОЙ
© А. В. Беляев, В. М. Карташов, Ф. А. Лутуангу
Предлагается метод увеличения быстродействия системы обработки изображений со стационарной камерой с помощью применения операции стробирования обнаруживаемых объектов. В статье приводится краткий анализ наиболее часто используемых на практике методов слежения за движущимися объектами на изображениях со статическим или динамическим фоном. Приводятся и анализируются показатели быстродействия метода в условиях высокой помеховой обстановки
Ключевые слова: обработка изображений, алгоритмы слежения, распознавание образов, стробирова-ние отметок, стрелковый тренажер
1. Введение
В основе статьи заложены материалы предыдущего нашего исследования [1], в котором были описаны алгоритмы обнаружения, применяемые в мультимедийных стрелковых тренажерах (МСТ). В этих материалах отражены результаты внедрения разработанных нами тренажеров, на которые был получен патент [2], и в дальнейшем проведено усовершенствование этих тренажеров модулем внесения поправок на метеоусловия и дальность [3, 4].
В МСТ используются системы обработки изображений со статичной видеокамерой. На рис. 1 схематически представлен принцип действия рассматриваемой системы.
Рис. 1. Упрощенная структура системы обработки сигналов мультимедийного стрелкового комплекса
Как и любая система компьютерного зрения, мультимедийный стрелковый тренажер имеет в своем составе видеокамеру, осуществляющую мониторинг изменений на проекционном полотне мишени. Получаемый видеопоток обрабатывается на компьютере с использованием одного или нескольких методов обнаружения информационных объектов. Искомым объектом поиска методов обработки изображений в мультимедийных стрелковых тренажерах является пулевая пробоина на экране, в случае работы системы с боевым оружием, или лазерное пятно, если система работает с лазерными имитаторами, закрепленными на оружии.
Задача слежения за движущимися объектами в мультимедийном стрелковом тренажере достаточно часто рассматривается применительно к двоично квантованному изображению, что позволяет значительно повысить скорость работы алгоритмов обнаружения информационных объектов. Предложенные в [1] алгоритмы обнаружения обладают высокими показателями точности при работе системы в условиях высокой помеховой обстановки, а также при сильной засветке. Однако наличие большого количества помеховых объектов на изображении может увеличить требования к скорости выполнения вычислений, что не позволит выполнять покадровую, а иногда и через кадровую обработку. Для решения этой задачи предлагается использовать в мультимедийных стрелковых комплексах алгоритмы слежения за движущимися объектами, что позволит предсказывать координаты этих объектов, не прибегая к повторному циклу их вычислений.
2. Литературный обзор
Основная задача используемых в стрелковом комплексе алгоритмов обработки сигналов заключается в обнаружении и измерении координат центра пулевой пробоины или пятна, образуемого лучом лазера на экране.
При этом алгоритмы обработки сигналов, используемые в комплексе, должны обеспечивать высокое быстродействие для достижения минимально возможного промежутка времени между выстрелами, а также высокую точность определения координат пробоины.
Поставленная задача сводится к разработке методов распознавания образов, которая является типичной и базовой в обработке изображений. Методы распознавания образов, использующие энергетические показатели изображения, основаны на выделении локальных признаков или на использовании полного описания изображения [5]. Характерные локальные признаки образа выделяются после предварительной обработки изображения, что приводит к сокращению описания образа. Далее применяется стандартный статистический подход для распознавания образов.
Метод, использующий энергетические показатели изображения, впервые был применен для описа-
ния шестнадцати лицевых параметров человека. Затем метод был усовершенствован путем увеличения пространства признаков до тридцати пяти элементов, что позволило улучшить качество распознавания [5].
Для распознавания образов на изображениях используется также преобразование Хафа [6], оператор симметрии Рейзфилда [7], фильтрация Графа и морфологические операции [8]. При извлечении признаков вручную возможно достичь более высокого качества распознавания, но при таком подходе значительно ухудшается производительность системы при формировании признаков [9].
В исследованиях также описаны различные методы обнаружения и сопровождения движущихся объектов в системах видеонаблюдения. Наибольшее распространение получили системы, основанные на выделении движения в кадре с помощью вычисления межкадровой разности, которое может формироваться тем или иным способом [10]. После применения операторов математической морфологии к анализируемому изображению достаточно большие области движения принимаются за объекты. Несомненными достоинствами данного алгоритма является исключительная простота реализации и высокая производительность. В то же время существует ряд проблем, которые делают этот алгоритм практически неприменимым на практике. При обработке видеопотока приходится сталкиваться с такими трудностями, как изменения заднего плана, изменение освещения, движущиеся тени, шум камеры [11]. Для решения перечисленных проблем используются более сложные методы выделения движения на основе вероятностных моделей заднего плана [12]. Ценой более низкой чувствительности к вышеперечисленным факторам является большая ресурсоемкость. Кроме того, неточное выделение объекта может негативно повлиять на работу алгоритмов классификации объектов.
В ряде задач требуется с высокой точностью выделять определенные классы объектов. Для этого используются различные методы классификации, в том числе на основе шаблонов, анализа контуров, анализа принципиальных компонент и другие [13]. В последнее время широкое распространение получили методы на основе машинного обучения по прецедентам (байесовские, нейронные сети, метод опорных векторов). Такие методы формируют автоматические классификаторы с использованием тренировочной выборки положительных и отрицательных образцов. По результатам сравнения своей точностью выделяется метод усиления слабых классификаторов [14]. Основная идея метода заключается в итеративной минимизации выпуклого функционала ошибки классификации путем добавления в комитет очередного слабого классификатора [15].
Вышеперечисленные методы позволяют создавать на их основе системы обработки изображений любой сложности и применять в них слежение за движущимися объектами в видеопотоке для улучшения статистических характеристик. Однако применение этих методов только уменьшает быстродействие системы из-за добавления дополнительных операций, что непозволительно, когда необходимо осуществлять обработку изображений в режиме реального
времени. В исследовании предложено использовать методы слежения за движущимися объектами не только для улучшения статистических характеристик, но и для увеличения быстродействия системы обработки изображений.
3. Цель и задачи исследования
Цель исследования - на основе моделирования и натурного эксперимента увеличить быстродействие методов обработки изображений в видеопотоке с сохранением статистических характеристик МСТ.
Для достижения цели исследования были поставлены следующие задачи:
1. Осуществить математическое описание метода слежения за движущимися объектами в видеопотоке с использованием операции стробирования, подтвердить сохранение статистических характеристик методов обнаружения.
2. Дать оценку быстродействия системы путем сравнения показаний без использования метода стро-бирования, и с его использованием.
4. Математическое описание метода стро-бирования движущихся объектов
В практических приложениях, рассчитанных на использование в реальном времени, распознавание образов часто выполняют в виде следующей последовательности действий (рис. 2):
- получение изображения (1);
- сегментация и адаптивная бинаризация изображения (2);
- серия морфологических операций (3);
- формирование пространства признаков объектов (4);
- принятие решения об обнаружении или необнаружении полезного сигнала с объекта (5).
Рис. 2. Упрощенная схема распознавания образов на изображении
При работе системы с лазерными имитаторами во время произведения выстрела имитатор оставляет на проекционном экране кратковременное световое пятно. Длительность излучаемого светового импульса - порядка нескольких сотен миллисекунд. Следовательно, искомый объект будет присутствовать в видеопотоке некоторое количество кадров и совершать при этом незначительное по амплитуде резкое движение в одном из направлений вследствие дрожания руки стрелка во время произведения выстрела. Аналогичная ситуация имеет место, когда производится слежение за процессом прицеливания стрелка -в данном случае слежение за световым пятном про-
исходит с самого начала его появления на экране тренажера.
Методы, применяемые для решения задачи обнаружения светового пятна на изображении, рассмотрены в [1]. Для уменьшения объемов вычислений на этапе принятия решений предложено формировать область захвата объекта - строб - пределы которого, на основе вектора скорости его движения, объект не покинет в течение некоторого времени.
Одной из основных операций при обработке изображений в МСТ является отбор отметок движущихся объектов (из числа полученных в кадре видеопотока) для продолжения траекторий их движения. Отбор объектов и их «привязка» к сопровождаемым траекториям производится на основе сравнения координат новых объектов с экстраполированными координатами и характеристиками сопровождаемых траекторий. В простейшем случае селекция производится только по координатам.
Сравнение координат новых объектов и экстраполированных точек в принципе можно производить во всей зоне обзора камеры, например, по критерию минимального расстояния между ними. Однако объем вычислений в этом случае будет чрезвычайно велик. Для упрощения процесса селекции траекторий и сокращения объема вычислений сравнение координат новых объектов и экстраполированных точек предлагается производить в стробах.
При слежении за несколькими целями в присутствии помех (внутренних и внешних) в строб могут попадать не только отметки, принадлежащие той траектории, для которой он построен, но и ложные отметки, образованные прошедшими фильтр первичной обработки помехами, или даже отметки, принадлежащие другим траекториям. Поэтому при обработке изображений с использованием стробирования возникает необходимость селекции отметок, попавших в строб, с целью выбора одной отметки, вероятность принадлежности которой к сопровождаемой траектории наибольшая.
Для ускорения работы, используемого в мультимедийном стрелковом тренажере алгоритма вычислений координат искомых объектов на изображении, предложено использование упомянутых ранее стробов селекции. Строб селекции - область вокруг предсказанного измерения, используемая для дополнительного анализа.
В соответствии с основным принципом построения траекторий [16] координаты нового объекта в кадре могут быть использованы для продолжения сопровождаемой траектории, если его отклонение от центра строба не превышает некоторую фиксированную величину, определяемую размерами строба, т. е. если
AU.
= (Ах1
,Ay. |
¡стр? •/ гетр )
ЛЦ - размеры строба по координатам х, у для 1-й траектории.
Основной задачей, в процессе селекции траекторий путем стробирования, является выбор формы и размеров стробов на основе детального изучения статистических характеристик отклонения истинных (принадлежащих сопровождаемой траектории) отметок от соответствующих экстраполированных точек.
Отклонение истинных координат объекта от центра строба определяется суммарными (случайными и динамическими) ошибками экстраполяции координат траектории по предыдущим сглаженным значениям его параметров и ошибками единичного измерения координат новых координат.
Рассмотрим более детально статистические характеристики этих ошибок.
Пусть по данным предыдущих (п-1) кадров произведена экстраполяция координат траектории цели на следующий п-й кадр. Суммарные отклонения координат нового объекта от экстраполированной точки в выбранной системе координат будем обозначать ЛхЕ, ЛуЕ. Величины этих отклонений (при условии отсутствия систематических ошибок измерения) соответственно равны
^Х = А сл x + А
АУе = А сл У + А ЛУэ
(2)
где Дет х, Дслу - случайные ошибки экстраполяции координат, Дхэ, Дуэ - динамические ошибки экстраполяции координат.
При выбранных направлениях осей координат для случайных составляющих Дсл х, Дету имеем
Асл x ~+r {Aaß3 + Aß),
АслУ = ±(АслГэ + АГ) ,
(3)
где Дг, Др - ошибки измерения.
Эти составляющие статистически независимы между собой и подчинены нормальному закону распределения вероятности с нулевым математическим
2 2
ожиданием и дисперсиями ах, соответственно.
Плотность вероятности для системы двух независимых случайных величин Дсл х, Дслу будет
w (А x, А y ) =
\ сл > сл^ } 1
(2^)
3
7г)2 а„а„
-• exp
1 (А x2 А у2"
| с л с л •/
21 о2 а2у
(4)
U-U\<AU
| ! Эг | ¡с,
(1)
Линия, отвечающая значениям одинаковой плотности вероятности, определяется уравнением
где и = (X, У ) - совокупность координат 1-го нового объекта, С/Э1. =(хЭ1., уэ1) - совокупность координат центра строба для /-й траектории;
А x А у ,
сл I слу _
а
где X - уровень плотности вероятности.
Разделив правую и левую части этого уравнения на X2, получим
А х2 А у2
I СЯУ _ ^
(ЛСТ )2 К )2
(6)
Уравнение (6) представляет собой уравнение эллипса, отнесенного к сопряженным полуосям Лаж, Лау. При X =1 получаем эллипс отнесенный к сопряженным полуосям ах, а (рис. 3).
Будем далее считать, что составляющие динамических ошибок экстраполяции также подчинены нормальному закону распределения вероятности и имеют независимые составляющие по осям /, g.
Рис. 3. Плотность вероятности для системы двух независимых случайных величин
В двумерном пространстве динамические ошибки образуют эллипс равных плотностей вероятностей, уравнение которого записывается в виде
Af Ag2
(Xaf ) (Äag )
- = 1,
(7)
где /, : - независимые составляющие динамических . а:
ошибок, а2, а2 - дисперсии независимых состав
ляющих.
Для случая X =1 получим эллипс, изображенный на рис. 4.
Рис. 4. Плотность вероятности динамических ошибок
Эллипсы (рис. 3, 4), складываясь, образуют в пространстве суммарный эллипс, направления сопряженных полуосей которого (направления осей декартовой системы координат ОтС) по отношению к осям системы координат 0ХУ и величины среднеквадратичных отклонений а , а^ по этим полуосям
независимых векториальных отклонений, обусловленных случайными и динамическими ошибками [17]. Для наглядности изображения начало системы координат О тС вынесено в точку О" (рис. 5).
Рис. 5. Суммарная плотность вероятности случайных величин
Плотность вероятности системы случайных величин Дт, Д^ записывается как
w(Ay, A4) =
1
(2ж) ava(
exp\ -Л- I, (8)
где Л2 =
Ay2 А£2
^2 2 СТ„ СТ.
Таким образом, поверхность равновероятного отклонения истинных координат объектов от центра строба представляет собой эллипс, величина и ориентация сопряженных полуосей которого зависит от ошибок измерения скорости движения руки стрелка и направления вектора движения пятна.
При распределении отклонений истинных координат от центра строба по закону эллипса, очевидно, и сам строб должен иметь форму эллипса с сопряженными полуосями Х^, Ха, где X в данном
случае понимается как коэффициент увеличения размеров строба по сравнению с размерами единичного эллипса для обеспечения заданной вероятности попадания в строб истинных координат.
Вероятность попадания случайной точки в эллипс рассеяния, расположенный подобно эллипсам равной вероятности, определяется из выражения
Р (Л) = 2
Фо (Л)-
:kÄexp [-Л2
(9)
1 Л ( t'2 | где Фо (Л) = \exp I - — I dt.
При X > 3,5 вероятность Р (X) близка к единице. Именно такие значения X и необходимо выбирать при формировании эллипсоподобного строба.
Заметим, что формирование эллипсоподобных стробов практически невозможно ни при физическом, ни при математическом стробировании. Более предпочтительным вариантом будет формирование строба в виде прямоугольника, описанного вокруг эллипса суммарных ошибок (рис. 5). Размеры сторон прямоугольника равны соответственно 2X0, 2X07^,
определяются по правилам сложения в пространстве а его площадь определяется формулой = 4X а а..
Если учесть, что площадь эллипса суммарных ошибок £э = я$}а а, то получается увеличение объема строба по сравнению с оптимальным почти в четыре раза. Это приводит к увеличению вероятности попадания в строб ложных координат или координат, принадлежащих другим траекториям, и, следовательно, к ухудшению селектирующей и разрешающей способности операции стробирования.
При обработке большого числа объектов на изображении в реальном масштабе времени, на ПК ограниченной производительности, задача расчета размеров и ориентации сторон стробов-параллелограммов будет нерациональной с точки зрения использования возможностей процессора. В этом случае следует переходить к упрощенному варианту стробирования, смысл которого сводится к следующему. Форма строба выбирается простейшей для задания в той системе координат, в которой осуществляется обработка информации. Размеры строба выбираются такими, чтобы в нем свободно вмещался и вращался в любом направлении эллипс максимально возможных (при всех направлениях движения цели) суммарных отклонений истинных отметок от соответствующих экстраполированных точек.
5. Результаты исследования и их обсуждение
Предложенный метод увеличения быстродействия при обработке изображений был реализован и протестирован с использованием мультимедийного стрелкового тренажера кафедры «Медиаинженерии и информационных радиоэлектронных систем» Харьковского национального университета радиоэлектроники.
На проекционном экране тренажера было выведено тестовое изображение, по всей площади которого располагался ряд ложных отметок в виде пулевых отверстий. Для формирования объектов поиска использовался макет оружия с лазерной вставкой. На рис. 6 представлен участок сформированного строба.
Алгоритм обработки изображений МСТ был дополнен описанной в статье процедурой строби-рования объектов, а задача эксперимента заключа-
лась в сравнении показателей быстродействия системы обработки изображений МСТ с использованием операции стробирования в методе контурного анализа и без неё. Результаты эксперимента представлены на рис. 7.
Рис. 6. Стробируемый участок на фоне полного изображения, полученного с видеокамеры
В эксперименте использовались: центральный процессор (ЦП) - Intel i7-3770K (4x3.5 ГГц), графический процессор (ГП) - Nvidia GeForce GT640. Измерения проводились при неизменном размере излучаемого светового пятна (но с учетом его вероятного размытия в движении) и постоянной скорости его перемещения.
Как видно, использование операции стробирования позволяет существенно повысить показатель быстродействия мультимедийных стрелковых тренажеров. Особенно существенен прирост быстродействия при использовании камеры с высоким разрешением.
Вместе с тем, с уменьшением разрешения камеры, прирост быстродействия незначителен. Это связано с тем, что программа тратит довольно значительное время на вычисление размеров строба и прогнозирование траектории в сравнении с непосредственным прямым поиском объектов по всей площади изображения. Вследствие этого, при малых размерах кадров в видеопотоке, использовать описываемую обратную связь в виде слежения за целью нецелесообразно. Данное замечание применимо как в случае обработки видеопотока на центральном процессоре, так и на графическом.
Рис. 7. Сравнение быстродействия с использованием метода стробирования
6. Выводы
Быстродействие алгоритмов обработки изображений, применяемых в МСТ напрямую зависит от
разрешения изображения, получаемого с камеры: при увеличении разрешения, увеличивается время, необходимое для обработки одного кадра. Метод строби-
рования движущихся объектов позволяет уменьшить размер обрабатываемых изображений, после того как система произвела захват объекта. Это не отменяет необходимости первичного прохода алгоритмов по всему изображению, но экономит ресурсы процессора после формирования строба вокруг отметки лазерного излучателя на полотне проектора. Как показано в экспериментальных результатах, наиболее эффективным будет применение рассматриваемого метода для работы системы обработки изображений высокого разрешения с использованием центрального процессора.
Метод стробирования может быть использован совместно с любыми другими известными алгоритмам обнаружения для увеличения производительности системы распознавания образов. Правильно сформированный строб позволяет повысить вероятность правильного обнаружения рабочего алгоритма вследствие уменьшения зоны поиска и уменьшить количество ложных объектов на изображении, сформированных шумами камеры и неоднородным фоном в видеосюжетах МСТ. Существенное влияние на эффективность предложенного метода обработки оказывает форма строба.
Литература
1. Беляев, А. В. Обнаружение объектов заданной формы и определение их координат на изображении в мультимедийном стрелковом тренажере [Текст] / А. В. Беляев, В. М. Карташов // Системы обработки информации. - 2015. -№ 10 (135). - С. 16-21.
2. Пат. № 59467 UA. Електронний лазерний стршецький тренажер. МПК F41G3/26 [Текст] / Зубков О. В., Коритцев I. В., Олейшков В. М., Свдоров Г. I., Кондрашов £. В.; заявник та патентовласник Харювський нацюнальний ушверситет радю-електронжи. - № u201015833; заявл. 28.12.2010; опубл. 10.05.2011, Бюл. № 9.
3. Пат. № 80324 UA. Удосконалений електронний лазерний стршецький тренажер. МПК F41G3/26 [Текст] / Карта-шов В. М., Сщоров Г. I., Беляев О. В.; заявник та патентовласник Харювський нацюнальний ушверситет радюелектротки. -№ u201213148; заявл. 19.11.2012; опубл. 27.05.2013, Бюл. № 10.
4. Пат. № 83387 UA. Удосконалений електронний лазерний стршецький тренажер. МПК F41G3/26 [Текст] / Слшчен-ко М. I., Карташов В. М., Свдоров Г. I., Беляев О. В.; заявник та патентовласник Харювський нацюнальний ушверситет радюелектротки. - № u201301988; заявл. 18.02.2013; опубл. 10.09.2013, Бюл. № 17.
5. Jafri, R. A. Survey of Face Recognition Techniques [Text] / R. Jafri, H. Arabnia // A Journal of Information Processing Systems. - 2009. - Vol. 5, Issue 2. - P. 41-68. doi: 10.3745/jips.2009.5.2.041
6. Nixon, M. Eye spacing measurement for facial recognition [Text] / M. Nixon // SPIE Proceedings. - 1985. - Vol. 575. -P. 279-285. doi: 10.1117/12.966515
7. Reisfeld, D. Generalized symmetry transforms: attentional mechanisms and face recognition [Text] / D. Reisfeld. - Tel-Aviv, 1994. - 56 p.
8. Graf, H. Locating faces and facial parts [Text] / H. Graf, T. Chen, E. Petajan, E. Cosatto // International Workshop on Automatic Face- and Gesture-Recognition. - 1995. - P. 41-46.
9. Cox, I. Featurebased face recognition using mixture-distance [Text] / I. Cox, J. Ghosn, P. Yianilos // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. - 1996. - P. 209-216. doi: 10.1109/cvpr.1996.517076
10. Конушин, А. Слежение за точечными особенностями сцены [Электронный ресурс] / А. Конушин // Компьютерная графика и мультимедиа. - 2003. - № 4. - Режим доступа: http://www.ict.edu.ru/ft/002409/num4pntrac.pdf
11. Вежневец, А. П. Методы классификации с обучением по прецедентам в задаче распознавания объектов на изображениях [Электронный ресурс] / А. П. Вежневец // Международная конференция компьютерной графики и зрения. - Новосибирск, 2006. - Режим доступа: http://graphicon.ru/html/2006/proceedings/papers/fr10_34_VezhnevetsA.pdf
12. Amit, Y. 2D object detection and recognition: models, algorithms, and networks [Text] / Y. Amit. - Cambridge: MIT Press, 2002. - 324 p.
13. Viola, P. Rapid Object Detection using a Boosted Cascade of Simple Features [Text] / P. Viola, M. J. Jones // IEEE CVPR. - 2001. doi: 10.1109/cvpr.2001.990517
14. Ferryman, J. M. Visual Surveillance for Moving Vehicles [Text] / J. M. Ferryman, S. J. Maybank, A. D. Worrall // International Journal of Computer Vision. - 2000. - Vol. 37, Issue 2. - P. 187-197. doi: 10.1023/a:1008155721192
15. KaewTraKulPong, P. An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection [Text] / P. KaewTraKulPong, R. Bowden // Video-Based Surveillance Systems. - 2002. - P. 135-144. doi: 10.1007/978-1-4615-0913-4_11
16. Кузьмин, С. З. Цифровая обработка радиолокационной информации [Текст] / С. З. Кузьмин. - М.: Советское радио, 1967. - 400 с.
17. Абезгауз, Г. Г. Справочник по вероятностным расчетам [Текст] / Г. Г. Абезгауз, А. П. Тронь, Ю. Н. Копенкин, И. А. Коровина. - М.: Воениздат, 1970. - 536 c.
Дата надходження рукопису 20.01.2017
Беляев Алексей Владимирович, аспирант, ассистент, кафедра медиаинженерии и информационных радиоэлектронных систем, Харьковский национальный университет радиоэлектроники, пр. Науки, 14, г. Харьков, Украина, 61166 E-mail: oleksii.bieliaiev@nure.ua
Карташов Владимир Михайлович, доктор технических наук, профессор, заведующий кафедры, кафедра медиаинженерии и информационных радиоэлектронных систем, Харьковский национальный университет радиоэлектроники, пр. Науки, 14, г. Харьков, Украина, 61166 E-mail: volodymyr.kartashov@nure.ua
Лутуангу Франси Алда, аспирант, кафедра медиаинженерии и информационных радиоэлектронных систем, Харьковский национальный университет радиоэлектроники, пр. Науки, 14, г. Харьков, Украина, 61166 E-mail: francy19@mail.ru
