CC BY
14▼
Телевидение и обработка изображений
УДК 621.397.13
Н. А. Обухова
Санкт-Петербургский государственный университет
аэрокосмического приборостроения
Предварительный анализ изображения при сегментации объектов по совокупности признаков
Рассматривается метод предварительного анализа изображения с целью выделения областей, содержащих с высокой вероятностью объекты интереса. Классификация областей изображения выполняется по уровню высокочастотной энергии. Приведены результаты сравнительного анализа различных способов, подчеркивающих высокочастотные составляющие изображения, и выбран способ, обеспечивающий наиболее высокий уровень качества классификации.
Сегментация по совокупности признаков, высокочастотные составляющие изображения, пространственное дифференцирование, оператор Превитта, многомасштабный морфологический градиент, вейвлет-фильтр Добеши
Реализовать автоматический захват и сопровождение нескольких объектов, разрешить ситуацию окклюзии - перекрытия объекта интереса фоном или другим объектом, сегментировать неподвижные объекты, а также исключить потерю объекта при его остановке позволяет метод сегментации по совокупности признаков [1]. Метод включает три основные процедуры:
• предварительный анализ с целью выделения совокупности блоков изображения, в которых возможно присутствие объектов интереса;
• сегментацию объектов по признакам временной и пространственной корреляций [2]. Блоки изображения, принадлежащие одному объекту, должны образовывать связанную группу и иметь сонаправленные и близкие по амплитуде векторы движения. Для оценки близости векторов движения по направлению и амплитуде используют норму ¿2;
• сопровождение объектов на основе определения вероятности принадлежности блока I объекту :
Р (1 е °8 ) = (1 е °8 )/ X (* е °8 ); Р (1 е °8 ) = РV (1 е °8 ) Р/ (1 е °8 ),
/ 8=1
где pv (г е °8) = / (IV - VI¿2) - вероятность, определяемая степенью соответствия вектора движения г-го блока модели движения объекта (V - вектор движения г-го блока; V - вектор
© Н. А. Обухова, 2006
35
движения объекта О^, предсказанный по модели движения); ру (/ е ) = = / (М^,, ¿1, ¿2, ф) - вероятность, определяемая степенью соответствия координат блока модели формы [3] (МХё, М^, ¿4, ¿2, Ф - основные параметры модели формы, заданной в виде эллипсов рассеивания по Гауссу: МХё, М^ - координаты центра эллипса;
¿1, ¿2 - длины его полуосей; ф - угол наклона эллипса относительно координатных осей).
Общие положения. Существенной задачей при сегментации объектов по совокупности признаков является предварительный анализ изображения. Его цель состоит в выделении областей, в которых возможно присутствие объектов интереса, которые будут подвергнуты дальнейшей обработке. Следовательно, предварительный анализ изображения, гарантируя сохранение объекта интереса, должен уменьшить объем обрабатываемого далее материала. Использование для целей этого анализа таких признаков, как движение, форма или яркость, поставленной задачи не решает. Это связано с тем, что признак движения исключает из выделенных для дальнейшего рассмотрения областей все неподвижные и медленно движущиеся (маневрирующие) объекты. Признак формы требует существенных априорных знаний об объектах интереса, и поэтому неприемлем для первоначальной классификации. При работе по яркостному признаку на объект накладывается требование однородной яркости, что достаточно часто нарушается в реальных условиях видеонаблюдения для протяженных объектов интереса.
Отличительной особенностью областей изображения, включающих объекты интереса1, является большое количество перепадов яркости: на границах объект/фон, на внутренних контурах объекта и др. Поэтому области, оставляемые для дальнейшей обработки, характеризуются значительным уровнем высокочастотной энергии. Данный признак и положен в основу предварительной классификации. Для его оценки предлагается следующий алгоритм:
1. Обработка изображения с целью усиления перепадов яркости.
2. Разбиение изображения на фрагменты заданного размера (блоки 8x8 пикселей) и определение числа перепадов яркости в каждом фрагменте.
3. Пороговая обработка.
Первый шаг может быть реализован различными методами из следующих групп: линейного и нелинейного контрастирования, морфологической обработки вейвлет-преобра-зования, причем применяемый способ обработки непосредственно определяет качество предварительной классификации.
В рамках решаемой задачи для оценки эффективности различных способов обработки проведен их сравнительный анализ. Из каждой группы выбирался метод, максимально учитывающий особенности видеоматериала: большинство из используемых для тестирования изображений имели фон с выраженными горизонтальными структурами (береговая линия,
1 Объектами интереса являются объекты с размерами не менее 4x4 пикселей, обладающие жестким движением. Жестким (non-rigid) движением называется движение, при котором все части объекта движутся в соответствии с основным направлением движения. Наиболее часто объектами с такими характеристиками являются объекты искусственного происхождения: автомобили и другие транспортные средства, летательные аппараты, морские цели. 36
линия горизонта), поэтому подчеркивание перепадов яркости по вертикали заведомо привело бы к включению больших фрагментов фона в области для дальнейшей сегментации.
В результате были рассмотрены следующие методы.
Линейная обработка - пространственное дифференцирование (ПД) в горизонтальном направлении D (x, y) = |L (x, y ) - L (x + Ax, y)| (L - яркость пикселя; x, y - координаты
пикселя; Ax - приращение координаты x, равное например 5, для блока 8 х 8 пикселей ).
Нелинейная обработка - выделение контуров с помощью оператора (фильтра) Пре-витта (ФП) [4]:
0 1"
FP = -1 0 1 -1 0 1
Морфологическая обработка - многомасштабный градиент (multiscale gradient - MG) [5]:
3
MG(L) = (1/3) X {[(L © Si) - (LSSi)] eSt, (1)
i=1
где L - исходное изображение; © и 0 - морфологические операции наращивания и эрозии [3] соответственно; Sj - квадратная группа структурных элементов с размерами
(2i +1) х (2i +1) пикселей (0 < i < 3). В соответствии с выражением (1) значения градиентов рассчитывают трижды с использованием структурных элементов различной размерности, а затем результаты складывают.
3
Вейвлет-преобразование (ВП) на основе вейвлета Добеши Д4 [6], в котором для анализа использовались коэффициенты вейвлет-разложения матрицы HH (отражающие детальность изображения по двум направлениям), полученные операцией свертки кадра тестовой последовательности с коэффициентами фильтра высоких частот, имеющими для вейвлета Добеши Д4 значения
^0 =- (1 S)/(4V2 ); g =- (3 S)/(4>/2); g2 = (3 + V3У(4л/2); £3 =- (1 + ^V(4V2 ).
Критерии эффективности. Для оценки эффективности различных способов обработки сформулированы следующие критерии.
Полнота выделения объектов интереса. Это первый и наиболее важный критерий. Области изображения, исключенные на этапе предварительной классификации, далее вообще не рассматривались, поэтому присутствие в них объекта интереса или его части -грубая ошибка. Значительно безопаснее включение в дальнейшую обработку фрагментов изображения, не содержащих объекты интереса, так как эти области будут отсегментиро-ваны в ходе последующего анализа. Для оценки критерия предлагалось использовать отношение площадей K1 = Sj SH (Sc - площадь объекта, сегментированного одним из ме-
2
Выбор указанных размеров блока и смещения при пространственном дифференцировании на дискретной сетке отсчетов является установленным в экспериментах оптимумом между повышением точности описания объектов интереса и увеличением влияния шумов на это описание, возникающими при снижении размеров и смещения.
Киселев А. Вейвлет своими руками. BaseGroup Labs, 2003. URL: www.basegroup.ru/filtration/making.wavelet.htm
Известия вузов России. Радиоэлектроника. 2006. Вып. 1======================================
тодов; ¿и - истинная площадь объекта на изображении). Применяемый метод обработки тем эффективнее, чем ближе коэффициент К1 к единице.
Степень выделения фона. Этот критерий показывает, какова площадь изображения, выделенного для дальнейшего анализа, но не содержащего объектов интереса: К2 = ¿ф / ¿п (- площадь выделенных для дальнейшего анализа областей изображения,
Таблица 1
Корабль
ь—
Характеристика объекта интереса: протяженный, медленно двигающийся (маневрирующий) объект.
Характеристика фона: средний уровень детальности - линия горизонта, небольшая рябь на воде. Средняя яркость фона - 163. Средняя яркость объекта - 103. Контраст фон/объект - 0.36.
Катер
Характеристика объекта интереса: протяженный, быстродвигающийся объект.
Характеристика фона: высокий уровень детальности - береговая линия с пирсом, существенная рябь на воде. Средняя яркость фона - 126. Средняя яркость объекта - 151. Контраст фон/объект - 0.16.
Туман
Самолеты
Характеристика объекта интереса: протяженный, медленно двигающийся объект.
Характеристика фона: низкий уровень детальности - очень слабая рябь на воде. Средняя яркость фона - 150. Средняя яркость объекта - 147. Контраст фон/объект - 0.02.
Характеристика объекта интереса: близкий к точечному, медленно двигающийся объект.
Характеристика фона: средний уровень детальности - облака.
Средняя яркость фона - 205. Средняя яркость объекта -98. Контраст фон/объект - 0.52.
не содержащих объектов интереса; £п - площадь всего изображения). Применяемый метод обработки тем эффективнее, чем ближе коэффициент К2 .
Результативность анализа. Критерий показывает уровень полезной информации в данных, оставленных для дальнейшего анализа в результате классификации: К3 = .
Инвариантность к типу изображения. Устойчивость значений коэффициентов К, К2 и К3 для изображений, отличающихся степенью присутствия фона, диапазоном перепадов яркости и др.
Экспериментальное исследование и его результаты. Для проведения экспериментов были выбраны четыре тестовые последовательности. Их основные характеристики сведены в табл. 1.
С помощью специально разработанного программного обеспечения получены значения коэффициентов К^, К2 и К3 для 100 кадров каждой тестовой последовательности. В полученных выборках определены средние значения этих коэффициентов и моды (рис. 1; на
Корабль Туман
Рис. 1
Таблица 2
Крите- Метод обработки Ранги для тестовых последовательностей Сумма Место
рий Корабль Катер Самолеты Туман рангов
К1 ПД 1 3 1 3 8 1
МГ 2 2 2 4 10 3
ОП 4 1 2 2 9 2
ВП 3 4 3 1 11 4
К2 ПД 1 2 1 3 7 1
МГ 3 1 3 2 8 2
ОП 3 3 2 1 9 3
ВП 2 4 4 4 14 4
К3 ПД 1 2 1 3 7 1
МГ 3 1 3 1 8 2
ОП 4 3 2 2 11 3
ВП 2 4 4 4 14 4
рисунке цилиндрами отображены средние значения коэффициентов, конусами - моды распределений). По этим данным была проведена ранговая оценка методов (табл. 2).
Соответствия численных значений критериев К1, К2 и К3 и рангов очевидны, ранжирование методов по критерию К4 выполнялось следующим образом. Наиболее устой-
Рис. 2
======================================Известия вузов России. Радиоэлектроника. 2006. Вып. 1
чивым являлся метод ПД. Это единственный метод, успешно справившийся со всеми тестовыми последовательностями включая последовательность "Туман". Нормированные к общему количеству блоков значения степени выделения фона K2 на всех последовательностях колеблются около 0.015 (30...40 блоков). Все другие методы на последовательности "Туман" имеют значение критерия в 3-4 раза больше, что приводит к неудовлетворительному результату - существенному захвату фона. Наибольшей чувствительностью к характеру изображения обладает вейвлет-фильтр Добеши. Для последовательностей "Корабль" и "Катер" его характеристики близки к характеристикам остальных методов, а для последовательностей "Самолеты" и "Туман" результаты классификации практически отсутствуют, что отражают значения коэффициентов Ki, K2 и K3. По совокупности рангов относительно критерия K4 места распределились следующим образом: ПД, МГ, ОП, ВП.
Таким образом, по сумме оценок наиболее эффективным способом обработки является ПД. Результаты предварительной классификации на его основе приведены на рис. 2 (области, отнесенные к сигналу, выделены белым цветом). По значениям критериев K1 ,
K2 и K3 ПД близко к МГ (исключая последовательность "Туман"). Поэтому при достаточных соотношениях контраста данный подход при предварительной классификации также обеспечивает весьма эффективное подчеркивание высокочастотной составляющей.
Библиографический список
1. Обухова Н. А., Тимофеев Б. С. Сегментация и сопровождение объектов на основе анализа видеопоследовательности // Телевидение: передача и обработка изображений: Мат-лы IV Межд. конф., Санкт-Петербург, 22-24 мая 2005 г. СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2005. С. 87-89.
2. Тимофеев Б. С. Видеокомпьютерные системы для наблюдения за движущимися объектами // Изв. вузов России. Радиоэлектроника. 2003. Вып. 4. С. 32-44.
3. Обухова Н. А. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков // Инф.-упр. сист. 2004. № 1. С. 30-37.
4. Методы компьютерной обработки изображений / Под ред. В. А. Сойфера. М: Физматлит, 2003. 784 с.
5. Maragos S. Tutorial an advances in morphological image processing and analysis // Opt. Eng. 1987. Vol. 26, № 7. P. 623-632.
6. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии: Учеб. пос. М: Триумф, 2003. 320 с. N. A. Obukhova
Saint-Petersburg state university for aerospace instrumentation
Preliminary image analysis for objects multi features segmentation
The method of image preliminary analysis is considered. The aim of analysis is to allocate the areas containing with high probability objects of interest. The image classification is carried out according to the level of high-frequency energy. The results of the comparative analysis for various ways underlining the high-frequency making images are given and the way providing the most high quality of classification is chosen.
Multi features segmentation, high frequency energy of image, spatial differentiation, Previtt operator, multiscale morphological gradient, wavelet filter Daubechy
Статья поступила в редакцию 2 октября 2005 г.
