CC BY
65
УДК 621.388.3 Ю.В. Мартышевский
Алгоритм сегментации телевизионных изображений при определении координат объектов
Предложен алгоритм сегментации телевизионных изображений при определении координат объектов телевизионной следящей системой. Приводятся результаты исследования предложенного алгоритма в среде MatLAB 7.1 с использованием приложения Image Acquisition Toolbox. Моделирование проводилось как на синтезированных, так и на реальных изображениях, вводимых в персональный компьютер с телевизионной WEB-камеры.
Введение
Среди дистанционных методов определения координат объектов телевизионные автоматические системы (TAC) занимают особое место. Исключительная особенность телевизионного изображения, а именно большой объем представляемой информации, пространственная и временная избыточность, выгодно отличают TAC от радиоэлектронных систем подобного назначения благодаря высокой точности определения координат, малым габаритам и пассивному характеру работы.
При обработке изображений в TAC сегментация изображения часто является определяющей, так как, с одной стороны, она способствует обнаружению объекта в режиме поиска, а с другой — качество сегментации существенно влияет на точность определения координат объекта.
Широко известны два общих подхода к сегментации изображений [1]. Первый из них сводит задачу сегментации к пороговой классификации изображения на основе анализа гистограммы яркости на области, принадлежащие объекту и фону. Достоинством гистог-раммных методов сегментации является очевидная простота и ясный физический смысл выбираемого порога, не требующий большого объёма априорной информации об изображении. Второй подход основан на выделении границ областей и называется контурной сегментацией. Достоинство такого подхода заключается в точности положения выделяемых границ. Недостатком контурной сегментапии является наличие разрывов границ, получаемых в результате сегментации размытых или зашумленных изображений. При малоконтрастных объектах гистограммы яркости объекта и фона перекрываются, при этом границы его изображения размыты, в результате качество сегментации получается низким (контур изображения объекта имеет разрывы, которые сложно устранить).
Условия эксплуатации TAC требуют их надежной работы в сложной фоновой обстановке при определении координат малоконтрастных объектов. Одним из подходов к решению этой проблемы является учет дополнительной априорной информации при обработке изображений в TAC, например, при движении объекта. В этом случае необходимо учитывать оценку координат сопровождаемого (отслеживаемого) объекта, накапливать информацию о сцене с течением времени и применять статистические методы обработки для сегментации изображения.
Синтез алгоритма
Наблюдаемая сцена О. представляется аппликативно-аддитивной композицией изображения фона, объекта и шума, обусловленного процессом фотодетектирования. Объект и фон порождены причинно не связанными физическими процессами и в общем случае могут изменяться во времени. Объект составляет часть сцены О0 < О и может быть как искусственным, так и естественным. Определим объект как множество точек (пикселей) изображения телевизионного кадра, ограниченное замкнутым контуром и подчиняющееся общим физическим закономерностям движения в пространстве твердого тела. Будем также считать, что форма объекта, его размер и параметры траектории на интервале времени, достаточном для качественной сегментации, не меняются. При этом объект за время между кадрами не совершает повороты относительно центра, то есть движется поступательно, и отличается
от фона устойчивыми информативными признаками. Предполагается, что структура ТАС состоит из корреляционного дискриминатора, формирующего координаты объекта в течение кадра и сглаживающего оценки координат динамического фильтра Калмана [2].
Проецируемая оптической системой сцена преобразуется фотоприемником путем покадрового считывания информации в двумерный массив дискретных отсчетов видеосигнала, который содержит в себе М х N элементов и представляет прямоугольную (М х iV) матрицу, имеющую М строк и N столбцов. Слежение за объектами осуществляется посредством обработки видеосигнала в стробе размером LxL элементов, где значение L такое, что L < min {М х N].
Модель видеосигнала
При считывании ij-пикселя изображения в k-м телевизионном кадре видеосигнал представляется в виде
Z {и Ä) = X (i - Дх (k), j - Ьу (ft)) S (i - Дх (k), j - А, (*)) + + [l - Я. (i - Дя (k) ,j-Ay (fe))] sß (i - Дфх (k), j - Дфх (k)) + n0 (i, j), (1)
где Z(i,j,k) — яркость ¿/-пикселя изображения k-ro кадра; S(i,j,k) — функция, аппроксимирующая распределение яркости (ФРЯ) изображения объекта; SB (i,j,k) — ФРЯ изображения фона; n0(i,j) — нормальный стационарный во времени и пространстве белый гауссов шум с нулевым средним и среднеквадратичным отклонением а0 ; Дх (ft), Ду (&) — смещение объекта за время между (k-l)-u и k-м кадром; Дфх (k) , Афу (k) — смещение фона за время между (/г-1)-м и ft-м кадром; X(i,j) — стробирующая функция.
Наиболее простым и естественным методом выделения контура движущегося объекта является вычитание телевизионных изображений из двух последовательных кадров. Это удобно ещё и из-за достаточно простой реализации межкадрового вычитания изображений. При наличии в составе ТАС корреляционного дискриминатора процедуру межкадрового вычитания можно заменить сравнением яркости точек эталона, смещённых относительно классифицируемой на величину смещения объекта и фона. При этом в качестве предсказанной ФРЯ объекта и фона используется изображение предыдущего кадра, которое будем называть эталонным. Такой подход похож на обработку межкадровой разности, однако он дополнительно позволяет работать с подвижным фоном и передавать априорные вероятности принадлежности точек объекту и фону в направлении их движения за счёт заранее известных межкадровых смещений последних (фактически, учитываются априорные сведения о движении объекта и фона). Накопление дополнительной информации о сцене в этом случае будет осуществляться в матрицах априорных вероятностей принадлежности точек объекту или фону, которые обновляются с каждым кадром.
Для пояснения возможности классификации точек изображения предложенным способом на рис. 1 показана диаграмма видеосигнала при неподвижном фоне. В идеальном случае, когда отсутствуют шум и изменение ФРЯ объекта с течением времени вследствие его движения, разность яркостей проверяемой и смещённой точек равна нулю, если точка принадлежит объекту и отлична от нуля, если точка принадлежит фону. Разность яркостей проверяемой и несмещённой точек ведёт себя противоположным образом.
Как следует из рисунка, существуют два варианта сравнения: сравнение эталона со смешённым и несмещённым изображением и сравнение изображения со смещённым и несмещённым эталоном, причём на краях объекта эти варианты ведут себя по-разному. Поэтому при классификации точек изображения будем использовать одновременно оба варианта.
Результатом работы алгоритма сегментации будет бинарное изображение объекта — матрица значений стробирующей функции X(i,j), принимающей значение 1, если точка принадлежит объекту, и значение 0 в противном случае. Для оценки значений стробирующей функции требуется знать характеристики объекта и фона, а именно смещение объекта и фона за время между кадрами, ФРЯ объекта и фона.
Поскольку стробирующая функция может принимать только два значения, то задача оптимальной оценки сводится к задаче проверки двух простых гипотез:
Н0 — классифицируемая точка принадлежит объекту и её яркость Z равна яркости смешённой точки эталона S;
Hj — классифицируемая точка принадлежит фону и её яркость Z равна яркости несмещённой точки эталона SB.
Рис. 1 — Диаграмма видеосигнала при неподвижном фоне
Для накопления информации о стробирующей функции с течением времени используется механизм передачи априорных вероятностей о принадлежности классифицируемой точки объекту и фону. В основе этого механизма лежит предположение о том, что априорной вероятностью для к-то кадра является соответствующая апостериорная вероятность, рассчитанная на 1)-м кадре.
Таким образом, апостериорная вероятность принадлежности точки (пикселя) изображения объекту равна
,ч 1 f
[z(x,y))
Z(x-Ax(k),y-Au(k))
rZ(x,y)
(2)
апостериорная вероятность принадлежности точки изображения фону для варианта сравнения несмещённого изображения со смещённым эталоном равна
(3)
f s > - p f <? 4 P(z(*-yp
{ 2(х>У)) - k-i lZ(x>y)j l SB ,
апостериорная вероятность принадлежности точки фону для варианта сравнения смещённого изображения с несмещённым эталоном равна
Z(x - Лх (к),у- Ау (Л)) J k~\z{x- Ах (к),у - Ду (fe))
(ZÍx-Л (к).и-Л ífe^l
ч
- (4)
Анализируя условия принадлежности классифицируемой точки изображения объекту и фону, можно сделать вывод, что точка принадлежит объекту только в том случае, если вероятность принадлежности точки объекту одновременно больше и аероятности принадлежности классифицируемой точки фону, и вероятности принадлежности фону точки, сдвинутой на величину смещения объекта. Если хоть одна из вероятностей меньше, то точка принадлежит фону.
Для точек, принадлежащих границе объекта с фоном, выражения не справедливы, но только для открываемых объектом точек фона это приведёт к неправильной классификации. Кроме того, если записать вычисленные апостериорные вероятности для таких точек в матрицу априорных вероятностей, то на бинарном изображении появится тянущийся за объектом «хвост». Поэтому перед вычислением апостериорных вероятностей необходимо сделать проверку на соотношение условных вероятностей, и если условная вероятность на-
блюдения яркости точки изображения р.
объекту, больше условной вероятности Р,
Z(x,yj
при условии, что точка принадлежит
Z(x,y)
, но меньше Рь
Z(x-Ax{k),y-Ay (к))
7в
то следует отказаться от включения априорных сведений.
Чтобы получить выражение для условных вероятностей, запишем модель (1) в соответствии с принятыми гипотезами:
Н0 : г(х,у) = 8э(х-Ах,у-Ау) + ^э(х-Ах,у-Ау) + п0{х,у),
Нх : г(х,у) = 8я(х,у) + ^э{х,у) + п0(х,у),
где г(х,у) — наблюдаемая яркость классифицируемой точки; 5Э(...) — предсказанная функция распределения яркости эталона; £,(...) — нормальный белый шум, обусловленный ошибкой измерения яркости точек эталона; л0(...) — нормальный белый шум, обусловленный ошибкой измерения яркости точек изображения (шум наблюдения); Ах,Ау _ смещение объекта за время между и (й-1)-м шагом по оси X и по оси У соответственно.
Учитывая, что шум измерения яркости точек эталона для принятых выше допущений является шумом наблюдения, можно записать выражение для условной плотности вероятности наблюдаемой яркости точки при условии принадлежности точки объекту на Л-м шаге:
Pk
Z(x,y)
2о0л/я
ехр
4 ai
(5)
а условная плотность вероятности наблюдаемой яркости точки при условии принадлежности точки фону равна
Pk
Z(x,y)
's ;
2 а0л/я
ехр
[Z(x,y)-Ss(x,y)~f
4&(
(6)
где 2{х,у) — яркость точки изображения на к-м шаге; а^— дисперсия шума наблюдения;
— функция распределения яркости эталона; дя, Ау— смещение объекта за время между Л-м и (к- 1)-м шагом по оси X и по оси У соответственно.
Логарифм отношения правдоподобия для первого варианта сравнения равен
-|2 г [Z(x,y) -S3(x- А х,у - Ау )J [Z(x,y)-Sa(x,y)j lnAj (x,y,k) =----^-+
4cri
4ai
(?)
а для второго варианта сравнения равен
vi2
[Z(x,y)-Sjx-Ax,y-Au)]2 \z(x-Ax,y-Au)-S3(x-Ax,y~Ay) _ InA2(x,i/,ft) = ---—--^ + "-— " • W
4 oi
4a
Критерии принятия решения на основе максимума апостериорной вероятности можно записать в виде
Hi
lnAj (x,y,k) In Hn
Pk-1
Z(x-Ax,y-Al
У JJ
Pk-1
Z(x,y)
(9)
v
In A 2(x,y,k) — In
H0
/ r
Pk-1
V
Z(x-Ax,y-Ay)
r
Pk-1
Z(x-Ax,y-Ay)
(10)
JJ
Все приведённые выше выражения легко переносятся на случай подвижного фона путём замены несмещённых точек на точки, смещённые на величину смещения фона. Отметим, что направление классификации должно быть противоположным направлению движения объекта для различения переднего и заднего края объекта при передаче вероятностей вдоль направления движения.
Суммируя всё вышесказанное, можно записать алгоритм попиксельной классификацз состоящий из следующих шагов.
1. Рассчитываем величины, пропорциональные условным плотностям вероятности:
Оук = -[Ь(х,у)~ 8э(х - Ах,у - Ау)]2 , Фуок=-[ь(х,у)-8э(х-Афх,у-Афу)]2 ,
Фуск = -[Ь(х - Ах - Афх,у - Ау - Дф^) - 5Э (х - Ах,у - Ау)]* .
2. Проверяем условие Оук > Фуок и Оук < Фус.к.
3. Если условие истинно, то рассчитываем величины, пропорциональные апостерис ным плотностям вероятности, согласно выражениям
Ок = Оук + , Фок = Фуок + Фой_х, Фск = Фуск + Фск_г,
иначе
Ок = Оук , Фок = Фуок , Фск = Фуск .
4. Сравниваем полученные выражения и принимаем решение о принадлежности точ! фону или объекту: если Ок > Фок и Ок > Фск, то точка принадлежит объекту и Хк= 1, ина1 точка принадлежит фону и Хк = 0.
Результаты
Исследование полученного алгоритма проведено путём статистического моделировани на персональном компьютере в среде MatLAB 7.1 с использованием приложения Imag Acquisition Toolbox [3]. Моделирование проводилось как на тестовых изображениях в вщ гаусс-марковских полей, так и на изображениях, полученных посредством мультимедийно композиции реальных изображений объекта и фонов. В качестве датчика изображения и< пользовалась телевизионная WEB-камера с разрешением 320x240 пикселей. Из сформирс ванного WEB-камерой непрерывного потока цветного видео функцией getsnapshot выхваты вался и записывался кадр изображения. Функцией rgb2gray записанное изображени преобразовывалось в монохромное, которое и использовалось в дальнейшем для моделиро вания.
При моделировании контраст объекта К0 определялся в виде
к
=-, (11
где цф — среднее значение яркости изображения фона; ju0 — среднее значение яркость объекта.
Критерием качества сегментации служило отношение количества правильно классифицированных точек изображения к площади объекта. Критерий качества алгоритма сегментирования рассчитывался в виде
L-\ L-1 _ L-1 L-1 _
1 N_r Z X hj,kh] KjAl-Kj)
p _ _L v i=0 j=0_ P 1 v 1=0 i=0
^no - N L L-i L~I ; iznn-, (12)
4=0 Z I hi k-° ¿2"IX 4/
i =о j=0 i=о y=о
где PUQ — вероятность правильной сегментации; Рлт — вероятность неправильной сегментации; LxL — число строк и столбцов изображения; N — число проводимых испытаний; ^i,j,k— оценка значения стробирующей функции в точке с координатами (i, j) при k-м проходе алгоритма сегментирования; — истинное значение стробирующей функции в точке с координатами (г, у).
После сегментации бинарное изображение подвергалось логической обработке для удаления отдельных несвязанных точек изображения.
На рис. 2 пунктирной линией показана зависимость Рп0 сегментации изображения объекта предложенным алгоритмом от контраста. На этом же рисунке сплошной линией показано поведение Рпо для байесовского алгоритма сегментации [4].
Представленные зависимости показывают, что при контрастах объекта меньше 0,2 качество сегментации изображения движущегося объекта разработанным алгоритмом более высокое, чем в случае использования байесовского алгоритма.
На рис. 3 представлен результат сегментации изображения сопровождаемого TAC объекта байесовским и предложенным алгоритмами.
Результаты показывают, что предложенный алгоритм позволяет значительно лучше, по Сравнению с байесовским алгоритмом сегментации, выделить перемещающийся объект, расположенный на сложном фоне.
Рпо
0,05 0,1
0,5
0,75
Кг
Рис. 2 — Зависимость качества сегментации изображения объекта от контраста объекта: штриховая линия — для разработанного алгоритма; сплошная линия — для байесовского
-А * . --I 4 »: J
i.'
-J
7Т
1 2 3
Рис. 3 — Результаты сегментации изображения сопровождаемого объекта:
1 — исходное изображение; 2 — байесовским алгоритмом; 3 — разработанным алгоритмом
Заключение
Результаты моделирования показали, что предложенный алгоритм сегментации изображений в TAC обладает достаточно совершенным механизмом накопления информации об объекте со временем, обеспечивает более высокое качество сегментации его изображения и этим повышает точность определения координат малоконтрастных объектов.
К числу недостатков предложенного алгоритма следует отнести довольно большой объём памяти, требуемый для хранения матриц с априорной информацией, а также то, что в алгоритме никак не учитывается статистическая связь яркости соседних элементов изображения. Дальнейшим продолжением работы может быть объединение предложенного алгоритма с алгоритмом пороговой фильтрации статических изображений с целью более полного использования информации из изображения объекта и повышения качества сегментации.
Литература
1. Денисов Д.А. Сегментация изображения на ЭВМ / Д.А. Денисов, В.А. Низовкин // Зарубежная радиоэлектроника. - 1985. - № 10. - С. 5-30.
2. Бочкин A.M. Методы фильтрации сигналов в корреляционно-экстремальных системах / A.M. Бочкарев, М.П. Мусьяков ; под ред. В.К. Баклицкого. - М. : Радио и связь. -1986. - 216 с.
3. Мартышевский Ю.В. Полунатурное моделирование работы TAC средствами MatLAB / Ю.В. Мартышевский // Телевидение: Передача и обработка изображений : 4-я Международная конференция, 24-26 мая 2005 г. - СПб. : [б.и.], 2005. - С. 65-66.
4. Бакут П.А. Телевизионная следящая система с байесовским дискриминатором цели / П.А. Бакут, В.Г. Лабунец // Зарубежная радиоэлектроника. - 1987. - № 7. - С. 81-93.
Мартышевский Юрий Васильевич
Д-р техн. наук, проф. кафедры радиотехнических систем ТУСУРа Телефон: (3822) 41 36 70, 76 38 16 Эл. почта: [email protected]
Y.V. Martishevsky
Algorithm segmentation of television images at definition objects coordinates
At algorithm of television images segmentation is suggested for determination of objects coordinates by TV tracking system. Results of the algorithm are investigation in MatLAB 7.1 environment with using Image Acquisition Toolbox are given. Modelling has been carried out as for synthesized, and for real images being entered in PC with the use of WEB camera.
УДК 621.396
H.H. Номоконова, В.Ю. Гаврилов
Особенности поиска информативных параметров для контроля качества устройств SMD-технологии
Обсуждается проблема выбора высоконадежных полупроводниковых интегральных электронных устройств, формулируются особенности прогнозирующего контроля. Предлагается обобщенный подход к контролю качества и описывается разработанный метод поиска информативных параметров, пригодных для определения индивидуальных технических свойств указанных устройств.
Введение
В статье описывается метод контроля качества полупроводниковых интегральных устройств и его практическое применение к устройствам SMD-технологии. Важнейшей задачей любого подобного метода является поиск информативных параметров (ИП), совокупность которых необходимо формировать с учетом особенностей прогнозирующего контроля современных полупроводниковых электронных устройств.
Первая особенность состоит в том, что внезапные отказы являются истинно внезапными, т.е. зависящими от двух факторов: от количества дефектов, присутствующих изначально в материалах, составляющих устройство, и от сочетания эксплуатационных воздействий (электрических, механических, климатических, радиационных и др.). Предсказать техническое состояние изделия в предстоящий период эксплуатации можно, если упомянутые изменения свойств материалов своевременно выявляются путем измерений некоторого количества таких параметров, величины которых однозначно отражают эти изменения.
Вторая особенность заключается в обеспечении информационной полноты множества оценок технического состояния изделия, по величинам которых осуществляется прогноз на предстоящий период эксплуатации.
Перечисленные особенности должны учитываться при сравнительном анализе множества ИП. В качестве критерия выбора ИП предлагается определять степень близости к иде-
