Корреляционное стереоотождествление снимков стереопар Текст научной статьи по специальности «Математика»

© В.А. Князь, И.В. Крупснников, A.B. Шаронов, 2012

УДК 519

В.А. Князь, И.В. Крупенников, A.B. Шаронов

КОРРЕЛЯЦИОННОЕ СТЕРЕООТОЖДЕСТВЛЕНИЕ СНИМКОВ СТЕРЕОПАР

Б проблеме формирования законов управления движением динамического объекта, использующих видеоинформацию со стереосистемы технического зрения, одной из важнейших задач, требующих решения в приближенном к реальному масштабе времени, является задача стереоотождествления точек снимков. Б этой связи предлагается робастный алгоритм, осуществляющий решение задачи предварительного стереоотождествления и его уточнения по изображению сцены в виде таблицы градиентов. Проверка работоспособности алгоритма проводилась на экспериментальном макете подвижной платформы, оснащенного цифровыми ПЗС-камерами Basler с разрешением 640x480 пикселей и частотой съемки 60 кадров в секунду.

Ключевые слова: техническое зрение, корреляция, стереоотождествление, пирамида изображений, пиксель, сегментация, робастный.

Решается задача разработки корреляционного алгоритма стереоотождествления точек левого и правого снимков сцен, полученных с ПЗС-камер, установленных на подвижной платформе, перемещающихся по подстилающей поверхности со скоростью 60 км/ч. Этот алгоритм должен работать в близком к реальному масштабу времени, т.е. осуществлять обработку со скоростью 10—17 кадров в секунду.

При этом учитываются основные факторы, затрудняющие стереоотож-дествление:

• наличие на изображениях областей с малой вариацией яркости;

• существенные яркостные различия изображений стереопары, возникающие при съемке поверхностей объектов под разными углами;

• существенные геометрические искажения вследствие потенциально сложного рельефа подстилающей поверхности;

• обработка областей изображения, не относящихся к подстилающей

поверхности по которой перемещается подвижная платформа.

Этим требованиям должен удовлетворять алгоритм, общая схема работы которого представлена на рис. 1.

Для увеличения робастности и минимизации времени на обработку одной стереопары процедура поиска соответствующих точек осуществляется в несколько этапов. Под робастно-стью алгоритма понимается нечувствительность к ложным определениям стереосоответствия искомой и найденной точек.

Для выделения области, содержащей информацию о подстилающей поверхности, проводится сегментация изображения. Целесообразность этой операции состоит в том, что из процесса обработки исключаются области, не относящиеся к подстилающей поверхности, по которой перемещается платформа с установленными на ней ПЗС-камерами. Пример сегментированного изображения представлен на рис. 2.

На нем выделена область 5, которая не предъявляется к обработке. По

Сегментация изображений

Л

Создание массивов сегментированных изображений левого и правого снимков

Корреляционное стереоотождествл ение

Уточнение найденных точек по массиву градиентов

Рис. 1. Схема работы алгоритма поиска соответствующих точек изображения

м

Рис. 2.

344

Область поиска стереосоответствия на изображении

У ^

■^мсАко

Рис. 3. Массивы точек левого (а) и правого (б) изображений после предварительной сегментации

Рис. 4. Массивы градие v || Л I v II (б) изображений

v Ч ?1 II 0, 1 v *Г-Уг

640,480 !НТов Ярк а остей ле 640,480 вого (а) и к -ii 'П-Уч II б правого

остальной же части снимка осуществляется стереоотождествление. При этом изображения, полученные с правой и левой ПЗС-камер, записываются в виде двух массивов пикселей, представленных на рис. 3.

Таким образом, началом области, по которой будет производиться поиск стереосоответствия, будет точка с

координатами (м^ 5) , где №нач —

координата изображения, определенная началом области поиска стерео-

соответствия точек, а 5мнач = 5 - 5 .

Практика обработки большого количества снимков подстилающей поверхности, полученных ПЗС-камерами, установленными на движущейся платформе, показала, что использование только яркостных признаков для отождествления может привести к неверному определению точки левого снимка на правом. В этой связи для определения положе-

ния точки предлагается использовать изображения, преобразованные к градиентному виду с последующим уточнением корреляционной зависимости.

Реализация алгоритма стереоото-ждествления предполагает создание двух массивов норм градиентов ярко-

стей точек (х,у) левого

V

и пра-

вого

изображений, вычисляемых с использованием масок Со-беля[5], и представленных на Рис. 4, которые соответствуют массивам точек после сегментации (Рис. 3).

Массивы Рх

х1

- пикселей левого

Рж„

изображения и массива - ■■■Хк,Ук

пикселей правого изображения, содержат значения яркостей пикселей изображения с ПЗС-камер. Они представлены на рис. 5.

Основным подходом при решении задачи стереоотождествления является

а

подход, основанный на использовании пирамиды изображения с постепенно улучшающимся разрешением [3].

Введение пирамидальной структуры данных преследует две основные цели:

• сокращение времени обработки изображений;

• определение более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней.

В алгоритме поиска стереосоот-ветствия исходное изображение размером 640х480 пикселей обрабатывается с масштабированием по пяти уровням пирамиды:

5-й уровень — 32х24 пикселя 4-й уровень — 64х48 пикселей 3-й уровень — 128х96 пикселей 2-й уровень — 256х192 пикселя 1-й уровень — 320х240 пикселей Пример переноса и масштабирования области поиска соответствующей точки с низшего уровня пирамиды на следующий, большего масштаба, изображен на рис. 6.

Различия в подробностях уменьшенного изображения 4-го уровня и исходного изображения в одинаковых масштабах представлены на Рис. 7, при этом каждое последующее изображение получается из предыдущего путем фильтрации и прореживания в два раза [2].

Поиск стереосоответствия выделенной точки на левом снимке производится на правом снимке алгоритмом, в основу которого положен метод корреляционного стереоотожде-ствления [5].

В алгоритмах данного типа, связь между координатами или их производными задается корреляционной функцией, и тогда решением задачи стерео-отождествления будут их координаты или производные, доставляющие экстремум корреляционной функции.

В системах использующих две камеры, для определения расстояния до объекта применяются методы поиска трехмерных координат с помощью подсвеченной линии или кодированного подсвета.

Каждая точка прямоугольной области поиска на правом изображении, представленной на рис. 6, берется в качестве центра изображения, которое сравнивается с выбранным участком на левом изображении.

Мера сходства при этом определяется корреляционной функцией:

к(хн, Ун) =

2 v (х + хи у + Уь)

(X, У)_

\1 / 2

2 V2(х + хь,У + Уь)-Ж2

х, У)

д (х + хК, У + Ун)-2 д2(х + хн,У + Ун)-Ид2

(х, У)

(1)

где (хц, У]) — координаты центра выбранной прямоугольной области на левом изображении; (хн, ун) — координаты центра образа, выбранного на правом изображении; ^х+х^у+у]) — функция яркости выбранной прямоугольной области на левом изображении; д(х+хн,у+ун) — функция яркости на искомом (правом) изображении; н = { (хн,Ун): хтп < хд < хтах ; Утп < Ун < Утах } — прямоугольная область поиска на правом изображении; N — количество ячеек в выбранной области левого изображения,

v=N 2 ^ х У); д=2 д( ^ у ) —

(х,У)

N

(х,У )

средние значения яркостей.

Значения координат (хн,ун), при которых корреляционная функция достигает максимума, являются решением экстремальной задачи и оно может быть найдено методом субпиксельной корреляции.

(х"К, у*) = агдтах к (хК, уК)

хн, Ун ен

X

X

Рщ , Р1х '«Л

0, Ра- • 0, К*

640,480 640т48 0 Р1Х

а б

Рис. 5. Массивы яркостей пикселей левого (а) и правого (б) изображений

переход окна на тображенн? большего масштаба

16x16

И

33*24

5-й уроаепь шцншиАы

32*32

Я

4-й уровень гтрфынеЩ

Рис. 6. Перенос и масштабирование областей поиска

Рис. 7. Детализация изображения при его разбиении по различным уровням пирамиды

Однако этот метод не позволяет аналитически построить характеристику, определяющую степень достоверности полученного результата. Поэтому для решения поставленной задачи будет использован рекуррентный метод наименьших квадратов, ко-

торый, как было показано в [1], эквивалентен методу субпиксельной корреляции и позволяет вычислять ковариационную матрицу оценки параметра, являющуюся характеристикой, определяющей степень достоверности полученного результата.

У

x

v(x,y

правое изображение левое изображение

Рис. 9. Взаимное расположение систем координат оху н ОхХхУх

Поместим начало прямоугольной системы координат оху в середину центрального пиксела выбранной области левого изображения и обозначим для удобства д(х1,у1)= д(х+хк,у+ук) распределение яркостей на участке правого изображения, который соответствует распределению яркостей выбранной области левого изображения. Форма этого участка из-за перспективных искажений наблюдаемой сцены отличается от формы выбранного участка левого изображения.

Для компенсации этих искажений поместим начало системы координат 02Х2У1 в центр участка правого изображения так, как показано на рис. 9.

Заметим, что в идеальных условиях, в отсутствии геометрических и яр-костных искажений

v(x,y) = д(х1,у1),

Х1 = х, У1 = у .

Координаты любых точек, принадлежащих выбранной области в системах координат оху и оххух связаны неизвестными преобразованиями

хх =Ф( х, у, И), у! = у(х, у, И) ,

где И — вектор, задающий начало системы координат огхгуг в системе

(3)

координат oxy. Этот вектор определяется значениями горизонтального и вертикального сдвигов, которые последовательно принимают все

значения (xm, yRj) из допустимого диапазона

XR min — XRi — XR max , XRi = XRmin + i ■AXR ,

У R min — У R j — У R max , Уе1 = yR min + j ■ АУя ,

В реальной же ситуации, в предположении о независимости геометрических и яркостных искажений левого и правого изображений

v( X, y) = wg( Xi, y 1) + e ( x, y) + b, (4)

где — w ,b — мультипликативный и аддитивный параметры яркостных искажений; e(X,y) GM(0,ae) — аддитивный Гауссовский шум.

Если из значений V.X,y) составить вектор vT = [v1, v2, ..., vM], где vi — (i=1...M яркости пикселей области левого изображения, то выражение (4) можно рассматривать как нелинейную модель с неизвестными параметрами преобразования (3), которые определяются соотношением (4).

Заметим, что преобразованием vо (х, у) = v(х, у) - v, gо (х, у) = g(х, у) - g

(5)

из модели (4) можно исключить параметр Ь.

Для этого подставим (5) в уравнение (4), тогда соотношение

V0 (х, у) - V = шд0 (х, у) + е(х, у) - шд

будет эквивалентно двум соотношениям

V = шд + Ь , (6)

Vо (х, у) = шдо (х, у) + е( х, у) .

Параметр Ь может быть найден из (6) после того, как будут найдены

преобразования Ф , У , а также параметр ш.

В качестве меры сходства двух изображений принимается квадрат длины вектора невязки д:

я = Х( 0 (х у) - шgо(xl, у 1))2 (7)

(х, у)

тем самым, задача поиска оценок неизвестных координат центров пикселей правого изображения, сводится к стандартной задаче, решаемой рекуррентным методом наименьших квадратов, если функции ф и У известны.

В частном случае, когда преобразования Ф и У являются линейными, они имеют вид

(8)

х1 = х1Н + х 2 Нх + х 3Ну,

у 1 = у 1Я + у 2Ех + у зяу ,

где 6Т =(х2д, хзД, у2к, узя) - вектор неизвестных параметров линейного

преобразования, Ьт = (х^, у ш) — неизвестный вектор сдвига начала системы координат охгуг относительно системы координат оху.

Для определения неизвестных параметров обозначим д (х, у) распределение яркости на участке правого изображения, положение которого задается начальным вектором линейного преобразования с координатами хд,1,0,уя, и

вектором сдвига ЛоТ = (0,1)

Динеаризуем функцию д (х, у) в окрестности точки (х, у) . Тогда д (х, у) примет следующий вид

д'(х, у) « д'(х,у) + у^ ^ +

dg (х, у) .

(9)

где

Ах 1 = Ах 1R + Ах 2 кх + Ах ъку, ау 1 = Ау i R + Ау 2 нх + Ау з ну. Введем обозначения

д =^gl д =^gl

Ух дх ' Зу ду . получаем

g'(х,у) « g' + g'xАхш + g'xхАх2r

+g'x уАх 3r + g'y ау ir + g* хАУ 2 r +

+g'y у Ау 3R = gT Ah .

(10)

Здесь в функциях g аргумент

(х, у) для простоты написания упущен.

Проведем теперь линеаризацию соотношения (6) в окрестности той же точки которая приводит к следующему виду

vо(х, у) - e(х, у) = gT , (11)

где gT = [g о, g х 0 , ^ х 0 , ^ х

ду о, щ у о, уд у о ]

х о'

Ит = [ш, шАх ш, шАх2к, шАхзн, шАу 1Д, ш Ау2й, шАузН ].

Здесь до - некоторое приближение

функции д0 , определяемое начальным значением параметров.

В матричной форме (8) с учетом (6) имеет вид

V 0 = СИ + е

(12)

= [у 2 ,...,vN ] — вектор на-

где "V 0

блюдений, ет =[е1, е 2,..., ем ] — тор ошибки,

д 1(1) д 1(2) . . д1(256)

д 2(1) д 2(2) . . д2(256)

д 3(1) д3(2) . . д3(256)

Ст = д 4 (1) д4(2) . . д4 (256)

д 5(1) д5(2) . . д5(256)

д 6(1) д 6(2) . . д6(256)

д 7(1) д 7(2) . . д7(256)

«матрица» плана.

□ 2

К- = аК □ = ао2 (СтС) -1.

" И

(14)

где

□т □ Я Я

□ 2 =

С° = N - п

Для увеличения робастности отождествления точки необходимо срав-

нить нормы

V

ХЬ. УЬ

V

ХЕ. УЕ

век-

век-

торов градиентов яркости точек (х,у) на левом и на правом изображениях.

Заметим, что размер области поиска 16х16 пикселей выбирается экспериментальным путем с учетом размера низшего уровня пирамиды. Значения ячеек области поиска правого изображения, через которые проходит эпиполярная линия, сопоставляются со значениями ячеек исходной области поиска точки 16х16 пикселей на левом изображении. В разработанном алгоритме стереоотождеств-ления проводится попарное сравнение значений скалярных произведений градиентов для каждой ячейки, области поиска левого (тц,пь) изображения, относящейся к проходящей через неё эпиполяре из областей поиска правого изображения (т^,пн), рис. 9, которое имеет вид

Известно [6], что РМНК-оценкой для И является оценка вида - = (СТС)-1СЧ. (13)

При этом точность оцениваемого параметра И определяется ковариационной матрицей

(т ц, п н1), (т Ь2 , п н2) (ть,-1, пн,-1 )(тц, пн,)

апостериорная

□ □

оценка дисперсии, Я = СИ - V° — оценка вектора невязки, п = 7 — число параметров, N — количество ячеек в выбранной области левого изображения.

Найденная оценка вектора параметров И задает направление минимизации в пространстве параметров.

где Ь — номер матрицы области поиска для левого изображения, Н — номер матрицы области поиска для правого изображения, тип — координаты изображения, на котором осуществляется поиск,

Результатом такого сравнения является нахождение наибольшего значения скалярного произведения векторов градиентов. При этом, чем больше произведение, тем выше сходство между ячейкой левого и ячейкой правого изображения.

При поиске точки в некоторой области левого снимка, с использованием эпиполярной геометрии, происходит обнаружение нескольких точек на

и

Рис. 10. Сравнение ячеек, через которые проходит эпиполярная линия

правом снимке вдоль эпиполярнои линии. При градиентом уточнении проводится выбор наиболее близкого значения искомоИ точке А среди обнаруженных на эпиполярноИ линии А1, А2, Аз, А4, Аз, рис. 10.

Тогда, наименьшее различие значении между искомоИ и каждоИ из обнаруженных точек в области правого снимка позволит робастно провести стереосоответствие.

После нахождения искомоИ точки на уровне пирамиды наименьшего размера, осуществляется переход на следующиИ уровень, большего размера, где область сравнения по значениям градиентов находится в окрестности наИденноИ точки.

На рис. 11, приведен пример изображения тестовоИ стереопары для правоИ камеры с использованием яр-костных градиентных изображениИ, с делением на уровням пирамиды изображениИ.

Яркостное изображение

представляет собоИ уменьшенную копию исходного изображения v1(x,y), например, для уровня N размер пикселя изображения вычисляется сле-

дующим образом рп = 2N 1 р , а для координат пикселеИ изображениИ двух произвольных уровнеИ пирамиды с номерами пи т справедливы следующие соотношения

2 Хп = 2 хт , 2 уп = 2 ут

Тогда при использовании пирамиды изображениИ, на N-ом уровне площадь области поиска И сокращается в раз

RN = « X, у):

X

\N-1

< X <■

х„

\N-1

у ■ у

т1п < у < тах

'~,N-1 — У ~

)N-1

(15)

Область Я^/ определяется условием (15). На самом верхнем уровне, кото-рыИ представляет собоИ исходное изображение, получаются значения (хя,уя)1, которые определяют положение образа, соответствующего искомому распределению яркостеИ левого изображения[3].

Задача стереоотождествления решается последовательным перебором значениИ в области поиска. На уровнях с большеИ детализациеИ исполь-

2-й уровень

3-й уровень

5-й уровень

Рис. 11. Использование пирамиды изображений для поиска соответствия точек левого и правого изображений

зуется начальное приближение полученное с предыдущих уровней.

В результате процедура стереоото-ждествления по предложенному алгоритму, позволяет обнаружить выделенную точку (х1,у1) левого изображения на правом изображении (х2,у2), рис. 12.

Выводы.

Использование корреляционного стереоотождествления по яркостным признакам позволило определить точку, принадлежащую искаженному по геометрии и яркости изображению объекта. При этом, задача её

Рис. 12. Результат обнаружения точки (х1,у1) левого изображения на правом изображении (х2,у2)

нахождения была сведена к оптимизационной задаче, решение которой было получено с использованием РМНК-алгоритма. Такой подход позволяет получить количественную характеристику достоверности результатов решения, задаваемую ковариационной матрицей.

(

K □ =а k h

31(1) 31(2) 32(1) 32(2)

37(1) 37(2)

31(256) 3 2(256)

3 7(256)

31(1) 31( 2)

3 2(1) 3 2( 2)

3 7(1) 3 7( 2)

31(256) 32(256) ... 37(256)

Увеличение скорости обработки одного изображения стереопары было достигнуто проведением сегментации изображения, с определением зоны поиска стереосоответствия, использованием пирамидальной структуры изображений и массивов градиентов яркостей правого и левого изображений.

- СПИСОК ЛИТЕРАТУРЫ

1. Желтое С.Ю., Степанов А.А., Визиль-тер Ю.В., Морзеев Ю.В. Статья «Объектно-ориентированный фреймовый подход в обработке изображений и управления данными, получаемыми от датчиков различной физической природы». печ. SPIE Proceedings, Volume 2587. 6.

2. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. — Москва ИД «Вильямс» 2004.

3. Визильтер Ю.В., Желтов С.Ю., Степанов А.А. Статья «Новые методы обработки изображений». печ. НЗНТ, Серия: Авиационные системы, №4; ГосНИИАС, 1992. с.21.

4. Чеголин П.М., Леонович Э.Н., Савенков В.И. Автоматизация преобразования сложных форм графической информации. — Минск: Наука и техника, 1973, 183 с.

5. Князь В.А., Крупенников И.В., Шаронов А.В. Видеоизмерения и решение задачи корреляционного стереоотождествления, использующей градиентный подход и пирамиды стереопар. — Вестник МАИ, 2008.

6. Gruen A. Adaptive Least Squares Correlation: A powerful image matching technique, South African Journal of photogrammetry, Remoute Sensing and Cartography, Vol. 14, Part 3, June, 1985. 5233

x

КОРОТКО ОБ АВТОРАХ -

Князь В.А. — начальник лаборатории, Крупенников И.В. — инженер 2 категории,

Шаронов А.В. — профессор, заведующий кафедрой «Информационные технологии», Московский авиационный институт (государственный технический университет), mai@mai.ru