CC BY
54
УДК 621.317.08 (075.8)
КОРРЕЛЯЦИОННОЕ СТЕРЕООТОЖДЕСТВЛЕНИЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ С ВИДЕОИНФОРМАЦИОННОЙ СИСТЕМЫ
В.А. КНЯЗЬ, И.В. КРУПЕННИКОВ, А.В. ШАРОНОВ
В работе рассматривается задача корреляционного стереоотождествления точек снимков стереопар, в реальном масштабе времени, с уточнением по массивам яркостей.
Ключевые слова: техническое зрение, корреляция, стереоотождествление, пирамида изображений, пиксель, редукция.
Введение
В проблеме формирования законов управления движением динамического объекта, использующих видеоинформацию со стереосистемы технического зрения, одной из важнейших задач, требующих решения в приближенном к реальному масштабе времени, является задача стереоотождествления точек изображений.
Решается задача разработки корреляционного алгоритма стереоотождествления точек левого и правого изображений сцен, полученных с ПЗС-камер, установленных на подвижной платформе, перемещающихся по подстилающей поверхности со скоростью до 60 км/ч. Этот алгоритм должен работать в реальном масштабе времени, т.е. осуществлять обработку со скоростью 15 кадров в секунду.
Для формирования алгоритма были решены несколько задач, возникающих при стереоотождествлении двух изображений[1, 2], при этом выбор метода решения производился по результатам анализа реальных изображений подстилающей поверхности и с учетом основных факторов, затрудняющих стереоотождествление:
• наличие на изображениях областей с малой вариацией яркости;
• возникновение при съемке поверхности объектов под разными углами существенных яркостных различий изображений стереопары;
• возникновение вследствие потенциально сложного рельефа подстилающей поверхности существенных геометрических искажений.
Разработанный многоэтапный алгоритм стереоотождествления на начальной стадии редуцирует изображение, уменьшая размер исходного изображения по вертикали и горизонтали.
Алгоритм функционирования модуля стереоотождествления после получения первой пары изображений с левой и правой камеры производит масштабирование изображений для построения пирамиды. Использование пирамидальной структуры изображения на этапе работы модуля стереоотождествления точек левого снимка на правом позволяет осуществлять поиск стереосоответствия на изображении, которое составляет 1/20 от исходного (5%) (размер верхнего уровня при разрешении камеры 640х480 пикселей будет составлять 40х30 пикселей).
Количество уровней пирамиды определяется детализацией изображения, причем на каждом последующем уровне изображение уменьшается в 2 раза. При выбранном количестве уровней пирамиды осуществляется быстрый переход на другой уровень, при этом обработка проводится только в области поиска этой точки. Каждая ячейка изображения на более высоком уровне пирамиды преобразуется в четыре, увеличиваясь вдвое по оси х и вдвое по оси у [3].
Поиск характерной точки изображения с левой камеры на изображении с правой камеры проводится по 5 уровням пирамиды:
1-й уровень - 40х30 пикселей;
2-й уровень - 80х60 пикселей;
3-й уровень - 160x120 пикселей;
4-й уровень - 320x240 пикселей;
5-й (исходный) уровень - 640x480 пикселей.
Для нахождения стереосоответствия точек левого изображения точкам правого изображения осуществляется процедура корреляционного стереоотождествления точки изображения с использованием яркостных признаков.
Каждая точка прямоугольной области поиска на правом изображении выбирается в качестве центра изображения, которое сравнивается с выбранным участком на левом изображении, при этом мера сходства задается корреляционной функцией
к (х, у ) =
£ У(Х + ^, у + уь ^ (х + хК, у + Уя)-^
( х, У )
{ \
-2
V(х, у)
1/2/ х 1/2
£ V2 (х + хь, у + Уь)-М2 £ g2 (х + , у + Уя)-Щ2
V(х, у)
где (хь, уь ) - координаты центра выбранной прямоугольной области на левом изображении;
(хя, Уя ) - координаты центра прямоугольной области, выбранной на правом изображении;
у( X + Хь, у + уь ) - функция яркости выбранной прямоугольной области на левом изображении;
g (X + Хя, у + уя ) - функция яркости на искомом (правом) изображении;
Я = {(хя , уя ) : Xmin £ Хя £ Xmax ; Уmin £ уя £ Уmax } - прямоугольная область поиска на правом изображении;
N - количество ячеек в выбранной области левого изображения,
V = -1 £Чх+х1,у+Уь); I=-1 £g(х+хя>у+Уя)- средние значения
( X, у ) ( X, у )
яркостей.
х * * х
Значения искомых координат (ХК, уК ), при которых корреляционная функция достигает максимума, являются решением экстремальной задачи
(хЯ, уЯ ) = ^ max к (хя, Уя).
хя,УлеЯ
Её решение может быть найдено методом субпиксельной корреляции, рассмотренным в работах Желтова С.Ю. и Себрякова Г.Г. [4].
Однако для решения поставленной зад ачи может б ыть использ ован и метод наименьших квадратов, который эквивалентен методу субпиксельной корреляции и, кроме того, он позволяет ещё и вычислять ковариационную матрицу оценки параметра сдвига к левого изображения относительно правого, которая характеризует степень достоверности полученного результата.
Пусть координаты любых точек, принадлежащих выбранной области в системах координат левого изображения oxy и правого изображения О, Xf, у., связаны преобразованиями f и у с точностью до неизвестного параметра h
xt = f (x, у, h), у. = у (x, у, h),
где h - неизвестный векторный параметр, задающий начало системы координат o., x., у. в системе координат О^у .
Этот вектор определяется значениями горизонтального и вертикального сдвигов, которые
последовательно принимают все значения (xr. , ущ) из допустимого диапазона, которые необходимо определить
xRmin £ xRi £ xR max , xRi = xR min + 1 ' AxR ,
у* min £ УRj £ уR max , уК( = УR min + j ' AVR •
Заметим, что в идеальных условиях, в отсутствии геометрических и яркостных искажений
v( x у) = g(x-, уi); x = x-; у=у.
Однако в реальных условиях в предположении о независимости геометрических и яркостных искажений левого и правого изображений
v( x, у) = wg (x., уi) + e( x, у) + b,
где w ,b - мультипликативный и аддитивный параметры яркостных искажений; е(x у) е N(0, se) - аддитивный гауссовский шум; v(x, у) - функция яркости выбранной
прямоугольной области на левом изображении; g(xi, уi) - функция яркости на искомом
(правом) изображении.
В качестве меры сходства двух изображений принимается квадрат длины вектора невязки
q = Z(v( x у ) - wg(xi, у- ))2.
(x у)
Тогда задача поиска оценок неизвестных координат центров пикселей правого изображения сводится к стандартной задаче метода наименьших квадратов
(xR, у^^) = argmin Z(v( x, у) - wg(xi, у-))2 •
( x, у )
Для определения неизвестных параметров обозначим g (x, у) распределение яркости на участке правого изображения, а его положение пусть задается начальным вектором с координатами (AxR ,1,0, AyR ,0,1)T.
Тогда
T / * * * * * * * \
g =lg. gx> xg*> ygx, gy> xgу > Уgy j;
hT =(w , wAxii, wAxi2, wAxi3, ^уп, wЛУi2, wЛУi3j •
В матричной форме уравнение измерений имеет вид
П0 = СН + є .
■■(у„
(єі
) - вектор измерений;
Єм ) - вектор ошибки измерений;
С =
г #11 §12 . .. §1256 ^
§ 21 § 22 . .. §2256
§ зі §з2 . .. §3256
§ 41 §42 . .. §4256
§ 51 § 52 . .. §5256
§ 61 §62 . .. §6256
1> § 72 . .. §7256 )
- матрица измерений.
МНК-оценкой для Н является оценка вида
Н = (СТС)-1 СТг0 .
При этом точность оцениваемого параметра Н определяется ковариационной матрицей
Кн =<х02(СТС)-1,
-2 _ где &0 =
л Т
ч ч
- апостериорная оценка дисперсии; Ч = СН — V - оценка вектора невязки;
N — и
И = 7 - число параметров.
Для уточнения координаты найденной точки алгоритм функционирования модуля стереоотождествления осуществляет сравнение значений яркостей для каждой ячейки области поиска левого изображения (а^,Ь^) из областей поиска правого изображения (а^Ьщ) вдоль эпиполярной линии, где а - номер строки области поиска; Ь - номер столбца области поиска [5].
Поиск искомой точки на правом изображении осуществляется последовательным смещением области размером 5х5 пикселя относительно центрального пикселя (рис. 1).
Т
ч ч ч
\ '
ч /
/
Ч ч ч . \
5x5
Рис. 1. Смещение области поиска точки
При этом сравниваются девять областей правого снимка с исходной областью левого снимка. Поскольку значениями областей являются яркости пикселей, то ищется такая область размерами 3х3 пикселя на правом снимке, яркость которой в наименьшей степени отличается от значений яркостей области той же размерности левого снимка, содержащего исходную точку. Рис. 2 иллюстрирует процесс сравнения, где Л^„ - матрица, содержащая значения яркости исходной области, а Br„ - матрица, содержащая значения яркости искомой области.
Левое Правое
f ■®я,1 %1 ,1 ■®Й4Д V
ГЛц Д.1,2 л Л 11,3 ^Д2 ^>3,2 ВрАй -®Д5,2
А = А 2,1 А 2,2 Д[.2,3 вР = Brz 3 ■®^,з
,Аз,1 Аз,2 Азд) Д^3,4 В.%4
■®>з,5 Дч4.-> )
Рис. 2. Сравнение областей левого изображения с областью правого
Процедура сравнения осуществляется в соответствии с критерием
к = ),
п =1
где К - коэффициент, характеризующий совпадение яркостей областей; п - количество областей размером 3х3 пикселей; А^ - матрица значений яркости элемента области поиска левого изображения; Вя - матрица значений яркости элемента области поиска правого изображения; I, ] - номер строки и столбца.
Чем больше будет число совпавших значений яркости ячеек изображения для каждой области, тем меньше будет значение коэффициента к, которое и будет решением задачи уточнения координаты искомой точки.
Для проверки выполнения условий о решении поставленной задачи в реальном масштабе времени была проведена оценка временных затрат при стереоотождествлении точки при количестве уровней N=5 в пирамиде изображений. Эта проверка показала шестикратное преимущество.
Результатом работы алгоритма стереоотождествления является определение точек правого снимка по точкам на левом снимке.
Заключение
Использование корреляционного стереоотождествления по яркостным признакам позволило определить точку, принадлежащую искаженному по геометрии и яркости изображению объекта. При этом задача её нахождения была сведена к оптимизационной задаче, решение которой было получено с использованием МНК-алгоритма. Такой подход позволяет получить количественную характеристику достоверности результатов решения, задаваемую ковариационной матрицей.
Увеличение скорости обработки одного изображения стереопары было достигнуто проведением редукции изображения с определением зоны поиска стереосоответствия, использованием пирамидальной структуры изображений и уточнению по массивам яркостей правого и левого изображений.
ЛИТЕРАТУРА
1. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. - М.: ИД "Вильямс", 2004.
2. Визильтер Ю.В., Желтов С.Ю., Степанов А.А. Новые методы обработки изображений // печ. НЗНТ, серия Авиационные системы // ГосНИИАС. - 1992. - № 4. - С. 21.
3. Князь В.А., Крупенников И.В., Шаронов А.В. Видеоизмерения и решение задачи корреляционного стереоотождествления, использующей градиентный подход и пирамиды стереопар // Вестник МАИ. - 2009.
- № 2. - С. 97-101.
4. Желтов С.Ю., Веремеенко К.К., Ким Н.В., Красильников М.Н., Себряков Г.Г. Современные информационные технологии в задачах навигации и наведения беспилотных маневренных летательных аппаратов.
- М.: ИД "Физматлит", 2009.
5. Gruen A. Adaptive Least Squares Correlation: A powerful image matching technique, South African Journal of photogrammetry, Remoute Sensing and Cartography, Vol. 14, Part 3, June, 1985.
TORRELATION STEREOIDENTIFICATION OF IMAGES OF STEREOPAIRS
Knyaz V.A., Krupennikov I.V., Sharonov A.V.
This paper dealing with problems of real-time approach in stereoidentification of points from two images.
Key words: technical vision, correlation, stereoidentification, image pyramid, pixel, reduction.
Сведения об авторах
Князь Владимир Александрович, 1957 г.р., окончил МФТИ (1980), начальник лаборатории компьютерного машинного зрения ФГУП «ГосНИИАС», автор более 100 научных работ, область научных интересов - создание алгоритмического и программного обеспечения для компьютерных систем анализа и обработки изображений, а также ближняя фотограмметрия.
Крупенников Илья Владимирович, 1983 г.р., окончил МАИ (2005), инженер 2 категории лаборатории машинного зрения ФГУП «ГосНИИАС», автор 14 научных работ, область научных интересов - трехмерная визуализация и техническое зрение.
Шаронов Анатолий Васильевич, 1937 г.р., окончил МАИ (1972), МГУ (1980), доктор технических наук, профессор, заведующий кафедрой информационных технологий МАИ, автор более 150 научных работ, область научных интересов - математическая обработка результатов измерений.
