Калибровка системы стереоскопического компьютерного зрения Текст научной статьи по специальности «Математика»

УДК 530.182, 519.72, 621.391.2

Е. П. Шелтт, А. Г. Еременко, И. О. Куров, А. А. Кузнецова, Е.В. Нечепуренко,

М. А. Сапунов

Московский физико-технический институт (государственный университет)

Калибровка системы стереоскопического компьютерного зрения

Рассматривается система стереоскопического компьютерного зрения с неидеальными камерами. В основе подхода — учет внешних и внутренних параметров системы. Внешние параметры есть перевод из системы координат предмета в систему координат изображения. Этот переход можно выразить в виде матрицы в проекционных координатах. Внутренние параметры - смещение центра координат при проецировании и скос осей координат. В статье описан метод нивелирования ошибок при построении изображения. Утверждается, что данный метод позволяет существенно улучшить качество получаемого ЗО-изображения. В статье метод применен к ряду стереоизображений. Продемонстрировано изменения качества при учете параметров камер. Оказалось, данный метод существенно увеличивает точность определения глубины изображения.

Ключевые слова: оптимизация, проекционные координаты, матричная алгебра, компьютерное зрение.

Е.Р. Sheshin, A. G. Eremenko, I. О. Kurov, A. A. Kuznetsova, Е. V. Nechepurenko,

М. A. Sapunov

Moscow Institute of Physics and Technology (State University)

Calibration of a camera for stereoscopic computer vision

system

The paper considers ideas of stereoscopic computer vision with imperfect cameras. The approach is based on external and internal parameters of the system. External parameters are translation from the system of coordinates of an object into the coordinate system of an image. This transition can be expressed as a matrix in projection coordinates. Internal parameters are the displacement of the center of coordinates at projection and bevel of axes of coordinates. The article describes a method for leveling errors in the construction of an image. It is claimed that this method allows us to significantly improve the quality of the resulting 3D-image. In the article, the method applies to a number of stereo images. Changes in quality, taking into account the parameters of the cameras are demonstrated. It turns out that this method significantly increases the accuracy of determining the image depth.

Key words: Optimization, homogeneous coordinates, matrix algebra, computer vision. 1. Введение

Предметом исследования является калибровка стереокамеры в широком смысле. Под калибровкой понимают подбор параметров для минимизации искажений при формировании 2В-изображения трехмерного мира.

В формировании изображения большую роль играет оптическая система камеры. Она вносит свои геометрические искажения. Во-первых, это пятна, образуемые из-за пыли

@ Шешин Е. П., Еременко А. Г., Куров И. О., Кузнецова А. А., Нечепуренко Е. В., Сапунов М. А., 2018 (с) Федеральное государственное автономное образовательное учреждение высшего образования «Московский физико-технический институт (государственный университет)», 2018

и царапин на стеклянных поверхностях. Во-вторых, это различного рода аберрации, приводящие к нарушению расположения точки изображения в реальной оптической системе по отношению к идеальной. Аберрации частично или полностью устраняются диафрагмированием [10], что, кроме положительного, дает и отрицательный эффект -эффект виньетирования, об устранении которого рассказано в [6], но в нашей статье он рассмотрен не будет. Поэтому существует третий вид искажений - снижение яркости изображения по направлению от оси оптической системы к периферии. Так как данное явление проявляется как отклонение значения выходного сигнала разных элементов матрицы, вызванного одинаковым входным воздействием, и является детерминированным в пространстве и независимым от времени, его можно рассматривать в совокупности с геометрическим шумом матрицы, который мы и будем минимизировать по ходу статьи. О других искажениях подробно рассказано в работе [4], что выходит за рамки нашей статьи.

Развитие технологий расширило возможности автоматической обработки фото- и видеоизображения. Так, например, появилась такая дисциплина, как фотограмметрия. Фотограмметрия применяется для проведения измерений в технике, медицине, промышленной автоматизации, исследованиях окружающей среды и других областях, и более качественная оценка позволит добиться лучших результатов в данных областях. В классическом случае используется линейный (или двухточечный) алгоритм коррекции, рассмотренный в [5]. В нашем же случае используется другой метод с большим количеством контрольных точек, что позволит получить лучшие результаты.

Предполагается найти калибровочную матрицу М, которая будет включать в себе внутренние и внешние параметры камеры. Внешние параметры можно представить как матрицу перехода Т из системы координат объекта в систему координат камеры. Предлагаемый метод позволит находить данную матрицу для любых конфигураций камер.

Для решения поставленной задачи рассматриваются системы координат объекта и камеры в однородных координатах. Однородные координаты обладают тем свойством, что определяемый ими объект не меняется при умножении всех координат на одно и то же ненулевое число. Из-за этого количество координат, необходимое для представления точек, всегда на одну больше, чем размерность пространства, в котором эти координаты используются.

Данный метод находит свое применение при построение карты глубины изображений. 2. Модель

Перед нами стоит проблема съемки произвольного объекта. Зададим две системы координат: А - для задания положения камеры и В - для задания положения объекта. Калибровка камеры состоит из двух составляющих: внешних и внутренних параметров. Внешние - это преобразование Т из реального мира в ЗБ-систему координат камеры (рис. 1).

Для начала рассмотрим, как задается положение произвольной точки Р в системе координат А (1). Легко заметить, что для системы координат В положение задается аналогично.

Рассмотрим переход из системы координат объекта В в систему координат камеры А рис. 3. Он состоит из смещения и поворота.

Смещение в векторном представлении можно выразить так:

В однородных координатах [2] выражение (2) можно выразить в виде перемножения матриц:

(1)

вр =А р +В (0а).

(2)

Рис. 1. Преобразование из системы координат объекта в систему координат камеры

Рис. 2. Положение точки в системе координат

Рис. 3. Переход между системами координат

(?)=О * ?*) (?)

А поворот системы координат можно описать так же, как и выражение (3):

/ >

ОР = (и ЗА кл) I Ау

= (и За кл) 1 в

V

/в х

в У г,

(3)

или в матричном выражении вР =в КАР, где матрица вК описывает положение системы координат А в системе координат В. Тогда положение точки Р в системе В можно выразить как (4):

в

/ глгв ЗаЪв кАгв" р = ( г АЗ в ЗАЗв кАЗв \гАкв ЗАкв кАкв,

= (в г а в за в ьа)

(4)

Для однородной системы координат

АР

/вР\ (ар Ч = \0Г К

Жесткое тело будет иметь шесть степеней свободы. Мы можем однозначно определить положение тела в пространстве, зафиксировав две его точки [1|.

Далее рассмотрим внутренние параметры. Это преобразование из ЗБ-изображсния в плоское (рис. 4). Для этого рассмотрим идеальную проекцию изображения. Пусть у нас есть система координат камеры с осями х, у, ъ и система координат плоского изображения с осями и, V (рис. 4).

Рис. 4. Преобразование из системы координат камера в систему координат изображения

Тогда положение точки в координатах и, V можно выразить через координаты х, у, г с помощью следующего выражения, где / - фокусное расстояние оптической системы камеры:

,х

и = т — ,

' г1

гУ

У =

В реальном мире нужно учитывать количество пикселей на миллиметр. Обозначим масштаб как а. Причем пиксели не всегда квадратные, поэтому введем @ для второй оси. Мы считаем, что центр проекции у нас находится посередине проекции, в реальных камерах существует смещение вследствие несовершенства производства, и его нужно учитывать. Для этого сведем смещения по каждой из осей как ио и ьо:

х

и = а—+ и0, г

V = + Уо-г

Так же нужно учитывать, что векторы и ж V могут быть не перпендикулярны. Для этого введем угол отклонения относительно вертикали в и новые координаты и' и V5.

Тогда соотношения между реальными и идеальными системами координат можно представить как

V18т(0) = V,

и' = и — сов(в)у' = и — еоЬ(в)у.

Рис. 5. Скос осей и' и V' относительно и и V

Учитывая все представленные ранее замечания, получим следующие уравнения:

и = а— — а со^0) — + щ, г г

V =

Р

У

8ш(0) ^

Наша модель учитывает два масштаба, два смещения и скос. Переведем эти выражения в однородные координаты, чтобы объект не менялся при умножении координат на одно число. II представим это в виде матричного выражения:

'г * и\ —асо^6>) и0

* * V I = ( 0 ^ 0

2 / \0 0 10,

м

У

г 1

Мы можем представить перевод в новые координаты простым выражением р = Кр, где матрица К есть (5)

К =

7 0 0

8

а/ 0

С-х

Су 1

(о)

где / - фокусное расстояние, з - скос, а - масштаб и смещения сх и су. Теперь мы можем совместить внешние и внутренние параметры и получить итоговое выражение:

р = К (В Дс*)р

р = Мр.

Представим матрицу М в однородных координатах, где т^, матрицы М:

т

т

т

т тт

компоненты

V I ~

в * и^

* V I =

т т

т

(Рх\ Ру Рг

VI )

3

где ~ обозначает, что у нас два одинаковых вектора с точностью до умножения всех координат на число:

и =

т1 • Р т3 • Р т2 • Р

V =-р .

т3 • Р

Тогда параметры камеры можно выразить в одно выражение

Мзх4 = КзхзРзх4 Язх4 ^3x4. Соответствующие матрицы имеют вид

К =

Р =

7 S хс

о af Ус

0 0 1

'1 0 0 0'

0 10 0

,0 0 10,

Р = / R:ix3 0зхл Л =\03х1 1,

Т =

13x3 ТЗ^Л ч0зх1 17.

Полученное выражение позволяет проецировать объекты на фотопленку с учетом внешних и внутренних параметров камеры.

3. Калибровка камеры

Основа калибровки заключается в том, что мы знаем положение некоторых точек в трехмерном пространстве и сопоставляем их с изображением. Получая тем самым некоторое преобразование из реального мира в изображение:

'w * u\ (т11 т12 т13 т14 w * V I = I Ш21 Ш22 Ш23 Ш24 w \Ш31 Ш32 тзз Ш34.

fx\

Y

Z 1

Рис. 6. Калибровка камеры по точкам

С помощью теодолита [3] сначала измеряется расстояние до маркеров: (X,Y,Z, 1)Т и мы можем найти и л v. Мы получаем пару выражений для каждой точки:

moo Xi + moxYi + mo2Zi + тоз

Ui =

Ш20Xi + Ш21^ + m22Zi + Ш23 '

(6)

mwXi + тп Yi + m^Zi + mis

(7)

(0) •

(8)

m,2Ç,Xi + Ш21 + m,22Zi + Ш23

Выражения (6) и (7) представим в матричной форме как А х m (8), где m - столбец из компонент матрицы М:

( тоо\ mio mo2 тоз mio

'Xi Yi Zi 1 0 0 0 0 -UiXi -UiYi -UiZi -иЛ mn 0 0 0 0 Xi Yi Zi 1 -ViXi -ViYi -ViZi -vj mi2

mi3 Ш20 Ш21 Ш22 \Ш23/

Чтобы решить это уравнение, необходимо минимизировать х Решением будет собственный вектор m* матрицы АТА с наименьшим собственным значением. Нам нужно шесть или более точек.

Вариант 1. Как мы знаем, мы можем поделить все элементы матрицы m, па число так, чтобы один из элементов был равен 1. Но стоит быть осторожным, когда т,2з близко к 0, в этом случае стоит воспользоваться вторым вариантом:

и\ ! тоо т01 т02 тоз\ V I ~ I mio mu mi2 mi3 | 1/ \Ш20 Ш21 m,22

1 /

(X\

Y

Z 1

Ui =

и тогда

mooXi + moiYi + mo2Zi + тоз m2oXi + m2iYi + m22Zi + 1 '

mioXi + mu Yi + mi2Zi + mi3 Vi = -•

m2oXi + m2iYi + m,22Zi + 1

Перемножив m vi ы, которые известны, так как это положение точки на изображении, легко получить т. Этот метод имеет несколько позитивных и негативных сторон. Позитивные: очень легко формулируется и решается. Негативные: явно не отображает параметры камеры и допущенное приближение не учитывает радиальное искажение [7], тяжело вводить ограничения.

Вариант 2. Представим матрицу А как сингулярное разложение UDVT. D -диагональная матрица, a U и V ортогональны. Будем минимизировать т||.

Но m| = тЦ и = т!\- Таким образом, минимизируя

||^УТт^и ЦУТт| = 1, замену у = VTm. Тогда нужно минимизировать D -

диагональная матрица с сортированными значению по убыванию. Тогда ^Dy || минимально,

когда у = (О 0 ••• 0 1)Т. Мы обозначили у = VTm, ^^^^^тательпо, m = Vу, получается, что m, - это последний столбец матрицы V.

4. Замечание

Данным методам измерения присущи геометрические ошибки, которые нужно минимизировать. Допустим, у нас есть проекция М. Х^ - множество точек в ЗБ-пространстве и на плоскости, на которую производится проекция множество точек

идеальной проекции Хг и точки реальной проекции (рис. 7). Сумма расстояний между идеальной и реальной проекциями и будет составлять геометрическую ошибку Е (9):

Е = ^ ^х'г,х'г). (9)

Ее мы и будем минимизировать:

й(х[,МХг).

м

Рис. 7. Геометрическая ошибка при проецировании

Число точек, по которым проводится калибровка, должно быть больше пяти, тогда ошибка (9) будет минимальной. Существует алгоритм минимизации ошибки.

1) Линейное решение:

• нормализация Хг = иХг , хг = Тхг,

• минимизация прямого линейного преобразования.

2) Минимизация геометрической ошибки: используя линейную оценку в качестве начальной точки, минимизировать ошибку:

штУ й(хг,МХг).

3) Денормализация:

м = т-1 ми.

5. Результаты

В итоге мы получаем матрицу М, содержащую все параметры камеры. И теперь можем найти центр ЗБ-камеры из этой матрицы. Представим М как М = [ф|Ь], где М имеет размерность 3 х 4 и Ь - это последний столбец матрицы М. Центр ЗО-камеры обозначим С, тогда МС = 0. Докажем это. Допустим, точка X нжодится где-то между Р и С:

X = \Р + (1 - \)С,

тогда проекция будет

ж = МХ = ХМР + (1 - Х)МС.

Для любой точки Р все точки па РС проецируются на Р, следовательно, МС должно быть равно 0. Полученные результаты позволяют добиться улучшения при построении карты глубины согласно [8] и [9]. Как можно заметить, правое изображение визуально чище левого.

Рис. 8. Карта глубины без оптимизации и с применением оптимизации

6. Вывод

Основным результатом является применимость метода оптимизации параметров для ЗО-камср. Метод дает видимый результат при построении глубинных карт. Таким образом, абстракция от физических параметров позволяет его применять на любых камерах. Данная оптимизация не требует дополнительного оборудования, что положительно влияет на экономи ческую составляющую.

Литература

1. Архангельский М.М. Курс физики. Механика. М.: Просвещение, 1965. С. 217.

2. А.ммерал Л. Принципы программирования в машинной графике. М.: Сол Систем, 1992. С. 66.

3. Гришин. Б. С. Геодезические инструменты и приборы. М.: Издательство геодезической литературы, 1954.

4. Харитонова E.H. Методы коррекции геометрических искажений видеосигнала камер, выполненных на матричных фотоприемных устройствах: диссерт. канд. технич. наук / Новгородский гос. ун-т, 2010. 161 с.

5. Сивухин, Д.В. Общий курс физики. Т. 4. Оптика. Изд. 3-е. М.: Физматлит, 2005. §22.

6. Голосов Д.С. Фотографическая оптика. 2-е изд. М.: Искусство, 1978. С. 50 52. 543 с.

7. Волосов Д. С. Глава II. Оптические аберрации объективов. Фотографическая оптика. 2-е изд. М.: Искусство, 1978. С. 91 234. 543 с.

8. Прэтт У. Цифровая обработка изображений: пер. с англ. М.: Мир, 1982. Кн.1 312 е.,

ил.

9. Прэтт У. Цифровая обработка изображений: пер. с англ. М.: Мир, 1982. Кн. 2 480 е.,

ил.

10. Иофис Е.А. Фотокинотехника / И.Ю. Шебалин. М.: Советская энциклопедия, 1981. С. 26 244. 447 с.

References

1. Arkhangelskу М.М. Course in physics of mechanics, 1965. P. 217.

2. Ammeral L. Principles of programming in computer graphics, 1992. P. 66.

3. Grishin B.S. Geodetic tools and devices Publishing house of geodetic literature, 1954. P. 19 30.

4. Kharitonova E.N. Methods of correction of geometrical distortions of a video signal of cameras made on matrix photodetective devices: dissert, k.t.n. Novgorod state university. 2010. P. 161.

5. Sivukhin D. V. General course of physics. V. 4. Optics. 2005. §22.

6. Volosov D.S. Photographic optics. 2-nd ed. 1978. P. 50-52.

7. Volosov D.S. Chapter II. Optical aberration of lenses. Photographic optics. 2-nd ed. M.: Art, 1978. P. 91-234. 543 p.

8. Pratt W. Digital image processing: book 1. 1982. P. 312.

9. Pratt W. Digital image processing: book 2. 1982. P. 480.

10. Iofis E.A. Photographic technology / I.Yu. Shebalin. M.: Soviet Encyclopedia, 1981. P. 26-244. 447 p.

Поступим в редакцию 14-05.2018