Решение задачи автокалибровки камеры с использованием метода согласованной идентификации Текст научной статьи по специальности «Математика»

РЕШЕНИЕ ЗАДАЧИ АВТОКАЛИБРОВКИ КАМЕРЫ С ИСПОЛЬЗОВАНИЕМ МЕТОДА СОГЛАСОВАННОЙ ИДЕНТИФИКАЦИИ

Гошин Е.В., Фурсов В.А.

Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва

Аннотация

В работе рассматривается задача автокалибровки (определения внутренних параметров) камер, с которых получено несколько изображений одной и той же сцены. Решение этой задачи является одним из основных этапов сквозной технологии построения 3D моделей сцен. Для вычисления матрицы внутренних параметров камер используется метод согласованной идентификации. Показано, что применение этого метода обеспечивает повышение точности и надёжности определения калибровочной матрицы камеры.

Ключевые слова: автокалибровка, матрица калибровки, модель камеры, стереоизображения, согласованная идентификация, фундаментальная матрица, проективная геометрия, эпиполярная геометрия.

Введение

Автокалибровка камер, заключающаяся в нахождении матрицы внутренних параметров камеры с использованием нескольких зарегистрированных ею изображений одной и той же сцены, является одной из ключевых проблем сквозной технологии построения 3D моделей сцен. Знание матрицы калибровки необходимо для последующего определения положения камер, т. е. внешних параметров камеры.

Задача решается в предположении, что внутренние параметры камеры: фокусное расстояние и координаты главной точки (пересечения главной оптической оси с плоскостью проекций) - остаются неизменными при регистрации используемого набора изображений. Проблема состоит в том, что неизвестны положение и ориентация камеры при съёмке. Решение данной задачи, как правило, осуществляется после нахождения фундаментальных матриц, связывающих точки попарно взятых изображений.

В работе [1] предложен метод решения задачи нахождения параметров камеры по известным фундаментальным матрицам, одним из этапов которого является решение переопределённой системы линейных уравнений. В контексте данной конкретной задачи при решении этой системы возникают специфические проблемы, связанные как с малым числом входящих в неё уравнений, так и со структурой вектора ошибок. В частности, далее будет показано, что каждая ошибка входит одновременно в три уравнения. Поэтому каждая грубая ошибка в данных, получаемых на предшествующих этапах, дублируется.

Для решения подобных задач с выбросами при отсутствии априорной информации применяются робаст-ные методы - устойчивые к грубым ошибкам. Одним из наиболее популярных методов этого семейства является алгоритм ЯА№АС. В частности, этот алгоритм широко используется в задачах компьютерного зрения [2], [3], [4]. Тем не менее, в одной из предшествующих работ [2] авторами настоящей статьи показано, что, например, задача нахождения фундаментальной матрицы по набору соответственных точек может быть решена более точно и надёжно с использованием метода согласованной идентификации по сравнению с алгоритмом ЯА№АС.

В настоящей работе метод согласованной идентификации исследуется в рамках технологии определения параметров камеры, включающей решение переопределённой системы линейных уравнений, с целью выявления влияния на качество результата специфической структуры вектора ошибок. В частности, исследуется возможность повышения точности и надёжности решения этой задачи в рамках метода [1] при использовании алгоритма согласованной идентификации по сравнению с алгоритмом ЯА№АС.

1. Формулировка задачи

В задаче используется модель камеры-обскуры [5], для которой формирование двумерной проекции

т = (и, v,l)Г точки в трёхмерном пространстве X = (х, у, может быть представлено как

т = К [Д | {] X , (1)

где К =

/и 0 0

У

X 0

1

- матрица калибровки каме-

ры, Д и t - матрица поворота и координатный вектор трансляции, а = означает эквивалентность с точностью до масштаба (подобие). На рис. 1 приведена система координат проективной камеры т(х,у)

М(Х3Хг)

Рис. 1. Система координат проективной камеры Для приведённого рисунка /и = / / w, = / / h , где w и к - масштабы вдоль осей ох и оу (например, расстояния между ячейками матричного фото-

и

0

V

0

приёмника вдоль строк и столбцов), (и0, v0) - координаты главной точки относительно начала координат фотоприёмника [6]. Параметр у выражается через косинус угла между осями и и v и равен нулю в случае их ортогональности.

В общем случае трёхмерные координаты точки могут быть заданы в системе, не совпадающей со стандартной системой координат камеры (её называют глобальной).

На рис. 2 схематически показан переход от глобальной системы координат к стандартной системе координат камеры. В этом случае элементы первой строки матрицы R равны соответственно:

R11 = cos(OXOX''), R12 = cos(ш^аТ'),

R13 = cos(OZOX7').

Рис. 2. Переход к системе координат камеры Для двух изображений, полученных при различном положении одной камеры с фиксированными внутренними параметрами, с учётом ограничений эпиполярной геометрии можно записать соотношение (2):

FCFT =, И,C К-

(2)

Уравнение (2) - это классическое уравнение Круппа в матричном виде [7]. Здесь С = ККТ, " -неизвестный масштабирующий коэффициент, а ^ и е' - соответственно фундаментальная матрица и вектор координат эпиполюса на втором изображении.

Кососимметричная матрица [е ']х формируется из е' и имеет следующий вид:

[e 1 =

Если имеется к изображений, можно составить п = Ск уравнений вида (2):

0 -e '3 e '2

e 'з 0 -e'

-e '2 e '1 0

FCFT = ,1 [e 1L C[e \ I F£Ft2 = ,2 [e '2 ]x C [e '2

(3)

[FCFT = ,„ [e " ]x C [e " J , где Fi и [e V ]x известны, а определению подлежат элементы матрицы:

C =

с с.

с

с.

"3 5 ^6 _

Представив матрицу неизвестных параметров в виде вектора: с = (с1 с2 с3 с4 с5 с6 )Т, уравнения (3) можно переписать в виде системы линейных уравнений размерности 3к х 6:

Ас = 0 , (4)

' ТТ - ^Д1 "

где A =

L - s2 R

L" - sR"

(5)

а матрицы Lk и Rk имеют вид:

Lk =

Rk =

(Fk Г

FkFk

1 11J 31

(Fk )2

0 0

(e t )2

2 FkFk 2 nJ 12

2 FkFk 2 11 13

( )2 2f2 F* ( F* )

( pk pk + FkFk\ (FkFk , Fk FkFk (FkFk + Fk fM FkFk

\F12F31 ^ F11 Г32) ^МЗF31 ^ F11 Г33) F12F32 ^МЗF32 F12F33 ) F13F33

(Fk )2 (e 1)

2 FkFk 2 21 22

2 FkFk

2 21 23

2 Fk Fk

2 22 23

(Ъ )2

e ke k

0

-(e 1)

-2e'ke 'k

(e k ) -2e '2 e *

-e'ke k e U k

0

0

Вначале одним из методов нелинейной оптимизации определяются масштабные коэффициенты 51,"2,...,яп, доставляющие минимум наименьшему собственному значению матрицы А. Затем формируется (при с6 = 1) и решается, в общем случае переопределённая, система линейных

уравнений относительно неизвестных коэффициентов с1, I = 1,5 .

Поскольку решению задачи на втором этапе предшествуют этапы вычисления фундаментальной матрицы и масштабных коэффициентов, система уравнений может содержать выделяющиеся ошибки.

с

С2 С3

С2 С4

2

0

Притом структура системы уравнений такова, что ошибка в определении одного масштабного коэффициента в (3) приводит к искажению сразу трёх соотношений. С этой точки зрения подходящим для решения системы представляется метод согласованной идентификации, применявшийся в работе [2]. Задачей настоящей работы является сравнительное исследование влияния этих особенностей на качество решения методом согласованной идентификации и алгоритмом ЯА№АС

В настоящей работе описывается техника приведения исходной системы к виду, удобному для применения согласованной идентификации. В частности, предложено формировать подсистемы таким образом, чтобы в них включались сразу все строки, относящиеся к одному масштабному коэффициенту.

Это дополнительное ограничение не ухудшает качества идентификации в силу одинакового воздействия ошибки в масштабном коэффициенте на все относящиеся к нему строки. При этом значительно уменьшается объём производимых вычислений.

2. Алгоритм получения согласованных оценок При задании коэффициента с6 = 1 однородную систему уравнений можно записать в виде системы линейных уравнений вида:

У = Хс + (6)

где столбцы матрицы X составлены из пяти первых столбцов матрицы А , а (3п)х1 векторы у и £ определяются как

У =

-(Ъ )2

+ * - д1 д1

1 13^ 33

+*

+

13 33

-(ч )2

+

£ =

-Д* |( е

*1 (е

1 (('

-Д* (е '2 е '3 с* -

-Д* ((е

1 ((е

((е

-Д*я ((е.

-Д*и (е .е П^-

((е

-д*. ((е .

I)2

2 )2

с; - 2е '2е '3 с5 +(е 2

( е 1 Г)

(е '2 )2 с3-е '1 е '3 с; + е '1 е 1 с5*) с;-2е '1 е '3 с3+( е '1 )2)

с;- 2е .е '.с;+( е 2

( е . Г)

(е.)2 с3-е.е'.< + е.еЦ

с; — 2ет.е'3 с3*+(е

(е . )2)

Здесь А*,- - неизвестные ошибки определения масштабных коэффициентов, с,* - истинные (неизвестные) значения элементов матрицы С.

В методе согласованной идентификации [7] из исходной системы (5) формируется множество, например СN, так называемых подсистем нижнего уровня размерности М < £ < N (предполагается, что матрица X и все возможные матрицы, составленные из её строк, неособенные) [9]:

у, = X,с, + £к, к = 1, 2, ... . по правилу

у, = Gk у, Хк = Gk X, £, = Gk £,

(7)

(8)

где Gк, к = 1, - невырожденные N х £ -матрицы, составленные из £ единиц и £ (N -1) нулей так,

что имеют место все возможные сочетания номеров строк, в которых содержатся единицы.

Поскольку М < £ и Дапк Gк = £, для каждой сформированной описанным способом подсистемы нижнего уровня существует МНК-оценка:

с к = [Хк X к ]-1 Хк Gk у к.

(9)

Аналогичным образом (из нулей и единиц) строится множество №Р-матриц Н £ < Р < N, с использованием которых формируются так называемые подсистемы верхнего уровня:

у I = ^^ I с1 + £ I,

где по аналогии с (8)

(10)

XXI = НТ X, у I = НТ у , £1 = НТ у , 1 = 1, L , L = СР . (11)

В работе [9] рассматривался случай формирования всех возможных подсистем верхнего уровня. Для каждой такой подсистемы на соответствующих ей подсистемах нижнего уровня (2) вычисляется

множество ©1 = {с 1к: к = 1, Ср }, 1 = 1, Ср промежуточных оценок (9). Далее решается задача отыскания номера подсистемы верхнего уровня 1 :

W (/) = т^ (©1), (12)

где ss с1к е ©1, к = 1, К - критерий взаимной близости, в данном случае определяемый как

W [®1 Ы(си -с 1,у)2

(13)

притом что размерность подсистем нижнего уровня равна размерности вектора оцениваемых параметров: £ = М.

В данном случае, наряду с общей схемой формирования подсистем верхнего уровня, рассмотренной в работах [9], исследуется алгоритм, учитывающий специфическую структуру матрицы. В частности, предлагается выбирать не все возможные подсисте-

2

)

е

2

е

2

)

е

2

е

3

2

мы верхнего уровня, а только такие, у которых строки относятся к одному блоку, т.е. строки с номерами вида 3/ +1, 3/ + 2, 3/ + 3.

При этом в каждую подсистему верхнего уровня попадают все строки, содержащие одну и ту же ошибку в определении масштабного коэффициента, либо не входит ни одной строки с такой ошибкой. При этом должно выполняться ограничение на размерность подсистемы верхнего уровня: Р = 3р .

3. Результаты экспериментальных исследований

Сравнительные экспериментальные исследования проводились с целью сопоставления точности и надёжности определения внутренних параметров видеокамеры при использовании для решения полученной из (4) переопредёленной системы (6) метода наименьших квадратов (МНК), метода согласованной идентификации (МСИ) и алгоритма КАЖАС. Эксперименты проводились на наборах данных, которые моделировались следующим образом.

Для заданной калибровочной матрицы камеры К

и набора внешних параметров Д, t¡, / = 1, т формировались матрицы

F¡, [е \ ]х, / = 1,п, п = С2.

С их использованием далее формировались матрицы Т и Як и в соответствии с (4), (5) вычислялись значения масштабных коэффициентов "2,..., яп.

Моделирование различных ситуаций с использованием данных осуществлялось следующим образом. Элементы матрицы X и вектора у вычислялись по выражениям для элементов матриц Т и Як, а вектор ошибок строился путём внесения ошибок Д" в масштабные коэффициенты .

Компоненты вектора ошибок формировались таким образом, чтобы для нормальных ошибок отношение сигнал/шум находилось в пределах 20-40 дБ. Для аномальных ошибок отношение сигнал/шум задавалось в пределах 0-10 дБ.

По полученным оценкам с вектора с далее формировалась матрица

С =

1

Оценка К исходной матрицы строится посредством разложения Холецкого матрицы Ж :

К =

с - с2

1 °3

(с2 - С3С5 )2

0

0

1

Сравнительная оценка точности и надёжности алгоритмов производилась по элементам матрицы

К . Точность определялась как норма разности исходной матрицы К и её оценки, при этом идентификация считалась верной, если отношение нормы вектора погрешности к норме вектора параметров не превышало 0,15.

Приведение результатов работы метода наименьших квадратов не представляется целесообразным в силу того, что аномальные ошибки приводят к абсолютной недостоверности полученных оценок.

На рис. 3 приведены графики зависимости средних значений погрешности верных идентификаций от отношения сигнал/шум для нормальных ошибок при фиксированном отношении сигнал/шум для аномальных (пунктир - для метода RANSAC, тёмный - для метода согласованной идентификации).

0,75"

0,70 0,65 0,60 0,55 0,50 0,45 0,40

X.

25 30 35

Рис. 3. Средняя погрешность верных идентификаций

На рис. 4 приведены графики зависимости числа ложных идентификаций на 100 экспериментов от отношения сигнал/шум для нормальных ошибок.

50-

40 30 20 10

0-1-

25 30 55

Рис. 4. Процент верных идентификаций

Нетрудно заметить, что на всех реализациях метод согласованной идентификации показывает лучшие результаты как по надёжности, так и по точности.

Заключение Показано, что предложенная модификация алгоритма автокалибровки, основанная на использовании метода согласованной идентификации, позволяет повысить точность и надёжность по сравнению с более широко используемым для этой цели алгоритмом ЯА№АС. С учётом результатов работы [2] это открывает возможность формирования сквозной технологии построения 3 D сцен на общей методологической основе.

С2 С3

С2 С4

5

5

С 2 с3с5

2

2

С4 - С5

0

5

Благодарности Работа выполнена при поддержке Министерства

образования и науки (ГК № 07.514.11.4105) и РФФИ

(проекты № 11 -07-12051 -офи-м, № 12-07-00581-а,

11-07-13164-офи-м-2011 -РЖД).

Литература

1. Cheng, L. A New Approach to Solving Kruppa Equations for Camera Self-Calibration / Lei Cheng, Fuchao Wu, Zhanyi Hu, Hung-Tat Tsui. - 16th International Conference on Pattern Recognition, 2002. - P. 308-311.

2. Фурсов, В.А. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. - 2012. - Т. 36, № 1. - C. 131-135.

3. Фурсов, В.А. Проблемы вычисления оценок по малому числу наблюдений / В.А. Фурсов. - Лекция в тр. молодежной школы «Математическое моделирование 2001», 2001. - С. 56-63.

4. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / Martin A. Fischler, Robert C. Bolles // Communications of the ACM. - 1981. -Vol. 24. - P. 381-392.

5. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. - М.: Издательский дом «Вильямс», 2004. - 928 с.

6. Грузман, И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых [и др.]. - Новосибирск: Изд-во НГТУ, 2002. - 352 c.

7. Hartley, R.I Kruppa's Equations Derived from the Fundamental Matrix / Richard I. Hartley // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1997. -Vol. 19. - P. 133-135.

8. Fursov, V.A. Conforming Identification of the Controlled Object / V.A. Fursov, A.V. Gavrilov // Proceeding International Conference on Computing, Communications and Control Technologies. - 2004. - P. 326-330.

9. Фурсов, В.А. Согласованная идентификация управляемого объекта по малому числу наблюдений / В.А. Фурсов // Мехатроника, автоматизация, управление. - 2010. - № 3(108). - С. 2-8.

References

1. Cheng, L. A New Approach to Solving Kruppa Equations for Camera Self-Calibration / Lei Cheng, Fuchao Wu, Zhanyi Hu, Hung-Tat Tsui. - 16th International Conference on Pattern Recognition, 2002. - P. 308-311.

2. Fursov, V.A. Conformed identification in corresponding points detection problem / V.A. Fursov, E.V. Goshin // Computer optics. - 2012. - Vol 36, N 1 - P. 131-135. -(In Russian).

3. Fursov, V.A. Problems of evaluating using a small number of observations / V.A. Fursov // Lection in proc. of school "Mathematical modeling 2001", 2001. - P. 56-63. - (In Russian).

4. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / Martin A. Fischler, Robert C. Bolles // Communications of the ACM. - 1981. - Vol. 24. -P. 381-392.

5. Forsyth, D. Computer Vision: A Modern Approach / David Forsyth, Jean Ponce. - Moscow: "Williams" Publisher, 2004. - 928 p. - (In Russian).

6. Gruzman, I.S. Digital Image Processing in Information systems / I.S. Gruzman, V.S. Kirichuk, V.P. Kosykch, [et al]. - Novosibirsk: NSTU Publisher, 2002. - 352 p. - (In Russian).

7. Hartley, R.I Kruppa's Equations Derived from the Fundamental Matrix / Richard I. Hartley // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1997. -Vol. 19. - P. 133-135.

8. Fursov, V.A. Conforming Identification of the Controlled Object / V.A. Fursov, A.V. Gavrilov // Proceeding International Conference on Computing, Communications and Control Technologies. - 2004. - P. 326-330.

9. Fursov, V.A. Conformed Identification of the Controlled Object with a Small Number of Observations / V.A. Fur-sov // Mechatronics, Automation, Control. - 2010. -Vol. 3(108). - P. 2-8. - (In Russian).

SOLVING A CAMERA AUTOCALIBRATION PROBLEM WITH A CONFORMED IDENTIFICATION METHOD

Ye. V. Goshin, V.A. Fursov Image Processing Systems Institute of the RAS, S.P. Korolyov Samara State Aerospace University (National Research University)

Abstract

In this paper is considered a problem of camera autocalibration (intrinsic parameters identification). This problem is an important part of 3D models building technology. A conformed identification method is used for intrinsic camera parameters evaluation. It is shown that using of this method enhances the accuracy and reliability of the identification of the calibration matrix of the camera.

Key words: autocalibration, calibration matrix, camera model, stereoimages, conformed identification, fundamental matrix, projective geometry, epipolar geometry.

Сведения об авторах

Гошин Егор Вячеславович, магистр прикладной математики и информатики, аспирант кафедры общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение.

E-mail: goshine@yandex. ru .

Yegor Vyacheslavovich Goshin, master of applied mathematics and and computer science. Currently studies at Samara State Aerospace University. Research interests are image processing, recognition algorithms, parallel computations and stereovision.

Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельных алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем.

E-mail: _ [email protected] .

Vladimir Alekseyevich Fursov is doctor of engineering science, professor, head of General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.

Поступила в редакцию 5 июля 2012 г.