CC BY
236
УДК 535.08; 681.78
ГЕОМЕТРИЧЕСКАЯ КАЛИБРОВКА ПОЛУСФЕРИЧЕСКОЙ
ВИДЕОКАМЕРЫ
Ч.Х. Фан
Предложен алгоритм геометрической калибровки полусферической видеокамеры, позволяющий аналитическими методами вычислить первоначальные значения оцениваемых параметров для дальнейшей нелинейной оптимизации.
Ключевые слова: полусферическая видеокамера, геометрическая калибровка.
Г еометрическая калибровка видеокамеры - одна из главных задач в области технического зрения, заключающаяся в определении параметров математической модели, описывающей реально используемую видеокамеру. В общем случае калибровку можно рассматривать как задачу оптимизации, решением которой является минимизация разницы между элементами наблюдаемого изображения и их теоретическими положениями за счёт подбора внешних и внутренних параметров камеры.
Если видеокамера откалибрована, то с произвольной точкой изображения можно связать строго определенный луч, проходящий через эту точку и оптический центр камеры, что позволяет выполнять точные трехмерные измерения на основе оцифрованных изображений. Поэтому процедура калибровки обычно предшествует другим процедурам обработки изображений, в которых используются вычисления трехмерных координат [1].
Среди широкоугольных видеокамер, применяемых в системах технического зрения, особый интерес представляют катадиоптрические видеокамеры, являющиеся комбинацией выпуклого зеркала и обычной видеокамеры [2]. Видеокамера установлена над выпуклым зеркалом и за счет отражения от него лучей света угол обзора видеокамеры существенно расширяется. Одной из перспективных с точки зрения использования в системах технического зрения разновидностей катадиоптрических видеокамер являются полусферические камеры, состоящие из видеокамеры и сферического зеркала.
Калибровка катадиоптрических видеокамер рассмотрена в работах [3-5]. Однако исследования в основном выполнены для катадиоптрических видеокамер на основе зеркал параболоидальной и гиперболоидальной форм, описываемых достаточно простыми математическими моделями, что позволяет составить систему линейных уравнений, выражающую соотношение между трехмерной точкой калибровочного объекта и её изо-
бражением. Это позволяет вычислять параметры катадиоптрических видеокамер решением системы уравнений и использовать их в качестве первоначальной оценки для процесса оптимизации.
Математическая модель полусферической видеокамеры гораздо сложнее, что затрудняет калибровку, поскольку не позволяет получить аналитическое решение в качестве первоначальных оценок для оптимизации. Задание произвольных первоначальных оценок, сильно отличающихся от истинных, может привести к неверным результатам.
Проведенный анализ существующих методов калибровки катадиоп-трических видеокамер показал, что для калибровки полусферических видеокамер необходимо разработать новый метод, при этом первоначальную оценку необходимо получать аналитически.
Процедура калибровки представляется как процедура восстановления параметров видеокамеры. Согласно математической модели полусферической видеокамеры [6], её оцениваемые параметры делятся на две группы: внутренние и внешние.
Внутренние параметры являются характеристиками полусферической видеокамеры. К ним относятся: центр изображения [ио vo]; масштабный параметр к и I для горизонтального и вертикального размеров пикселя; угол 0 между осями изображения; фокусное расстояние /; параметры дисторсии к; радиус зеркала Я; расстояние до видеокамеры й.
Внешние параметры описывают местоположение и ориентацию системы координат полусферической видеокамеры в трехмерном пространстве. К ним относятся: параметры трансляции; параметры поворота.
Калибровка полусферической видеокамеры рассматривается как задача оптимизации относительно данных параметров. Функцией невязки является ошибка между элементами наблюдаемого изображения и их теоретическими положениями. Поскольку оптимизация параметров полусферической видеокамеры является нелинейной, первоначальные оценки параметров играют важную роль для того, чтобы процесс оптимизации быстро сходится.
1. Первоначальная оценка параметров полусферической видеокамеры
а) Первоначальная оценка внутренних параметров видеокамеры
Первоначальная оценка внутренних параметров видеокамеры выполняется с помощью её геометрической калибровки. Калибровка обычной видеокамеры рассмотрена в работах [7, 8]. В общем случае, в процессе калибровки видеокамера наблюдает набор характерных элементов, таких как точки или прямые, положение которых известно относительно определенной фиксированной внешней системы координат. Набор характерных эле-
ментов называется калибровочным объектом (рис. 1).
Рис. 1. Установка для калибровки видеокамеры
Соотношение между трехмерной точкой ^ Pj калибровочного объ-
екта и её изображением ^ рj выражается математической моделью видеокамеры.
1 р j — К (Я|Т^ Р,, (1)
Г 1т " г11 г12 г13 "
где t — \tx 1у tz \ - вектор трансляции; Я — г21 г22 г23 - матрица
/31 г32 г33 _
поворота.
Каждый проектирующий луч дает два уравнения, таким образом, для п калибровочных точек мы получаем 2п линейных уравнений. Эти уравнения кратко можно представить в матричной форме, где х - это вектор-столбец неизвестных, а Ь - вектор-столбец координат на изображении.
А2пх1 1х11x1 » Ь2пх1 . (2)
Так как в системе уравнений есть 11 неизвестных, а количество уравнений - 12 и более, то данная система является переопределенной. Для нахождения наилучшего решения в данном случае подходит метод наименьших квадратов.
б) Первоначальная оценка расстояния d между сферическим зеркалом и видеокамерой
Пусть известны радиус R сферического зеркала и внутренние параметры видеокамеры. Предложим, что полусферическое изображение полностью формируется на плоскости изображения. Следовательно, приходящие лучи света, которым соответствуют точки изображения на границе полусферического изображения, касаются поверхности зеркала (рис. 2).
I
I
Рис. 2. Вычисление расстояния между сферическим зеркалом
и видеокамерой
Следовательно:
R — гтах л _ R I г2 , „2
Й /99 ^(1 —-V/ + Гтах - (3)
d ^ + Гтах Гтах
где гтах - радиус внешней границы полусферического изображения.
На практике расстояние от сферического зеркала до калибровочного объекта может быть измерено с достаточной точностью инструментальными средствами и принято в качестве первоначальной оценки.
в) Оценка внешних параметров калибровочного объекта
Внешними параметрами калибровочного объекта являются параметры геометрического преобразования, которое реализует переход от системы координат калибровочного объекта в систему координат сферической видеокамеры.
Предположим, что внутренние параметры полусферической видеокамеры известны. Для оценки внешних параметров калибровочного объекта используется набор трёх соответствий между калибровочными точками Р; и их изображениями р; на кадре. Расстояния между точками Р; известны, поскольку размер калибровочного объекта известен. Координаты точек Р; неизвестны и их требуется определить.
Используя математическую модель полусферической видеокамеры, из координат точек изображения р; мы можем определить приходящие
лучи света У; и точки пересечения на сферическом зеркале Ш; (рис. 3).
Следовательно, координаты Р; можно вычислить как три скалярные вели-
Р; — Ш; + 1;У; (; — 1...3). (4)
144
Из трех уравнений (4) можно составить три уравнения для расстояний между точками:
^п — \Рш - Рп|| (при т ф п). (5)
Поставив (4) в (5) получаем:
|2
•(6)
Рис. 3. Оценка внешних параметров калибровочного объекта
Таким образом, задача нахождения трехмерных координат трех точек Р; сведена к решению системы квадратных уравнений с тремя неизвестными. Система квадратных уравнений может быть решена с помощью нелинейной оптимизации, целевая функция которой имеет вид:
3 3 2 2 2 е = XX (тт — тп) + 2(тш — тп)' (1т^т — 1п^п) + (1т^т — 1п^п) — ^тп т=1п=1
(7)
Экспериментальные исследования показали, что в большинстве случаев алгоритм сходится за 5-10 итераций. Из полученных координат
2
точек Р; нетрудно вычислить матрицу поворота Я и вектор трансляции 1, с помощью которых осуществляется преобразование точек Р; от мировой системы координат в систему координат сферического зеркала.
2. Нелинейная оптимизация параметров полусферической видеокамеры
После получения первоначальных оценок всех параметров полусферической видеокамеры можно приступить к нелинейной оптимизации.
С помощью математической модели полусферической видеокамеры необходимо составить систему нелинейных функций невязки, которые описывает соотношение между координатами трехмерных точек Р; калибровочного объекта и точек изображения р;:
В результате получим систему нелинейных функций невязки:
&1<Т) = / (Р1,Я,Т, /, к, I, ы0, Уо, къ &2, къ, к4, к5, й, К) - р1 = 0 &2<Т) = / (Р2 ,Я,Т, /, к, I, ио, Уо, к1, к2, кз, к4, к5, й, К) - р 2 = 0
(8)
Яп(У) = /(Рп,К,Т>/,к, 1,^v0,k1,k2,k3,к4^k5,й,К) -рп = 0 где / - нелинейная проектирующая функция полусферической видеокамеры и V - вектор оцениваемых параметров:
V = [Я Т / к щ У0 к к2 кз к4 к5 й К]
Для решения данной системы используются итеративные методы линеаризации нелинейных функций.
Предложим, что имеется точка V) в окрестности корня. Функцию gi (V) можно разложить в ряд Тейлора в окрестности точки V):
g, (V + 8V) = g, (Vо) + 8 V, ^ (Vо) + 8¥2 ^ (V)) +
0^1 0^2
Э& (У0) + 0(18У|2)» &(У0) + ^(У0) • 8У
(9)
т ЭУ
т
+... + 8Ут
где Vgj(У0) - градиент функции gj в точке У0; У[,У2,...,Ут - т компонентов вектора оцениваемых параметров.
Из этого следует, что:
ё(У0 + 8У) = g(Vо) + J (У0) 8У
где J - якобиан векторной функции g, т.е.
а(У) =
(У) Эg1 (У) • Э^1 • ЭЭк(У) Э^т
VgTn (У) Э^п (У ) • ЭР1 .. ^п (У) ЭУт _
Выражения (8) и (10) позволяют получить меру ошибки:
E(Vо + 8У) = ^(Уэ + 8У)|2 » ^(У0) + J(Уо) • 8У|2. (11)
Возмущение 8У является решением уравнения:
3Т (Уо)J(Уо) + т1]8У = -JT (У)ЖУ0), (12)
где параметр т может варьироваться при каждой итерации.
Новый вектор параметров может быть получен сложением старого с вычисленными возмущениями:
Ук+1 = Ук +8Ук . (13)
3. Алгоритм геометрической калибровки полусферической видеокамеры
Алгоритм геометрической калибровки полусферической видеокамеры с помощью калибровочного объекта типа «шахматная доска» включает следующие операции:
1. Калибровка видеокамеры для получения её внутренних параметров /, к, I, и0, У0, кI.
2. Инициализация:
- выделяются угловые точки на кадре;
- устанавливаются соответствия между трехмерными точками и точками изображения.
3. Вычисление первоначальных оценок:
- вычисляется расстояние й между сферическим зеркалом и видеокамерой;
- оцениваются внешние параметры калибровочного объекта.
4. Нелинейная оптимизация:
- вычисляется возмущение 8У по уравнению (12);
- вычисленное возмущение 8У добавляется к предыдущему вектору оцениваемых параметров У ;
- вычисляется функция невязки g(V) по выражению (11);
Цикл прекращается, когда функция невязки g(V) будет равна нулю в пределах допуска А или количество итераций превысит заданный порог.
4. Экспериментальная часть
Для исследования предложенного алгоритма калибровки полусферической видеокамеры использовались смоделированные искусственные (рис. 4) и реальные изображения (рис. 6, а).
Результаты экспериментальных исследований алгоритма калибровки при работе с искусственными изображениями, построенными на основе известных параметров камеры, приведены на рис. 5. Следует отметить, что исследование искусственных изображений позволяет оценить точность алгоритма и зависимость ошибки калибровки видеокамеры от различных факторов. При этом ошибка калибровки определяется как погрешность
между координатами истинных изображений характерных точек (угловых точек) калибровочного объекта и рассчитанных с помощью предложенной математической модели.
Рис. 5, а показывает зависимость средней ошибки калибровки от точности задаваемого радиуса зеркала. Как видно, при погрешности измерения радиуса зеркала менее 10мм средняя ошибка составляет менее 1 пикселя. Увеличение погрешности измерения радиуса зеркала свыше 10 мм приводит к увеличению средней ошибки. На практике измерение радиуса зеркала свыше 10мм не представляет большой трудности.
Рис. 4. Искусственное полусферическое изображение калибровочного
объекта
На рис. 5, б показана зависимость средней ошибки калибровки от положения точки на изображении. Анализ зависимости показывает, что ошибка калибровки отличается для различных областей изображения и самые высокие значения ошибки соответствуют крайним областям изображения.
Рис. 5, в показывает зависимость средней ошибки калибровки от шума, введенного по координатам выделенных угловых точек. Очевидно, что шум оказывает влияние на точность калибровки. При увеличении среднеквадратичного отклонения шума ошибка калибровки быстро растет. На практике данный шум появляется вследствие неточности выделения угловых точек на калибровочном объекте.
пикселей
О 5 10 15 20 26 30 35 40 46 50 ддод
Среднеквадратическое отклонение
а
пикселей
Расстояние от центра изображения
б
пикселей
0 —1 ті! ! •——гттп—птт-п—пт—” 1 г
9 —........................................................................(-•->...............................................................................і ............................................. (.. .ь.. .>
Среднеквэдрэтическое отклонение пикселем
в
Рис. 5. Результаты экспериментальных исследований алгоритма калибровки при работе с искусственными изображениями: а - зависимость ошибки калибровки от погрешности измерения радиуса сферического зеркала; б - зависимость ошибки калибровки от положения точки на изображении; в - зависимость ошибки калибровки от погрешности выделения угловых точек
Результаты экспериментальных исследований алгоритма калибровки на реальных изображениях показаны на рис. 6., а в табл. 1 приведены вычисленные оценки параметров полусферической видеокамеры.
а б
Рис. 6. Результаты экспериментальных исследований алгоритма калибровки на реальных изображениях: а - полусферическое изображение для калибровки с указанием выделенных угловых точек;
в - ошибка калибровки по Ох и Оу
Оценка параметров полусферической видеокамеры
Параметр Оценка
Фокусное расстояние [655.855 659.227]
Центр изображения ио = 305.873, Уо = 253.333
Угол в между осями ф II 9 О
Коэффициент дисторсии к = [-0.264 0.203 - 0.00162 0 0]
Расстояние (мм) 236.32
Радиус (мм) 58.788
Анализ результатов показал, что средняя ошибка калибровки видеокамеры по предложенному алгоритму составила 0.3 пикселя, а среднеквадратичное отклонение ошибки - 0.17.
Заключение
Предложенные в данной статье методы и алгоритмы калибровки полусферической камеры позволяют с высокой точностью определить параметры оптической системы и решать задачи вычисления координат интересующих объектов и их размеров на основе анализа цифровых полу-
сферических изображений.
Список литературы
1. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: Бином. Лаборатория знаний, 2006. 752 с.
2. Baker S., Nayar S.K. Single Viewpoint Catadioptric Cameras. R.: Springer-Verlag, 2001. С. 39-71.
3. Geyer C., Danilidis K. Catadioptric Projective Geometry // International Journal of Computer Vision. №45(3). 2001. С.223-243.
4. Mei C., Rives P. Single View Point Omnidirectional Camera Calibration from Planar Grids // IEEE International Conference on Robotics and Automation. 2007.
5. Scaramuzza D., Martinelli A., and Siegwart, R. A Toolbox for Easily Calibrating Omnidirectional Cameras // IEEE/RSJ International Conference on Intelligent Robots and Systems, China. 2006.
6. ОвчинниковА.В., ФанХ.Ч. Алгоритм выделения характерных элементов на изображениях полусферических видеокамер // Известия Тул-ГУ. Технические науки. Вып. 1. Тула: Изд-во ТулГУ, 2013. с. 233-244.
7. Tsai R.Y. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 1968. c. 364-374.
8. Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. c. 1330-1334.
Фан Чан Данг Хоа, асп., [email protected], Россия, Тула, Тульский государственный университет
GEOMETRIC CALIBRATION FOR HEMISPHERICAL CAMERAS
T.K. Phan
An algorithm for geometric calibration for hemispherical cameras is proposed. In contrast to related works proposed algorithm allows to analytically calculate initial values of parameters for non-linear optimization.
Key words: omnidirectional camera, geometric calibration.
Fan Tran Dang Hoa, post graduate, dolphin22a@yahoo. com, Russia, Tula, Tula state University
