CC BY
304
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
РЕАЛИЗАЦИЯ АЛГОРИТМА ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ КООРДИНАТ И УГЛОВОЙ ОРИЕНТАЦИИ ОБЪЕКТА ПО РЕПЕРНЫМ ТОЧКАМ, ИСПОЛЬЗУЮЩЕГО ИНФОРМАЦИЮ ОТ ОДНОЙ КАМЕРЫ
И.А. Кудинов1, О.В. Павлов1, И.С. Холопов1,2
1 Акционерное общество «Государственный Рязанский приборный завод» (АО «ГРПЗ»), Рязань, Россия,
2 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Рязанский государственный радиотехнический университет» (ФГБОУ ВПО «РГРТУ»), Рязань, Россия
Аннотация
Рассмотрен алгоритм определения пространственной ориентации объекта с размещёнными на его поверхности реперными излучателями с использованием одной откалиброванной видеокамеры. Алгоритм основан на последовательном решении задачи perspective-four-point и уточнении пространственных координат реперов с применением метода оптимизации Левенберга - Марквардта. Показано, что при нахождении в поле зрения камеры четырёх реперов с априорно известными расстояниями между ними, измеренными с погрешностью не более 0,15 мм, возможно определение угловой ориентации объекта в реальном масштабе времени с погрешностью не более 20 угловых минут.
Ключевые слова: калибровка камеры, дисторсия, алгоритмы PnP, алгоритм Левенберга -Марквардта.
Цитирование'. Кудинов, И.А. Реализация алгоритма определения пространственных координат и угловой ориентации объекта по реперным точкам, использующего информацию от одной камеры / И.А. Кудинов, О.В. Павлов, И.С. Холопов // Компьютерная оптика. -2015. - Т. 39, № 3. - С. 413-419.
Введение
Определение пространственных координат и угловой ориентации подвижных объектов является актуальной задачей систем технического зрения. В ряде частных задач оценивания пространственного положения (системы виртуальной реальности, целеуказания, пилотирования летательных аппаратов, медицинские приложения) на объекте размещаются светоизлучающие метки (реперы), расстояния между которыми фиксированы и могут быть измерены с высокой точностью. Это позволяет реализовать вычисление 3D-координат реперов с использованием стереопары камер [1-3] либо одной, но перемещаемой камеры [4, 5].
1. Калибровка камеры
Оценка матрицы внутренних параметров камеры
При использовании математической модели проективной камеры связь между пространственными однородными координатами n реперных точек объекта М, = [X, Y, Z,, 1]T, i = 1, n , в системе координат OXYZ и 2D-координатами их образов в плоскости изображения m, = [u,, v,, 1]T (рис. 1) устанавливает матрица проекции P [1].
m, = 1,PMi,
где l, = P<3>M, - масштабный множитель, а символ <j> обозначает j-ю строку матрицы. В свою очередь, матрица проекции может быть представлена в виде произведения матрицы внутренних параметров камеры A и матрицы K = [R|t] переноса системы координат OXYZ в систему координат камеры OXcYcZy
P = AK = A[R|t], (1)
где R и t - соответственно матрица поворота и вектор трансляции.
Если проводить измерения 3D-координат одной фиксированной камерой, система координат которой совпадает с внешней системой координат OXYZ, то (1) преобразуется в P = [A|0], где 0 = [0, 0, 0]T, a g u0
A =
b
0
1
a и b - фокусные расстояния камеры f и fy, выраженные в единицах ширины и высоты пикселя соответственно, g = ctg8a - параметр, учитывающий неортогональность координатных осей ou и ov матрицы камеры, (u0, v0) - 2D-координаты главной точки [1, 6].
[u<Ji,Vdi,l]T,
[Xdi,ydi,/1]T
Рис. 1. Система координат проективной камеры
Существует ряд методов калибровки камеры с целью оценки матрицы A [7-10], каждый из которых имеет определённые преимущества, однако наибольшее распространение получили подходы с использованием шаблона типа «шахматная доска» и алгоритмов калибровки по методам Джанга (Zhang) [8, 11, 12] или Цаи (Tsai) [13]. В данной работе калибровка выполнялась по методу Джанга, согласно
v
0
Компьютерная оптика, 2015, том 39, №3
413
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
которому элементы матрицы A оцениваются путём решения переопределённой системы из IN+ уравнений для l кадров, снятых с разных ракурсов, где N+ -количество автоматически выделенных на шаблоне углов квадратов с априорно известной длиной стороны. Максимально правдоподобная оценка A в соответствии с [11, 12] находится путём минимизации с использованием алгоритма Левенберга - Марквардта [14-16] функционала
l N 2
EE m -m(a, r,, t, m„) , (2)
i=1 j=1
где Ri и ti - соответственно матрица поворота и вектор трансляции для i-го изображения шаблона,
i = 1, l , которые также оцениваются в ходе калибровки, а символ || • || обозначает два-норму вектора. Для уменьшения числа оптимизируемых параметров при минимизации (2) матрица R размерности 3*3 в соответствии с формулой Родрига [17, 18] заменяется эквивалентным вектором r размерности 3*1, параллельным оси вращения, с амплитудой, пропорциональной углу поворота.
Оценка параметров дисторсии
Объектив реальной камеры вносит дисторсионные искажения, которые можно описать моделью Брауна - Конради [19] с коэффициентами радиальной и тангенциальной дисторсии k1, k2, k3 и p1, р2 соответственно:
ХнЛ = XHi [l + k1r 2 + k2Г 4 + k3r 6 ] +
+[ p1(r2 + 2 xHi 2) + 2 p 2 xHiyHi ] (3)
УнЛ = Ун, [1 + k1r 2 + k2r 4 + k3r 6 ] +
+ [2Р1 ХшУш + P2 (r 2 + 2Ун,2)1 где (xH„ yH,) = (xf yf = (X/Z, Y/Z,), r = (xHI2 + yHI2)1/2, i = 1, N+ , (Хн*, Ун*,) и (Хн,, Ун,) - соответственно нормированные координаты с дисторсией и без. Альтернативные модели дисторсии приводятся в [20, 21].
Учёт модели дисторсии (3) в (2) заключается в минимизации функционала [11, 12]
l N 2
EE mj -«“(A,kd,Ri, ti, Mj) (4)
i=1 j=1
с использованием алгоритма оптимизации Левенбер-га - Марквардта, где kd = [k1, k2, p1, p2, k3]T. Результатом оптимизации являются оценки матриц A, K = [Ri|ti], i = 1, l, и коэффициентов дисторсии k*.
2. Алгоритмы определения пространственной ориентации объекта с реперными излучателями
Алгоритмы PnP
Известно [17, 18], что для аффинных преобразований по n > 3 точкам, не лежащим на одной прямой, возможно оценить матрицу трансформации T, связывающую однородные координаты множества (меша)
исходных точек Мш- = [Mx, Moyi, Mqz,-, 1]t, i = 1, n , и
координаты точек после поворота и линейного перемещения (трансляции) Mj- = [M, M, M, 1]t:
M i = TMq,. (5)
Однозначное аналитическое решение задачи восстановления 3Б-координат точек М, по их изображениям m„ i = 1,n , n > 3, даёт использование алгоритмов PnP (Perspective-n-Point) [22-24].
Г еометрическая постановка задачи P3P для модели проективной камеры приведена на рис. 2. Расстояния Rj = ||M, - Mj||, i = 1,3 , j = 1,3 , i Ф j, полагаются
априорно известными, а углы j12 = g, j13 = b и j23 = a могут быть найдены при известной либо оцененной по (4) матрице внутренних параметров камеры A из соотношений:
cosjj = XiTXj/{||Xi||||Xj||},
Xi = A"1 mi.
Рис. 2. Геометрическая постановка задачи P3P В соответствии с теоремой косинусов для точек M1, М2 и М3 справедлива система уравнений:
s22 + s32 - 2s2s3 cos a - R232 = 0,
< s12 + s32 - 2s1s3 cos b - R132 = 0, (6)
s12 + s22 - 2s1s2 cosg-R122 = 0,
которая с использованием методик [24] или [25] может быть сведена к полиному 4-го порядка:
Я4?4 + a3t3 + + 0[t + ao = 0, (7)
где t = s12. Для n = 3 точек M, i = 1, n , j = 1, n , i Ф j, можно составить n(n - 2)/2 полиномов вида s2 + Sj2 - 2siS,cosjj- - Rij = 0 и (n - 1)(n - 2)/2 полиномов четвёртой степени вида (7). Используя в соответствии с алгоритмом P4P дополнительную точку М4 (рис. 2), по аналогии с (6) по тройкам точек M1 - M2 - M3, M1 - M2 - М4 и
414
Компьютерная оптика, 2015, том 39, №3
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
Mi - M3 - M4, в каждую из которых входит точка М\, составляют систему из трёх уравнений:
$4^ + (X-Ji + + at + @о — 0,
X41 + a- t + $21 + X t + a0 — 0,
X4 t + X- t + $2 t + $i t + $o — 0,
(8)
В матричной форме система линейных алгебраических уравнений (СЛАУ) (8) перепишется в виде:
АЛ* = 0,
(9)
где tx = [i, t, t2, t3, t4]T, t, = ti = 0,4,0 = [0, 0, 0]T
A* =
a0 X1 $2 $3 $4
* * * * *
a0 X1 $2 $3 $4
V* $1** $2** $3** $4**
Аналитическое решение СЛАУ (9) относительно вектора переменных tx выполняется с использованием SVD-разложения матрицы А* и подробно рассмотрено в [23]. Как показано в [22, 23], при вычисленном решении СЛАУ (9) решением относительно s12 является
5
2
i
и поскольку s1 > 0, то справедливо S1 = .
В [23] показано, что алгоритм P4P обеспечивает относительную ошибку измерения расстояний 5i не более 0,1 %, за исключением некоторых критических положений, где относительная ошибка может достигать десятков процентов. По этой причине предлагается использовать результаты вычислений по алгоритму P4P в качестве начальных условий для поиска решения с использованием алгоритма Левенберга -Марквардта.
Определение угловой ориентации объекта с использованием алгоритма Левенберга - Марквардта Однокамерный алгоритм определения ориентации основан на оценивании 3D-координат реперов c априорно известными евклидовыми расстояниями между ними R,j, i, j = 1, n , i Ф j, и составлении матрицы трансформации T из вектора трансляции t размерности 3x1 и матрицы поворота R размерности 3x3:
R t
0T 1
(10)
При известных 3D-координатах реперных точек M0i в начальный момент времени и текущих 3D-координатах M, матрицу трансформации T можно оценить, используя формулы [17, 18]:
R
= и
' 10 0 3
0 1 0
v 0 0 det(UVT),
VT,
(11)
t = M0 - RM
(12)
__ 1 n __ 1 n
где M0 — — V M0i, M — — V M, , а матрицы U и V
n i—1 n ,—1
получаются в результате SVD-разложения матрицы
n __
H = USVT, H = V M0„.M„T , M0CI = M0l - M0,
i—1
MC1 = M, - M .
Для откалиброванной камеры алгоритм определения пространственной ориентации объекта с реперными излучателями состоит из следующих этапов.
1. Сегментация кадра изображения с камеры и определение с субпиксельной точностью 2D-координат центров свечения реперов в фокальной плоскости (udi, vdi) с учётом дисторсии объектива:
1 J, к,
- VV jY (j, k)
------------------------
VV Y (j, k)
j—1 k—1
J
VV kY (j, k)
— —i j 1 k 1 di J, к,
VV Y (j, k)
j—1 k—1
1
где Y(j, k) - яркость пикселя с координатами (j, k), K и Ji - размеры i-го сегмента по горизонтали и вертикали соответственно. Сортировка номеров сегментов в соответствии с номерами реперов может выполняться либо путём предсказания 2D-координат (udi, vdi) в следующем кадре по текущему кадру [26], либо путём репроекции вычисленных на текущем шаге 3D-координат и использовании метода ближайшего соседа [6].
2. Определение нормированных к фокусному расстоянию камеры f однородных координат центров свечения (xIldi, унЛ) в фокальной плоскости с учётом дисторсии:
XRdi = [xнdi, у^ъ 1] = А [udi, vdb 1] .
3. Компенсация дисторсии путём решения n = 4 систем из двух нелинейных уравнений (3) с двумя неизвестными (хн1, ун1) = (Xi/Zi, YJZ) с использованием алгоритма Левенберга-Марквардта [1]. За начальное приближение в (3) принимается (хш, ую) = (xHd,, y^).
4. Выполнение алгоритма P4P для нахождения расстояний si и их проекций szi на ось OZ:
szi = si/||xi||, xi = [xнi, унъ 1] .
5. Нахождение координат Z,, i = 1,n , путём решения системы из n(n-1)/2 нелинейных уравнений с n неизвестными с использованием численного метода Левенберга - Марквардта:
|| [xZi, yZ,, Z, 1]T - [xjZj, yjZj, Zj, 1]T || = Rj
За начальное приближение принимается Z0i = szi.
6. Оценка матрицы трансформации T в соответствии с (10)-(12).
7. Извлечение из матрицы поворота R углов Эйлера - Крылова (курса j, тангажа 0 и крена у) [27]:
j = atan2(-R31, R11),
0 = arcsin(R21),
У = atan2(-R23, R22),
Компьютерная оптика, 2015, том 39, №3
415
Реализация алгоритма определения пространственных координат ...
Кудинов И. А., Павлов О. В., Холопов И. С.
за исключением случаев 0 = ±90°, когда R21 = ±1 и j = atan2(-Ri3, R33).
3. Результаты эксперимента
Натурный эксперимент был проведён с тетраэдром из светодиодов 3Л153Б инфракрасного диапазона (длина волны 900...960 нм) с длиной ребра основания L = 5 см и высотой H = 2 см и камерой uEye 5240 RE (размер кадра - 1280x1024 пикселей, интерфейс GigE) с мегапиксельным объективом Computar H0514-MP со светофильтром из оптического стекла ИКС5. По двенадцати тестовым изображениям (рис. 3) шаблона в соответствии с методикой [8, 11, 12] были получены матрица внутренних параметров камеры
A =
957,2184 0 616,5408
0 960,6147 540,4816
0 0 1
и вектор коэффициентов дисторсии
k = [-0,1257, 0,1615, -8,0649-10-4, -2,2624-10-4, 0]T.
Изолинии для компенсации дисторсии (проведены через каждые 2 пикселя) приведены на рис. 4.
Рис. 3. Тестовые изображения для оценки дисторсии 0
100 200 300 400 500 600 700 800
900
v
0 200 400 600 800 1000 и
Рис. 4. Изолинии и направление смещения пикселей для коррекции радиальной и тангенциальной дисторсии
Среднеквадратическая ошибка (СКО) репроекции (в пикселях) для осей и и v составила соответственно 0,4 и 0,33 (рис. 5).
В ходе эксперимента плата со светодиодами поворачивалась с использованием моторизованных поворотных платформ Standa 8MR191-28 в фиксированные угловые положения. Результаты эксперимента (см. табл. 1 и 2) показали, что при расстоянии от камеры до центра масс тетраэдра 15...80 см использование алгоритма обеспечивает в диапазоне углов азимута ±70° и угла места ±50° оценивание угловых координат объекта (курса, тангажа и крена) с абсолютной ошибкой и СКО не более 20’ и пространственных координат реперов - с абсолютной погрешностью не более 2 мм. v
2.5
2,0
1.5
1,0
0,5
0
-0,5 -1,0 -1,5 -2,0 -2,5
-2 -1 0 1 2 3 4 и
Рис. 5. Ошибка репроекции для выделенных углов квадратов на кадрах тестового изображения
Табл. 1. Модуль абсолютной погрешности оценивания угловых координат при различных угловых положениях объекта
Угловое положение, курс / крен / тангаж, град Алгоритм P4P P4P и алгоритм Левенберга-Марквардта
-30 / 0 /0 0,08 / 0,07 / 0,09 0,08 / 0,07 / 0,09
-60 / 0 / 0 0,12 / 0,1 / 0,15 0,11 / 0,1 / 0,17
-60 / 0 /-30 0,26 / 0,17 / 0,34 0,24 / 0,14 / 0,29
-60 / -30 / -45 0,34 / 0,27 / 0,62 0,32 / 0,23 / 0,47
30 / 0 /0 0,08 / 0,07 / 0,11 0,13 / 0,04 / 0,07
60 / 0 / 0 0,34 / 0 / 0,31 0,11 / 0,02 / 0,2
60 / 0 /30 0,36 / 0,83 / 1,68 0,16 / 0,24 / 0,2
60 / 30 / 45 0,37 / 0,14 / 0,17 0,21 / 0,18 / 0,02
Табл. 2. Средняя СКО измерения трёх угловых координат при различных угловых положениях объекта
Угловое положение, курс / крен / тангаж, град Алгоритм P4P P4P и алгоритм Левенберга-Марквардта
0 / 0 /0 0,27 0,11
60 / 0 /-30 0,14 0,06
-60 / -30 / -45 0,31 0,26
60 / 0 /30 0,13 0,06
60 / 30 / 45 0,22 0,07
Увеличение погрешности при отрицательном тангаже (особенно на малых расстояниях) объясняется тем, что расстояние между объектом и камерой уменьшается и реперы сдвигаются к краям изображения, где компенсация дисторсии хуже.
416
Компьютерная оптика, 2015, том 39, №3
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
При реализации алгоритма на ПЭВМ с процессором Intel Core i-3 скорость обработки (без учёта времени чтения данных с камеры) составляет 180 кадров/с.
Заключение
Таким образом, рассмотренный в работе однокамерный алгоритм реализует по четырём реперным точкам в реальном времени оценку угловой ориентации объекта и пространственных координат его реперов со среднеквадратической погрешностью не более 20 угловых минут и абсолютной погрешностью не более 2 мм соответственно.
Литература
1. Hartley, R. Multiple View Geometry in Computer Vision /
R. Hartley, A. Zisserman. - 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 р.
2. Maier, D. An Efficient and Accurate Method for 3d-point Reconstruction from Multiple Views / D. Maier, B. Liu, M. Yu, R. Maenner // International Journal of Computer Vision. - 2005. - Vol. 65(3). - P. 175-188.
3. Rothwell, C. A Comparison of Projective Reconstruction Methods for Pairs of Views / C. Rothwell, O. Faugeras, G. Csurka // Computer Vision and Image Understanding. -1997. - Vol. 68(1). - P. 37-58.
4. Pollefeys, M. Detailed Real-Time Urban 3D Reconstruction From Video / M. Pollefeys, D. Nister, J.-M. Frahm,
A. Akbarzadeh, P. Mordohai, B. Clipp, C. Engels,
D. Gallup, S.-J. Kim, P. Merrell, C. Salmi, S. Sinha,
B. Talton, L. Wang, Q. Yang, H. Stewenius, R. Yang, G. Welch, H. Towles // International Journal of Computer Vision. - 2008. - Vol. 78(2-3). - P. 143-167.
5. Handbook of Mathematical Models in Computer Vision / ed. by N. Paragios, Y. Chen and O. Faugeras. -NY: Springer Science + Business Media, 2006. - 606 p.
6. Грузман, И.С. Цифровая обработка изображений в ин-
формационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин,
А.А. Спектор. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.
7. Гошин, Е.В. Решение задачи автокалибровки камеры с использованием метода согласованной идентификации /
E. В. Гошин, В.А. Фурсов // Компьютерная оптика. -2012. - Т. 36, № 4. - С. 605-610.
8. Medioni, G. Emerging Topics in Computer Vision / G. Medioni,
S. B. Kang. - New Jersey: Prentice Hall, 2004. - 654 p.
9. Hartley, R. In Defence of the 8-point Algorithm / R. Hartley // Proc. of 5th International Conference on Computer Vision, 20-23 Jun 1995. - Cambridge, MA, 1995. -
P. 1064-1070.
10. Heikkila, J. A Four-Step Camera Calibration Procedure with Implicit Image Correction / J. Heikkila, O. Silven // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 17-19 Jun 1997. - San Juan, 1997. - P. 1106-1112.
11. Zhang, Z. A Flexible New Technique for Camera Calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11). -P. 1330-1334.
12. Zhang, Z. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations / Z. Zhang // Proc. IEEE International Conference on Computer Vision. - Vol. 1, 20-27 Sep 1999. - Kerkyra, 1999. - P. 666-673.
13. Tsai, R.Y. A Versatile Camera Calibration Technique for High-Accuracy 3d Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses / R.Y. Tsai // IEEE
Journal on Robotics and Automation. - 1987. - Vol. 3(4). -P. 323-344.
14. Levenberg, K. A Method for the Solution of Certain Problems in Least Squares / K. Levenberg // Quarterly of Applied Mathematics. - 1944. - Vol. 2. - P. 164-168.
15. Marquardt, D. An Algorithm for Least-Squares Estimation of Nonlinear Parameters / D. Marquardt // SIAM Journal on Applied Mathematics. - 1963. - Vol. 11. - P. 431-441.
16. More, J. The Levenberg-Marquardt Algorithm: Implementation and Theory / J. More // Numerical Analysis. Lecture Notes in Mathematics. - 1978. - Vol. 630. - P. 105-116.
17. Faugeras, O. Three-Dimensional Computer Vision: a Geometric Viewpoint / O. Faugeras. - MIT Press, 1993. - 662 p.
18. Lee, G.H. RS-SLAM: RANSAC Sampling for Visual Fast-SLAM / G.H. Lee, F. Fraundorfer, M. Pollefeys // Proceedings IEEE / RSJ International Conference on Intelligent Robots and Systems, 25-30 Sept 2011. - San Francisco, CA, 2011. - P. 1655-1660.
19. Brown, D.C. Decentering Distortion of Lenses /
D.C. Brown // Photogrammetric Engineering. - 1966. -No 5. - P. 444-462.
20. Жимбуева, Л.Д. Метод определения суммарной дис-торсии цифровых изображений / Л.Д. Жимбуева // Компьютерная оптика. - 2011. - Т. 35, № 3. - С. 347-355.
21. Ma, L. Flexible Camera Calibration Using a New Analytical Radial Undistortion Formula with Application to Mobile Robot Localization / L. Ma, Y. Chen, K.L. Moore // Proceedings Intelligent Control IEEE International Symposium, 8 Oct 2003. - Houston, 2003. - P. 799-804.
22. Quan, L. Linear N Point Camera Pose Determination / L. Quan, Z. Lan // IEEE Trans. on Pattern Analysis and Machine Intelligence. - 1999. - Vol. 21(8). - P. 774-780.
23. Quan, L. Linear N>4-Point Pose Determination / L. Quan,
Z. Lan: IEEE International Conference on Computer Vision, 4-7 Jan 1998. - Bombay, 1998. - P. 778-783.
24. Chou, S.-C. Complete Solution Classification for the Perspective-Three-Point Problem / S.-C. Chou, X.-S. Gao // IEEE Trans. Pattern Analysis and Machine Intelligence. -2003. - Vol. 25(8). - P. 930-943.
25. Haralick, R.M. Review and Analysis of Solutions of the Three Point Perspective Pose Estimation Problem / R.M. Haralick, C.-N. Lee, K. Ottenberg, M. Nolle // International Journal of Computer Vision. - 1994. - Vol. 13(3). - P. 331-356.
26. Зейналов, Р.Ш. Оценка траектории движения объекта с использованием инфракрасных маркеров / Р.Ш. Зейналов, А.А. Якубенко, А.С. Конушин // Материалы 14-й международной конференции «Цифровая обработка сигналов и ее применение» (DSPA-12), 28-30 марта 2012. - М.: ИПУ РАН, 2012. - Т. 2. - С. 267-271.
27. Maths - Rotation Conversions [Электронный ресурс]. -URL: http://www.euclideanspace.com/maths/geometry/ rotations/ conversions/ index.htm (дата обращения: 05.12.2014).
References
[1] Hartley R, Zisserman A. Multiple View Geometry in Computer Vision. Cambridge: Cambridge University Press, 2003.
[2] Maier D, Liu B, Yu M, Maenner R. An Efficient and Accurate Method for 3d-point Reconstruction from Multiple Views. International Journal of Computer Vision 2005; 65(3): 175-88.
[3] Rothwell C, Faugeras O, Csurka G. A Comparison of Projective Reconstruction Methods for Pairs of Views. Computer Vision and Image Understanding 1997; 68(1): 37-58.
[4] Pollefeys M, Nister D, Frahm J-M, Akbarzadeh A, Mordohai P, Clipp B, Engels C, Gallup D, Kim S-J, Merrell P,
Компьютерная оптика, 2015, том 39, №3
417
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
Salmi C, Sinha S, Talton B, Wang L, Yang Q, Stewenius H, Yang R, Welch G, Towles H. Detailed Real-Time Urban 3D Reconstruction From Video. International Journal of Computer Vision 2008; 78 (2-3): 143-67.
[5] Paragios N, Chen Y, Faugeras O. Handbook of Mathematical Models in Computer Vision. NY: Springer Science + Business Media; 2006.
[6] Gruzman IS, Kirichuk VS, Kosykh VP, Peretyagin GI, Spektor AA. Digital Image Processing in Information systems [In Russian]. Novosibirsk: NSTU Publisher; 2002.
[7] Goshin YeV, Fursov VA. Solving a Camera Autocalibration Problem with a Conformed Identification Method [In Russian]. Computer Optics 2012; 36(4): 605-10.
[8] Medioni G. Kang SB. Emerging Topics in Computer Vision. New Jersey: Prentice Hall; 2004.
[9] Hartley R. In Defence of the 8-point Algorithm. In: Proceedings of the 5th International Conference on Computer Vision: 1995 Jun 20-23; Cambridge, MA, 1995.
[10] Heikkila J. Silven O. A Four-Step Camera Calibration Procedure with Implicit Image Correction. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 1997 Jun 17-19; San Juan, 1997.
[11] Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(11): 1330-4.
[12] Zhang Z. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations. Proceedings of the 7th IEEE International Conference on Computer Vision. Vol. 1: 1999 Sep 20-27; Kerkyra, 1999.
[13] Tsai RY. A Versatile Camera Calibration Technique for High-Accuracy 3d Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses. IEEE Journal on Robotics and Automation 1987; 3(4): 323-44.
[14] Levenberg K. A Method for the Solution of Certain Problems in Least Squares. Quarterly of Applied Mathematics 1944; 2: 164-8.
[15] Marquardt D. An Algorithm for Least-Squares Estimation of Nonlinear Parameters. SIAM Journal on Applied Mathematics 1963; 11: 431-41.
[16] More J. The Levenberg-Marquardt Algorithm: Implementation and Theory. Numerical Analysis. Lecture Notes in Mathematics. 1978; 630: 105-16.
[17] Faugeras O. Three-Dimensional Computer Vision: a Geometric Viewpoint. MIT Press; 1993.
[18] Lee GH, Fraundorfer F, Pollefeys M. RS-SLAM: RANSAC Sampling for Visual FastSLAM. IEEE/RSJ International Conference on Intelligent Robots and Systems: 2011 Sept 25-30; San Francisco, CA, 2011.
[19] Brown DC. Decentering Distortion of Lenses. Photo-grammetric Engineering 1966; 5: 444-62.
[20] Zhimbueva LD. Method of Determining the Total Distortion Digital Images [In Russian]. Computer Optics 2011; 35(3): 347-55.
[21] Ma L, Chen Y, Moore KL. Flexible Camera Calibration Using a New Analytical Radial Undistortion Formula with Application to Mobile Robot Localization. Proceedings of Intelligent Control IEEE International Symposium: 2003 Oct 8; Houston, TX, 2003.
[22] Quan L, Lan Z. Linear N Point Camera Pose Determination. IEEE Trans. on Pattern Analysis and Machine Intelligence 1999; 21(8): 774-80.
[23] Quan L, Lan Z. Linear N>4-Point Pose Determination. 6th International Conference on Computer Vision: 1998 Jan 4-7; Bombay, 1998.
[24] Chou SC, Gao XS. Complete Solution Classification for the Perspective-Three-Point Problem. IEEE Trans. on Pattern Analysis and Machine Intelligence 2003; 25(8): 930-43.
[25] Haralick RM, Lee CN, Ottenberg K, Nolle M. Review and Analysis of Solutions of the Three Point Perspective Pose Estimation Problem. International Journal of Computer Vision 1994; 13(3): 331-56.
[26] Zeynalov RSh, Yakubenko AA, Konushin AS. Object Trajectory Estimation Using the Infrared Markers [In Russian]. Proceedings of the 14th International Conference on Digital Signal Processing and its Applications. Vol. 2: 2012 Mar 28-30; Moscow, 2012.
[27] Maths - Rotation Conversions. Source:
(http://www.euclideanspace.com/maths/geometry/ rota-
tions/ conversions/ index.htm).
IMPLEMENTATION OF AN ALGORITHM FOR DETERMINING THE SPATIAL COORDINATES AND THE ANGULAR ORIENTATION OF AN OBJECT BASED ON REFERENCE MARKS,
USING INFORMATION FROM A SINGLE CAMERA
I.A. Kudinov 1, O. V. Pavlov 1, I.S. Kholopov 1,2 1 Joint Stock Company Ryazan State Instrument-making Enterprise, Ryazan, Russia,
2 Ryazan State Radio Engineering University, Ryazan, Russia
Abstract
An algorithm for determining the spatial coordinates and angular orientation of an object with reference emitters using a single calibrated camera is considered. The algorithm is based on a sequential solution of a perspective-four-point task and more precise definition of reference emitter’s spatial coordinates using the Levenberg - Marquardt optimization method. It is shown that while in the camera field of view there are four reference emitters with a priori known distances between them measured with up to 0.15 mm precision, it is possible to determine the angular orientation of the object in real time with an error less than 20 angular minutes.
Keywords: camera calibration, distortion, PnP algorithms, Levenberg - Marquardt algorithm.
Citation: Kudinov IA, Pavlov OV, Kholopov IS. Implementation of an algorithm for determining the spatial coordinates and the angular orientation of an object based on reference marks, using information from a single camera. Computer Optics 2015; 39(3): 413-9.
Сведения об авторах
Кудинов Игорь Алексеевич, 1989 года рождения, в 2011 году окончил Рязанский государственный радиотехнический университет по специальности 220201 «Управление и информатика в технических системах», ра-
418
Компьютерная оптика, 2015, том 39, №3
Реализация алгоритма определения пространственных координат ...
Кудинов И.А., Павлов О.В., Холопов И.С.
ботает инженером-программистом в акционерном обществе «Государственный Рязанский приборный завод». Область научных интересов: калибровка камер, компенсация дисторсии, обработка изображений.
E-mail: igor.kudinov@mail.ru .
Igor Alekseevich Kudinov (b. 1989) graduated from Ryazan State Radio Engineering University in 2011, majoring in Control and Informatics in Technical Systems. Currently he works as the programmer at the Joint Stock Company Ryazan State Instrument-making Enterprise. Research interests are camera calibration, distortion compensation and image processing.
Павлов Олег Вячеславович, 1964 года рождения, в 1986 году окончил Рязанский радиотехнический институт по специальности «Инженер-системотехник по ЭВМ», работает начальником лаборатории в акционерном обществе «Государственный Рязанский приборный завод». Область научных интересов: вычислительные архитектуры, обработка изображений.
E-mail: oles.pavlov@mail.ru .
Oleg Vyacheslavovich Pavlov (b. 1964) graduated from Ryazan Radio Engineering Institute in 1986, majoring in Computer Systems. He works as the head of laboratory at the Joint Stock Company Ryazan State Instrument-making Enterprise. Research interests are computing architectures and image processing.
Холопов Иван Сергеевич, 1984 года рождения, в 2007 году окончил Рязанский государственный радиотехнический университет по специальности 201700 «Средства радиоэлектронной борьбы», работает научным сотрудником в акционерном обществе «Государственный Рязанский приборный завод» и доцентом в ФГБОУ ВПО «Рязанский государственный радиотехнический университет». Область научных интересов: инерциальная навигация, обработка изображений.
E-mail: kholopov.i.s@rsreu.ru .
Ivan Sergeevich Kholopov (b. 1984) graduated from Ryazan State Radio Engineering University in 2007, majoring in Electronic Warfare Equipment. Currently he works as the researcher at the Joint Stock Company Ryazan State Instrument-making Enterprise and associate professor at the Ryazan State Radio Engineering University. Research interests are strapdown systems and image processing.
Поступила в редакцию 28 апреля 2015 г. Окончательный вариант - 7 июля 2015 г.
Компьютерная оптика, 2015, том 39, №3
419
