CC BY
45
ВЫСОКОТОЧНАЯ РЕКОНСТРУКЦИЯ ПРОСТРАНСТВЕННОГО ПОЛОЖЕНИЯ ПАССИВНОГО ЦВЕТОВОГО МАРКЕРА ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
Минаев Е.Ю., Никоноров А.В.
Институт систем обработки изображений РАН,
Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
В статье предлагается новый метод детектирования пассивного цветового маркера по последовательности видеокадров. Предлагаемая технология позволяет восстанавливать положение маркера с субпиксельной точностью в реальном времени. Такая точность имеет высокую ценность для решения ряда прикладных задач, в том числе в задачах анализа дорожной ситуации.
Ключевые слова: реконструкция 3D, детектирование, цветовая фильтрация, субпиксель-ная точность.
Введение
Одна из важных задач, решаемых в системах обеспечения автомобильной безопасности, - определение пространственного положения участников дорожного движения с целью предотвращения возможных столкновений. Одно из решений данной задачи включает в себя использование стереокамеры. Стереокамера обычно состоит из двух цифровых видеокамер и устанавливается за лобовым стеклом, рядом с зеркалом заднего вида. Оно подвергается влиянию больших перепадов температуры и вибрации, которые вызывают изменения параметров калибровки камер с течением времени [1].
Для решения данной проблемы предлагается использовать технологию на основе системы из пассивных цветовых маркеров. Отслеживая положение зафиксированного маркера, можно распознать рас-калибровку стереокамеры и своевременно выполнить процедуру повторной калибровки. На основе изображений, полученных с видеокамер, в результате работы системы определяется положение маркеров в пространстве.
Предлагаемая технология пространственного определения положения маркера состоит из двух основных стадий. На первой стадии на изображениях с видеокамер выполняется поиск и локализация маркера с помощью пороговой обработки в цветовом пространстве, контурного анализа и определения центральной оси элементов маркера методом наименьших квадратов. Затем определяются точки пересечения осей элементов маркера, в результате на первой стадии технологии определяется положение ключевых точек маркера с субпиксельной точностью, т.е. величина погрешности локализации точек меньше размеров пикселя. На второй стадии по полученным координатам ключевых точек восстанавливаются их пространственные координаты. Для корректных результатов обработки на стадии восстановления необходимо знать актуальную информацию о внутренних и внешних параметрах камеры, которая может быть получена с помощью предварительной калибровки системы из камер.
1. Детектирование маркеров
Одна из важных подзадач, сопутствующая задаче восстановления положения в пространстве, заключается в детектировании ключевых точек на изображении. В данной задаче вид и конфигурация ключевых точек непосредственно зависят от устройства маркера. Существует несколько вариантов исполнения маркеров, используемых в задачах определения пространственного положения. Один из самых распространённых вариантов - использование квадратных плоских маркеров с контрастным рисунком. Для поиска на изображении таких маркеров применяются различные методы сегментации для выделения высококонтрастных элементов и последующий контурный анализ. Примеры реализации таких маркеров, методы их обнаружения и распознавания приведены в статьях [2 - 5]. Другой вариант исполнения маркеров подразумевает использование инфракрасных светодиодов или материалов, контрастных в ИК-диапазоне [6, 7]. Для наблюдения за такими маркерами используют ИК-видеокамеры. Преимущество данного подхода заключается в возможности создания незаметных маркеров и в хорошей помехоустойчивости от воздействия источников видимого света. Также для распознавания маркеров может использоваться информация об их цвете [8, 9].
В данной работе предлагается использовать треугольный маркер вида, представленного на рис. 1. Подобная конфигурация маркера обеспечивает хорошую наблюдаемость в разных положениях при использовании двух видеокамер и надёжное детектирование, так как треугольные образы в реальных сценах встречаются реже, чем квадратные и прямоугольные. Цвета отрезков маркера выбираются из соображений максимальной контрастности с адаптацией к условиям реальной сцены, в которой будет использоваться маркер. Для распознавания такого маркера на изображении используется следующий алгоритм. Над исходным цветным изображением, поступившим с видеокамеры, проводится трёхкратная пороговая обработка в цветовом пространстве для выделения сторон треугольника, например, для одной из сторон это будет выглядеть следующим образом:
res Г (x, у) = l, если {a'rl < Ia (x, у) < a' r 2;
b'rl <Ib(x,у) <b'r2; IL(x,у) > Lr;} , (l)
иначе res I (x, у) = 0;
где a'r1, a‘r2, b'r1,b'r2, Lr - граничные значения координат в цветовом пространстве Lab для i-й стороны маркера, где i = {1, 2, 3}. Для каждого из трёх полученных препаратов выполняется выделение контуров методом Suzuki и Abe [10]. Далее выполняется контурный анализ по критерию соотношения длины контура к корню квадрата от его площади, из найденных контуров выбираются удовлетворяющие условию:
Fmn < Fc < Fmax , (2)
где Fmin, Fmax - априорно заданные пороговые значения критерия, выражение для Fc каждого отдельного контура имеет вид:
-l,
(3)
где 51 - площадь, L - периметр контура. Параметры пороговой обработки и контурного анализа выбираются экспериментально для определённого маркера при заданном освещении. Для этого вручную помечают элементы маркера на тестовых изображениях, и по значениям цветовых компонент отмеченных элементов, длине их контуров, выраженной в пикселях, и площади внутри контура формируются необходимые пороговые значения для контурного анализа и пороговой обработки.
Рис. 1. Вид цветного треугольного маркера Для каждого из оставшихся контуров методом наименьших квадратов определяется главная центральная ось контура.
n n n
nE -E x- E у'
'=l
nn x'
'=l '=l
n
nE xi -IE x' =l V '=l
n
(4)
nn
E у'- aE:
b =
n
aE x'
'=l '=l
где а и Ь - коэффициенты уравнения оси (вида у = ах + Ь ), п - количество точек контура, хі, у -координаты і-й точки контура.
Соответственно, для трёх сторон треугольника маркера формируется три уравнения прямых для главных центральных осей:
у = ап х + Ьі2
У = а2зх + Ь23 . (5)
у = а31 х + Ьз!
Точки k1, k2, k3 пересечения полученных прямых находятся согласно (на примере точки ^ ):
bl2 Ь23
ук 2 =
al2b23 a23bl2
(б)
n
Точки k1,k2,k3 будем называть ключевыми точками. По найденным ключевым точкам восстанавливается пространственное положение маркера. В данной работе предложенный алгоритм сравнивается с методом Хафа [13]. Метод Хафа в этом случае используется для нахождения прямых линий после пороговой обработки в цветовом пространстве. Ключевыми точками в данном случае считаются пересечения найденных линий. Алгоритм восстановления трёхмерного изображения при этом используется без изменений.
2. Восстановление пространственного положения маркера
Используя информацию о внутренних и внешних параметрах видеокамер и о координатах ключевых точек маркера для каждой из камер, возможно восстановить положения маркера в пространстве. Процесс восстановления состоит из двух этапов:
1. Калибровка видеокамер - определение внутренних и внешних параметров видеокамер. Выполняется один раз, и в дальнейшем используются только результаты калибровки, до тех пор пока не изменятся параметры системы из видеокамер: взаимное расположение, фокусное расстояние и др.
2. Используя проективные матрицы камер, полученные на первом этапе, методом триангуляции из двумерных координат маркера восстанавливаются трёхмерные.
Рассмотрим подробнее каждый этап. Калибровка камер осуществляется в 4 шага:
1. Создание калибровочной доски с известным пространственным расположением особых точек.
2. Получение нескольких изображений калибровочной доски с разных ракурсов.
3. Извлечение особых точек с изображений.
4. Определение соответствия между координатами особых точек в двумерном виде и известным пространственным расположением.
xk 2 =
a, - a
al2 a23
2
В качестве калибровочной доски в данной работе использовалась плоская шахматная доска, выполненная по технологии, описанной в работах [11, 12, 14]. Данная технология калибровки позволяет находить особые точки доски с субпиксельной точностью, что позволяет выполнить высокоточную калибровку. В процессе калибровки выполняется вычисление следующих параметров: фокусное расстояние, угол наклона пикселей, принципиальная точка для каждой камеры, а также матрица переноса и поворота одной камеры относительно другой [15, 16, 17]. Внутренние параметры камеры представлены в виде матрицы 3*3:
(7)
где ах и ау соответствуют фокусному расстоянию, измеренному в ширине и высоте пикселя, и0 и v0 -координатам принципиальной точки, а у = а ■ tgф ,
где ф - угол наклона пикселя относительно его прямоугольной формы. Внешние параметры представлены матрицей поворота Я размером 3*3 и вектором переноса Т размером 3*1.
Проективная матрица имеет следующий вид:
а х У и0
К - 0 а у V)
0 0 1
Р - К [ Я Т ].
(8)
х
и
V - Р у
z
1
1
В свою очередь, проективная матрица связывает плоские и пространственные координаты следующим равенством [18]:
(9)
где для представления 2D координат точки на плоскости используется вектор-столбец вида [и V 1]Т, а для задания положения 3D точки в мировых координатах - [х у z 1]Т. Таким образом, получив на этапе калибровки параметры видеокамер, можно восстановить пространственное положение точек, зная их плоские координаты.
3. Верификация результатов детектирования и восстановления пространственного положения маркера
Верификация результатов детектирования Точность детектирования ключевых точек является определяющей для решения поставленной задачи. Для оценки точности предложенного алгоритма предлагается программно-аппаратная технология верификации.
Маркер помещается в прецизионные станочные тиски с возможностью перемещения образца с точностью 0,05 мм. Тестирование выполняется в двух режимах: статическом и динамическом. В статическом режиме положение маркера не меняется, для видеопоследовательности кадров в реальном време-
ни запускается алгоритм детектирования ключевых точек. Формируется выборка из множества кадров, каждому из которых соответствуют три пары координат точек найденного маркера (хк1, ук1),
(хк2,Ук2), (хк3,ук3). Для полученной выборки рассчитывается среднеквадратичное отклонение для каждой координаты.
стх=а - Е(хк 1- хк1)2
-\1 ~ Е(ук 1- ук1)2
Л1 п ,=1
(10)
где п - число независимых измерений, по которым производится верификация.
В динамическом режиме меняется положение маркера на определённую величину и рассчитывается среднеквадратичное отклонение расчётного сдвига ключевой точки от фактического сдвига.
стл=л - Е( - d^)
(11)
где - фактический сдвиг, - расчётный сдвиг для
,-го измерения, п - число независимых измерений.
Такая технология оценки точности позволяет получить как погрешность определения координат маркера, возникающую от шумов и искажений на исходных изображениях, так и погрешность самого алгоритма детектирования.
Верификация восстановления пространственных координат маркера
Для верификации восстановленных пространственных координат используется следующая методика. Маркер также помещается в прецизионные станочные тиски с возможностью перемещения образца с точностью 0,05 мм. Алгоритмом восстановления координат устанавливаются начальные пространственные координаты маркера (х0, у0, z0). С помощью тисков осуществляется сдвиг на определённое расстояние Ad . Находятся новые пространственные координаты маркера (х,, у,, zi), таким образом, измеренный сдвиг маркера равен:
Ad,fact = >/(х0—хї)^+"су0—■ (12)
Среднеквадратичное отклонение сдвига маркера будет равно:
1 п
-Л - Е ^ -Ad )2. іп ,=1
(13)
4. Результаты экспериментов
Для реализации экспериментов использовались следующие аппаратные компоненты: две веб-камеры Logitech С910, осветительный короб (рис. 3) для фиксирования камер и для обеспечения равномерного освещения маркера, прецизионные станочные тис-
і-1
ст
у
,= 1
ст
А
ки (рис. 4) с возможностью перемещения образца с точностью 0,05 мм. Камеры использовались в режиме с разрешениями 640*480, 1280*720 и 1920*1080. Для калибровки использовалась напечатанная шахматная доска размером 8*5 со стороной клетки 1 см. В качестве примера значений параметров пороговой обработки, полученных по тестовым изображениям, определены следующие значения для стороны маркера синего цвета: а^ =-50, а\2 = 0, Ь\ =-55,
Ь^2 = 5, 1}г = 40 . Для контурного анализа использовались следующие параметры: L > 100; £ > 150;
-0,11 < F < 1,29 . Пример работы алгоритма поиска ключевых точек маркера представлен на рис. 2.
Рис. 2. Исходное изображение маркера (слева) и найденные ключевые точки после контурного анализа и нахождения главных осей контуров (справа)
Оценка точности проведена согласно описанной методики верификации.
В результате проверки в статическом режиме получены следующие значения точности для алгоритма локализации ключевых точек маркера: стх = 0,3 пикселя и сту = 0,3 пикселя, таким образом, для разрешения видеокамеры 640*480 и ширины рабочей области в 20 см среднеквадратичное отклонение будет равно 0,1 мм.
Рис. 3. Осветительный короб Результаты проверки в динамическом режиме приведены на рис. 5.
Максимальное значение среднеквадратичного отклонения в динамическом режиме стАтах - 0,57 пикселей, что соответствует отклонению в 0,17 мм.
и Левая камера п Правая камера
Рис. 4. Прецизионные станочные тиски
СКО для полученных координат маркера, в пикселах
0,6 0,5 0,4 0,3 0,2 0,1 0
0 0,5 1,0 „ 1,5 2,0
Отклонение маркера от начального положения, мм
Рис. 5. СКО для двумерных координат маркера
Результаты проверки точности восстановления пространственных координат маркера представлены
на рис. б.
СКО для
0,20 0,15 —
0,10 —
0,05 —
0
. 0,5 1,0 1,5 2,0
Фактическое отклонение маркера от начального положения, мм
Рис. 6. СКО для трёхмерных координат маркера
Результаты экспериментов показывают, что отклонение полученных пространственных координат от фактических составляет менее 0,2 мм.
Результаты сравнения производительности предложенного алгоритма с методом Хафа представлены на рис. 7.
Среднеквадратичное отклонение для двумерных координат маркера при использовании метода Хафа аДшах = 1,97, что соответствует отклонению в 0,58 мм. Среднеквадратичное отклонение для восстановленных трёхмерных координат маркера, детектированного методом Хафа, составляет
0,7 мм.
Заключение
В работе предложена технология определения положения ключевых точек маркера с субпиксель-
ной точностью для задачи восстановления пространственного положения маркера. Разработана методика оценки точности детектирования ключевых точек и оценки точности восстановления пространственных координат.
Время обработки кадра, мс
640x480 1280^720 1920*1280
Разрешение кадра, пике.
Рис. 7. Сравнение производительности предложенного алгоритма с методом Хафа
В результате проведённых экспериментов получено, что ключевые точки детектируются с суб-пиксельной точностью в 0,3 пикселя для статического режима и с точностью 0,57 пикселя в динамическом режиме. Это позволяет восстанавливать трёхмерные координаты маркера с точностью в
0.2.мм. Проведено сравнение с методом Хафа, точность предложенного алгоритма в среднем в 3 раза выше, производительность в среднем лучше на 30%. Полученные результаты позволяют использовать данную технологию для распознавания раскалибровки стереокамеры в реальном времени в системах автомобильной безопасности.
Благодарности Работа выполнена при поддержке Министерства образования и науки (ГК № 07.514.11.4105) и РФФИ (проекты № 11-07-12051-офи-м, № 12-07-00581-а).
Литература (References)
1. Hirschmueller, H. Stereo matching in the presence of sub-pixel calibration errors / H. Hirschmueller, S. Gehrig // Proceedings of Int. Conference on Computer Vision and Pattern Recognition 09, Miami, FL, 2009. - P. 437-444.
2. Zhang, X. Visual Marker Detection and Decoding in AR Systems: A Comparative Study / X. Zhang, S. Fronz, N. Navab // Proc. IEEE Int’l Symp. Mixed and Augmented Reality. - 2002. - P. 79-106.
3. Kato, H. Marker tracking and hmd calibration for a videobased augmented reality conferencing system / H. Kato, M. Billinghurst // Proc.IEEE International Workshop on Augmented Reality. - 1999. - P. 125-133.
4. Wagner, D. Robust and unobtrusive marker tracking on mobile phones / D. Wagner, T. Langlotz, D. Schmalstieg // ISMAR 2008: Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality,
2008. - P. 121-124.
5. Kawano, T. A Coded Visual Marker for Video Tracking System Based on Structured Image Analysis / T. Kawano, Y. Ban, K. Uehara // Proc. of ISMAR’03, 2003. - P. 262263.
6. Nakazato, Y. Localization System for Large Indoor Environments using Invisible Markers / Y. Nakazato, M. Kan-bara, N. Yokoya // Proc. VRST '08, ACM, 2008. - P. 295296.
7. Park, H. Invisible marker tracking for ar / H. Park, J.-I. Park // ISMAR ’04: Proceedings of the Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR’04), Washington, DC, USA. IEEE Computer Society, 2004. - P. 272-273.
8. Smith, R.T. Adaptive color marker for SAR environments / R.T. Smith, M.R. Marner, B. Thomas // Poster Sessions: Proceedings of the IEEE Symposium on 3D User Interfaces (to appear), - Singapore, 2011.
9. Lee, W. Real-time Color Correction for Marker-based Augmented Reality Applications / W. Lee, W. Woo // International Workshop on Ubiquitous Virtual Reality. -
2009. - P. 32-25.
10. Suzuki, S. Topological Structural Analysis of Digitized Binary Images by Border Following / S. Suzuki, K. Abe // Computer Vision Graphics and Image Processing. - 1985. - Vol. 30(1). - P. 32-46.
11. Zhang, Z. A flexible new technique for camera calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - V. 22, N. 11. - P. 13301334.
12. Tsai, R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses / R. Tsai // Robotics and Automation, IEEE Journal of. - 1987. - Vol. 3(4) -P. 323-344.
13. Fernandes, L.A.F. Real-time line detection through an improved Hough transform voting scheme / L.A.F. Fernandes, M.M. Oliveira // Pattern Recognition, Elsevier. -2008. - Vol. 41(1). - P. 299-314.
14. Zhang, Z. Flexible Camera Calibration By Viewing a Plane From Unknown Orientations / Z. Zhang // International Conference on Computer Vision (ICCV'99), Corfu, Greece, 1999. - P. 666-673.
15. Pollefeys, M. Euclidean 3D reconstruction from image sequences with variable focal lengths / M. Pollefeys, L. Van Gool, M. Proesmans // European Conf. Computer Vision, Cambridge, U.K., 1996. - P. 31-42.
16. Pollefeys, M. Self-Calibration and Metric Reconstruction Inspite of Varying and Unknown Intrinsic Camera Parameters / M. Pollefeys, L. Van Gool, R. Koch // International Journal of Computer Vision. - 1999. - Vol. 32(1). -P. 7-25.
17. Triggs, B. Autocalibration from Planar Scenes / B. Triggs. // European Conference on Computer Vision, Freiburg, 1998. - P. 89-105.
18. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. - Cambridge: Cambridge University Press, 2003. - 607 p. - ISBN 0-521-54051-8.
HIGH ACCURACY POSE RECONSTRUCTION OF PASSIVE COLORED MARKER
E. Yu. Minaev, A. V. Nikonorov Image Processing Systems Institute of the RAS,
S.P. Korolyov Samara State Aerospace University (National Research University)
Abstract
The paper presents new method of passive colored marker detection using video frames sequence. Proposed technique provides subpixel accuracy of marker pose reconstruction. That accuracy is valuable for various practical tasks. They are drive assistant systems.
Key words: pose reconstruction, detection, color filtering, high accuracy detection.
Сведения об авторах
Минаев Евгений Юрьевич. Магистр прикладной математики и физики. В настоящий момент проходит обучение в аспирантуре Самарского государственного аэрокосмического университета. Область научных интересов: алгоритмы обработки изображений, фракталы и хаос, нелинейная динамика, машинное зрение.
E-mail: e.mmaevf&gmail.com .
Evgeniy Yurevich Minaev, Master of applied mathematics and physics. Currently he is PHD student at Samara State Aerospace University. Research interests are image processing algorithms, fractals, chaos theory, nonlinear dynamics, computer vision.
Никоноров Артём Владимирович родился в 1979 году. В 2002 году окончил Самарский государственный аэрокосмический университет и поступил в аспирантуру. Кандидат технических наук, доцент кафедры общей информатики СГ АУ. Опубликовал более 50 работ. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров.
E-mail: admin@mcdk.com .
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002 and became a PHD-student. After that, he got PHD degree (Engineering) degree in 2005. Now he works as an associated professor at Computer Science sub-department of SSAU. He has more than 50 publications. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming.
Поступила в редакцию 4 июля 2012 г.
