CC BY
70
Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учетом дисторсии объективов
Д.Н. Степанов 1
1 Институт программных систем им. А.К. Айламазяна РАН, Переславль-Залесский, Россия
Аннотация
Статья посвящена разработке и исследованию математических моделей, описывающих получение изображений с двухзеркальных катадиоптрических систем, которые позволяют создавать стереоизображения с использованием одной камеры и двух плоских зеркал. Главное отличие предложенных моделей от существующих решений в данной области - учёт дисторсии на изображениях с реальных камер. Приведён обзор основных методов создания 3Б-моделей с применением оптических технологий, а также обзор типов катадиоптрических систем в зависимости от количества используемых зеркал и их формы (криволинейные или плоские). Методика проведения исследования заключается в математическом моделировании двухзеркальной катадиоптрической системы, а также в компьютерном эксперименте с использованием реальных изображений, которые были получены с помощью стереона-садки из двух плоских зеркал, и синтетических изображений, сгенерированных на основе алгоритма трассировки лучей. Приведены результаты экспериментов по калибровке камеры со стереонасадкой, а также результаты ректификации изображений с использованием калибровочных данных и разработанных математических моделей. Результаты экспериментов позволяют судить об адекватности разработанных моделей. Предложенные модели расширяют теорию компьютерного зрения и могут быть использованы в создании и исследовании систем компьютерного зрения для робототехнических комплексов.
Ключевые слова: машинное зрение, оптические приборы, калибровка, математическое моделирование, трассировка лучей, стереозрение, оптические характеристики, стереонасадка.
Цитирование: Степанов, Д.Н. Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учётом дисторсии объективов / Д.Н. Степанов // Компьютерная оптика. - 2019. - Т. 43, № 1. - С. 105-114. - Б01: 10.18287/2412-6179-201943-1-105-114.
Введение
Системы компьютерного зрения находят всё более широкое применение в решении различных задач. Контроль качества промышленных деталей, создание 3Б-моделей реальных объектов для киноиндустрии, контроль доступа на основе автоматического распознавания людей, автономные роботы - вот далеко не полный перечень задач, в которых системы компьютерного зрения активно развиваются и применяются. Важное место занимают системы, нацеленные на построение 3Б-моделей окружающей обстановки, определение расстояния до окружающих объектов, оценку размеров и формы объектов. Системы для создания 3Б-моделей объектов на основе применения видеокамер и периферийного оборудования можно классифицировать на активные и пассивные.
Активные системы основаны на использовании специальных излучателей и приёмников электромагнитных сигналов (как в видимом диапазоне, так и в невидимом). К таким системам относятся решения на основе лазерных сканеров, лазерных дальномеров, инфракрасных и ультразвуковых дальномеров, а также структурированной подсветки [1]. Активные системы позволяют строить более точные 3Б-модели, но являются более дорогими (особенно лазерные сканеры), и, кроме того, работа активных систем может быть легко обнаружена, что не позволяет использовать их для выполнения скрытных миссий (например, исследование территории автономным подвижным роботом или беспилотным летательным аппаратом).
Основной принцип работы пассивных систем -получение нескольких снимков одной и той же сцены с разных ракурсов (одной или несколькими видеокамерами), сопоставление снимков и вычисление трёхмерных координат точек сцены с применением методов фотограмметрии. В монокулярных системах снимки сцены с разных ракурсов получаются за счёт движения камеры относительно сцены и/или за счёт движения самой сцены относительно камеры (структура из движения - англ. structure from motion [2]). Но без использования дополнительных сведений о наблюдаемой сцене монокулярные системы принципиально не позволяют вычислить истинные размеры объектов и расстояния между ними, а только с точностью до некоторого положительного коэффициента. Для разрешения неоднозначности применяется дополнительное навигационное оборудование (одометры, спутниковые навигационные системы, инерци-альные навигационные системы и др.), которое увеличивает стоимость и массу системы и вносит свои погрешности в точность восстановления 3Б-струк-туры сцены.
От указанного недостатка свободны системы из двух и более видеокамер, для восстановления 3D-моделей необходимо знать взаимное положение и взаимную ориентацию камер (вычисляется в ходе калибровки камер). Помимо удорожания системы за счёт использования как минимум ещё одной камеры, имеет место проблема синхронизации камер, что актуально при съёмке динамичных сцен. Применяется
два способа синхронизации: программный и аппаратный, второй является более эффективным, но, как правило, доступен только на дорогих специализированных стереокамерах.
Альтернативой многокамерным системам являются катадиоптрические (зеркально-линзовые) оптические системы, в которых получение нескольких изображений достигается за счёт комбинации преломляющих и/или отражающих элементов (плоские или криволинейные зеркала). Известно, что работу оптической системы из N зеркал и одной камеры, наблюдающей зеркала, можно описать в виде системы из N виртуальных камер.
Зеркальные катадиоптрические системы можно разделить на два класса, в зависимости от типа используемых зеркал: криволинейные или плоские. Например, в работе [3] описывается система, состоящая из зеркала в виде конуса и двух камер, направленных на вершину конуса, но находящихся на разных расстояниях до него. В работах [4, 5] описана похожая система, но камеры расположены под разными углами по отношению к зеркалу, а в работе [5] дополнительно используется разделитель лучей (англ. beam splitter). В статье [6] приведены результаты исследований нескольких систем, состоящих из одной камеры и двух однотипных зеркал (параболических, эллиптических или гиперболических). Схожую направленность имеет работа [7], в которой также используются два гиперболических зеркала.
Катадиоптрические системы с криволинейными зеркалами в научной литературе часто именуются как «всенаправленные» (англ. omnidirectional): их угол обзора значительно больше, чем у оптических систем без зеркал или с плоскими зеркалами. К системам с криволинейными зеркалами тесно примыкают системы, использующие камеры с широкоугольными объективами типа «рыбий глаз» (англ. fish-eye). Например, в работе [8] камера с подобным объективом комбинируется с выпуклым зеркалом, в работе [9] описана система из одной камеры "fish-eye" и четырёх зеркал вокруг камеры.
Недостаток всенаправленных оптических систем -малые видимые размеры удалённых объектов, что может затруднить сопоставление пикселей на изображениях с целью построения 3Б-моделей. Плоские зеркала менее подвержены этому недостатку, проще в изготовлении и имеют меньшую стоимость. Катадиоп-трические системы с плоскими зеркалами можно классифицировать по количеству используемых зеркал. Однозеркальные системы наиболее простые (пример подобной системы исследуется в статье [10]), но имеют узкую область применения ввиду малого угла обзора из-за ограниченных размеров зеркала. Для решения данной проблемы предложено использование вращающегося зеркала (например, в работе [11]) или большего количества зеркал. Например, в работе [12] исследуется система из камеры и четырёх зеркал. В качестве примеров работ по трёхзеркальным системам можно привести статьи [10, 13 - 15]: в статье
[10] также рассматриваются вопросы расположения зеркал для получения изображений, наиболее удобных для дальнейшего анализа. В работе [16] описан оригинальный подход, позволяющий получать всена-правленные стереоизображения с помощью одной камеры и стереонасадки, состоящей из множества плоских зеркал. Использование призм также позволяет получать набор разноракурсных изображений с помощью одной камеры: например, в работе [17] исследуются вопросы калибровки системы из камеры и призмы для получения стереопары.
Настоящее исследование посвящено двухзеркаль-ным системам, в которых плоские зеркала и камера жёстко закреплены друг относительно друга: небольшое количество компонентов стереосистемы и отсутствие движущихся частей повышает прочность и надёжность всей конструкции (что может быть актуально для систем компьютерного зрения, установленных на подвижных роботах). В таких системах на одном изображении видны оба компонента стереопары, левый и правый. Двухзеркальным системам посвящено достаточно много работ, но следует заметить, что в некоторых исследованиях рассматриваются частные случаи конфигурации оптической системы: например, в уже упомянутой статье [6] принято допущение, что одно из зеркал располагается параллельно плоскости изображения камеры; в статье [18] зеркала располагаются симметрично относительно оптической оси камеры. Но более общие случаи конфигураций также рассмотрены: например, в статье [19], помимо построения математической модели двух-зеркальной системы и вычисления матрицы взаимной ориентации двух виртуальных камер, предложен и апробирован алгоритм вычисления фокальной длины камеры по изображениям со стереосистемы. В фундаментальной работе [20] также предложена математическая модель двухзеркальной системы, предложен алгоритм вычисления угла между зеркалами, а также алгоритм вычисления положения и ориентации камеры относительно зеркал по двум наблюдаемым точкам (положение вычисляется с точностью до некоторого положительного коэффициента). Проведены эксперименты с реальными изображениями.
Несмотря на достаточно большое количество исследований в области катадиоптрических систем с плоскими зеркалами, практически не уделяется внимания тому факту, что изображения с реальных камер в той или иной мере подвержены геометрическим искажениям (дисторсии), обусловленным использованием линз в камерах. Хотя существуют методы коррекции изображений в целях устранения дисторсии, неидеальные результаты калибровки и дискретность изображений внесут дополнительную погрешность в проведение дальнейших вычислений, связанных с исследованиями стереосистемы. Разработка и исследование математических моделей катадиоптрических систем, которые бы учитывали дисторсию, является актуальным направлением исследований.
Анализ источников также показал, что различные исследователи используют разную терминологию и
различающиеся математические модели монокулярной камеры и стереокамеры. В настоящее время наиболее популярной программной библиотекой для решения теоретических и практических задач компьютерного зрения является ОрепСУ [21]. Актуальной видится разработка таких математических моделей, которые опираются на принятую в ОреиСУ терминологию и математический аппарат.
1. Используемые математические модели монокулярной камеры и стереокамеры В качестве математической модели монокулярной камеры использовалась модель камеры-обскуры [21]. Точка Р с известными 3Б-координатами в декартовой глобальной системе координат проецируется в точку q на изображении с камеры:
= R • P + T1,
" X" " X1"
P = Y , P = Y1
Z _ Z1 _
u " X1/ Z1"
v _ YJ Z1 _
r2 = u2 + v2
Rd (r, k) =
k = (ki...k6), 1 + k1r2 + k2 r4 + k3 r6
1 + k4 r2 + k5 r4 + k6 r6 Gx (u, v, p1, p2) = 2p1uv + p2 (r2 + 2u2), Gy (u, v, p1, p2) = p1 (r2 + 2v2) + 2p2uv, u • Rd(r,k) + Gx (u, v, p1, p2) v • Rd(r,k) + Gy (u, v, p1, p2) 1
(1)
" x
y' =
1
x " fx 0 cx" x
= y = M • q' = 0 fy cy y
1 0 0 1 1
Матрица поворота Я1 и вектор положения Т1 -внешние параметры камеры. Они задают ориентацию и положение глобальной системы координат относительно системы координат, привязанной к камере. Матрица поворота принадлежит группе вращений 80 (3), поворот вокруг произвольной оси в трёхмерном пространстве можно представить в виде комбинации трёх поворотов вокруг координатных осей на некоторые углы а, р, у. Заметим, что если глобальная система координат привязана к камере, то Я = I (единичная матрица), а Т = 0.
Матрица М - матрица внутренних параметров камеры, которые измеряются в пикселях. Точка (сх, су) -главная точка, в ней оптическая ось пересекается с плоскостью изображения. Параметры / и / - фокальные длины. Величины к1...к6 - коэффициенты радиальной дисторсии (все шесть коэффициентов образуют вектор к ), р1, р2 - коэффициенты тангенциальной дисторсии. Все они также относятся к внутренним параметрам камеры.
В случае же двух камер каждая из них обладает своим набором внешних и внутренних параметров. Обо-
(2)
значим внешние параметры второй камеры как R2 и T2. Основными параметрами стереоустановки из двух камер являются матрица взаимной ориентации и вектор взаимного положения двух камер (здесь верхним индексом t обозначена операция транспонирования):
R = R2 • R/, T = т2 - R • т1.
Внешние и внутренние параметры монокулярной камеры или стереоустановки из двух камер вычисляются в ходе калибровки [21], для чего используются снимки калибровочного стенда. Глобальная система координат при этом привязывается к стенду. Известная взаимная ориентация и взаимное положение двух откалиброванных камер упрощает поиск соответствующих пикселей на двух изображениях, что обеспечивается эпиполярными ограничениями.
Известные внутренние параметры обеих камер вкупе с T и R позволяют выполнять геометрическое преобразование стереопар снимков с данных камер, которое заключается в устранении дисторсии на снимках и их ректификации (англ. rectification - выпрямление, выравнивание) [22]. Выполнять сопоставление точек с ректифицированной стереопары значительно легче, поскольку соответствующие точки находятся на строках изображений с одинаковыми номерами. Если образ какого-либо объекта на правом кадре стереопары находится в пикселе с координатами (x0, yo), то на левом кадре он может находиться в точке с координатами (x0 + d, y0). Величину d называют диспаритетом (англ. disparity).
2. Математическая модель формирования изображения в двухзеркальной
катадиоптрической системе Двухзеркальная катадиоптрическая система схематично изображена на рис. 1 (вид сверху, ось OY направлена от наблюдателя). Фокальная длина камеры равна f Плоскости обоих зеркал перпендикулярны плоскости OXZ. Отрезки AB1 и B2C соответствуют плоскостям зеркал. Точки A и C располагаются таким образом, что лежат на границах поля зрения камеры (иначе камера будет наблюдать посторонние объекты). Точки B1 и B2 располагаются на оси OZ: в общем случае они могут располагаться в произвольных местах, но при наличии промежутка между зеркалами камера также будет наблюдать посторонние объекты за зеркалами. Кроме того, нас интересует не столько расположение точек A, B1, B2 и C, сколько уравнения прямых, на которых располагаются отрезки.
Два световых луча, проходящих через точку P пространства, отражаются от зеркал и проецируются на плоскость изображения камеры в точки q1 и q2 соответственно. Точки P1 и P2 - наблюдаемые образы точки P. Задача: определить внешние и внутренние параметры двух виртуальных камер при известных внутренних параметрах монокулярной камеры (получены в результате калибровки) и при известной конфигурации зеркальной системы (уравнения прямых, на которых лежат искомые отрезки).
О X
Рис. 1. Ход лучей в двухзеркальной катадиоптрической системе
Пусть уравнения этих отрезков заданы как г = к1х + Ь1 и г = к2х + ¿2. Исходя из классической модели отражения в плоском зеркале, отрезок РР1 перпендикулярен плоскости первого зеркала и делится плоскостью пополам (аналогично для точки Р2). Координаты точки Р1 равны
P =
Z1
= J1 • P + K1 =
(
-2k1
1 + k2
1 - k12 0 2k1 " " X" "-k1
0 1 0 Y + 2¿1 0
2k1 0 k2 -1 Z 1
(3)
Коэффициент k1 равен тангенсу угла наклона прямой AB1 (k1 = tg ф1), что позволяет сделать следующую замену:
sin (2ф1)
Ji =
Ki =
cos(2ф1) 0
sin (2ф1)
- sin (2ф1) 0
1 + cos (2ф1)
0
-cos(2ф1)
(4)
Для точки Р2 все выкладки аналогичны (к2 = ф2). Далее координаты проекций точек Р1 и Р2 (они обозначены на рис. 1 как д1 и д2) вычисляются с помощью рассмотренной ранее математической модели монокулярной камеры.
3. Математическая модель формирования зеркально повернутого изображения, полученного с монокулярной камеры В экспериментальных исследованиях в качестве двухзеркальной катадиоптрической системы использовалась стереонасадка ЗБЬеггу [23], которая в силу своей миниатюрности может быть легко установлена на автономные роботы. Пример оригинального сним-
ка с камеры, оснащённой стереонасадкой, показан на рис. 2. Для демонстрации того, что стереопара нуждается в ректификации, на изображение нанесены две горизонтальные линии.
РГЛаЛТИ'
Рис. 2. Пример оригинального снимка, выполненного с помощью стереонасадки ЗПЬвггу
Использование зеркал приводит к тому, что оба фрагмента стереопары зеркально повёрнуты относительно вертикальной оси. Следовательно, снимок нуждается в зеркальном отражении. При повороте изображения вокруг вертикальной оси точка с координатами (х0, уо) перейдёт в точку (м> - 1 - х0, уо), где ^ -ширина изображения в пикселях. Читателю предлагается проверить это самостоятельно, с учётом того, что начало прямоугольной системы координат, привязанной к изображению, располагается в центре верхнего левого пикселя.
Построим математическую модель, которая формирует зеркально отражённое изображение со сте-реонасадки, с учётом набора формул (1):
R1 = S • R1, T = S • T¡, S =
-1 0 0
0 1 0
0 0 1
P =
X1 Y1
¿1
= R1 • P + T =
- X1 Y1 Z1
и " xj Z1" "- X1IZ1"
v _ YJ Z _ _ YJ Z1 _
q =
q =
y 1
- X'
У' 1
и • Rd(F, k) + Gx (u, v, P1, -P2) v • Rd(r, k) + Gy (u, v, P1, -P2) 1
(5)
M =
0
fy
0
Cx = w -1 - Cx
СУ 1
X w -1 - X
q = y = M • q' = У
1 1
Таким образом, для получения внешних параметров виртуальной камеры, которая формирует зер-
кально повёрнутое изображение, необходимо домно-жить слева матрицу ориентации и вектор поворота на матрицу S, поменять знак у второго коэффициента тангенциальной дисторсии и зеркально отразить главную точку относительно вертикальной оси.
4. Математическая модель формирования зеркально повернутых изображений на левой и правой виртуальной камере
Объединим наборы формул (3), (4) и (5) для построения математической модели формирования изображений на левой и правой виртуальной камере. Поскольку исходное изображение необходимо зеркально повернуть, то за формирование изображения в левой части исходного изображения будет отвечать правое зеркало, а за формирование изображения в правой части - левое зеркало. Внешние параметры левой виртуальной камеры равны
-cos (2ф2) 0 - sin (2ф2) R = S • J2 = 0 1 0
sin (2ф2) 0 - cos (2ф2)
sin (2ф2) T = S • K 2 = b2 • 0
1 + cos (2ф2)
Аналогично выражаются внешние параметры правой камеры, R2 и T2. Чтобы выразить внутренние параметры правой и левой виртуальных камер, воспользуемся вспомогательным чертежом на рис. 3.
(6)
Рис. 3. Левая и правая виртуальные камеры
Точки Б и Q располагаются на плоскости изображения камеры и вместе с точкой О задают поле зрения камеры, ось ОУ направлена от наблюдателя. Точка Е делит отрезок DQ пополам. Ширина изображений с камеры равна м пикселей. Снимки с левой и правой виртуальных камер соответствуют левой и правой половинам оригинального снимка. Угол обзора левой виртуальной камеры равен ZDOE, а правой камеры - ZEOQ (оптические центры камер совпадают и располагаются в точке О).
Предлагается принять все коэффициенты дистор-сии левой и правой виртуальных камер равными коэффициентам для монокулярной камеры, которая формирует зеркально отражённое изображение (см. группу формул (5)). Матрицы внутренних параметров
левой и правой камеры (обозначим их как М1 и Мг) будут различаться:
(7)
' fx 0 Cxr
M¡ = M, Mr = 0 fy cy
0 0 1
c w w Cxr Cx _ _ 0 0 ■Cx.
Нетрудно убедиться, что проекции одной и той же точки пространства на плоскости изображений левой и правой виртуальных камер будут располагаться на одной строке, а значения абсцисс будут различаться на w/2 (половина ширины оригинальных изображений).
Вычислим взаимную ориентацию и взаимное положение двух виртуальных камер, воспользовавшись выражениями (2) и (6):
Аф = 2-(ф2 -ф1),
R = R2 • R, T = T2 - R T1,
cos (Аф) 0 - sin (Аф) 0 1 0 sin (Аф) 0 cos (Аф)
b2 • sin (Аф) + (b - b2) • sin (2ф1) 0
b - b2 • cos (Аф) + (b - b2) • cos (2ф1)
R =
T =
(8)
5. Верификация математической модели двухзеркальной катадиоптрической системы
На сайте разработчиков стереонасадки 3БЪеггу доступна её 3Б-модель в виде чертежа для лазерной резки, что позволило восстановить уравнения плоскостей зеркал в системе координат, привязанных к камере. В частности, Ъ = Ъ2 = 31,217 мм, к\ = -0,73315, к2=-1,21433, ф1 = -36,247°, ф2=-50,529°, Аф=-28,563°, что позволяет вычислить матрицу взаимной ориентации и вектор взаимного положения двух виртуальных камер:
^ 0,8783 0 0,4781" 0 1 0 -0,4781 0 0,8783 -14,924" 0
3,799
Первоначально возникла идея верифицировать предложенные модели путём выполнения снимков калибровочного стенда с монокулярной камеры, а затем - снимков стенда в тех же положениях, но уже со стереонасадкой. Это позволило бы путём выполнения стереокалибровки оценить ориентации (матрицы Я1, Я2) и положения (векторы Т1, Т2) двух виртуальных камер относительно монокулярной камеры и сравнить их с выражениями (9). От этой идеи пришлось
R =
T =
(9)
отказаться, поскольку стереонасадка в силу своей конструкции снимает объекты, которые располагаются слева от камеры, что не попадает в поле зрения монокулярной камеры. К тому же невозможно сохранить полную неподвижность камеры относительно стенда в процессе установки и удаления стереонасад-ки после выполнения каждого снимка стенда.
Была предложена следующая процедура верификации:
1) Съёмка стенда камерой без стереонасадки, калибровка монокулярной камеры.
2) Съёмка стенда камерой со стереонасадкой, разрезание снимков на две части.
3) Калибровка стереокамеры с вычислением матрицы взаимного положения и вектора взаимной ориентации двух виртуальных камер. Сравнение результатов с выражениями (9).
4) Ректификация и устранение дисторсии на парах снимков со стереонасадки с использованием результатов калибровки стереокамеры. Оценка качества ректификации (см. ниже).
5) Ректификация и устранение дисторсии на парах снимков со стереонасадки с использованием выражений (9) и результатов калибровки монокулярной камеры (её внутренних параметров). Оценка качества ректификации.
Для оценки качества ректификации вначале на ректифицированной стереопаре выделялись угловые точки калибровочного стенда (шахматной доски). Для каждой пары соответствующих угловых точек с двух снимков вычислялся модуль разности между значениями ординат угловых точек (на идеально выровненной стереопаре это значение будет равно нулю). Минимальное, среднее и максимальное значение модулей разности (обозначим их как cmin, caver, cmax) принимались как оценка качества ректификации. Также для оценки качества ректификации использовался классический способ, основанный на вычислении среднего значения расстояния Сэмпсона (обозначим его как Samp) по всем угловым точкам калибровочного стенда, выделенных на всех снимках стенда [24].
Для калибровок выполнялось по 10 - 15 снимков калибровочного стенда. Использовались наборы снимков двух разрешений: низкого (640*360) и высокого (2592*1944, максимально доступное разрешение используемой камеры). Результаты предварительной калибровки монокулярной камеры (значения невязки) представлены в табл. 1.
Табл. 1. Значения невязки, полученные при калибровке монокулярной камеры, пикс
Название Низкое Высокое
параметра разрешение разрешение
Средн. квадратич. 0,429 1,413
значение
Мин. значение 0,004 0,054
Средн. значение 0,364 1,192
Макс. значение 1,426 4,874
Следует заметить, что существует набор факторов, которые в совокупности могут привести к отклонению результатов экспериментальных исследований от результатов вычислений по предложенным математическим моделям. К таким факторам относятся:
1) не идеально выровненные зеркала (конструктивные особенности стереонасадки);
2) незначительный люфт камеры;
3) погрешности при локализации угловых точек на снимках калибровочного стенда (дискретность изображений и невозможность точной локализации угловых точек);
4) погрешности при калибровке монокулярной камеры и стереокамеры (достижение глобального минимума в используемом численном методе минимизации функции не гарантируется). Предложенные математические модели были также верифицированы на наборах синтетических изображений аналогичных разрешений. Рендеринг выполнялся с помощью алгоритма трассировки лучей. Результаты предварительной калибровки монокулярной камеры (без стереонасадки) использовались для задания внутренних параметров виртуальной камеры.
На рис. 4 показано ректифицированное изображение с рис. 2 с использованием результатов калибровки стереонасадки, а на рис. 5 - с использованием предложенных математических моделей.
На рис. 6 показан пример синтетического изображения, ректифицированного с использованием результатов калибровки на серии синтетических изображений, а на рис. 7 - с использованием предложенных математических моделей.
Результаты калибровки на стереопарах реальных и синтетических снимков калибровочного стенда, а также оценка качества ректификации двумя способами показаны в табл. 2. В табл. 3 приведены значения, характеризующие качество ректификации с использованием предложенных математических моделей.
Оценивая приведённые изображения и данные в таблицах, можно сделать следующие выводы:
1) преобразование изображений, выполненное с использованием предложенных математических моделей, улучшает качество ректификации реальных снимков по сравнению с оригинальными изображениями;
2) из-за наличия описанных выше факторов, ректификация с использованием результатов калибровки стереонасадки позволяет добиться более выровненных изображений. Стереонасадка ЗБЬеггу не отличается высокой точностью сборки (акриловые детали, соединённые клеем). Разработчики пока не решили проблему надёжной фиксации платы с камерой: предлагается фиксировать её с помощью двух винтов, но присутствует небольшой люфт платы. Из-за этого неизбежны различия между ЗБ-моделью насадки в виде чертежа и её реальными геометрическими характеристиками. По мнению автора, именно конструктивные особенности являются главной причиной относительно больших по-
грешностей при ректификации реальных изображений со стереонасадки с использованием предложенных математических моделей;
3) синтетические изображения свободны от части факторов, влияющих на результаты калибровки (конструктивные особенности стереонасадки и
погрешности при калибровке монокулярной камеры). На синтетических изображениях удалось добиться практически идеального качества ректификации с использованием предложенных математических моделей.
Рис. 4. Пример изображения со стереонасадки, ректифицированного с использованием результатов калибровки стереонасадки
Рис. 6. Пример синтетического изображения, ректифицированного с использованием результатов калибровки на синтетических снимках
Рис. 5. Пример изображения со стереонасадки, ректифицированного с использованием предложенных математических моделей
Рис. 7. Пример синтетического изображения, ректифицированного с использованием предложенных математических моделей
Табл. 2. Результаты калибровки стереокамеры и оценка качества ректификации
Название параметра Реальные изображения Синтетические изображения
Низкое разрешение Высокое разрешение Низкое разрешение Высокое разрешение
cmin, caver, cmax (оригинальные изображения), пикс. 0,031 3,638 14,277 0,043 14,595 76,559 0,001 1,944 9,656 0,011 13,779 94,584
Декомпозиция R на а, р, у, градусы -0,567 -28,007 -0,748 0,236 -25.440 -0,241 0,076 -28,631 0,028 0,010 -28,567 0,001
T , мм -13,340 0,108 0,844 -12,336 -0,018 3,619 -14,984 0,029 3,418 -14,944 -0,010 3,723
^mim caveb cmax (ректифицированные изображения), пикс. 0,001 0,068 0,301 0,002 0,405 1,623 0,001 0,060 0,342 0,001 0,073 0,360
Samp, пикс. 0,004 0,166 0,003 0,003
Табл. 3. Качество ректификации изображений, выполненной с использованием предложенных мат. моделей, пикс.
Название параметра Реальные изображения Синтетические изображения
Низкое разрешение Высокое разрешение Низкое разрешение Высокое разрешение
cmin, caver, cmax 0,166 2,578 4,793 0,015 4,625 9,643 0,001 0,065 0,381 0,001 0,074 0,258
Samp 4,160 13,450 0,003 0,003
Заключение
Предложена математическая модель оптической системы, формирующей стереопару изображений с использованием одной камеры и двух плоских зеркал. От существующих решений модель отличается учётом дисторсии на изображениях с камер. Также модель отличается использованием терминологии и математического аппарата, принятого в популярной библиотеке компьютерного зрения OpenCV, что потенциально позволяет расширить круг исследователей, занимающихся катадиоптрическими системами. Предложенная модель верифицирована на цифровых изображениях с камеры, оснащённой стереонасадкой, а также на синтетических изображениях.
Полученные результаты расширяют теорию компьютерного зрения (в частности, стереозрения), в дальнейшем планируется использовать полученные наработки для расчёта оптимальных конструкций многозеркальных катадиоптрических систем, а также адаптировать разработанные модели для случая криволинейных зеркал.
Литература
1. Попов, С.Б. Использование структурированной подсветки в системах технического зрения / С.Б. Попов // Компьютерная оптика. - 2013. - Т. 37, № 2 - С. 233-238.
2. Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - 2nd ed. - New York, NY: Cambridge University Press, 2003. - 670 p. - ISBN: 978-0-52154051-3.
3. Lin, S.-S. Single cone mirror omni-directional stereo [Электронный ресурс] / S.-S. Lin, R. Bajcsy. - 2001. -URL: https://repository.upenn.edu/cis_reports/141/ (дата обращения 5.07.2018).
4. Burbridge, C. Omnidirectional projections with a cone mirror and single mirror stereo / C. Burbridge, U. Nehmzow, J.V. Condell // Proceedings of the 8th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras (OMNIVIS 2008). - 2008. - 11 p.
5. Genovese, K Panoramic stereo DIC-based strain measurement on submerged objects / K. Genovese, L. Casaletto, Y.-U. Lee, J.D. Humphrey. - In: Optical measurements, modeling, and metrology / ed. by T. Proulx. - Vol. 5. - New York, Dordrecht, Heidelberg, London: Springer, 2011. -P. 257-263. - DOI: 10.1007/978-1-4614-0228-2_31.
6. Nene, S.A Stereo with mirrors / S.A. Nene, S.K. Nayar // Sixth International Conference on Computer Vision. - 1998. - P. 1087-1094. - DOI: 10.1109/ICCV.1998.710852.
7. Cabral, E.L.L. Omnidirectional stereo vision with a hyperbolic double lobed mirror / E.L.L. Cabral, J.C. de Souza, M.C. Hunold // Proceedings of the 17th International Conference on Pattern Recognition. - 2004. - Vol. 1. - 9 p. -DOI: 10.1109/ICPR.2004.1333989.
8. Li, W. Single-camera panoramic stereo imaging system with a fisheye lens and a convex mirror // W. Li, Y.F. Li // Optics Express. - 2011. - Vol. 19, Issue 7 - P. 5855-5867. -DOI: 10.1364ЮЕ.19.005855.
9. Jiang, W. Single-camera multi-baseline stereo using fish-eye lens and mirrors / W. Jiang, M. Shimizu, M. Okutomi. -In: Computer Vision - ACCV 2009 / ed. by H. Zha, R.-i. Ta-niguchi, S. Maybank. - Part II. - Berlin, Heidelberg: Springer-Verlag, 2009. - P. 347-358. - DOI: 10.1007/9783-642-12304-7 33.
10. Gluckman, J. Rectified catadioptric stereo sensors / J. Gluckman, S.K. Nayar // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24, Issue 2. - P. 224-236. - DOI: 10.1109/34.982902.
11. Clark, A.F. Single-camera computational stereo using a rotating mirror / A.F. Clark, S.W. Chan // Proceedings of the British Machine Vision Conference. - 1994. - Vol. 2. -P. 761-770. - DOI: 10.5244/C.8.75.
12. Wang, R. Analysis and optimization of the stereo-system with a four-mirror adapter / R. Wang, X. Li, Y. Zhang // Journal of the European Optical Society Rapid Publications. - 2008. -Vol. 3. - 08033 (7 p.). - DOI: 10.2971/jeos.2008.08033.
13. Pachidis, T. A pseudo stereo vision system as a sensor for real time path control of a robot / T. Pachidis, J. Lygouras // Proceedings of the 19th IEEE Instrumentation and Measurement Technology Conference. - 2002. - Vol. 2. -P. 1589-1594. - DOI: 10.1109/IMTC.2002.1007197.
14. Chai, X. Epipolar constraint of single-camera mirror binocular stereo vision systems / X. Chai, F. Zhou, X. Chen // Optical Engineering. - 2017. - Vol. 56, Issue 8. - 084103 (8 p.). - DOI: 10.1117/1.OE.56.8.084103.
15. Vernon, D. An optical device for computation of binocular stereo disparity with a single static camera / D. Vernon // Proceedings of SPIE. - 2002. - Vol. 4877. - P. 38-46. -DOI: 10.1117/12.463762.
16. Aggarwal, R. Panoramic stereo videos with a single camera / R. Aggarwal, A. Vohra, A.M. Namboodiri // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 3755-3763. - DOI: 10.1109/CVPR.2016.408.
17. Gorevoy, A.V. Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements / A.V. Gorevoy, A.S. Machikhin // Computer Optics. - 2017.
- Vol. 41(4). - P. 535-544. - DOI: 10.18287/2412-61792017-41-4-535-544.
18. Goshtasby, A. Design of a single-lens stereo camera system / A. Goshtasby, W.A. Gruver // Pattern Recognition. - 1993.
- Vol. 26, Issue 6. - P. 923-937. - DOI: 10.1016/0031-3203(93)90058-5.
19. Gluckman, J. Planar catadioptric stereo: geometry and calibration / J. Gluckman, S.K. Nayar // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1999. - Vol. 1. - P. 22-28. - DOI: 10.1109/CVPR.1999.786912.
20. Mariottini, G.L. Catadioptric stereo with planar mirrors: Multiple-view geometry and camera localization / G.L. Mariottini, S. Scheggi, F. Morbidi, D. Prattichizzo. -In: Visual Servoing via Advanced Numerical Methods / ed. by G. Chesi, K. Hashimoto. - Berlin, Heidelberg: SpringerVerlag, 2010. - P. 3-21. - DOI: 10.1007/978-1-84996-089-2_1.
21. Bradski, G. Learning OpenCV / G. Bradski, A. Kaehler. -Sebastopol, CA: O'Reilly Media, Inc., 2008. - 576 p. -ISBN: 978-0-596-51613-0.
22. Bouguet, J.-Y. Camera calibration toolbox for matlab [Электронный ресурс] / J.-Y. Bouguet. - URL: http://www.vision.caltech.edu/bouguetj/calib_doc/ (дата обращения 6.07.2018).
23. 3Dberry - Комплект для изучения компьютерного зрения с вашей Raspberry Pi! [Электронный ресурс]. - URL: http://3dberry.org/ (дата обращения 6.07.2018).
24. Sampson, P.D. Fitting conic sections to 'very scattered' data: An iterative refinement of the Bookstein algorithm / P.D. Sampson // Computer Graphics and Image Processing.
- 1982. - Vol. 18, Issue 1. - P. 97-108. - DOI: 10.1016/0146-664X(82)90101-0.
Сведения об авторе
Степанов Дмитрий Николаевич, 1989 года рождения, к.т.н., научный сотрудник, Федеральное государственное бюджетное учреждение науки Институт программных систем имени А. К. Айламазяна Российской академии наук. Область научных интересов: математическое моделирование, компьютерное зрение, распознавание образов, параллельное программирование, визуальная навигация, анализ данных. E-mail: mitek1989@mail.ru.
ГРНТИ: 28.23.27.
Поступила в редакцию 9 июля 2018 г. Окончательный вариант - 27 августа 2018 г.
Mathematical models of obtaining stereo images from two-mirror catadioptric
systems with regard to lens distortion
D.N. Stepanov 1
1 Program Systems' Institute named after A.K. Ailamazyan of Russian Academy of Sciences (PSIRAS),
Pereslavl-Zalessky, Russia Abstract
In this paper, we develop and research mathematical models that describe image acquisition from two-mirror catadioptric systems, which allow one to generate stereo images using a single camera and two flat mirrors. The main difference between the proposed models and existing solutions in this area is that real camera distortion is introduced into the images. An overview of the main methods of creating 3D models using optical technologies is presented, as well as an overview of types of catadioptric systems depending on the number of mirrors and their shape (curved or flat). The methodology of the research consists in the mathematical modeling of a two-mirror catadioptric system, as well as in a computer experiment using real images that were obtained using a stereo nozzle with two flat mirrors and synthetic images which were generated based on the ray tracing algorithm. Results of the experiments on the camera calibration with a stereo nozzle, as well as results of image rectification using the calibration data and developed mathematical models are presented. The results of the experiments allow us to verify the adequacy of the developed models. The proposed models expand the theory of computer vision and can be used in the creation and research of computer vision systems for robotic complexes.
Keywords: computer vision, optical devices, calibration, math modeling, ray tracing, stereovision, optical characteristics, stereo nozzle.
Citation: Stepanov DN. Mathematical models of obtaining stereo images from two-mirror catadioptric systems with regard to lens distortion. Computer Optics 2019; 43(1): 105-114. DOI: 10.18287/2412-6179-2019-43-1-105-114.
References
[1] Popov SB. The use of structured lighting in computer vision systems [In Russian]. Computer Optics 2013; 37(2): 233-238.
[2] Hartley R, Zisserman A. Multiple view geometry in computer vision. 2nd ed. New York, NY: Cambridge University Press; 2003. ISBN: 978-0-521-54051-3.
[3] Lin S-S, Bajcsy R. Single cone mirror omni-directional stereo. Source: (https://repository.upenn.edu/cis_reports/141/).
[4] Burbridge C, Nehmzow U, Condell JV. Omnidirectional projections with a cone mirror and single mirror stereo. Proceedings of OMNIVIS 2008.
[5] Genovese K, Casaletto L, Lee Y-U, Humphrey JD. Panoramic stereo DIC-based strain measurement on submerged objects. In Book: Proulx T, ed. Optical measurements, modeling, and metrology, Vol 5. New York, Dordrecht, Heidelberg, London: Springer; 2011: 257-263. DOI: 10.1007/978-1-4614-0228-2_31.
[6] Nene SA, Nayar SK. Stereo with mirrors. Sixth International Conference on Computer Vision 1998: 1087-1094. DOI: 10.1109/ICCV.1998.710852.
[7] Cabral ELL, de Souza JC, Hunold MC. Omnidirectional stereo vision with a hyperbolic double lobed mirror. Proc ICPR 2004; 1: 1-9. DOI: 10.1109/ICPR.2004.1333989.
[8] Li W, Li YF. Single-camera panoramic stereo imaging system with a fisheye lens and a convex mirror. Opt Express 2011; 19(7): 5855-5867. DOI: 10.1364/OE.19.005855.
[9] Jiang W, Shimizu M, Okutomi M. Single-camera multi-baseline stereo using fish-eye lens and mirrors. In Book: Zha H, Taniguchi R-i, Maybank S, eds. Computer Vision -ACCV 2009. Pt II. Berlin, Heidelberg: Springer-Verlag; 2009: 347-358. DOI: 10.1007/978-3-642-12304-7_33.
[10] Gluckman J, Nayar SK. Rectified catadioptric stereo sensors. IEEE Transactions on Pattern Analysis and Machine Intelligence 2002; 24(2): 224-236. DOI: 10.1109/34.982902.
[11] Clark AF, Chan SW. Single-camera computational stereo using a rotating mirror. Proc British Machine Vision Conference 1994; 2: 761-770. DOI: 10.5244/C.8.75.
[12] Wang R, Li X, Zhang Y. Analysis and optimization of the stereo-system with a four-mirror adapter. Journal of the European Optical Society Rapid Publications 2008; 3: 08033. DOI: 10.2971/jeos.2008.08033.
[13] Pachidis T, Lygouras J. A pseudo stereo vision system as a sensor for real time path control of a robot. Proc 19th IEEE IMTC/2002 2002; 2: 1589-1594. DOI: 10.1109/IMTC.2002.1007197.
[14] Chai X, Zhou F, Chen X. Epipolar constraint of singlecamera mirror binocular stereo vision systems. Opt Eng 2017; 56(8): 084103. DOI: 10.1117/1.0E.56.8.084103.
[15] Vernon D. An optical device for computation of binocular stereo disparity with a single static camera. Proc SPIE 2002; 4877: 38-46. DOI: 10.1117/12.463762.
[16] Aggarwal R, Vohra A, Namboodiri AM. Panoramic stereo videos with a single camera. Proc CVPR 2016: 3755-3763. DOI: 10.1109/CVPR.2016.408.
[17] Gorevoy AV, Machikhin AS. Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements. Computer Optics 2017; 41(4): 535-544. DOI: 10.18287/2412-6179-2017-41-4-535-544.
[18] Goshtasby A, Gruver WA. Design of a single-lens stereo camera system. Pattern Recognition 1993; 26(6): 923-937. DOI: 10.1016/0031-3203(93)90058-5.
[19] Gluckman J, Nayar SK. Planar catadioptric stereo: geometry and calibration. Proc IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1999; 1: 22-28. DOI: 10.1109/CVPR.1999.786912.
[20] Mariottini GL, Scheggi S, Morbidi F, Prattichizzo D. Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization. In Book: Chesi G, Hashimoto K, eds. Visual Servoing via Advanced Numerical Methods. Berlin, Heidelberg: Springer-Verlag, 2010: 3-21. DOI: 10.1007/978-1-84996-089-2_1.
[21] Bradski G, Kaehler A. Learning OpenCV. Sebastopol, CA: O'Reilly Media Inc; 2008. ISBN: 978-0-596-51613-0.
[22] Bouguet J-Y. Camera calibration toolbox for matlab. Source: (http://www.vision.caltech.edu/bouguetj/calib_doc/).
[23] 3Dberry - A kit for studying computer vision from your Raspberry Pi! [In Russian]. Source: (http://3dberry.org/).
[24] Sampson PD. Fitting conic sections to 'very scattered' data: An iterative refinement of the Bookstein algorithm. Computer Graphics and Image Processing 1982; 18(1): 97108. DOI: 10.1016/0146-664X(82)90101-0.
Author's information
Dmitry Nikolaevich Stepanov (b. 1989), Ph.D., researcher, Federal State Budgetary Institution of Science Program Systems' Institute named after A.K. Ailamazyan of Russian Academy of Sciences. Area of scientific interests: math modeling, computer vision, pattern recognition, parallel programming, visual navigation, data analysis. E-mail:
mitek1989@mail.ru .
Received July 09, 2018. The final version - August 27, 2018.
