CC BY
180
электронное научно-техническое иэ д а н ие
НАУКА и ОБРАЗОВАНИЕ
Эд № ФС 77 - 30569. Государственная регистрация №0421100025.155Н 1994-0408_
Алгоритм регистрации трехмерных образов объектов с помощью пассивной стереоскопической системы с использованием кратномасштабной обработки изображений.
77-30569/230289
# 10, октябрь 2011
Зайцев К. И., Перов А. Н., Алехнович В. И.
УДК. 00.004.021
МГТУ им. Н.Э. Баумана [email protected] [email protected]
Введение
Регистрация трехмерной информации о различных объектах - важная задача в сферах контроля и навигации. Трехмерные цифровые модели имеют широкий спектр применений. В данной статье приводится краткое описание алгоритма регистрации трехмерных образов с помощью стереоскопической системы. Рассматриваемая система является не имеет активной подсветки объекта. Пассивный принцип действия даёт несомненные преимущества, но требует более сложных алгоритмов обработки принятых сигналов и подвержен воздействию помех, которые снижают достоверность получаемой информации.
Рассматриваемый алгоритм обработка изображений стереопары был реализован на языке программирования С+ +. Стадии работы алгоритма
Рассматриваемый алгоритм стереозрения включает в себя следующие основные
этапы:
- регистрация изображений стереопарой;
- калибровка стереосистемы;
- компенсация дисторсии и ректификация изображений;
- построение пирамиды изображений и пирамиды разностей предсказанием;
- поиск карты диспарантностей на основе пирамид разностей с предсказанием;
- пересчет полученной карты диспарантностей в трехмерный образ.
1. Регистрация изображений
В качестве камер стереоскопической системы в ходе апробации алгоритма используются две web-камеры (Speedlink Reflect2 Light Meter USB Webcam), регистрирующие изображения объекта с различных ракурсов. Камеры жестко закреплены на общем основании неподвижно. Регистрируемый объект располагается в диапазоне дальностей от 200 до 700 мм от регистрирующей системы. Ближняя граница обусловлена ограничениями, связанными с проективными и яркостными искажениями в изображениях, возникающими при наблюдении объекта с различных ракурсов. Предельная дальность регистрации ограничивается разрешением камер стереосистемы.
Необходимо синхронизировать работу камер стереосистемы для исключения возможности искажения регистрируемого трехмерного образа.
2. Калибровка стереосистемы
Калибровка стереосистемы предполагает определение внутренних параметров камер и их взаимной ориентации и может быть разделена на два этапа: калибровка камер в отдельности и калибровка стереосистемы в целом. Для описания камеры используется проективная модель (модель камеры «обскура») [5], которая предполагает, что изображение получается путем проецирования объекта в плоскость изображения через точку, называемую центром проекции камеры. Операция проецирования описывается с помощью матрицы внутренних параметров камеры
' f / w 0 U0 ~ax 0 U0
M = 0 f / h V0 = 0 aY V0
0 0 1 0 0 1
в которой/М — фокусное расстояние, отнесенное к размеру элемента матрицы, и0, у0 — точка изображения, через которую проходит оптическая ось объектива. Калибровка камеры в данном случае осуществляется методом 2кеп§уои 2кещ-а [1]. Этот метод позволяет, путем нахождения определенного числа точечных соответствий между шахматной доской (эталонным трехмерным объектом) и ее изображениями определить внутренние параметры камеры, то есть матрицу М.
Так же для каждой камеры в процессе калибровки создается модель дисторсии, описываемая тремя коэффициентами к1, к2, к3 радиальной и двумя коэффициентамир1, р2 тангенсальной дисторсии [4].
Калибровка стереосистемы заключается в нахождении матрицы поворота Я и вектора трансляции Т, определяющих переход из собственной системы координат одной
камеры в собственную систему координат другой (рис. 1). Эти параметры также определяются путем наблюдения шахматной доски одновременно двумя камерами.
3. Компенсация дисторсии и ректификация изображений
Компенсация дисторсии осуществляется в соответствии с алгоритмом, изложенным в [4] с использованием вычисленных коэффициентов дисторсии.
Для описания процедуры ректификации вводятся понятия эпиполярной геометрии стереозрения [5]. Базовая линия стереосистемы — прямая проходящая через центры проекций камер. Точки пересечения базовой линии с изображениями называются эпиполями е, е'. Линии пересечения плоскостей, содержащих в себе базовую линию, с плоскостями изображения образуют пары эпиполярных линий. Существует ограничение, важное при поиске сопряженных точек в изображениях: если задана точка на первом изображении, лежащая на определенной эпиполярной линии, то область поиска сопряженной точки второго изображения ограничивается сопряженной эпиполярной линией. Эпиполярная связь изображений стереопары проиллюстрирована на рис. 2.
М(ХХ2)
Рис. 1. Модель стереосистемы
Рис. 2. Эпиполярная геометрия стереозрения
Процедура ректификации изображений стереопары [4] позволяет существенно упростить процесс поиска сопряженных точек. Выполнение данной операции позволяет установить построчное соответствие между изображениями. Схема стереопары после ректификации представлена на рисунке 3.
Рис. 3. Схема стереопары после выполнения операции ректификации
Для нахождения проективного преобразования, позволяющего осуществить процедуру ректификации, матрица поворота Я разделяется на две составляющие Я! и Яг, что соответствует полуповороту собственных систем координат камер, переводящих оси систем координат в попарно параллельное положение. Соответствующие проективные преобразования изображений имеют вид:
[(и!' ^ (пГ\
VI '
V1 у (иг' ^
vг 1
= Мшгё х Я! х М! X
VI 1
(иг ^ (01
Мш1ё х Яг х Мг 1 х vг + Ту
V 1 V Vт*)
где Мшгё — матрица внутренних параметров, присущая обеим камерам после выполнения процедуры ректификации; и!', V!' и и!, V! — новые и старые координаты точки левого изображения; иг', vг' и иг, vг — новые и старые координаты точек правого изображения; Ту, Т2 — компоненты вектора трансляции Т, обнуляемые в процессе ректификации.
4. Построение пирамиды изображений и пирамиды разностей с предсказанием
Следующим этапом на пути получения трехмерного образа является кратномасштабная обработка изображений. Построение пирамиды изображений и пирамиды разностей с предсказаниями происходит по следующей схеме [3]:
- исходное изображение /-ого уровня фильтруется сглаживающим фильтром и прореживается. Результатом такой обработки является изображение (г+1)-го уровня пирамиды изображений.
- изображение (¡+1)-ого уровня интерполируется и вычитается из исходного изображения /-ого уровня, в результате чего получается разность с предсказанием /-ого уровня.
Рис. 4. Схема построения пирамиды изображений и пирамиды разностей с предсказанием
5. Поиск карты диспарантностей с помощью пирамиды изображений
Диспарантность — расстояние между сопряженными пикселями двух изображений, определяемое по формуле: d = х''—х', где х' и х'' - координаты сопряженных точек левого и правого изображения соответственно (рис. 3.). Карта диспарантностей — матрица значений диспарантностей, элементы которого соответствуют пикселям опорного изображения, в качестве которого можно использовать левое или правое изображение стереопары. Отождествление пикселей осуществляется на основе корреляционного критерия по маске размерами 11х11.
По верхнему уровню пирамид разностей с предсказаниями определяется «грубая» карта диспарантностей, которая уточняется при последующем переходе на более низкие уровни пирамид разностей с предсказаниями, причем, помимо уточнения величин диспарантностей происходит увеличение разрешения карты. Такой подход к поиску карты диспарантностей позволяет с одной стороны сократить число ошибочных отождествлений пикселей, с другой - повысить скорость поиска сопряженных элементов.
6. Пересчет карты диспарантностей в трехмерный образ
Если для каждой пары сопряженных точек в изображениях стереопары вычислить диспарантность, то можно рассчитать трехмерный образ относительно опорного изображения следующим образом:
б
х " X"
у У
й 7
1 Ж
где х, у — координаты точки опорного изображения, X, У, Z — ненормированные трехмерные координаты. В данном выражении б является матрицей обратной проекции [4]. Если в качестве опорного выбрать левое изображение стереопары, матрица 0 имеет вид:
0 0 - Сх"
0 1 0 - Су
0 0 0 / 0 0 -1/Тх 0
б =
Координаты нормированного трехмерного образа имеют вид: (X / Ж ,У / Ж, 7 / Ж)
Рис. 5. Трехмерный образ человеческого лица
С помощью созданной системы был зарегистрирован трехмерный образ лица человека с расстояния 400 мм при базе стереосистемы составляющей ~ 40 мм.
Теоретическая точность восстановления образа по координате 7 [4] составляет 1.5 мм для дальности 200 мм и 2.5 мм — для 700 мм. Так как для апробации алгоритма использовались камеры достаточно низкого качества, то полученный трехмерный образ содержит ошибки, обусловленные погрешностями отождествления пикселей при поиске карты диспарантностей.
Вывод
В ходе данной работы, был реализован алгоритм восстановления трехмерных образов объектов. Созданная стереосистема позволяет регистрировать трехмерные образы с кадровой частотой до 10 Гц для изображений стереопары размером 320x240 пикселей при использовании четырехуровневой пирамиды изображений. Возможно дальнейшее повышение скорости работы системы за счет создания более рационального кода. Также можно повысить точность восстановления трехмерной информации за счет использования более совершенных алгоритмов отождествления точек изображений стереопары.
Литература
1. Zhengyou Zhang. Flexible Camera Calibration By Viewing a Plane From Unknown Orientations. Microsoft Research, 1999 г.
2. Д. Форсайт, Ж. Понс. Компьютерное зрение. Современный подход. Издательский дом "Вильямс", 2004 г.
3. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Техносфера. Москва, 2006 г.
4. G. Bradski, A. Kaebler. Learning OpenCV. O'Reilly Media, 2008 г.
5. R. Hartley, A. Zisserman. Multiple view geometry in computer vision. Second Edition. Cambridge University Press, 2003 г.
