CC BY
31УДК 621.397.3
А. В. Горевой, В. Я. Колючкин
МЕТОДЫ ВОССТАНОВЛЕНИЯ ТРЕХМЕРНОЙ СТРУКТУРЫ ОБЪЕКТОВ ДЛЯ МНОГОКАНАЛЬНЫХ СИСТЕМ РЕГИСТРАЦИИ С ИСПОЛЬЗОВАНИЕМ СТРУКТУРИРОВАННОЙ ПОДСВЕТКИ
Представлен универсальный алгоритм восстановления трехмерных координат объектов для комплексированных систем регистрации трехмерных образов, состоящих из проектора и двух камер. Алгоритм позволяет реализовать преимущества как стереоскопического метода, так и метода структурированной подсветки и снять ограничения, возникающие при раздельном использовании данных методов. Обсуждены особенности калибровки комплекси-рованных систем на основе разработанных методик калибровки камер и проекторов. Разработан метод калибровки систем, использующих проектор специального типа. Предложенные алгоритмы реализованы в виде законченного программного продукта и использованы для двух отличающихся по схемам построения систем регистрации.
E-mail: gorevoy.a@gmail.com
Ключевые слова: ЗБ-сканер, структурированная подсветка, стерео-
отождествление, развертывание фазы.
Введение. В настоящее время в различных областях деятельности — в производстве, медицине, компьютерной графике, робототехнике, техническом зрении — активно используется трехмерное моделирование и прототипирование объектов реального мира. В связи с этим все более актуальной становится разработка аппаратных и программных средств автоматизированной регистрации трехмерных объектов, позволяющих регистрировать трехмерные образы объектов в широком диапазоне дальностей с высоким разрешением.
Системы регистрации трехмерных объектов могут быть построены на различных принципах, одним из которых является стереоскопический принцип. Стереоскопическая система состоит из двух камер, регистрирующих объект с разных, но не слишком сильно отличающихся ракурсов. Это позволяет, зная внутренние параметры камер стереопары, а также их взаимное расположение, определять трехмерные координаты различных точек объекта по полученным изображениям, выделяя на них соответствующие точки (стерео-отождествление) [1]. Однако нерешенным остается ряд вопросов, связанных c принципиальными ограничениями данного метода, в частности со стереоотождествлением точек объектов, не обладающих
ярко выраженной текстурой или имеющих большие нетекстури-рованные (однородные) области [2]. Для преодоления данных проблем стереоскопического метода в стереоскопической системе одну из камер стереопары можно заменить проектором и получить устройство регистрации трехмерных образов объектов, основанное на активном параллаксном принципе. В такой системе на объект проецируется некоторая картина (структурированная подсветка), и ее искажения, вызванные формой объекта, регистрируются камерой [3, 4]. В настоящее время разработано множество различных вариантов картин для использования в системах структурированной подсветки, представляющих собой как серии изменяющихся картин (картины с временным мультиплексированием), так и неизменные картины с использованием различных вариантов цветовой кодировки [3], [4]. Данные варианты характеризуются различным сочетанием суммарного времени регистрации, надежности, точности, разрешения [4], и выбор конкретной картины связан с областью применения системы, характеристиками регистрируемых объектов. Одним из наиболее универсальных методов регистрации является метод с использованием синусоидальных картин с изменяющимся фазовым сдвигом, впервые предложенный в оптических измерениях [5] и наиболее часто используемый в варианте с тремя картинами [4, 6]. Основными преимуществами такой структурированной подсветки являются относительно малое число проецируемых картин и простота декодирования, а к недостаткам можно отнести неоднозначность декодирования, обусловленную периодичностью сигнала.
Перспективным направлением развития систем регистрации трехмерных образов объектов, свободным от отмеченных ограничений отдельных методов, являются комплексированные системы, состоящие из нескольких камер и проекторов и сочетающие несколько методов регистрации. Структурированная подсветка обеспечивает возможность восстановления трехмерных координат точек объектов без ярко выраженной текстуры и с большими однородными областями, а использование стереоскопического метода позволяет работать с объектами с ярко выраженной текстурой (часто затрудняющей декодирование проецируемой картины) и получать достаточное число опорных точек для «развертывания» фазы на основе стереоотождествления. Несмотря на имеющиеся разработки [7—9]), эта область пока остается недостаточно исследованной.
Основной целью данной работы является разработка универсального алгоритма восстановления трехмерной структуры объекта для комплексированных систем регистрации, состоящих из двух камер и проектора, подходящего для регистрации максимального широкого набора объектов с использованием структурированной
подсветки различных типов. Следует отметить, что определение требований к системе регистрации, как и методика расчета параметров такой системы, исходит из различных алгоритмов работы и требований к точности и надежности регистрации и по-прежнему остаются малоисследованными. Эти вопросы также будут описаны в данной работе.
Устройство системы регистрации. Идеальная система регистрации трехмерной структуры объекта должна обеспечивать высокое разрешение в широком диапазоне расстояний до объекта больших размеров при различной внешней световой обстановке. Однако при разработке такой системы возникает ряд технических противоречий, поэтому и характеристики реальной системы всегда являются компромиссным решением для условий конкретной задачи.
С одной стороны, точное определение стереоскопическим методом трехмерных координат точек объекта на значительном расстоянии требует такого же расстояния между камерами (базового расстояния) [1]. С другой стороны, для обеспечения совмещения полей зрения камер необходимо поворачивать их на большие углы, что, в свою очередь, приводит к значительному изменению ракурса и затрудняет стереоотождествление. Точность регистрации трехмерной структуры объекта с использованием структурированной подсветки во многом зависит от угла между осями проекционной и регистрирующей систем (параллаксного угла). Это обусловливает увеличение базового расстояния между проекционными и регистрирующими системами при увеличении расстояния до объекта. Таким образом, в системе, работающей в широком диапазоне расстояний до объекта, следует предусмотреть возможность изменения базового расстояния и поворота камер или проектора. Комбинированная система регистрации трехмерной структуры объекта, состоящая из двух камер и одного проектора, может быть построена по двум следующим схемам (рис. 1). Схема 1 (рис. 1, а) может иметь преимущества при регистрации малых объектов на малых расстояниях, когда требуется зарегистрировать изображения выпуклого объекта или создать полную трехмерную модель объекта, перемещая объект или систему регистрации. Однако при работе с протяженными объектами на больших дальностях параллаксные углы для проектора и камер оказываются меньше угла между камерами, что противоречит приведенным выше требованиям. Схема 2 (рис. 1, б), в которой предусмотрен больший параллаксный угол для второй камеры, позволяет реализовать работу в широком диапазоне расстояний до объекта за счет изменения базового расстояния и поворота второй камеры, используя первую камеру как опорную и не изменяя небольшой параллаксный угол между первой камерой и проектором.
Рис. 1. Возможные схемы построения комплектированной системы регистрации трехмерной системы объекта:
а — схема 1; б — схема 2
В процессе проводимых исследований были разработаны две различные комплексированные системы регистрации трехмерных образов и их макетные образцы. Первая используемая в экспериментах система состоит из двух цифровых камер и стандартного цифрового ЬСЭ-проектора. Она построена по схеме 1 и предназначена для регистрации как одиночных объектов, так и групп объектов на небольших расстояниях с целью их последующего моделирования. Цифровой проектор позволяет применять различные картины подсветки как для калибровки системы, так и для регистрации объектов. Вторая система, состоящая из двух цифровых камер и проектора с транспарантом в виде периодических вертикальных полос, подсвечиваемого лампой-вспышкой, построена по схеме 2 и предназначена для регистрации протяженных объектов с целью последующего создания моделей окружения. Для полноценного функционирования этих систем требовалось разработать универсальный алгоритм восстановления трехмерных координат точек объектов, не содержащий фундаментальных ограничений для возможной работы с другими подобными системами, а также алгоритм калибровки для обеих систем.
Введем математические обозначения, связанные с системами координат камер и проектора, входящих в состав системы, аналогичные принятым в работе [1]. Для описания будем пользоваться проективными моделями камеры и проектора [1, 10], внутренние параметры которых заданы матрицами Ап, Ак1, Ак2 для проектора, первой и второй камер соответственно. Для описания дополни-
тельных искажений, вносимых объективами камер и проектора, может быть использована модель дисторсии [11, 12] с векторами коэффициентов ^, ^, ^2. Координаты точки в фокальной плоскости (или, с учетом фокусировки на конечное расстояние, плоскости наилучшего изображения) запишем в виде Vп = (ип, Уп )т, Vк1, Vк2; а
в однородных координатах — в виде Vп = (ип, Уп, 1)т, 'Vк1, Vк2.
Координаты точки в трехмерных системах координат, связанных с проектором и двумя камерами, будут иметь вид соответственно
Гп = (хп, уп, тт, Гк1, Гк2, а в однородных координатах —
Гп = (хп, уп, 2п ,1)т, гк1, Гк2. Дополнительно введем трехмерную
систему координат, связанную с регистрируемым объектом, в которой го и Го — неоднородные и однородные координаты точки
соответственно. Переход от одной трехмерной системы координат к другой осуществляется евклидовым преобразованием и описывается матрицей вращения Я и вектором трансляции 1 [1]. Введем для них обозначение вида {Яа—Ъ, 1 а—ъ}, определяющее преобразование
ГЬ = Яа—ЪГа + Ъ . (1)
Таким образом, внешние параметры камер и проектора будут иметь
следующий вид: {Як1— п, 1 к1— п }, {Як1—к 2, 1 к1—к 2 }, а проекция трехмерной точки в системе координат объекта в фокальной плоскости первой камеры [1]
к1 = Ак1 (Яо—к1Го + 1 о—^к1 Т = Ак1 [Яо—к111 о—^к1 ] Го, (2)
где ^ — масштабный коэффициент, при переходе к обычным координатам ^ = 1/гк1. Внутренние Ап, Ак1, Ак2, dn, dк1, dк2 и внешние
{Як 1—п, 1 к1—п }, {Я 1—к 2^> 1 к1—к 2
} параметры камер и проектора определяются в процессе калибровки системы.
Разработка универсального алгоритма восстановления трехмерных координат. Проецируемые картины с распределением интенсивности в виде сдвинутых по фазе синусоид часто используются в активных системах регистрации трехмерной структуры объектов, поскольку они оптимально сочетают точность восстановления трехмерных координат и высокое пространственное разрешение. Это обеспечивается двоичными картинами с временным мультиплексированием и малым числом кадров, необходимым для восстановления, как у картин с пространственной цветовой кодировкой на основе последовательностей де Брюина [4, 6]. Наиболее часто применя-
ется алгоритм с тремя синусоидальными картинами, имеющими относительный сдвиг по фазе 2 л/3 [6, 7]. В этом случае постоянную составляющую 1йс, амплитуду 1той и фазу р сигнала можно восстановить по простым формулам, приведенным в работе [9]. Такой метод восстановления сигнала мало зависит от коэффициента отражения объекта в данной точке и позволяет исключать слишком темные и слишком светлые точки за счет анализа амплитуды и постоянной составляющей сигнала, также метод достаточно устойчив к неоднородностям и изменениям внешнего освещения, если они не происходят постоянно. Недостатком метода является необходимость калибровки проектора по яркости [4] для получения на выходе сигнала, максимально близкого к синусоиде, что может быть сделано как с использованием аналоговых измерителей сигнала, так и с помощью камеры [13].
При неизменной картине подсветки в виде синусоиды фаза сигнала может быть восстановлена с помощью фильтрации в частотной области, логарифмирования и мнимой части [14]. При фильтрации используется узкополосный фильтр с центральной частотой, близкой к основной частоте периодического сигнала в изображении картины подсветки, зарегистрированном камерой. Одним из недостатков такого метода является его зависимость от изменений коэффициента отражения объекта и практическая невозможность регистрации объектов, имеющих текстуру, в спектре которой содержатся частоты, близкие к частоте проецируемого сигнала, а также и объектов, имеющих много резких, контрастных перепадов. Другим недостатком является ограничение пространственного разрешения в результате применения узкополосной фильтрации. Из преимуществ метода следует отметить простоту изготовления транспаранта для проектора такого типа в тех случаях, когда цифровой проектор по тем или иным причинам нельзя использовать.
При применении обоих приведенных методов можно получить относительную фазу сигнала, определенную с точностью до 2жЫ, где N — неизвестная величина. Возможные значения N в данном случае определяются числом периодов в проецируемой картине. Процесс восстановления абсолютной фазы («развертывания» фазы) достаточно хорошо изучен [15]. В дальнейшем были предложены и другие алгоритмы «развертывания» фазы, в том числе и с использованием марковских случайных полей, подобно тому, как это сделано в задачах стереоотождествления [16, 17] при условии равенства нулю суммы добавляемых целых периодов по любому замкнутому контуру. Данные алгоритмы позволяют провести «развертывание» фазы для непрерывных участков восстановленной фазы сигнала на изображении. Для определения абсолютного значения фазы сигнала (и соответственно однозначного восстановления трехмерных коорди-
нат точек объекта) необходимо знать абсолютную фазу хотя бы для одной точки каждого такого участка. С этой целью в проецируемые картины вводятся дополнительные маркеры, однозначно декодируемые [18, 7], и в процесс обработки изображения осуществляются поиск и декодирование таких маркеров. Такой подход в основном предполагает наличие малого числа объектов в сцене, поскольку в противном случае не гарантируется наличие маркера на каждом из таких объектов и, следовательно, возможность восстановления его трехмерных координат. Другим вариантом решения задачи неоднозначности декодирования периодической картины является использование дополнительных картин, например синусоидальных картин с меньшим периодом или бинарных кодов [3, 4, 19], что увеличивает общее время регистрации.
В ряде случаев удобно проводить «развертывание» фазы не для самой относительной фазы р, полученной при регистрации некоторой точки объекта, а для разности относительных фаз р-р0, где фаза р0 получена при регистрации некоторого опорного объекта.
Если трехмерные координаты точек опорного объекта близки к точкам регистрируемого объекта, то такой подход позволяет уменьшить число резких перепадов фаз в регистрируемой картине. Для алгоритма с применением одной картины определение разности относительных фаз может быть совмещено с частотной фильтрацией, как описано в работе [14]. Алгоритм «развертывания» фазы в данном случае добавляет некоторое целое число периодов к данной разности фаз р - р0, которое зависит от близости регистрируемого и опорного
объектов, а не от порядкового номера периода в проецируемой картине. В качестве опорных объектов часто используются плоскости вследствие простоты расчета регистрируемого сигнала для такого объекта и параметры, определенные в процессе калибровки системы.
В комплексированной системе регистрации трехмерной структуры объектов недостатки однокамерной систем со структурированной подсветкой устраняются за счет учета информации с двух камер. Для восстановления трехмерных координат точек объекта при обработке изображений, зарегистрированных такой системой, предлагается следующий алгоритм.
В результате применения алгоритмов, приведенных выше, можно получить значение относительной фазы периодического сигнала проецируемой картины для каждого пиксела изображений, зарегистрированных первой р(vк1) и второй р(Vк2) камерами независимо друг от друга. Если проецируемая картина имеет N периодов, то каждая такая точка для одной из камер может иметь N возможных позиций в фокальной плоскости проектора и, следовательно, N
возможных положений в пространстве. Поскольку проектор и обе камеры откалиброваны, то с помощью эпиполярных соответствий [1] можно вычислить возможное положение точки в пространстве, используя ее координаты V к1 на изображении с первой камеры, значение относительной фазы р(и возможное значение периода р е (1, N), и спроецировать ее в фокальную плоскость второй камеры, получив некоторую точку Vк2 (^1р,р). Для полученных таким
образом N точек-кандидатов может быть построена оценочная функция С (и, V, р), описывающая меру близости сопоставляемых на двух изображениях точек, аналогично работе [2] для алгоритмов стереоотождествления. Как и в задаче стереоотождествления, для расхождения Л период р для каждого пиксела можно определить независимо, путем определения минимума С (и, V, р) . Но, несмотря на кажущуюся малую вероятность того, что некоторый случайный пиксел изображения со второй камеры будет соответствовать точке с таким же коэффициентом отражения и иметь такое же значение относительной фазы, как и «правильный», из-за возможного нарушения модели диффузного отражения, шумов камер, а также возможных неточностей процесса калибровки, полученная таким образом карта абсолютной фазы ра (и, V) = р(и, V) + р(и, V) будет иметь довольно большое число точек с неверно определенным периодом р(и, V). Как и для стереоотождествления, более надежными являются методы глобальной оптимизации. Задача оптимизации в целом абсолютна аналогична подобной задаче для стереоотождествления и может быть решена аналогично с использованием метода распространения доверия для минимизации суммарной оценочной функции (глобальной энергии) марковского случайного поля [20]:
Е (р) = Е, (р) + ЛЕ5 (р), (3)
где Л — параметр настройки алгоритма. Сформулируем выражения для слагаемого данных Ел (р) и слагаемого гладкости Е6, (р) . Слагаемое данных
ЕЛ (р) = Е т1П (аЛ, С1 ^ V Р) + РйСр ^ V Р)) (4)
(и V)
состоит из двух компонентов:
описывающего меру близости двух сопоставляемых точек изображений, в качестве которого может быть использована любая функция, приведенная в работе [2], например
С1 (и, V р) = 1|Л(и, V) - 12 (и2 (и, V, рХ V2 (и, v, ; (5)
описывающего разность относительных фаз Ср(и, V, р) = шт (|(1 -(2 - 2п\, |(1 -(2 |, |(1 -(2 + 2Я\), (6)
где (1 = (1 (X V), (2 = (2 (и2 V, РX ^ (и, V, Р).
Параметры аё и Дг введены в формулу (4) для контроля влияния
двух входящих в нее компонентов и уменьшения слишком большого штрафа для точек с ошибочным сопоставлением. Слагаемое гладкости задается в виде
Е (Р)= ЕИР(", V) - Р(и +1, V)) + р(р(и, V) - Р(и, V +1))], (7)
(и ,v)
где
Р(Р(И> v) - P(uj, vj))
= min
Р(И )- P(uj ,vj) +
P(U, v,) -P(uj, vj)
2^
(8)
Параметр а* выполняет в формуле (8) такую же роль ограничения, что и параметр аё в формуле (4). Для того чтобы перепады периодов Р(и, V), т. е. фактически границы объектов, лучше совпадали с границами областей, запишем слагаемое гладкости с учетом весового коэффициента, зависящего от разности интенсивностей или разности цветов соседних пикселов (аналогично работе [2]), а также разности фаз:
Р(Р(и,, V) - к(и], v])) = рР(Р(и г, V) - Р(и], v])) х х р1 I (и, ^) -1(и], v] ^) Р( ((и1, ^) - ((и], v]^ (9)
где рР, р1, р( введены аналогично формуле (8), весовому коэффициенту [2], С ^ в выражении (6). Пикселы изображения, где значение
фазы сигнала не восстановлено (проводится проверка превышения порогового уровня для амплитуды и постоянной составляющей сигнала), не участвуют в процессе оптимизации, не пропуская через себя сообщения, передаваемые в процессе итераций метода распространения доверия. Таким образом, разделенные области изображения, которые, вероятнее всего, соответствуют различным объектам сцены, не влияют друг на друга. После окончания оптимизации полученная карта фаз для изображения с первой камеры может не
соответствовать карте фаз, восстановленной для изображения со второй камеры. При необходимости подобный алгоритм может быть запущен два раза, используя поочередно первую и вторую камеру в качестве опорной, с последующей проверкой двух полученных карт фаз на непротиворечивость.
Предложенный алгоритм, как и все алгоритмы, основанные на методе распространения доверия, в общем случае имеет вычислительную сложность 0(пк2-) [20]. Однако, согласно работе [20], данный алгоритм удовлетворяет всем критериям, необходимым для проведения вычисления за линейное время относительно числа к периодов. Значения ЕЛ (р), р1 и рр можно заранее рассчитать и сохранить. Сумма сообщений, полученных на предыдущей итерации, также зависит только от рассматриваемого значения р в данном узле графа [20]. Следует отметить вычисление минимума, поскольку формула (8) представляет собой ту же линейную ограниченную функцию от разности периодов соседних узлов графа р(р(щ, vi) - р(и], vj)), что использована в работе [20], но сдвинутую
на величину
(piu:, у,) -p(u,, v,) s " vy j, jj. (Ш)
p 2п
В данном случае минимизация может быть проведена следующим образом:
для р} от 1 до к -1:
т(р]) ^ тт(() + И(р] -1) + с(1 т(р] -1) + с).
Проход в обратном направлении аналогичен приведенному в работе [20]:
для р] от к - 2 до 0:
т(р]) ^ ™п (т(р]), т(р] +1) + с(1 + 8р)).
В данных выражениях использованы следующие обозначения: т(р]) = т-^] (р]) — сообщение, передаваемое из узла I в узел ]
на I -й итерации;
И( р] ) — суммарное значение компонентов, не зависящих от р1,
Кр,)=т^п (а, С1(u, v, р)+РйСр(u, v, р)) + Е т^(р>); (11)
е (,) ]
С^] - суммарное значение весового коэффициента,
с,^] = р1 (I1 (и,, V)-1 (и],v]^) Рр(P(uI, V)-(р(и], v])). (12)
Другие приемы ускорения вычислений, использующие свойство двудольности применяемого графа и кратномасштабное представление [20], также применимы в данном случае. Пересчет масок и весовых коэффициентов (9) для разных уровней осуществляется аналогично пересчету слагаемого данных. Проведенная оптимизация позволяет эффективно реализовать алгоритм на графических процессорах и достигнуть значительного ускорения вычисления за счет распараллеливания. Вычисление положения точек на изображении со второй камеры V к2 в зависимости от положения точки на изображении с первой камеры Vк1, значений относительной фазы ((Vк1) и периода Р может быть эффективно выполнено с использованием трифокального тензора [1, 9].
Предлагаемый алгоритм достаточно универсален и может быть применен для «развертывания» фазы с учетом дополнительной информации с оптимизацией полученной фазовой картины. Исходные данные для такого алгоритма можно получить по обоим приведенным алгоритмам, включая алгоритм с использованием опорного объекта и относительной разницы фаз, а также и по любому другому алгоритму, имеющему на выходе относительную фазу периодического сигнала. В этом случае число возможных соответствий к определяется не числом периодов N проецируемой картины, а диапазоном расстояний, в котором проводится регистрация объектов. В качестве дополнительных данных для предложенного алгоритма можно использовать любые меры близости, основанные на характеристиках сравниваемых точек на изображениях и их окрестностей.
В предлагаемом алгоритме в отличие от алгоритма, приведенного в работе [9], используется сегментация областей без значительных перепадов фазы после предварительного определения предполагаемых значений периода в каждом пикселе. Такой подход может быть как лучше, так и хуже предлагаемого, в зависимости от того, насколько зашумлена картина фазы, полученная на предварительной стадии. В алгоритме, приведенном в работе [8], в качестве опорной используется система координат в фокальной плоскости проектора и аналогичный подход к оптимизации, когда на двух изображениях выбирается наилучшая пара точек вдоль эпиполярных линий с таким же значением относительной фазы, как и у рассматриваемой точки в фокальной плоскости проектора. В качестве слагаемого данных используется расстояние между восстановленными трехмерными коор-
динатами таких точек, в качестве слагаемого гладкости — близость соседних точек в фокальной плоскости проектора и соответствующих им точек на изображениях с камер. Данный подход не оптимален для использования при большом числе периодов N в проецируемой картине, поскольку требует рассмотрения к = N2 возможных соответствий для каждой точки в отличие от предложенного алгоритма и алгоритма, приведенного в работе [9] для к = N соответствий. Преимуществом подхода, предложенного в работе [8], является одновременная оптимизация точек на изображениях с обеих камер, поскольку не требуется дополнительная проверка соответствий точек для двух камер.
Особенности калибровки системы регистрации. Калибровка проводится с целью определения внутренних Ап, Ак1, Ак2, dп, dк1,
dк 2 и внешних {Як 1— п, t к1— п }, {Я 1—^к 2, t к1—^к 2
} параметров проектора
и двух камер, входящих в состав системы регистрации. Взаимная калибровка двух камер легко реализуется при использовании плоского тест-объекта в виде шахматной доски [12]. Взаимная калибровка камеры и цифрового проектора осуществляется с использованием такого же тест-объекта, как и в работе [21], но предполагается калибровка на дистанции, при которой угловые поля проектора и камер перекрываются не полностью, иначе возникают сложности с декодированием картин. Поскольку камеры в системе 1, построенной по схеме 1 (см. рис. 1, а), цветные, предлагается использовать тест-объект в виде шахматной доски с красно-синими клетками и избежать данного ограничения за счет разделения цветовой и яркостной составляющих изображения. Процедура калибровки может быть проведена как поочередно, для двух камер и для одной камеры и проектора, так и для всех устройств одновременно. Во втором случае предварительные данные определяются путем попарного определения параметров устройств, а окончательный результат — общей минимизацией с учетом всех данных.
Такой подход неприменим для системы 2, построенной по схеме 2 (см. рис. 1, б), использующей фиксированную картину подсветки, но конструктивные особенности построения данной системы позволяют заменить модуль подсветки на камеру и обратно, не изменяя положения объектива. Заменив модуль подсветки на третью камеру, можно определить все внутренние и внешние параметры для такой системы аналогично алгоритму, описанному выше. После этого проводится обратная замена камеры на модуль подсветки и фокусировка модуля подсветки перемещением транспаранта вдоль оси 0п2п при неизменном положении объектива. Пренебрегая малыми перемещениями объектива при замене модулей,
принимаем Ап = Ак3, и t
R
2^п
Rk 2^к3 t к 2^п
,, гда Акз , R
кз — параметры, полученные при калибровке для третьей камеры.
Уточнять полученные результаты предлагается по следующему итерационному алгоритму. Поскольку тест-объект плоский, а параметры всех преобразований известны, можно спроецировать изображение тест-объекта со структурированной подсветкой в фокальную плоскость проектора [1]. Пусть /равн — изображение тест-объекта,
полученное таким способом при равномерной подсветке (при выключенном проекторе), а /структ — аналогичное изображение со
структурированной подсветкой. Умножим оба изображения на маску М, выделив только области, соответствующие белым клеткам тест-объекта, чтобы учитывать только сигнал с большой амплитудой. Для оценки сигнала подсветки на полученных изображениях используем модифицированный спектр сигнала
5 (уи , V, ) = Т {/структМ }-Г Т {/равМ}, (13)
где у — коэффициент, равный отношению средних значений изображений, причем
Т {/равнМ} (0,0)
У
F {{M} (0,0)'
(14)
На полученном модифицированном спектре 5(уи, V,) определим в окрестности предполагаемой максимальной частоты точку с координатами (уи, у,), соответствующую максимальной амплитуде
сигнала. Период полос транспаранта Т и размер пиксела а3 для третьей камеры, использованной при калибровке, известны, следовательно, может быть вычислено «правильное» значение частоты сигнала Уи0 = Т/а3. Определим правило обновления параметров калибровки проектора на каждой итерации:
А =
f А1 -1
0 0
Rt = Rt-1
0
fkA 0
t-1 2,2
А1—+ck А-1
А2,3
/
(15)
cos az - sin az 0
008«,
0Л 0 1
/
где а2, /к, ск — поправки. При этом
vv
az =arctan—;
Vv
4
V + vV2
fk = v v; (15)
V0
Im( S VVu ,Vv ))
ck =arctan
Re(S (Vu ,Vv ))■
После обновления параметров калибровки для проектора повторяется процесс определения преобразований, вновь определяются изображения и процесс повторяется до сходимости. Такой алгоритм эффективен даже при одной паре изображений тест-объекта, при наличии нескольких таких пар для различных положений тест-объекта можно получить более точные результаты. В этом случае правило обновления параметров учитывает среднее значение поправок (15), вычисленное по всем парам изображений.
Экспериментальные исследования. Алгоритм восстановления трехмерной структуры объектов был реализован в среде МАТЪАБ (а затем в виде программного продукта на С++) и успешно применен для обработки данных с обеих комплексированных систем регистрации. В системе 1 (см. рис. 1, а) две цветные камеры расположены симметрично по обе стороны от цифрового проектора на расстоянии 300 мм, оптические оси всех устройств пересекаются на расстоянии около 1,4 м от устройства, регистрация объектов проводилась на расстоянии от 1 до 2 м, максимальный размер объекта составляет приблизительно 300 х 200 мм2 на расстоянии 1 м. В системе 2 две цветные камеры расположены с одной стороны от проекционного устройства, первая камера жестко закреплена на расстоянии 170 мм от проектора, вторая камера установлена на поворотном столике и может перемещаться на расстоянии от 300 до 500 мм от проектора. Оптические оси проектора и первой камеры пересекаются на расстоянии около 3 м от устройства, регистрация объектов системой 2 производилась на расстоянии от 2 до 5 м при минимальном базовом расстоянии второй камеры для расстояний до 3 м и при максимальном базовом расстоянии для больших расстояний. Максимальный размер регистрируемого объекта составляет приблизительно 400 х 300 мм во всем диапазоне расстояний, постоянное увеличение обеспечивается за счет вариообъективов.
Для количественной оценки результатов работы систем проведена регистрация тестового объекта в виде белой плоскости размером 300 х 300 мм . Для системы 1 регистрация проводилась на дальности 1,2 м, среднее квадратическое отклонение (СКО) восстановленных трехмерных координат точек объекта от идеальной плоскости составило 0,27 мм. Для системы 2 регистрация проводилась на расстояниях 2 и 5 м, СКО составило 1,3 и 4,5 мм соответственно. Подобная количественная оценка в основном характеризует систему регистрации, а не алгоритм восстановления трехмерных координат, но в настоящее время пока не разработана унифицированная методика оценки качества работы таких алгоритмов, подобно методике для алгоритмов стереоотождествления [2].
Для качественной оценки результатов работы систем регистрации проводили регистрацию трехмерного образа одного и того же объекта на расстоянии 1,2 м для системы 1 и 2,5 м для системы 2 без дополнительной обработки полученной трехмерной модели (рис. 2).
Рис. 2. Результаты регистрации трехмерной структуры объекта (по два кадра) для системы 1 (вверху) и системы 2 (внизу)
Заключение. Разработан универсальный алгоритм восстановления трехмерных координат объектов для комплексированных систем регистрации трехмерных образов, состоящих из проектора и двух камер. В алгоритме, построенном на «развертывании» фазы периодического сигнала с учетом дополнительной информации, учтены преимущества алгоритмов стереоотождествления и алгоритмов, использующих структурированную подсветку, что позволяет избежать ограничений, возникающих при раздельном применении данных методов. Использование при «развертывании» фазы вероятностной модели и современных методов оптимизации для марковских случайных сетей значительно повышает надежность и быстродействие алгоритма. Предложенные алгоритмы реализованы в виде законченного программного продукта и использованы для двух отличающихся по схеме построения систем регистрации. Оценка результатов работы алгоритмов сильно затруднена из-за отсутствия разработанной унифицированной методики оценки результатов работы подобных систем и алгоритмов. Разработка данной методики, также как и методики проектирования комплексированных систем регистрации трехмерных образов, является важным направлением дальнейшей работы, успехи в которой, несомненно, будут способствовать совершенствованию алгоритмов восстановления.
СПИСОК ЛИТЕРАТУРЫ
1. Hartley R. I., Zisserman A. Multiple View Geometry // Cambridge University Press. Cambridge, 2000.
2. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two frame stereo correspondence algorithms // International Journal of Computer Vision. 2002. Vol. 47(1-3). Р. 7-42.
3 Salvi J., Pages J., Batlle J. Pattern codification strategies in structured light systems // Pattern Recognition. 2004. Vol. 37(4). Р. 827-849.
4. Geng J. Structured-light 3d surface imaging: a tutorial // Advances in Optics and Photonics. 2011. Vol. 3. Р. 128-160.
5. Optical Shop Testing / ed. D. Malacara. Wiley, 1992.
6. Zhang S., Huang P. S. High-resolution, real-time three-dimensional shape measurement // Optical Engineering. 2006. Vol. 45.
7. Zhang S., Yau S. Absolute phase assisted three-dimensional data registration for a dual-camera structured light system // Applied Optics. 2008. Vol. 47(17). Р. 3134-3142.
8. Garcia R., Zakhor A. Projector domain phase unwrapping in a structured light system with stereo cameras // 3DTV Oonference, 16-18 May 2011, Antalya, Turkey. 2011. P. 1-4.
9. Weise T., Leibe B., Van Gool L. Fast 3d scanning with automatic motion compensation // 2007 IEEE Conference on Computer Vision and Pattern Recognition, 18-23 June 2007, Minneapolis, Minntsota, USA.
10. Zhang S., Huang P. S. Novel method for structured light system calibration // Optical Engineering. 2006. Vol. 45(8).
11. Fryer J. G., Brown D. C. Lens distortion for close-range photogrammetry // Photogrammetric Engineering and Remote Sensing. 1986. Vol. 52(1). Р. 51-58.
12. Zhang Z. Flexible camera calibration by viewing a plane from unknown orientations // International Conference on Computer Vision. 1999. Р. 666-673.
13. Juang R., Majumder A. Photometric self-calibration of a projector-camera system // 2007 IEEE Conference on Computer Vision and Pattern Recognition, 18-23 June 2007, Minneapolis, Minntsota, USA.
14. Wenjing Chen, Xianyu Su, Yiping Cao, Liqun Xiang. Improving fourier transform profilometry based on bicolor fringe pattern // Optical Engineering. 2004. Vol. 43(1). Р. 192-198.
15. Ghiglia D. C., Pritt M. D. Two-Dimensional Phase Unwrapping: Theory, Algorithms, and Software. Wiley, 1998.
16. Freya B. J., Koetter R., Petrovic N. Very loopy belief propagation for unwrapping phase images // Advances in Neural Information Processing Systems, 2001. Vol. 14. Р. 737-743.
17. Droeschel D., Holz D., Behnke S. Probabilistic phase unwrapping for time-of-flight cameras // Proceedings of Joint 41th International Symposium on Robotics and 6th German Conference on Robotics. June 2010, Munich. Р. 318-324.
18. Wang G., Hu Z., Wu F., Tsui H.-T. Projector-camera based system for fast object modeling // In 2003 IEEE International Workshop on Projector-Camera Systems. 12 October 2003, Nice, France.
19. Scharstein D., Szeliski R. High-accuracy stereo depth maps using structured light // 2003 IEEE Conference on Computer Vision and Pattern Recognition. 2003. Vol. 01. Р. 195-202.
20. Felzenszwalb P. F., Huttenlocher D.P. Efficient belief propagation for early vision // International Journal of Computer Vision. 2006. Vol. 70(1). Р. 41-54.
21. Falcao G., Hurtos N., Massich J. Plane-based calibration of a projector-camera system // VIBOT Master 2008, 9 September 2008, Le Creusot, France.
Статья поступила в редакцию 28.09.2012.
