Восстановление формы трехмерных объектов методами структурированного освещения Текст научной статьи по специальности «Компьютерные и информационные науки»

ВОССТАНОВЛЕНИЕ ФОРМЫ ТРЕХМЕРНЫХ ОБЪЕКТОВ МЕТОДАМИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ

С.Б. Щекин

Рассматривается метод структурированного освещения с применением бинарных паттернов и различных методов предварительной фильтрации изображений для бесконтактного восстановления формы трехмерных объектов. Использование кодов Грея, медианной фильтрации и компенсации влияния внешних засветок позволяет значительно повысить помехоустойчивость методов структурированного освещения.

Введение

Компьютерная реконструкция формы трехмерных объектов является одной из важных задач в области компьютерного зрения и различных технических приложениях. Восстановление формы объекта, в частности, позволяет документировать актуальное состояние предметов искусства, что в дальнейшем дает возможность реставрировать поврежденные участки объектов, опираясь на записанную трехмерную модель. Другими областями являются измерение геометрических параметров объектов, распознавание людей и предметов [1], автоматический анализ формы деталей в процессе производства с целью выявления брака, изготовление одежды по форме тела, построение трехмерных карт, быстрое изготовление сеточных моделей персонажей для компьютерных игр и фильмов. В медицине восстановление формы поверхности глаза позволяет врачам с большей точностью корректировать нарушения зрения.

Существуют два основных подхода к бесконтактному восстановлению формы поверхности объекта с помощью оптических систем, а именно пассивный и активный.

Пассивные оптические методы (стереовидение) используют естественное внешнее освещение и основаны на сопоставлении данных, полученных с двух ракурсов наблюдения объекта под разными углами. Стереовидение использует тот же способ получения трехмерной информации, что и зрение животных и человека. Для восстановления формы объекта требуется установить соответствие между всеми точками объекта, наблюдаемыми с двух ракурсов. Эта информация позволяет определить положение соответствующей точки объекта в трехмерном пространстве на основе геометрических соотношений. Задача нахождения указанного соответствия не имеет точного решения (вспомним, что и зрение человека часто допускает ошибки), а используемые методы часто являются эвристическими, ресурсоемкими и обладают низкой точностью.

Активные оптические методы восстановления формы [2] используют искусственное освещение объекта. В этом случае на исследуемую сцену или объект проецируются специально подобранные изображения - паттерны, в связи с чем такие методы получили название «методы структурированного освещения». Первоначально для освещения сцены использовались слайд-проекторы, а в настоящее время для этих целей используются ЬСБ-проекторы. Активные оптические методы в сравнении пассивными обладают большей точностью, простотой и надежностью. От выбора паттернов зависит скорость восстановления формы, точность и наличие некоторых ограничений на форму объекта (например, требования монотонности формы поверхности).

Наряду с восстановлением формы поверхности, в зависимости от конкретной области применения, актуальными являются также задачи получения информации о текстуре поверхности объекта и о некоторых других свойствах, например, расположения глянцевых и матовых участков. Сбор такой информации позволяет построить наиболее реалистичную трехмерную модель исследуемого объекта.

В данной работе рассматривается метод бинарных паттернов как обладающий преимуществами простоты реализации при умеренных вычислительных ресурсах. Метод обеспечивает устойчивость к изменениям цвета поверхности, легко адаптируется к случаю наличия нежелательного внешнего освещения. К недостаткам метода можно отнести

сравнительно большое количество паттернов в наборе (обычно около десяти), что осложняет анализ движущихся объектов.

Теоретические основы метода структурированного освещения

Типичная схема установки структурированного освещения приведена на рис.1. Установка состоит из проектора и камеры, оси которых направлены на исследуемый объект и расположены под некоторым углом друг к другу.

Основу метода, как многих других активных оптических методов, составляет решение задачи триангуляции. Искомой величиной является расстояние от камеры до точки исследуемой поверхности. Это расстояние вычисляется из треугольника, образованного проектором (A), камерой (C), и точкой поверхности (B). Координаты камеры и проектора считаются известными. В случае необходимости их определения используются различные методы калибровки параметров сцены [3]. Угол BCA вычисляется исходя из координат соответствующего пикселя на изображении объекта. Для определения искомой длины отрезка BC остается найти угол CAB. Этот угол может быть найден, если определить боковую координату точки внутри паттерна, которая спроецирована в точку B поверхности объекта. Именно эта координата кодируется в самом паттерне (или их наборе).

При получении изображения точки пространства подвергаются преобразованию вида:

(x 1 au 0 u0 f x 1

У' = 0 av v0 У

чz, 0 0 1 ч z ,

где х', у', z, - координаты в системе координат изображения, х, у, 2 - координаты в системе координат, связанной с камерой, аи и ау - коэффициенты масштабирования по вертикали и

горизонтали, и0 и у0 - координаты точки пересечения оптической оси камеры с плоскостью

изображения. Такое линейное приближение в большинстве случаев является достаточным, при этом игнорируется размытие изображения вне фокальной плоскости.

В результате определения искомого расстояния для всех точек изображения можно построить карту глубин - зависимость расстояния до поверхности объекта от координат соответствующего пикселя на изображениях.

В рассматриваемом методе используются наборы паттернов в виде чередующихся вертикальных белых и черных полос, как показано на рис.2.

*

1 - ЪУ

Рис. 2. Бинарные паттерны и освещенный ими объект

Каждый паттерн кодирует один бит в двоичном представлении горизонтальной координаты точек паттерна.

Повышение помехоустойчивости

В случае использования бинарных паттернов при анализе изображений возникает возможность ошибочной классификации пикселя как освещенного или не освещенного. Вероятность такой ошибки особенно велика на границе полос, где из-за неточности фокусировки и других причин получаются полутоновые градации серого. При простом бинарном кодировании в центре всех паттернов находится черно-белая граница, таким образом, велика вероятность ошибочного декодирования сразу нескольких бит.

Для решения этой проблемы вместо простых двоичных кодов используются коды Грея (рефлексные двоичные коды). Каждому числу сопоставляется определенная битовая последовательность, так что последовательности соседних чисел отличаются в одном разряде. При этом ошибочное декодирование бита на черно-белой границе приводит к незначительной погрешности в измерении координаты, и на разных паттернах расположение границ различно.

п=1 0 1

п=2 п= =3

0 0 0 0 0

0 1 0 0 1

1 1 0 1 1

1 0 0 1 0

1 1 0

1 1 1

1 0 1

1 0 0

Рис.3. Формирование кодов Грея

Код Грея длины п + 1 может быть получен из кода Грея длины п путем приписывания снизу к исходному коду его «отражения», где кодовые последовательности идут в обратном порядке, а затем приписывания слева нового бита, который для первой половины

последовательности равен нулю, а для второй половины - единице. Пример получения кодов Грея продемонстрирован на рис. 3.

Коды Грея требуют столько же бит для представления чисел, сколько и простые двоичные коды. В типичном случае используются п = 10 бит для представления координат от 0 до 1023. Набор паттернов, полученных из кодов Грея при п = 4, изображен на рис. 4.

Рис.4. Паттерны на основе кодов Грея

Для устранения влияния паразитного внешнего освещения целесообразно зарегистрировать изображение с полностью черным паттерном и вычесть из остальных изображений. Из-за переотражения излучения проектора внутри сцены возникает дополнительная нежелательная подсветка, влияние которой можно частично устранить регулировкой яркости изображения черного паттерна.

На рис.5 приведено изображение сложной сцены при освещении бинарным паттерном до и после обработки таким способом.

Рис.5. Устранение влияния внешнего освещения.

При использовании аналоговой аппаратуры (видеокамеры и устройства видеозахвата) в некоторых случаях возникают помехи импульсного характера, приводящие к появлению одиночных ярких пикселей в видеокадрах и ошибочному распознаванию бита на одном из паттернов. Хорошие результаты по устранению таких помех дает применение медианного фильтра с шириной окна N = 5 к полученной карте глубин. Медианный фильтр действует следующим образом: вокруг данного пикселя в соответствующей строке выбирается N-1 соседних, и их глубины заносятся в массив. После этого массив сортируется в порядке возрастания, и глубина, соответствующая данному пикселю, заменяется глубиной, которая

оказалась в центре массива после сортировки. Таким образом, монотонные последовательности остаются без изменений, а короткие импульсные помехи заменяются одним из соседних значений. Медианный фильтр полезен и при коррекции битовых ошибок, возникающих в результате ошибочной классификации пикселей. Примеры применения фильтра для устранения ошибок этого вида иллюстрируется на рис.6. и 7.

Текущий элемент Новое значение

Рис.6. Пример медианной фильтрации

Рис.7. Результат построчной медианной фильтрации Экспериментальные результаты

Метод бинарных паттернов с применением кодов Грея и медианной фильтрации был применен для восстановления формы смоделированных поверхностей и поверхностей реальных объектов. В случае реальной сцены потребовалось применение фильтрации и устранение влияния внешнего освещения.

Примеры поверхностей, смоделированных в пакете 3D Studio Max, показаны на рис. 8. Результат восстановление формы поверхностей представлен на рис. 9.

При прорисовке поверхностей были исключены треугольники с длиной ребер выше некоторого порога, поскольку такие треугольники, как правило, образуются на границе двух частично перекрывающихся объектов, не связанных между собой, и не представляют интереса.

Из рис. 9 видно, что форма поверхностей успешно восстановлена для тех областей, которые достаточно освещены, включая области с полутоновыми значениями яркости. Поскольку восстановление проведено только для одного ракурса при фиксированных геометрических соотношениях в системе освещения-наблюдения (см. рис. 1), не восстановлена форма затененных участков. Этот недостаток преодолевается при совместной обработке данных, полученных для нескольких ракурсов освещения-наблюдения, например, при использовании нескольких видеокамер или при вращении объекта.

Рис.8. Примеры поверхностей, освещенных одним из паттернов

Рис.9. Результат восстановления смоделированных поверхностей

При восстановлении поверхности реального объекта была использована черно-белая видеокамера, LCD-проектор и плата видеозахвата Miro Video DC 10+. Использовалась несложная видеокамера с разрешением 384x288 пикселей.

На рис. 10 показана картина сложной сцены с реальным объектом (физическая модель кассеты для хранения механических элементов), освещенной паттерном с наименьшим шагом полос.

На рисунке ясно видны области поверхностей объекта, в которых разрешающая способность камеры для данного паттерна является недостаточной: полосы неразличимы от фона, в частности, полосы на белой фоновой поверхности из-за размытия и недостаточного разрешения видеокамеры выглядят полностью белыми, что привело к появлению многочисленных битовых ошибок в младших разрядах.

Результат восстановления формы объекта представлен на рис. 11.

Благодаря свойству кодов Грея, битовые ошибки внесли лишь небольшую погрешность в измеренные координаты поверхности.

Рис.11. Результат восстановления поверхности реального объекта

Заключение

Метод бинарных паттернов при использовании кодов Грея обладает хорошей помехоустойчивостью, практически не накладывает ограничений на форму исследуемой поверхности и обеспечивает удовлетворительную разрешающую способность при восстановлении формы поверхности.

Использование различных методов обработки изображений и карты глубин значительно уменьшило влияние помех и внешнего освещения. Применение медианного фильтра позволило повысить помехоустойчивость системы при возникновении битовых ошибок, вызванных ошибочной классификацией пикселей.

Литература

1. Wiegmann A., Wagner H., Kowarschik R.. Human face measurement by projecting bandlimited random patterns // Opt. Expr. 2006. V.14. P. 7692-7698.

2. Salvi J., Pages J., Batlle J. Pattern codification strategies in structured light systems //Pattern Recognition. 2004. V.37(4). P. 827-849.

3. Fofi D., Mouaddib E.M., Salvi J. 3-D reconstruction from an uncalibrated structured light sensor. IliA 99-14-RR.