CC BY
93
УДК 681.3
ПОРЯДОК ОБРАБОТКИ И ФОРМА ХРАНЕНИЯ ДАННЫХ В СИСТЕМЕ ТРЕХМЕРНОГО ЛИЦЕВОГО СКАНИРОВАНИЯ КАМЕРА-ПРОЕКТОР НА ОСНОВЕ СТРУКТУРИРОВАННЫХ СВЕТОВЫХ ШАБЛОНОВ
А.В. Кровопусков, А. А. Рындин
В статье рассмотрен порядок обработки и форма хранения данных в системе трехмерного лицевого сканирования, приведена структура и форматы хранения данных, кратко описаны этапы сканирования, сделаны выводы о применимости данной формы хранения
Ключевые слова: трехмерное сканирование, обработка данных, структурированный световой шаблон
Рассматриваемая система трехмерного сканирования лиц относится к классу стереофотограмметрических систем, использующих для сканирования триангуляцию лучей из одного проектора и одной фотокамеры. Система использует небольшое число проецируемых световых шаблонов, что позволяет в качестве фотокамеры использовать доступные на рынке любительские и полупрофессиональные фотокамеры с относительно небольшой скоростью серийной съемки.
Основное требование к хранению и порядку обработки данных в описываемой системе заключается в обеспечении возможности получать и хранить промежуточные результаты работы
каждого этапа. Это обусловленно тем, что объем обрабатываемой информации при сканировании одного лица очень велик, поэтому хранение его в памяти компьютера не представляется возможным. При этом различные этапы обработки также занимают длительное время и могут производиться с длительными разрывами по времени, например, калибровка может производиться в один день, съемка нескольких лиц - на следующий день, а обработка отснятой информации - ночью.
Хранение результатов каждого из этапов
сканирования также помогает отслеживать возможные ошибки при съемке. Как уже было сказанно, промежуточные данные сканирования занимают значительный объем дискового пространства и становятся ненужными после окончания сканирования и могут быть удалены, таким образом, организация их хранения в базе данных не имеет смысла и лишь увеличит сложность и стоимость конечной сканирующей системы. В результате одним из наиболее удобных способов хранения промежуточных результатов является их сохранение в виде файлов на диске.
Результаты сканирования разделяются на два типа: изображения и числовые характеристики. Изображения хранятся в виде файлов с соответствующими их типу именами в формате bmp. Все файлы располагаются в подкаталогах
Кровопусков Андрей Вячеславович - ВГТУ, аспирант, тел. 8 910 343 72 52
Рындин Александр Алексеевич - ВГТУ, д-р техн. наук, профессор, тел. (4732)77 45 24
папки проекта. Числовые данные хранятся в файле проекта, представляющем собой сериализуемый .КБТ-класс. Один файл проекта соответсвует одной трехмерной и одной цветовой калибровке камеры и проектора и неограниченному числу съемочных серий, называемых сессиями. На Рис. 1 приведена структура хранения одного проекта. Рассмотрим
г
Проект 01
Трехмерная калибровка
Цветовая калибровка
Исходные
Поделенные
Сессия 1
Исходные
Поделенные
С цветокоррекцией
Ректифицированные
Результат поиска стереосоответствий
Трехмерная модель
Сессия N
Рис. 1. Структура каталогов проекта
порядок обработки данных в системе трехмерного лицевого сканирования, приведненный на рисунке
2. Прямоугольниками обозначены данные, хранящиеся в файле проекта, либо промежуточные вычисляемые данные. Прямоугольниками со скругленными углами обозначены изображения, хранящиеся на диске. Кружками обозначены процедуры обработки информации, двойными кружками - процедуры обработки, производимые сторонними программами. Обработка данных производится в три этапа: трехмерная калибровка, цветовая калибровка, сканирование.
Калибровочные кадры
і Проецируемый с проектора \ калибровочный шаблон
Калибровка
Трехмерная калибровка
Внутренние и внешние калибровочные параметры камеры ___________и проектора___________
Фотографии белого листа при красном, зеленом и синем свете проектора
Фотография белого листа при белом свете і проектора
Деление
/ Изображения с чистыми значениями \ \ интенсивности света проектора )
Вычисление
цветового
рассогласования
Цветовая калибровка
Четыре фоторафии лица, освещенного четырьмя структурированными световыми шаблонами проектора
Фотография лица, освещенного белым светом V проектора
Изображения четырех структурированных световых шаблонов
Внутренние и внешние калибровочные параметры камеры и проектора с _________учетом ректификации_________
Деление
Четыре изображения с чистыми значениями интенсивности света ____________проектора_____________
Трехмерное сканирование
Скорректированные по цветам изображения
Цветокоррекция
Четыре ректифицированные изображения лица, освещенного световыми шаблонами
Четыре ректифицированные изображения световых шаблонов
Ректифицированное изображение лица в белом свете проектора
Облако трехмерных точек
Массив пар двухмерных координат соответствующих точек
Трехмерная модель с текстурой
Триангуляция
Фильтрация шума. Построение полигональной Проецирование сглаживание, удаление поверсности по облаку текстурной карты на лишных точек в точек в программе МевЫ-аЬ полигональную программе МеэЫ-аЬ поверхность
Рис. 2. Порядок обработки данных в системе трехмерного сканирования
Трехмерная калибровка системы камера-проектор производится по методу Женгью Женга, описанному в [1]. Для ее проведения необходима съемка неподвижной камерой калибровочной плоскости с нанесенным на нее калибровочным шаблоном («шахматной доской») в нескольких различных положениях в пространстве. После вычисления внутренних и внешних параметров камеры производится калибровка проектора на основе метода [2]. В основе метода лежит представление проектора в виде «обратной камеры». Для этого одновременно со съемкой калибровочного шаблона камеры на калибровочную плоскость проектор проецирует калибровочное изображение проектора («шахматная доска»). Исходя из вычисляемых трехмерных координат
проецированного изображения, а также из известных двухмерных координат того же изображения в пространстве проектора, находятся внутренние параметры проектора и относительные перемещение и вращение между проектором и камерой. Эти данные сохраняются в файле проекта.
Калибровка цветового рассогласования камеры и проектора. Одной из проблем системы камера-проектор является цветовое
рассогласование, то есть камера получает целый набор цветов, даже если проектор проецирует только красный цвет. Автором используется простой метод уменьшения рассогласования, приведенный в [3], для этого на белый материал проецируется четыре чистых цвета: красный,
зеленый, синий и белый. В результате получаются
изображения 1К , 1а, 1В и Ж . Для выделения
чистой интенсивности света проектора, каждое из трех цветных изображений делится на изображение
в белом свете Ж . В результате получаются изображения 1Ь, 10 и 1в соответственно. Далее вычисляются средние значения цветов ск, с° и св в подходящих областях изображений 1ь, 10 и 1в. Необходимо найти матрицу цветовой калибровки Мсс такую, что:
MR
cR cG c
cR cG c
h h
CR CG c
МССМКОВ = 1
В результате М СС = М-1оВ .
Полученная матрица сохраняется в файле проекта.
Сканирование.
Съемка производится при полном отсутствии других источников света, кроме проектора. На лицо последовательно проецируются четыре световых шаблона и один белый световой шаблон. Назовем
полученные в результате снимки Р1, Р2, Р3, Р4 и
Ж соответственно. В системе используются
световые шаблоны, приведенные в [3], которые представляют собой набор вертикальных полос,
являющиеся треугольными волнами с фазовым сдвигом в 1/3 периода по отношению к каждому цветовому каналу. Число периодов в каждом
последующем цветовом шаблоне P1, P2, P3, P4
увеличивается и выбирается таким образом, чтобы быть взаимнопростым числом по отношению к числу периодов в соседних шаблонах.
Далее, следуя схеме на рисунке 2, производится выделение чистых значений интенсивности света проектора. Для этого каждое из
изображений P1, P2, P3, P4 делится на изображение
W, давая изображения P1, P2, P3 и P4 соответственно. Для выполнения цветокоррекции цвет каждого пикселя, представленный в виде вектора, умножается на матрицу цветовой калибровки МСС, сохраненную ранее в файле проекта.
После проведения съемки на диск также сохраняются изображения SP1, SP2, SP3, SP4, представляющие собой сами световые шаблоны, проецируемые проектором. Данные изображения совместно с изображениями P1, P2, P3, P4, W подвергаются процедуре ректификации. Ректификация производится на основе ранее сохраненных данных трехмерной калибровки с помощью метода [4] и существенно упрощает поиск стереосоответствий, превращая эту задачу из двухмерной в одномерную. Рассчитанные в процессе ректификации новые внутренние и внешние калибровочные параметры камеры и проектора сохраняются в файл проекта.
Задачей поиска стереосоответствий является нахождение совпадающих пикселей между снимками из камеры P1, P2, P3 и P4 и проецируемыми световыми шаблонами из проектора SP1, SP2, SP3, SP4. Поиск стереосоответствий производится методом динамического программирования, приведенным в [3].
После получения попарных двухмерных координат точек, хранящихся в оперативной памяти, производится триангуляция, в ходе которой воссоздается массив трехмерных координат точек, называемый облаком точек. Данный массив сохраняется в виде текстового файла в формате .asc.
При помощи бесплатного программного обеспечения MeshLab [5] производится фильтрация шумов, сглаживание и отсечение лишних данных в облаке точек. С помощью методов, реализованных в MeshLab, осуществляется построение трехмерной полигональной поверхности по облаку точек.
На основе сохраненных в файле проекта внутренних и внешних калибровочных параметров камеры рассчитываются текстурные координаты для полигонов модели, затем выполняется
проецирование текстурной карты
(ректифицированного изображения W) на полигональную модель. Полученная полигональная модель сохраняется на диске в формате Wavefront Object с расширением .obj, соответствующая ей текстура сохраняется в формате jpg. После этого все
Г
исходные и промежуточные изображения, использованные в ходе сканирования, могут быть удалены для экономии дискового пространства.
Приведенный порядок обработки данных и способ их хранения доказал свою эффективность в ходе практических экспериментов. Он позволяет сохранять и контролировать результаты каждого этапа сканирования, осуществлять
многопользовательский доступ к ним. Четкая структурированность данных позволяет проводить плановую архивацию, автоматическое резервное копирование и быстрое удаление использованных исходных материалов, существенно экономя дисковое пространство.
Литература
1. Z. Zhang, A flexible new technique for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
2. G. Falcao, N. Hurtos, J. Massich, D. Fofi,
"Projector-Camera Calibration Toolbox",
http://code.google.com/p/procamcalib, 2009.
3. Wan-Chun Ma, A framework for capture and synthesis of high resolution facial geometry and performance, PhD Thesis, National Taiwan University, 2008.
4. Charles Loop and Zhengyou Zhang. Computing rectifying homographies for stereo vision. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, volume 1, pages 125-131, 1999.
5. MeshLab, Visual Computing Lab - ISTI - CNR, http://meshlab.sourceforge.net/, 2009.
Воронежский государственный технический университет
DATA STORING AND PROCESSING WITHIN A CAMERA-PROJECTOR STRUCTURED LIGHT FACE SCANNING SYSTEM.
A.V. Krovopuskov, A.A. Rindin
A data storing and processing order within 3D face scanning system is observed. Scanning process stages is briefly observed as well. A resume about usability is given at the end
Key words: 3D scanning, data processing, structured light pattern
