CC BY
12
БОТ: 10.15587/2312-8372.2017.111233
РАЗРАБОТКА КОМПЬЮТЕРНОЙ МОДЕЛИ СИСТЕМЫ
РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ ПОВЕРХНОСТЕЙ
Лымаренко Ю. А., Татиевский Д. Н.
1. Введение
В течение нескольких десятилетий проводятся исследования систем сканирования трехмерных объектов, которые, в основном, направлены на увеличение разрешения, точности и уменьшения времени захвата и обработки изображений. Это позволяет, зная внутренние параметры камер, а также их расположение, определять трехмерные координаты различных точек объекта по полученным изображениям, выделяя на них соответствующие точки [1, 2].
На современном этапе разработано множество различных версий картин для использования в системах структурированной подсветки. Разработанные версии представляют собой как серии изменяющихся картин (картины с временным мультиплексированием), так и неизменные картины с использованием различных вариантов цветовой кодировки [3-5].
Данные варианты характеризуются различным сочетанием суммарного времени регистрации, надежности, точности, разрешения, и выбор конкретной картины связан с областью применения системы, характеристиками регистрируемых объектов [6].
Таким образом, в настоящее время в различных областях деятельности человека, таких как машиностроение, компьютерная графика, робототехника и медицина, активно используется трехмерное моделирование и прототипирование объектов реального мира. С развитием алгоритмов компьютерного зрения все более актуальным становится разработка систем восстановления поверхностей реального мира, способных создавать максимально точную 3D модель регистрируемого объекта.
2. Объект исследования и его технологический аудит
Объектом исследования является система сканирования трехмерных поверхностей методом структурированной подсветки.
Основными активными элементами реальной системы 3D реконструкции являются проектор (как правило, DLP) и видеокамера - «проектор-камера» (рис. 1).
Проектор Камера
Рис. 1. Система «Проектор-Камера»
Зная внутренние параметры системы, а также их взаимное расположение, можно определить трехмерные координаты точек объекта методом триангуляции [6].
Метод структурированной подсветки считается одним из самых надежных методов для восстановления рельефа объектов. На объект проецируется некоторая картина (структурированная подсветка), ее искажения, повторяющие форму объекта, регистрируются камерой (рис. 2) [6, 7].
Рис. 2. Структурированная подсветка
Поскольку картина кодируется, можно легко установить соответствие между точками изображения и точками проецируемого рисунка.
Необходимо создать виртуальную модель системы «проектор-камера», а также выполнить имитацию метода структурированной подсветки.
Важно подтвердить адекватность созданной компьютерной модели и ее пригодность для тестирования существующих и новых алгоритмов в задачах сканирования 3D поверхностей методом структурированной подсветки. Для этого предполагается провести эксперименты на базе созданной компьютерной модели
и проанализировать полученные результаты.
Также, необходимо экспериментально установить возможные факторы, приводящие к грубым ошибкам и погрешностям при восстановлении поверхностей.
Технические возможности компьютерной модели не ограничиваются физическими параметрами эмулируемой системы. Можно без особых трудностей смоделировать работу системы с параметрами, которых достичь на реальном объекте невозможно. Например, картина структурированной подсветки с количеством полос 1024 (210) окажется сложной для обработки физической камерой с небольшим оптическим разрешением на реальной модели сканера.
Одним из наиболее проблемных мест данной модели можно отнести тот факт, что компьютерная модель будет ограничена лишь разрешением растрового изображения с виртуального объекта при прочих равных параметрах системы. Из недостатков следует отметить достаточно длительный процесс обработки изображений и алгоритма вычисления облака точек, который может достигать одной минуты на компьютере с процессором i5 (пятое поколение).
3. Цель и задачи исследования
Цель исследования - разработка компьютерной модели, имитирующей работу системы «проектор-камера» и алгоритмов восстановления поверхностей трехмерных объектов с помощью метода структурированной подсветки в реальном времени.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Рассмотреть составляющие для построения компьютерной модели, имитирующей работу системы «проектор-камера».
2. Выполнить имитацию метода структурированной подсветки.
4. Исследование существующих решений проблемы
В 1981 г. ученые впервые предложили проецирование последовательности шаблонов для кодирования полос, используя простой бинарный код (т шаблонов, 2т полос) [8].
В этом случае кодируются столбцы изображения проектора. Логический уровень «1» соответствует насыщенности черным, тогда как «0» соответствует полностью освещенному белому. Так, количество полос увеличивается в два раза на каждом последующем шаблоне. У каждой полосы последнего шаблона есть
свое бинарное ключевое слово. Максимальное количество шаблонов, которое может быть спроецировано, является разрешением устройства проецирования в пикселях. Необходимо заметить, что все пиксели, принадлежащие одной полосе в шаблоне с наибольшей частотой, имеют одинаковое ключевое слово (рис. 3).
Бинарная кодификация, относящаяся к так называемому виду
структурированной подсветки с временным мультиплексированием, поддерживает работу только с неподвижными объектами. В работах [9, 10] показано улучшение схемы кодификации, внедрение кода Грея и использование в
схеме М-последовательности.
Среди основных направлений системы сканирования трехмерных поверхностей методом структурированной подсветки, выявленных в ресурсах мировой научной периодики, могут быть выделены:
- кодирование элементов подсветки. Наиболее полно описывает методы структурированной подсветки с кодированием, но не затрагивает другие методы, например, фотограмметрию, и методы проекции системы полос [4, 5];
- методы структурированной подсветки способов проецирования изображения на объект [10];
- методы определения рельефа на основе метода проекции полос и пространственной фазометрии [11];
- комбинированные методы активной фотограмметрии [12];
- методы измерения координат и формы трехмерных объектов [13-19].
Рис. 3. Картины проекции при бинарной кодификации
В настоящее время учеными разработано множество различных вариантов для использования в системах структурированной подсветки, представляющих собой как серии изменяющихся картинок (картинки с временным мультиплексированием), так и неизменные картинки с использованием различных вариантов цветовой кодировки [3, 4]. Данные варианты характеризуются различным сочетанием суммарного времени регистрации, надежности, точности, разрешения [4]. Выбор конкретной картинки связан с областью применения
системы, характеристиками регистрируемых объектов.
Одним из наиболее универсальных методов регистрации является метод с использованием синусоидальных картин с изменяющимся фазовым сдвигом, впервые предложенный в оптических измерениях и наиболее часто используемый в варианте с тремя картинами [6, 10]. Основными преимуществами такой структурированной подсветки являются относительно малое число проецируемых картин и простота декодирования, а к недостаткам можно отнести неоднозначность декодирования, обусловленную периодичностью сигнала.
Перспективным направлением развития систем регистрации трехмерных образов объектов, свободным от отмеченных ограничений отдельных методов, являются комплексированные системы, состоящие из нескольких камер и проекторов и сочетающие несколько методов регистрации.
Структурированная подсветка обеспечивает возможность восстановления трехмерных координат точек объектов без ярко выраженной текстуры и с большими однородными областями. Использование стереоскопического метода позволяет работать с объектами с ярко выраженной текстурой (часто затрудняющей декодирование проецируемой картины) и получать достаточное число опорных точек для «развертывания» фазы на основе стереоотождествления. Несмотря на имеющиеся разработки, эта область пока остается недостаточно исследованной [9, 10, 19, 20].
Таким образом, результаты анализа позволяют сделать вывод о том, что необходимо создать виртуальную модель системы «проектор-камера», а также выполнить имитацию метода структурированной подсветки. Важно подтвердить адекватность созданной компьютерной модели и ее пригодность для тестирования существующих и новых алгоритмов в задачах сканирования 3D поверхностей методом структурированной подсветки. Для этого предполагается провести эксперименты на базе созданной компьютерной модели и проанализировать полученные результаты. Также необходимо экспериментально установить возможные факторы, приводящие к грубым ошибкам и погрешностям при восстановлении поверхностей.
5. Методы исследования
Структурная система представляет собой две компьютерные программы, написанные в среде Unity, на языке программирования С# (рис. 4, 5).
Рис. 4. Структурная схема компьютерной модели
Рис. 5. Функциональная структура компьютерной модели
Выделим структурную схему приложений (табл. 1):
1. Первое приложение отвечает за:
- моделирование трехмерных тестовых объектов, которые будут распознаваться;
- построение шаблонов подсветки и настройку их параметров;
- генерацию снимков с виртуальной камеры;
- имитацию работы поворотного стола;
- отображение результатов обработки изображений.
2. Второе приложение отвечает за:
- расчеты и апробирование алгоритмов распознавания и триангуляции; выдачу результатов для визуализации;
- возможность работы с внешними устройствами (камера и проектор).
Таблица 1
Описание структуры компьютерной модели_
№ Система Характеристика
1 Приложение 1 - Unity Application (моделирование работы проектор -камера, визуализация) - моделирование 3D объектов, которые будут распознаваться в виде множества точек, Р = [pv р2,..рп}; - построение 3D модели с текстурой, с целью имитации модели из реального мира; - построение шаблонов подсветки, настройка параметров шаблонов; - имитация работы системы «проектор-камера»; - имитация работы поворотного стола, с целью съемки с нескольких ракурсов (опционально); - генерация снимков с виртуальной камеры, передача в приложение 2; - отображение результатов обработки изображений, полученных из приложения 2
2 Приложение 2 - Windows.NET application (алгоритмы компьютерного зрения, фильтры) - расчеты и работа алгоритмов компьютерного зрения (рис. 6); - склейка изображений с разных ракурсов (опционально); - выдача результатов в виде С = {с1? с2,..сп} обратно в (приложение 1) либо в 3D пакет для визуализации результатов (STL-формат)
В модели рассматривается самый простой и, тем не менее, достаточно надежный, метод структурированной подсветки с бинарной кодификацией.
Этапы алгоритма определения координат линий подсветки представлены на рис. 6.
Рис. 6. Этапы алгоритма определения координат на поверхности объекта
Необходимо отметить, что все пиксели, принадлежащие одной полосе в шаблоне с наибольшей частотой, имеют одинаковое ключевое слово. В связи с этим, перед триангулированием необходимо просчитать либо центр каждой полосы, либо край между двумя последовательными полосами. Проведенные эксперименты продемонстрировали предпочтительность второго варианта.
На последнем цикле работы компьютерная модель генерирует облако точек с определенного ракурса. После прохождения в цикле по всем полученным наборам точек со всех ракурсов, получается результирующее множество точек для целой фигуры.
6. Результаты исследования
Для подтверждения работоспособности модели необходимо провести наглядный эксперимент, демонстрирующий результат процесса восстановления трехмерного объекта.
Для создания сканера использовалась следующая аппаратная часть:
- камера;
- проектор;
- поворотный стол;
- персональный компьютер (ПК);
- два штатива.
Время, затраченное на установку/настройку системы - 30 минут.
Время первого сканирования зависит от таких параметров - количество ракурсов (поворотов) и количество линий. Также, время обработки отсканированных изображений зависит от вычислительных мощностей ПК.
Рассмотрим неподвижный трехмерный объект с определенными свойствами и формой поверхности. Необходимо представить его в виде множества точек в декартовой трехмерной системе координат (в виде облака точек).
При этом основной критерий качества восстановления объекта - это максимальное соответствие всех координат, полученных точек с исходными координатами точек поверхности объекта.
Иными словами, с помощью компьютерной модели создается 3D объект, а точнее, его поверхность, состоящая из множества точек в 3D пространстве:
Р = {р1,р2,...,рп}, (1)
где р1 - точка с координатами (хп у¡, 2().
Для удобства обработки результатов рассматривается случай восстановления шара, а точнее, шаровой поверхности или сферы, для которой создается 3D модель с неглянцевой текстурой.
Набор множества точек поверхности шара легко получить, используя уравнение сферы в трехмерном пространстве:
9 9 9 9
X +У' +2 =Г .
Обозначим желаемый результат как множество точек в 3D пространстве:
С = {с1,с2,...,сп], (2)
где с; - точка с координатами (х(,
Следует принять допущение, согласно которому количество элементов в исходном множестве Р не обязательно должно равняться количеству элементов во множестве С.
Для данного эксперимента возьмем 7 бинарных шаблонов структурированной подсветки с максимальным разрешением 27=128 линий. Этого достаточно для разрешения камеры в 740x480 пикселей. Количество ракурсов - 12. Поворот модели будем осуществлять через каждые 30°. Для удобства расчетов возьмем радиус шара г=1 (в условных единицах измерения).
На рис. 7 представлено изображение, полученное с виртуальной камеры системы Unity application. Всего необходимо 7 изображений, для каждого ракурса. Параллельно сохраняется «чистое» изображение опорной плоскости. Оно необходимо для сравнения взаимного положения линий проекции с объектом и без него.
Рис. 7. Снимок сканируемого объекта с виртуальной камеры
Следует учесть, что шар представлен в виде приближенной модели (набор большого количества треугольников).
Пройдя обработку алгоритмами компьютерного зрения (фильтр шумов, выделение полос с последующей триангуляцией, удаление опорной плоскости), получаем облако точек восстановленной поверхности шара (рис. 8, 9).
Рис. 8. Результат работы алгоритмов восстановления поверхностей до отсечения
опорной плоскости
Рис. 9. Результат работы алгоритмов восстановления поверхностей (конечный
результат)
Таким образом, в ходе проведенного эксперимента были получены следующие результаты (ПК с процессором Core i5 3 GHz, 16 гб ОЗУ):
- количество ракурсов - 6, количество линий - 25 = 32, время сканирования
- 24 с, время распознавания - 40 с;
- количество ракурсов - 6, количество линий - 26 = 64, время сканирования
- 25 с, время распознавания - 80 с;
- количество ракурсов - 12, количество линий -сканирования - 48 с, время распознавания - 77 с;
- количество ракурсов - 12, количество линий -сканирования - 50 с, время распознавания - 160 с;
- количество ракурсов - 36, количество линий -сканирования - 160 с, время распознавания - 470 с.
Работа 3D сканера была организована следующим образом:
- на поворотный стол ставится модель, которая будет сканироваться;
- проектор светит структурированной подсветкой на модель;
- камера делает снимки подсвеченной модели;
- снимки обрабатываются приложением.
В результате был проведен расчетный эксперимент с использованием разработанного программного обеспечения, имитирующего работу полного цикла трехмерного сканирования объекта в виде шара. Количество полученных и обработанных точек - 97262.
Условно совместив центры эталонного и полученного шара, вычисляем разности радиусов по всей поверхности шара.
Полученные результаты отражают распределение погрешностей. Нетрудно видеть, что 90% результата находится в рамках 10% погрешности (рис. 10).
В ходе работы системы обнаружены явные дефекты, связанные с распознаванием полосы подсветки на некоторых областях, например, частичная засветка (рис. 11).
25 =32, время
26 = 64, время 26 = 64, время
Радиус восстановленной поверхности
Рис. 10. Отношение количества точек к промежутку величины удаленности от
центра шара
1 С ЯК
1 *
в
Рис. 11. Частичная засветка на полюсах и краях
Центр линии в конкретной строке изображения берется как центр белой области в этой строке. При некоторых углах линия не полностью попадает на объект, и тогда возникают ошибки распознавания.
Таким образом, используемый метод структурированной подсветки позволяет с достаточной точностью сканировать объекты.
Из недостатков можно выделить значительное влияние точности настройки на качество результата, а также влияние аппаратной части на качество и на время работы системы.
Последующая обработка результирующего набора точек может в значительной степени повысить точность результирующей модели.
7. SWOT-анализ результатов исследований
Strengths. Компьютерная модель системы реконструкции трехмерных поверхностей позволяет качественно оптимизировать процесс разработки
физического 3D сканера, использующего структурированную подсветку, c эмуляцией основных тактико-технических характеристик проектируемой системы.
Расходы на построение физического прототипа 3D сканера можно сократить до минимума, располагая информацией таких основных параметров ключевых элементов, как:
- камера - разрешение, фокусное расстояние, угол обзора;
- проектор - взаиморасположение и прочие характеристики системы.
Компьютерная модель способна определять надежные и наглядные
результаты работы разрабатываемого устройства.
Время цикла тестирования работы системы 3D сканера сокращается в несколько раз за счет полного отсутствия механических манипуляций с реальным оборудованием.
Weaknesses. К недостаткам данной модели можно отнести тот факт, что эмулятор системы 3D сканера, работает в идеальной среде, пренебрегая такими физическими явлениями, как оптические искажения, отсвечивание или поглощение световых лучей на поверхности сканируемого объекта. В этом смысле, достаточно сложно, но возможно, прогнозировать влияние некоторых физических факторов на результаты работы системы. В рамках текущего исследования такие задачи не ставились.
Opportunities. На данный момент, практическое применение системы рассмотрено в исследовании восстановления профиля руки с использованием структурированной подсветки, методом пространственной кодировки, а также в исследовании способа бесконтактного съема характеристик шин на грузовых машинах. Таким образом, удобно проводить исследования различных методов калибровки систем «камера-проектор».
Возможности дальнейших исследований заключаются в расширении данной модели подмножеством большинства популярных методов структурированной подсветки и оптимизации подходов калибровки.
Threats. В настоящее время аналогов использования данной модели на практике не найдено. Есть решения для проверки работы определенных методов структурированной подсветки, но, как правило, без возможности учета технических параметров системы 3D сканера.
8. Выводы
1. Для построения компьютерной модели системы «проектор-камера» были рассчитаны клиент-серверная модель и автономная система, состоящая из двух приложений, отвечающих как за расчеты, так и за ввод и визуализацию входных и выходных данных системы.
Также был выбран базовый набор картин структурированной подсветки, математический аппарат решения поставленной задачи и обозначены критерии оценки для подтверждения адекватности работы системы в целом.
Для эксперимента было взято 7 бинарных шаблонов структурированной подсветки с максимальным разрешением 27 = 128 линий. Количество ракурсов - 12. Поворот модели был осуществлен через каждые 30°. Для удобства расчетов взят радиус шара
г = 1 (в условных единицах измерения).
2. Реализована полноценная модель имитации структурированной подсветки (метод бинарной кодификации) в рамках виртуальной системы «проектор-камера». В системе присутствует функционал работы поворотного стола для фиксации рельефа по всей внешней площади объекта (со всех ракурсов).
Результаты работы системы подтверждаются тестовым сценарием с использованием виртуального сканируемого объекта в форме шара, с заданным радиусом.
По результатам исследования полученного облака точек можно сделать вывод, что максимальная погрешность расстояния полученной точки поверхности шара от его виртуального центра составила 10 % от длины радиуса, а средняя погрешность 4,5 %.
Таким образом, разработанная модель дает надежный результат и пригодна для тестирования существующих и новых алгоритмов в задачах сканирования 3D поверхностей методом структурированной подсветки.
Благодарности
Работа выполнена в рамках комплексной научно-исследовательской темы Запорожского национального технического университета «Развитие современных методов компьютерного моделирования» (номер гос. регистрации 25-1ДВ/04) при поддержке кафедры программного обеспечения автоматизированных систем Запорожской государственной инженерной академии (Украина).
Литература
1. Krasilnikov, N. N. Tsifrovaia obrabotka 2D- i 3D-izobrazhenii [Text] / N. N. Krasilnikov. - Saint Petersburg: BHV-Peterburg, 2011. - 608 p.
2. Hartley, R. Multiple View Geometry in Computer Vision [Text] / R. Hartley, A. Zisserman. - Cambridge University Press, 2004. - 656 p. doi: 10.1017/cbo9780511811685
3. Gorevoy, A. V. Reconstruction Methods of Subject Three-Dimensional Structure for Multichannel System of Recording Using Structured Illumination [Text] / A. V. Gorevoy, V. Ya. Koluchkin // Engineering Journal: Science and Innovation. -2012. - Vol. 12, No. 12. doi: 10.18698/2308-6033-2012-12-507
4. Salvi, J. Pattern codification strategies in structured light systems [Text] / J. Salvi, J. Pages, J. Batlle // Pattern Recognition. - 2004. - Vol. 37, No. 4. - P. 827849. doi:10.1016/j.patcog.2003.10.002
5. Scharstein, D. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms [Text] / D. Scharstein, R. Szeliski // International Journal of Computer Vision. - 2002. - Vol. 47, No. 1-3. - P. 7-42. doi:10.1023/a: 1014573219977
6. Geng, J. Structured-light 3D surface imaging: a tutorial [Text] / J. Geng // Advances in Optics and Photonics. - 2011. - Vol. 3, No. 2. - P. 128-160. doi:10.1364/aop.3.000128
7. Trobina, M. Error Model of a Coded-Light Range Sensor [Text]: Technical Report BIWI-TR-164 / M. Trobina. - Zurich: Communication Technology Laboratory
Image Science Group, September 21, 1995. - P. 1-35.
8. Will, P. M. Grid coding: A preprocessing technique for robot and machine vision [Text] / P. M. Will, K. S. Pennington // Artificial Intelligence. - 1971. - Vol. 2, No. 3-4. - P. 319-329. doi:10.1016/0004-3702(71 )90015-4
9. Zhang, L. Rapid shape acquisition using color structured light and multi-pass dynamic programming [Text] / L. Zhang, B. Curless, S. Seitz // Proceedings. First International Symposium on 3D Data Processing Visualization and Transmission. -Padova, Italy, 2002. - P. 1-13. doi:10.1109/tdpvt.2002.1024035
10. Zhang, Z. Flexible camera calibration by viewing a plane from unknown orientations [Text] / Z. Zhang // Proceedings of the Seventh IEEE International Conference on Computer Vision. - Kerkyra, Greece, 1999. - P. 666-673. doi: 10.1109/iccv.1999.791289
11. Gorthi, S. S. Fringe projection techniques: Whither we are? [Text] / S. S. Gorthi, P. Rastogi // Optics and Lasers in Engineering. - 2010. - Vol. 48, No. 2. -P. 133-140. doi:10.1016/j.optlaseng.2009.09.001
12. Yu, W. Development of a Three-Dimensional Anthropometry System for Human Body Composition Assessment [Text]: PhD thesis / W. Yu. - The University of Texas at Austin, 2008. - 120 p.
13. Vorotnikov, S. A. Informatsionnye ustroistva robototehnicheskih sistem [Text] / S. A. Vorotnikov. - Moscow: MSTU n. a. N. E. Baumana, 2005. - 384 p.
14. Volodin, Yu. S. Kalibrovka sistemy trehmernogo zreniia so strukturnoi podsvetkoi pri pomoshchi ploskih obiektov [Text] / Yu. S. Volodin, A. V. Orlov, B. B. Mihailov // Ekstremalnaia robototehnika. - 2005. - No. 5. - P. 314-322.
15. Oppenheim, A. V. Digital Signal Processing [Text] / A. V. Oppenheim, R. W. Schafer. - Pearson, 1975. - 585 p.
16. Moshkin, V. I. Tehnicheskoe zrenie robotov [Text] / V. I. Moshkin, A. A. Petrov, V. S. Titov, Yu. G. Yakushenkov. - Moscow: Mashinostroenie, 1990. -272 p.
17. Fursa, M. V. Reconstructing complex 3D objects by a Structured illumination methods [Text] / M. V. Fursa // Optoelectronics, Instrumentation and Data Processing. -2008. - Vol. 44, No. 1. - P. 88-94. doi:10.3103/s8756699008010135
18. Hafizov, D. G. Sintez i analiz algoritmov raspoznavaniia izobrazhenii prostranstvennyh gruppovyh tochechnyh obiektov [Text]: PhD thesis: 05.12.04 / D. G. Hafizov. - Yoshkar-Ola: MarSTU, 2004. - 151 p.
19. Garcia, R. R. Projector domain phase unwrapping in a structured light system with stereo cameras [Text] / R. R. Garcia, A. Zakhor // 2011 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON). - IEEE, 2011. - P. 1-4. doi: 10.1109/3dtv.2011.5877215
20. Weise, T. Fast 3D Scanning with Automatic Motion Compensation [Text] / T. Weise, B. Leibe, L. Van Gool // 2007 IEEE Conference on Computer Vision and Pattern Recognition. - IEEE, 2007. - P. 18-23. doi:10.1109/cvpr.2007.383291
