Метод получения трехмерных цифровых моделей технических объектов, основанный на применении искусственных текстур Текст научной статьи по специальности «Медицинские технологии»

УДК 681.786.23; 004.9

В. О. Рутковский, М. А. Рутковская

МЕТОД ПОЛУЧЕНИЯ ТРЕХМЕРНЫХ ЦИФРОВЫХ МОДЕЛЕЙ ТЕХНИЧЕСКИХ ОБЪЕКТОВ, ОСНОВАННЫЙ НА ПРИМЕНЕНИИ ИСКУССТВЕННЫХ ТЕКСТУР

Представлен новый метод пассивного оптического трехмерного сканирования, основанный на предварительной подготовке измеряемого объекта путем нанесения на него искусственной текстуры и обработке результатов с несколькими уровнями детализации.

Ключевые слова: 3D-сканер, оптические измерения, текстура, калибровка.

Трехмерные модели технических объектов могут быть созданы различными методами прямого моделирования, а также методами обратного моделирования - получением трехмерных моделей по существующим физическим объектам или имеющимся компьютерным моделям. Первым этапом обратного моделирования обычно является процесс 3D-сканиро-вания, позволяющий с высокой точностью определить геометрию объекта. Технология 3D-сканирования существует более 14 лет, но только в последнее время возможности программно-аппаратного обеспечения сделали ее доступной для различных областей применения. При выборе метода измерения важны следующие критерии:

- точность - степень соответствия данных измерения реальному физическому объекту;

- уровень шума - хаотическое отклонение точек от измеряемой поверхности;

- разрешение - оно должно быть менее половины размера самой мелкой существенной детали объекта. Прямой связи разрешения с точностью не существует;

- диапазон измерений - минимальное и максимальное расстояние от объекта до сканера. Если размер объекта превышает диапазон, необходимо сделать множество измерений. Близкий критерий: покрытие - возможность измерять труднодоступные участки;

- универсальность - возможность измерять объекты различных размеров, форм и оптических свойств в различных условиях освещения. Позволяет уменьшить количество необходимого оборудования;

- мобильность системы сканирования, включая расчёт времени измерения;

- время измерения - состоит из времени установки (включая время на калибровку сканера, а также время на подготовку объекта) и времени сканирования;

- простота применения - возможность подготовить объект и провести сканирование персоналом, не имеющим специальных знаний и навыков. При этом степень контроля над процессом сканирования и соответственно качество измерения снижается;

- безопасность использования - некоторые типы измерительного оборудования вредны для органов зрения и должны применяться с соблюдением правил безопасности.

3D-сканирование нашло применение в различных областях.

В промышленном производстве с помощью 3D-сканирования осуществляется:

- контроль точности изготовления - устанавливается степень отличия от проектной документации;

- обратная инженерия (Reverse engineering) - раскрытие дизайна, функционирования и способа производства продукции конкурентов;

- цифровое архивирование для воспроизводства устаревших компонентов, изделий с утерянной конструкторской документацией, а также геометрических моделей из устаревших систем проектирования без необходимости повторного проектирования;

- разработка компонентов для существующих товаров и изделий, разработка упаковки по форме физического объекта (переоборудование и вторичный рынок);

- репродукция в масштабе существующих объектов (модели и макеты);

- производство оснастки для ремонта, обновления и замены изношенных деталей.

3D-сканирование широко применяется в дизайне. Это обеспечивает эргономичность - т. е. сочетание проектируемого изделия в CAD-системе с формой тела человека, траекторией движения конечностей и заданным расположением относительно органов чувств; эстетичность - объекты, созданные дизайнером вручную, сканируются для получения цифровой модели (например, глиняные модели, используемые при проектировании корпусов автомобилей). В промышленном дизайне отсканированный объект используется для дизайнерской работы. Отсканированные данные отправляются в 3D CAD-программу, где они становятся базой или ссылкой для проектировочных изменений.

В области искусства и развлечения с помощью 3D-сканирования создаются изображения для трехмерного кино и телевидения, а также 3D-цифровые объекты для игр, анимации, спецэффектов и презентаций.

3D-сканирование применяется также в медицине для репродукции человеческой анатомии для изделий, изготовленных на заказ, или вспомогательных изделий, таких как протезы, слуховые аппараты, мосты/коронки, при создании имплантатов и хирургических инструментов.

3D-сканирование может сыграть важную роль в сохранении культурного наследия, поскольку с его

помощью осуществляется каталогизация, сохранение или восстановление культурных артефактов, скульптур, исторически значимых объектов, зданий, архитектурных орнаментов, а также археологических находок.

Для получения 3D-моделей в настоящее время применяются различные методы измерения формы

(рис. 1) [1]. Среди бесконтактных методов измерения наибольшее распространение получили активные методы с применением источников света в виде лазерных сканеров или структурированного света, а также пассивный метод стереоскопического соответствия.

Особенности, область применения, достоинства и недостатки этих методов измерения см. в таблице.

Рис. 1. Основные методы измерения, применяемые для получения трехмерных моделей

Бесконтактные методы измерения формы объекта

Метод Лазерное сканирование Структурированный свет Стереоскопическое соответствие

Принцип работы (рис. 2) [2] На измеряемый объект проецируется лазерный луч (в виде точек, линии или сетки). Проекция луча снимается камерой и обрабатывается (рис. 2, а) На объект проецируется набор изображений в виде полос с помощью проектора. Изображение снимается камерой и обрабатывается (рис. 2, б) Используется множество камер (или одна камера и разные точки съемки). Координаты точек получаются в результате компьютерной обработки

Основное использование В системах автоматизированного контроля на производстве Для измерения лица, частей тела человека, предметов искусства Для измерения любых, обычно крупных объектов, которые можно снять фотокамерой

Основные недостатки Большое время сканирования. Сложно измерять подвижные объекты. Опасно для зрения Невозможна работа вне помещений, желательно затемнение Трудно автоматизировать. Большие вычислительные ресурсы, множество камер или точек съемки

Основные преимущества Возможность сканирования очень маленьких объектов и измерений в различных условиях освещения. Простая калибровка Высокая скорость сканирования - миллионы точек в секунду. Лучший метод измерения подвижных объектов, людей. Безопасно для зрения Единственный метод измерения, если установка проектора или лазера невозможна. Возможно измерение выбранных точек большого объекта

Точность измерения Высокая Высокая Высокая

Разрешение Высокое, если время сканирования велико Высокое, зависит от разрешения проектора Зависит от разрешения камеры

Универсаль- ность Требуется различное аппаратное обеспечение для каждой размерной зоны. Качество сильно зависит от оптических свойств объекта Требуется различное аппаратное обеспечение для каждой размерной зоны. Качество сильно зависит от оптических свойств объекта Измеряются только точки-маркеры на объекте. Мало зависит от оптических свойств объекта

Окончание таблицы

Метод Лазерное сканирование Структурированный свет Стереоскопическое соответствие

Диапазон измерений От миллиметров до десятков метров От 50 мм до 10 м Не ограничен

Мобильность Низкая. Существуют мобильные исполнения Средняя Высокая. Достаточно камеры и калибров

Время измерения Большое (от десятков секунд до нескольких минут на измерение) Очень малое, от миллисекунд до десятка секунд Время сканирования мало, но время и ресурсы последующей обработки велики

Простота применения Средняя Низкая Высокая

Уровень шумов Низкий Средний Средний

Безопасность Низкая Средняя Высокая

Рис. 2. Принцип работы лазерного сканирования (а) и сканирования с применением источника структурированного света (б)

Современное оборудование объемного сканирования имеет ряд существенных недостатков: высокую цену, низкую универсальность, чувствительность к условиям освещения и оптическим свойствам измеряемых объектов. Проанализировав недостатки трех основных методов, применяемых для ЭБ-сканиро-вания, авторами статьи предлагается новый метод получения трехмерной геометрии тел сложной формы. Метод основан на усовершенствовании существующего метода стереоскопического соответствия [Э; 4].

Суть метода заключается в следующем.

Проводится предварительная подготовка измеряемого объекта путем нанесения на него искусственной текстуры, состоящей из разреженных точек и линий (полученных аэрографией, фломастером и т. п.), дополнительно к опорным меткам, применяемым в исходном методе [4]. Текстура должна быть контрастна объекту и может быть многоцветной. Нанесение текстуры не слишком усложнит подготовку объекта. Обычно при измерении активными методами на объект наносится матовое белое покрытие.

Затем определяются координаты центров опорных меток, далее - геометрия пространственных кривых (рис. Э) и, наконец, строится плотное облако точек по искусственной текстуре.

При использовании данного метода возможно два основных варианта измерений:

- со свободной камерой. Кроме измеряемого объекта в кадре может находиться одна или несколько калибровочных поверхностей со специально нанесенным рисунком для предварительного грубого определения положения камеры в пространстве и уменьшения объема последующих вычислений;

- с использованием поворотного стола и устройства точного позиционирования камеры. В этом случае размеры объекта будут ограничены размерами устройств позиционирования, но точность существенно вырастет.

Для получения опорных точек объект обклеивается кодированными метками с размерами 1...2,5 % зоны измерения. Метка представляет собой напечатанные на принтере грубо нарезанные квадратики с разноцветными углами. Центральная часть метки - это окружность с двумя черными и двумя белыми секторами. При обработке снимков центр метки находится с субпиксельной точностью по изображению окружности и точки пересечения секторов. Задача нахождения соответствия кодированных меток решается путем распознавания отдельных меток по цветам их углов с помощью библиотеки OpenCV (URL: http:// sourceforge.net/proj ects/opencvlibrary).

Для вычисления координат точки искусственной текстуры необходимо обработь минимум два снимка, большее количество снимков повышает точность

измерения за счет использования обработки методами математической статистики. Для измерения установим объект в фиксированной системе координат. Положение опорной точки А (Х^^А) определяется в глобальной системе координат XYZ, связанной с объектом, или а (хауаха) в фотограмметрической системе координат хух (рис. 4).

б

Рис. 3. Процесс получения первичных опорных точек (а) и кривых на поверхности объекта (б)

Матрица трансформации вращения R может быть определена как

cos ф cos х sin ю sin ф cos х + cos ю sin х R = - cos фsin х - sin ю sin фsin х + cos ю cos х sin ф - sin ю cos ф

- cos ю sin фcos х + sin ю sin х cos ю sin ф cos х + sin ю cos х cosюcosф

где ю, ф, х - последовательные трансформации вращения первичных осей x', y', z' (оси модели) во

(1)

вторичные оси х, у, z (оси базовой системы координат) (рис. 4, а) [3].

Если переместить начало координат на расстояние Тх, Ту, Т2 и применить масштаб К, то получим семь параметров трансформации Тх, Ту, Т2, ю, ф, х, К [4]. Принцип центральной перспективной проекции показан на рис. 4, б. Точка на изображении светочувствительной матрицы камеры а (ха,уа, —) с фокусным расстоянием /, центр перспективы 0 (Х0У^0) и соответствующая точка объекта Л(ХлУл2Л) находятся на одной прямой Л0а. Уравнение колинеарности позволяет найти координаты изображения (ха,уа) по координатам объекта (ХЛУ^Л).

xa =- f

ya =- f

(r„ (Хд - Xo ) + Г12 (Ya - Yo ) + 4(ZK - Zo ) ,

(ГЗ1 (Хд - Хo ) + ГЗ2 (Ya - Yo ) + ^ Z - Zo) ’

(2)

(Г21 (Хд - Х o ) + Г22 (Ya - Yo ) + ^(Za - Zo )

(Гз1 (Хд - Хo ) + Гз2 (Ya - Yo ) + ^ (Za - Zo) ,

где Гу - элементы матрицы вращения Я, для которой необходимо определить углы поворота, т. е. нужно решить уравнение для плоской проекции точки на матрицу камеры. Техника взаимного соответствия изображений дает возможность одновременного нахождения положения камеры относительно объекта и исправления искажений оптики (калибровки). Эти уравнения могут быть записаны в виде

Г(х, Ь, а) = 0 (Э)

или

x

У1 -f

У2 z2

= 0,

(4)

где Ьх, Ьу и Ьх - расстояния между центром проекции двух фотографий (рис. 4, в) в системе XYZ; х1, у1 - координаты точки на проекции первой камеры; f - фокусное расстояние; х2, у2, х2 - координаты точки на проекции второй камеры относительно координатной системы первой.

Рис. 4. Матрица трансформации вращения (а); центральная перспективная проекция на сенсор камеры (б); проекция трехмерной точки Л в точки а1 и а2 на два различных снимка с различными положениями камеры (в)

а

x

2

С учетом матриц вращения и перемещения получим

X2 x2 bx

У 2 = R y2 + by

_ Z2 _ _ z2 _ A _

" X" x ' X 0'

Y = KR У + Y0

Z z _ Z0 _

(5)

Здесь Я определяется из уравнения (1). После определения положения координат камеры по первому снимку положение остальных снимков будет определяться в системе координат первого.

Чтобы определить положение в абсолютной системе координат сцены, нужно описать геометрию опорных точек объекта в глобальной системе координат с помощью ориентации. Положение оси 2 определяется как нормальное к плоскости, на которой располагается измеряемый объект. Масштабный фактор определяется по данным обработки множества снимков с элементом геометрии с известным размером. Выравнивание объекта достигается вращением относительно осейXи 2 (т. е. ф = 0 в матрице вращения).

Уравнения трансформации для фотограмметрической системы (хуХ) относительно глобальной системы координат (XYZ) примут вид

(6)

где (X0Y0Z0) - координаты камеры в глобальной системе координат измеряемого объекта; K - предварительно вычисленный для данной камеры масштабный коэффициент (при измерениях со свободной камерой вычисляется обработкой изображений калибра с известной геометрией); R - матрица вращения с углами вращения ю и х, полученными ранее (ф = 0). Координаты любой опорной точки в системе координат (XYZ) будут вычисляться из уравнения (6).

Для варианта со свободной камерой ее координаты вычисляются по фотограмметрическим меткам, в варианте с позиционирующим механизмом все угловые положения камеры на снимках известны (возможна дополнительная калибровка по объектам простой формы с известной точной геометрией).

На последнем этапе получаем плотные облака точек в системах координат реперных точек и кривых при помощи сопоставления множества изображений с искусственными текстурами, используя модификацию метода Patch-based Multi-view Stereo [5]. Модификация заключается в использовании компенсации искажений оптики методом Tsai [6] и применении разных весов точек в изображениях точек на матрице. Для обеспечения большей точности и разрешения дополнительно производится съемка выбранных зон с большим увеличением и разрешением.

Метод был испытан при измерении двух объектов, сложных для измерения обычными оптическими методами - стальной полированной сферы с диаметром 50 мм и прозрачного акрилового кубика с размером стороны 50 мм. На объекты были нанесены по 24 опорных метки (очень тонкая пленка 3 х 3 мм) и

текстуры из капелек черной туши с плотностью около 0,6 мм. При обработке снимков искуственной текстуры было выявлено около 36 800 точек на кубике и 19 400 на сфере. Погрешность измерения опорных точек со свободной камерой после обработки 72 снимков c разрешением 12 Mpix не превысила 0,02 мм (0,04 %). Погрешность измерения искуственных точек текстуры составила не более 0,05 мм (0,1 %).

Новый метод получения трехмерных цифровых моделей технических объектов, основанный на применении искусственных текстур, отличается следующими достоинствами:

- низкой стоимостью оборудования для сканирования - достаточно использовать обычные цифровые фото или видеокамеры с набором распечатанных меток и подготовить объект путем нанесения искусственных текстур;

- возможностью получения качественных результатов на объектах со сложными оптическими свойствами поверхностей - с высокой отражающей способностью, прозрачностью, высокой степенью поглощения света;

- возможностью съемки подвижных и быстро деформируемых или колеблющихся объектов в условиях естественного освещения;

- простотой последующей обработки. После сканирования другими методами требуется трудоемкая обработка, включающая в себя получение частичных облаков точек, объединение облаков точек в единую модель, наложение на модель сетки кривых и обтягивание ее лоскутами поверхностей. При использовании нового метода сразу получаем геометрическую единую модель объекта, возможно, с нанесенной сеткой кривых. Нанесение кривых на этапе подготовки объекта проще, чем на этапе обработки компьютерной модели;

- возможностью сохранения естественного цвета и текстуры объектов за счет нанесения разреженной структуры и неполного окрашивания;

- возможностью проработки очень мелких деталей путем нанесения более густого облака точек в выбранных областях и дополнительной съемки этих мест.

Планируется дальнейшая последующая обработка облака точек с целью получения поверхностных и твердотельных NURBs-моделей.

Библиографические ссылки

1. A low cost 3D scanner based on structured light / C. Rocchini, P. Cignoni, C. Montani et al. // Eurographics. 2001. Vol. 20. № 3. Р. 1-10

2. Teutsch C. Model-based Analysis and Evaluation of Point Sets from Optical 3D Laser Scanners : PhD Thesis // Magdeburger Schriften zur Visualisierung. Vol. 1. Shaker Verlag, 2007.

3. Control of structural problems in cultural heritage monuments using close-range photogrammetry and computer methods / P. Arias, J. Herraez, H. Lorenzo et al. // Computers and Structures. 2005. № 83. Р. 1754-1766.

4. Zhizhuo W. Principles of photogrammetry. Beijing, and Machine Intelligence. 2009. Vol. 32. № 8.

China : Publishing House of Surveying and Mapping, P. 1362-1376.

1990. 6. Wilson R. G. Tsai camera calibration software

5. Furukawa Y., Ponce J. Accurate, Dense, and Robust [Electronic resourse] // URL: http://www.cs.cmu.edu/

Multi-View Stereopsis // IEEE Trans. on Pattern Analysis ~rgw/TsaiCode.html (date of visit: 12.12.2010).

V. O. Rutkovskiy, M. A. Rutkovskaya

METHOD OF 3D DIGITALIZATION OF TECHNICAL OBJECTS BASED ON ARTIFICIAL TEXTURES

It is represented new method of passive refractive optical 3D scanning which is based on preliminary preprocessing of measured objects by creation on its surfaces of artificial textures and post processing on a different level of details.

Keywords: 3D-scanner, close range photogrammetry, passive optical measurement, texture, calibration.

© PyTKOBCKHH B. O., PyTKOBCKaa M. A., 2010

УДК 004.7

С. П. Саханский, М. Е. Якобсон

МОДЕЛЬ УПРАВЛЕНИЯ СКОРОСТЬЮ ВЫТЯГИВАНИЯ МОНОКРИСТАЛЛОВ КРЕМНИЯ

Предложена математическая модель формирования скорости вытягивания на установке выращивания монокристаллов кремния по способу Чохральского, которая позволяет автоматизировать процесс ввода программного задания скорости в микропроцессорную систему управления.

Ключевые слова: скорость вытягивания, монокристалл кремния, осевой градиент.

Управление скоростью вытягивания кристаллов полупроводниковых материалов, выращиваемых из расплава по способу Чохральского, заключается в следующем: во вращающемся вокруг своей оси с угловой скоростью Жт тигле с внутренним диаметром D находится жидкий расплавленный металл (рис. 1); кристалл диаметром d вытягивается из расплава со скоростью вытягивания Уъ и угловой скоростью вращения ^з; процесс проводится в камере, наполненной инертным газом аргоном. Общий вид микропроцессорной установки вытягивания кристаллов кремния приведен на рис. 2.

Температура расплава формируется за счет управления мощностью нагревателя на основе показаний датчика температуры Тз боковой поверхности нагревателя. Управление скоростью вытягивания кристаллов кремния по программе позволяет сформировать плоский фронт кристаллизации при выращивании прямого конуса, цилиндрической части и обратного конуса кристалла, что необходимо для многих марок кристалла и обеспечивает минимум дислокаций, т. е. нарушений монокристаллической структуры в выращенном монокристалле. Отклонение от цилиндрической формы по длине кристалла повышает вероятность образования дислокаций в местах перегиба формы, за счет повышенных механических напряжений в них, возникающих в процессе охлаждения кристалла.

Рис. 1. Схема выращивания кристаллов кремния:

1 - камера; 2 - затравка; 3 - кристалл; 4 - датчик температуры; 5 - тигель; 6 - расплав металла; 7 - нагреватель

По данным многих исследователей [1-4], обеспечение условий получения плоского фронта кристаллизации при выращивании кристаллов кремния и германия (с необходимой величиной осевого градиен-