Реконструкция трехмерных моделей по растровым изображениям Текст научной статьи по специальности «Компьютерные и информационные науки»

7

ИНЖЕНЕРНАЯ И КОМПЬЮТЕРНАЯ

ГРАФИКА

РЕКОНСТРУКЦИЯ ТРЕХМЕРНЫХ МОДЕЛЕЙ ПО РАСТРОВЫМ ИЗОБРАЖЕНИЯМ А.В. Меженин, В.Т. Тозик

Рассматривается проблема реконструкции трехмерных моделей для случаев использования как калиброванных, так и некалиброванных изображений. Для выделения контуров на изображениях предложено использовать метод Собеля и фильтры Габора. Проведенные эксперименты подтвердили эффективность рассматриваемых методов.

Нахождение реальных размеров объектов (сложных корпусов, профилей, натурных моделей и т.д.) для получения трехмерных виртуальных моделей является актуальной задачей. Один из подходов - использование специальных устройств для трехмерного бесконтактного сканирования. Однако их стоимость в настоящее время непомерно высока. Кроме этого, не всегда исследуемые объекты можно поместить в такие устройства. Другой подход - использование растровых изображений исследуемого объекта и реконструкция на их основе трехмерной модели.

Этот метод относится к науке об определение форм, размеров и положения объектов по их фотографическим изображениям - фотограмметрии. В настоящее время техническое и программное обеспечение фотограмметрии применяется в геодезии, картографии, военном деле, космических исследованиях, для создания ЭБ-моделей промышленных установок, в архитектуре и др.

В обычном изображении трехмерного пространства информация о расстоянии до различных элементов сцены проявляется только в виде косвенных признаков - через относительные размеры объектов, затенение одних объектов другими, различную освещенность и т. д. Один из способов получения информации о глубине состоит в регистрации нескольких изображений сцены под различными ракурсами. В этом случае точки сцены дают изображения, относительное положение которых зависит от расстояния до точки наблюдения. Сопоставляя эти изображения, в ряде случаев можно реконструировать трехмерную структуру сцены.

Таким образом, основной задачей проводимых исследований является разработка методов и программных средств для реконструкции трехмерных моделей на основе растровых изображений исследуемого объекта. Кроме этого, важной задачей является оценка эффективности различных алгоритмов распознавания. Для получения объективных данных об эффективности того или иного алгоритма необходимо иметь не только наборы калиброванных изображений, но и рассматривать различные условия получения исходных растровых изображений.

Техническое и программное обеспечение для промышленной фотограмметрии предлагают различные известные фирмы, такие как Intergraph или Siemens. Однако одну из самых недорогих и простых технологий предлагает американская фирма Vexcel. Программное обеспечение фирмы Vexcel, работая прямо в среде AutoCAD или MicroStation совместно с любыми подходящими специализированными программами, позволяет по фотограмметрической базе в полуавтоматическом режиме воссоздать

Введение

Существующие реализации

трехмерную модель установки, а по ней - и все необходимые чертежи. Полученную модель вместе с фотограмметрической базой можно использовать для последующей реконструкции, а также создания различных информационных систем для действующих производств.

Большие работы по обработке изображений и реконструкция моделей зданий ведутся на кафедрах и в лабораториях ведущих университетов мира. Это Cambridge University под руководством профессора Roberto Cipolla [1], Image Processing Laboratory Computer Science Department - University of Catania под руководством Roberto Scopigno [2] и Berkley University под руководством Paul E. Debevec.

Выделим основные этапы реконструкции.

1. Выявление характерных точек на изображении

1.1. Получение нормализованного полутонового изображения.

1.2. Поиск исследуемых областей.

1.3. Выделение краев на исследуемой области (методы Собеля, Лапласа, Канни).

1.4. Преобразование рассматриваемого участка в монохромное изображение.

1.5. Анализ полученного монохромного и полутонового изображения в исследуемой области.

2. Сопоставление точек полученных на различных растровых изображениях

3. Получение трехмерной модели и анализ полученных размеров

Рассмотрим ситуацию, когда две камеры, находящиеся в разных точках, регистрируют одну и ту же сцену. Пара изображений, получаемых при этом, называется стереопарой. Рассмотрим простейший случай (рис. 1).

Пусть одинаковые камеры расположены так, что их оптические оси параллельны, а прямая, проходящая через оптические центры, перпендикулярна оптическим осям (эта прямая называется базовой линией, а ее отрезок, заключенный между оптическими центрами - базой). Положим длину базы равной Ь. Выберем такую глобальную систему координат, начало которой О расположено на базовой линии посередине между опти-

Этапы реконструкции

Вычисление трехмерных координат точки по двум изображениям

Рис. 1. Простейшая стереоскопическая система

ческими центрами камер, ось 02 параллельна оптическим осям, а ось ОХ направлена вдоль базовой линии. Пусть начала координат в плоскостях изображений камер совпадают с главными точками (и 0 = у0 = 0), а единицы измерения координат в глобальной

системе и в плоскостях изображения камер одинаковы ( н = к = 1).

Выберем точку М с глобальными координатами (X, У, 2) . Координаты ее проекции в плоскости изображения первой (левой) камеры обозначим через (х', у'), а в плоскости изображения второй (правой) камеры - через (х', у"). (Проекции одной и той же точки М в плоскостях изображений разных камер называются сопряженными точками.) Нетрудно проверить, что

х' = /(X + Ъ/2)/2 , х ' = /(X -Ъ/2)/2 , у' = у' = /У /2 .

Заметим, что в направлении, перпендикулярном направлению базовой линии, координаты сопряженных точек (у-координаты) совпадают. Это обстоятельство имеет большое значение при автоматизированном поиске сопряженных точек на стереопаре, позволяя существенно сократить размеры зоны поиска. Из первых двух соотношений следует, что

2 = /Ъ /(х ' - х ').

Это означает, что, зная геометрию съемки и выполнив измерения координат проекций одной и той же точки в плоскостях изображения камер, можно вычислить глубину (координату 2) этой точки. Более того, полученные соотношения позволяют вычислить полностью трехмерные координаты точки:

X = Ъ (х'+х') , У = Ъ(¿+¿1. 2(х - х ) 2(х - х )

Из всего изложенного следует, что для оценивания трехмерных координат некоторой точки по стереопаре необходимо:

а) знать внутренние параметры камер (задача калибровки),

б) знать параметры взаимного расположения камер (задача взаимного ориентирования),

в) найти и определить на изображениях координаты соответствующих данной точке сопряженных точек (задача поиска сопряженных точек).

Использование некалиброванных изображений

Одной из проблем в решении задачи реконструкции является получение полностью калиброванных изображений, когда для каждого изображения должны быть известны все параметры камеры, с помощью которой оно было получено, включая ее положение и ориентацию относительно объекта. Калибровка изображений - это отдельная сложная задача, которой посвящено множество работ. Иногда ее решение требует использования дополнительных устройств - управляемых вращающихся столов, специальных меток и пр.

Для определенного класса объектов (например, архитектурных) можно воспользоваться следующим наблюдением: многие элементы сцены могут быть аппроксимированы параллелепипедами. В этом случае можно реконструировать точки схода линий, являющихся продолжением ребер объекта (рис. 2). Координаты найденных точек могут служить основой для калибровки изображений, полученных с точек наблюдения, координаты которых неизвестны.

Программная реализация

Рассмотренный математический аппарат был реализован в виде программы Recognition. На рис. 3 представлен этап нахождения габаритных точек объекта.

Рис. 3. Нахождение габаритных точек объекта

В качестве исходных изображений были выбраны объекты без помех и варианты с изменением фона и в условиях неравномерного освещения. Следует отметить, что отклонение определения границ данного объекта составляет Аь = ±2 пикселя, в зависимости от фона и наложения цвета. Поиск границ осуществляется на монохромном изображении. Все точки, кроме точек контура, имеют яркость G1 = 255, а точки контура имеют яркость G2 = 0 . Матрица изображения I" содержит элементы двух типов, поэтому определение границ рассматриваемого объекта не представляет трудности. Осуществляется перебор элементов матрицы изображения, номер первого и последнего элемента (с яркостью G2 = 0 ) как по вертикали, так и по горизонтали запоминается. Полученные числа и есть границы рассматриваемого объекта.

На рис. 4 представлен результат реконструкции холла здания университета СПбГУ ИТМО.

Рис. 4. Трехмерная модель холла

Заключение

Реализация программного обеспечения и проведенные исследования показали эффективность предложенного подхода. Предложенный метод получения калиброванных изображений позволил протестировать алгоритмы при различных исходных изображениях. Визуальная оценка и измерения полученных координат габаритных размеров показывают эффективность рассмотренных алгоритмов поиска характерных точек на изображении.

Литература

1. <http://mi.eng.cam.ac.uk/~cipolla/>

2. <http://vcg.isti.cnr.it>

3. 3ds Max 8: трехмерное моделирование и анимация / В.Т. Тозик, А.В. Меженин. -СПб.: БХВ-Петербург, 2006. 1008 с.: ил.

4. Меженин А.В., Тозик В.Т. Современная технология для представления трехмерных моделей в Интернет / Труды X Всероссийской научно-методической конференции «Телематика '2003». СПб, 2003.

5. Popov S.A., Kirichuk V.S. Algorithm of Estimation of the Geometric Parameters of the System of Two Projection Cameras by the Method of the Least Squares (MLS). //Pattern Recognition and Image Analysis. 1999. №2. Р.304.

6. Марр Д. Зрение: информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987.