CC BY
64
Sorokoletov Pavel Valerievich
CAS «SEDIKOM», Moscow, Russia.
E-mail: SorokoletovPV @gidroogk.ru.
Phone: 8(8495)787-5358.
Chief of department.
УДК 004.932.2
AX. Харина, A.B. Кучуганов
ЛОГИЧЕСКИЙ СИНТЕЗ МОДЕЛИ ИНТЕРЬЕРА ПО ФОТОИЗОБРАЖЕНИЯМ
Статья посвящена разработанному способу синтеза трехмерной геометрической модели предметов интерьера по фотоизображениям. Цепью работы является исследование возможности реконструкции трехмерной (3D) модели по одному или нескольким фотоизображениям при минимальном участии оператора. Основными задачами стали распознавание проекций объектов, получение дополнительной информации, необходимой для реконструкции, реконструкция 3D.
Реконструкция 3D модели; логический вывод; распознавание образов.
A.S. Kharina, A.V. Kuchuganov
LOGIC SYNTHESIS OF INTERIOR MODEL BY PHOTOGRAPHIES
The article covers the way of interior three-dimensional geometrical model synthesis by photographies. The aim is to research ability of three-dimensional (3D) model reconstruction by single or multiple photographies with lightly human intervention. The major tacks are object projection recognition, acquisition of supplementary information, three-dimensional model reconstruction.
3D model reconstruction; inference; pattern recognition.
Построение 3D геометрических моделей существующих или когда-либо су, , -ных областях - в сфере архитектуры, для восстановления экстерьеров и интерьеров, являющихся культурно-историческим наследием, в строительстве, для контроля сочетаемости новых проектируемых строений с существующим архитектурным ансамблем, в планировании ремонтных работ для построения 3D геометрических моделей на этапе согласования работ с заказчиком до и после ремонта, в криминалистике для восстановления трехмерной картины преступления, в организа-,
оборудования в производственных цехах.
Для решения этой задачи сегодня используются как универсальные автоматизированные системы геометрического моделирования 3Ds Max, Maya, Rhinoceros и ., - -делей по фотографиям Photomodeler, ImageModeler, Canoma и другие. Кроме перечисленных коммерческих систем существует ряд научно-исследовательских и экспериментальных систем (Make3D, Pop-up Photo и др.) [1]. Однако трудоемкость восстановления трехмерных геометрических моделей все еще остается очень высокой, прежде всего из-за большого объема ручного труда [2]. Таким образом, можно считать актуальной задачу снижения трудоемкости подготовки трехмерных
геометрических моделей объектов интерьера по одному или нескольким фотоизо-.
Нами была разработана информационная технология синтеза 3Б ГМ интерьера по фотоизображению, позволяющая реконструировать 3Б геометрическую модель интерьера по одному или нескольким фотоизображениям (рис. 1).
Рис. 1. Информационная технология процесса реконструкции модели
В рассматриваемой задаче в качестве входных данных используется одна или несколько векторизованных цифровых фотографий интерьера с разных точек (рис. 2).
Рис. 2. Исходная фотография и векторизованная фотография
В качестве инструмента автоматической векторизации использовалась система «АЛРИоЮ», разработанная на кафедре Автоматизированные системы обработки информации и управления» Ижевского Государственного Технического Университета [3]. При автоматической векторизации полутоновых растровых изображений возникает ряд проблем: неточности, шумы и обрывы контуров.
На первом этапе решения данной задачи происходит векторизация контуров и классификация отрезков (рис. 3).
Рис. 3. Формирование линий контура
Следующим этапом является распознавание перспективных проекций пространственных углов рассматриваемых объектов на основе сформированных линий и их сочленений. На данном этапе исследования будем считать, что все углы рассматриваемых трехмерных объектов являются трехгранными, а все грани - плоскими. Углы образуются в точке пересечения трех граней. Для распознавания ракурсов трехгранных углов необходимо: классифицировать все найденные сочленения по типу угла (Е, У, V, Т), определить направления ветвей угла в плоскости проекции, рассортировать по суммарной длине отрезков, образующих угол (рис. 4).
Рис. 4. Виды перспективных проекций трехгранных углов и типы углов: а - У-тгт; б - Т-тип; в - У-тгт; г - Е-тип
Векторизованное изображение дополняется семантическими атрибутами о типе распознанного угла (рис. 5).
Рис. 5. Распознавание и классификация углов
Тем не менее, остается актуальной задача восстановления отсутствующих связей-ребер между распознанными пространственными углами [4]. Предлагается формировать ребер объектов на основе гипотезы о встречных углах (рис. 6, где edgekl - ребро, построенное по двум встречным углам E-типa) и гипотезы о замкнутости граней призматических объектов (рис. 7, где EI, E2, E3, Y - распознанные углы, VI, V2, V3 - вероятные углы).
Рис. 6. Формирование ребра на основе встречных углов
Рис. 7. Формирование ребер и углов замыканием граней
Совокупность распознанных ребер и перспективных проекций трехгранных углов связанных между собой, представляет граф топологических связей объекта сцены:
Topology = <V, E> - граф топологических связей пространственных углов ,
V - множество вершин граф а топологических связей;
Vj € V, vt - вершина угла типа V, T, Y, E;
E - , , ;
ej € E, ej = (vi, V2) - ребра связи.
Для простоты будем считать, что все предметы интерьера представляют собой объекты, которые можно декомпозировать на несколько призм (паршлелепи-педов) [5], т.е. необходимо распознать на векторизованной фотографии перспективные проекции параллелепипедов. Распознавание проведем путем поиска подграфов по правилам совместимости вершин, ребер и граней в графе топологиче-.
Правила совместимости вершин, ребер и граней описываются графами, представляющими собой перспективные проекции параллелепипеда на картинную плоскость в различных ракурсах. Все правила совместимости можно систематизировать по ряду топологических признаков: по видимой области, по классу видимости (количество вершин, ребер и граней в поле зрения), полноте описания перспективной проекции параллелепипеда (рис. 8).
Рис. 8. Классификация правил совместимости вершин, ребер и граней
В результате работы алгоритма распознавания получается список подграфов графа топологических связей, наиболее достоверно соответствующих перспективным проекциям параллелепипедов на изображении.
При восстановлении 3Б объектов по одному изображению, как правило, возникает проблема нехватки данных. Предположения о типах объектов сцены позволяют выдвигать предположения относительно недостающей информации (например, знание средней высоты стола позволяет предположить длину ножки стола). Для распознавания объектов интерьера используется логический вывод на основе распознанных проекций призм и системы отношений, описывающих объекты интерьера. Для описания набора отношений используется язык Пролог. В качестве машины логического вывода используется интерпретатор языка Пролог.
Следующая задача - вычисление пространственных координат объектов. Предлагается решение задачи по одной фотографии (по распознанному углу У или Е типа, фокусному расстоянию фотокамеры и по длине одного из ребер объекта или другой известной информации) или по нескольким фотографиям (с помощью методов фотограмметрии). В результате производится реконструкция огрубленной геометрической модели интерьера.
Следующим этапом синтеза модели интерьера по фотоизображениям является декомпозиция на составные части и детализация огрубленных моделей предметов путем анализа отрезков векторизованного изображения, лежащих внутри перспективных проекций граней реконструированных призматических объектов. Результатом этапа детализации огрубленной модели является уточненная модель , .
Для придания реконструированной сцене 3Б ГМ законченного вида возможно автоматическое наложение текстур, восстанавливаемых по фотографиям (рис. 9). Для получения текстур высокого качества предлагается при восстановлении текстуры производить анализ детализированное™ фрагмента изображения, из которого она , .
Разработанная информационная технология позволяет значительно снизить трудоемкость реконструкции 3Б геометрических моделей интерьера по фотографиям за счет сокращения количества ручных операций на различных этапах восстановления 3Б модели, использования знаний о специфических особенностях конструкции объектов интерьера.
Рис. 9. Реконструированная модель предметов интерьера
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Фор сайт Д., Понс Д. Компьюте рное зрение. Современный подход. - М.: Вильямс, 2004.
- С. 142-200.
2. Шапиро Л., Стокман Дж. Компьюте рное зрение. - М.: «БИНОМ», 2006. - С. 142-200,
- С. 476-522.
3. Кучуганов AM., Осколков П.П. Биоалгоритмы обработки изображений в геоинформа-ционых системах // Труды Междунарадных научно-технических конференций "Интеллектуальные системы" (AIS'07)" и "Интеллектуальные САПР" (CAD-2007). Научное издание в 4-х томах. - М.: Физматлит, 2007, Т.1. - С. 50-56.
4. Samartseva A.S. Logic Synthesis of Interior 3D Model by Photographies // First Forum of Young Researchers / In the framework of International Forum “Education Quality - 2008”: proceedings (April 23, 2008, Izhevsk, Russia). Izhevsk: Publishing House of ISTU, 2008.
- P. 50-56.
5. . // : .
с англ. - М.: Мир, 1973. - С. 162-208.
Харина Александра Сергеевна
Ижевский государственный технический университет, г. Ижевск.
E-mail: alexasam@mail.ru.
426009, УР, г. Ижевск, ул. Ленина, д.108, кв.16.
Тел.: 8(3412)588-910.
Кафедра автоматизированных систем обработки информации и управления; магистрант. Кучуганов Александр Валерьевич
Ижевский государственный технический университет, г. Ижевск.
E-mail: Aleks_KAV@18rus.ru.
426001, УР, г. Ижевск, ул. К. Маркса, д. 413 , кв. 13.
Тел.: 8(3412)588-910.
Кафедра автоматизированных систем обработки информации и управления; профессор.
Harina Aleksandra Sergeyevna
Izhevsk State Technical University, Izhevsk.
E-mail: alexasam@mail.ru.
108 app. 16 Lenin Street, Udmurt Republic, 426009, Russia.
Phon: 8(3412)588-910.
Automated Systems of Information Processing and Control Department; undergraduate.
Kuchuganov Aleksandr Valeryevich
Izhevsk State Technical University, Izhevsk.
E-mail: Aleks_KAV@18rus.ru.
413 app. 13 Karl Marks Street, Udmurt Republic, 426001, Russia.
Phone: 8(3412)588-910.
Automated Systems of Information Processing and Control Department; associate professor.
