CC BY
7УДК 004.93
Трехмерная реконструкция визуальной обстановки по видеоизображениям на основе вероятностного подхода
Захаров Алексей Александрович - кандидат технических наук, доцент Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых». E-mail: gerasimov@a-vsn.ru.
Тужилкин Алексей Юрьевич - аспирант Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых». E-mail: aa-zaharov@ya.ru. Адрес: 602264 г. Муром, ул. Орловская, 23.
Аннотация: В статье представлен вероятностный подход к трехмерной реконструкции визуальной обстановки городских сцен по спутниковым и аэрофотоснимкам. Показана актуальность работы. Приведены возможные сферы использования результатов исследований. Рассмотрены существующие подходы к синтезу трехмерных сцен. Предложена математическая модель реконструируемых объектов. Приведены контурные изображения моделей реконструируемых объектов. В модели используются условные вероятности появления признаков распознаваемых и реконструируемых объектов. Для выделения признаков используется преобразование Хафа. Задачей подхода является нахождение максимума апостериорной вероятности для синтезируемой модели. Максимум апостериорной вероятности находится с использованием метода Монте-Карло по схеме марковской цепи. В работе заданы возможные переходы между моделями при итеративном поиске. В качестве тестовых примеров использовались изображения крыш заданий. Приведены результаты алгоритма трехмерной реконструкции.
Ключевые слова: трехмерная реконструкция, визуальная обстановка, видеоизображения, вероятностный подход.
Введение
Наглядность представления визуальной обстановки населенных объектов и удобство работы с данными является важными свойствами для информационных систем различного назначения. Компьютерные трехмерные модели городских сцен могут быть использованы для решения следующих задач_[1,_2,_3]:
- проектирования коммуникаций;
- моделирования чрезвычайных ситуаций (наводнения, пожары), транспортных потоков, процессов микроклимата;
- планирования схем эвакуации населения и антитеррористических операций;
- синтеза визуальной обстановки для автомобильных тренажеров, геоинформационных систем, систем виртуального туризма.
Целью работы является разработка алгоритмического и программного обеспечения трехмерной реконструкции визуальной обстановки городских сцен по спутниковым и аэрофотоснимкам.
Для создания трехмерных моделей объектов местности в основном применяются системы трехмерного моделирования, позволяющие создавать геометрию при помощи типовых операций в интерактивном режиме. Однако, этот способ достаточно трудоемок.
Также в последнее время используется метод на основе лазерного сканирования. Преимуществами такого подхода является высокая скорость и точность создания трехмерных моделей. Однако, в этом случае формируется облако трехмерных точек. Поэтому в автоматическом режиме невозможно выделить характерные объекты из сцены. Например, поверхность рельефа и фасады зданий представляют в такой системе единое целое. Из-за этого трехмерным данным нельзя назначить атрибуты и использовать в качестве физических моделей, имеющих определенные свойства. Кроме того, лазерное сканирование характеризуется большим объемом получаемых данных, что предъявляет высокие требования к вычислительным возможностям систем.
Предлагается использовать подход на основе автоматического восстановления трехмерной геометрии по изображениям. В качестве изображений могут применяться спутниковые снимки высокого разрешения. Создание системы автоматической реконструкции трехмерных моделей населенных объектов на основе цифровых изображений сократило бы временные и материальные затраты при разработке программных продуктов в сфере промышленности и народного хозяйства.
Предлагаемый подход является пассивным оптическим методом трехмерной реконструкции. Подобные методы трехмерной реконструкции основаны на извлечении трехмерных данных из двумерных изображений. К пассивным оптическим методам относятся [1, 2]: реконструкция по стереоизображениям (shape from stereo), реконструкция по закраске изображения (shape from shading), реконструкция по текстуре (shape from texture), реконструкция по фокусировке (shape from focus), реконструкция по контуру (shape from contour), реконструкция по перемещению (shape from motion). Вопросы синтеза и анализа пространственной информации на основе пассивных оптических методов в настоящее время изучены недостаточно. Использование компьютерного зрения ограничено следующими факторами: наличие шумовых и оптических эффектов, изменяющийся текстурированный фон, эффекты резкой смены освещения, взаимное перекрытие объектов. Кроме того, при реализации систем существуют неопределенности, связанные с выделением информативных признаков объекта, так как каждое изображение не обладает полнотой информации о свойствах реконструируемого объекта. Поэтому для реализации подхода используется заранее предопределенная информация о структуре сцены и условиях получения изображения. Таким образом, процесс синтеза трехмерных данных, представленный в работе, основан на распознавании объектов на видеоизображениях.
Математическая модель реконструируемых объектов
В работе представлен процесс реконструкции на примере синтеза модели крыш зданий. Реконструкция требует формирования гипотезы о форме объектов и проверки этой гипотезы.
Модели крыш зданий представлены полигонами, образованными прямыми линиями. В простейшем случае будем рассматривать выпуклые полигоны. Каждый полигон может иметь разное количество сторон, в зависимости от конструкции крыш (таблица 1). Например, наиболее распространенными формами крыш являются: односкатная, двускатная, мансардная, шатровая, вальмовая и т.д.
Таблица 1. Контурные изображения крыш зданий, используемые при реконструкции
Во многих случаях невозможно отделить объект от фона только с помощью одного признака. Тогда для повышения надежности распознавания необходимо выделить вектор признаков по изображению [4, 5]. Модель рекон-
Вид сверху Фронтальный вид Вид сбоку
а
а
>— е /
Ж е У ч
Ж е ^
X о / ^
X А О
струируемого объекта содержит параметры в , определяющие тип, форму и текстуру поверхности. Вектор в = {пр ,вь ,в8 ,вТ } содержит следующие параметры: пр - количество примитивов, содержащихся на поверхности; вь -тип примитива на поверхности объекта; в3 -форма примитива, вТ - текстура объекта.
Определив параметры в , можно выполнить реконструкцию заранее определенных объектов по видеоизображениям. Таким образом, необходимо найти максимальное значение апостериорной вероятности Р(Мв | DI):
Р(Мв | Ы1) к Р(D | Мв1)Р(Мв1) = = Р(Ы | Мвьв8вТ1) • Р(вТ | вьМ1) х х Р(в5вьМ1) Р(вьЩ1), где Ы - данные (изображение); М - реконструируемая модель; в - вектор параметров модели М; I - априорная информация (калибровка камеры); Р(вь | М1) - условная вероятность появления примитива определенного типа. Определяется особенностями модели. Может задаваться на основе экспертных оценок; Р(в3 | вьМ1) - условная вероятность формы примитива; Р(вТ | вьМ1) - условная вероятность текстурных параметров; Р(Ы | Мвьв3вТ1) - вероятность получить данные Ы при условии, что имеется полное описание модели.
Значение вероятности Р(Ы | Мв1) зависит от параметров текстуры. Параметры текстуры представлены значениями интенсивностей изображения на поверхности модели. Вероятность определяется на основе того, что значение каждого текстурного параметра ¡(g) искажается шумом £ с нормальным распределением: ) = г(g) + £ , где ) - проекция г(g) на изображение у.
Предполагая, что ошибка в каждом пикселе независима, значение вероятности вычисляется следующим образом:
1
_ ОХgj )-(g))2
2al
Синтез трехмерной модели объекта
Синтез трехмерной модели является трудной задачей из-за большого числа параметров, которые необходимо оценить. Параметры примитивов определяются на основе метода Монте-Карло по схеме марковской цепи (MCMC -Markov Chain Monte Carlo)_[5]. Используется реверсивный алгоритм переходов Монте-Карло по схеме марковской цепи (Reversible Jump MCMC). Алгоритм позволяет за один шаг существенно изменить текущую конфигурацию модели. Возможны следующие переходы для получения лучшей конфигурации модели (рис. 1): добавление примитива, удаление примитива, модификация параметров примитива (положение, размер, масштаб) и т.д.
P( DIMdl) = ПП-пГ е
g i asy¡2п
где gs - среднеквадратическое отклонение.
Параметры типа и формы примитива формируются следующим образом. Для нахождения апостериорного максимума (MAP - maximum a posteriori) итеративно определяются параметры каждого примитива. Значения каждого параметра отбирают только, если MAP-оценка выше предшествующего значения.
Функция правдоподобия для примитива имеет следующий вид:
т _ p(D\emMi) p( d \егтег8 6'lmi )
где eL - параметр типа примитива, кроме типа
параметра e'L .
Выбор примитивов, которые следует включить в модель, рассматривается как проверка гипотез. Функция правдоподобия для модели имеет следующий вид:
P(D \ e'MI)
L -
М ~
P(D | вМ01)
где Ы0 - модель, не содержащая примитивы.
В результате был осуществлен синтез трехмерной модели крыши здания (рис 2).
д) е)
Рис. 2. Реконструкция крыш зданий: а, б) спутниковые снимки реконструируемых объектов; в, г) результаты выделения контуров с использованием преобразования Хафа; д, е) реконструируемые модели
Заключение
В работе был предложен подход к реконструкции трехмерных сцен на основе задания вероятностных моделей объектов и нахождения максимума апостериорной вероятности для этих моделей. Предложена схема переходов между контурными представлениями моделей
Поступила 09 октября 2013 г.
для нахождения наилучшего решения. Реализован синтез трехмерных моделей, состоящих из небольшого количества простых примитивов. Следует отметить, что реконструкция выполнена только для одиночных объектов, которые заранее были выделены на изображении. Также не учитывалась текстурная информация поверхностей сцены. Сцена на изображениях хорошо освещена, видны четкие границы объектов, нет взаимных перекрытий между элементами сцены. В дальнейшем планируется выполнять синтез трехмерных сцен по изображениям, содержащим большое количество реконструируемых объектов. Также необходимо разрабатывать алгоритмы, устойчивые к таким особенностям наблюдения, как тени и взаимные перекрытия.
Литература
1. Захаров А.А. Автоматический синтез протяженных трехмерных сцен с использованием системы компьютерного зрения // Известия ВУЗОВ. Приборостроение. - 2012. - Т.55, № 2. - С. 24-27.
2. A Survey of Urban Reconstruction/ P. Musi-alski, P. Wonka, D. G. Aliaga, M. Wimmer, L. Van Gool, W. Purgathofer// Eurographics 2012. - 2012. -pp. 1-28.
3. Suveg I., Vosselman G.Reconstruction of 3d building models from aerial images and maps // ISPRS Journal of Photogrammetry and Remote Sensing. -2004. - № 58. - pp. 202-224.
4. Scholze S., Moons T., L. Van Gool A Generic 3D Model for Automated Building Roof Reconstruction // In ISPRS Commisson V Symposium Corfu, 2002. -9. - pp. 204-209.
5. Structural approach for building reconstruction from a single DSM/ F. Lafarge, X. Descombes, J. Zerubia, M. Pierrot-Deseilligny// IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2010. -32, 1. - pp. 135-47.
=English
Three dimensional reconstruction of visual surrounding by video images on the basis of a probabilistic approach
Zakharov Alexey Aleksandrovich - Candidate of Engineering, Associate Professor, Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov" .
Tuzhilkin Aleksey Yuryevich - post-graduate student. Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov" .
Address: Orlovskaya st., 23. Vladimir region, Murom, 602264, Russia.
Abstract: The paper demonstrates a probabilistic approach to three dimensional reconstruction of a visual surrounding of urban scenery by satellite and aerial photos. The motivation of the work is shown. Possible orbs of application of investigation results are given. The existing approaches to synthesis of three dimensional scenes are considered here. The mathematical model of reconstructing objects has been suggested. Outline pictures of renovating objects models are given. The conditional probabilities of appearance of recognized and reconstructed objects signs are used in the model. Hough transformation is used for feature extraction. The task of the approach is to find the maximum of a posteriori probability for the synthesized model. The maximum of a posteriori probability is found by Monte-Carlo method on the diagram of a Markov circuit. Possible passages between the models in iterative searching are determined in the work. Images of building roofs were used as test cases. The results of algorithm of three dimensional reconstruction are given in the paper.
Key words: three dimensional reconstruction, visual surrounding, video images, probabilistic approach.
References
1. Zaharov A.A. Automatic synthesis of Extended Three-Dimensional Scenes with the help of Computer Vision. Izvestija VUZOV. Priborostroenie. 2012. T.55, № 2. P. 24-27.
2. A Survey of Urban Reconstruction. P. Musialski, P. Wonka, D. G. Aliaga, M. Wimmer, L. Van Gool, W. Purgathofer. Eurographics 2012. 2012. P. 1-28.
3. SuvegI., Vosselman G.Reconstruction of 3d building models from aerial images and maps. ISPRS Journal of Photogrammetry and Remote Sensing. 2004. 58. P. 202-224.
4. Scholze S., Moons T., L. Van Gool A Generic 3D Model for Automated Building Roof Reconstruction. In ISPRS Commisson V of Symposium Corfu, 2002. 9. P. 204-209.
5. Structural approach for building reconstruction from a single DSM. F. Lafarge, X. Descombes, J. Zerubia, M. Pierrot-Deseilligny. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. 32, 1. P. 135-47.
