CC BY
55
Объемное представление теплового поля объекта при решении прямой задачи
В ергикальный разрез теплового поля при решении обратной задачи
исходное расположение объектов
I
I
Графики распределения теплового поляна глубине объекта
Т,К
гг^г.
\\ I \
а У
Ч
L,M
0123456789 10
(-)тепловоеполеприрешениипрямой задачи;
(-) тепловое поле при решении обратной задачи
Вертиквльный разрез блоюво-разломных структур при решении обратной задачи щ^да
интенсивности
, 1(1*7.
н
исходное расположение объектов Рис. 3. Модель теплового поля, создаваемого двумя шарообразными объектами в однородной среде
тепловых характеристик поля Земли независимо от доступности территории исследования и рельефа местности. Внедрение программного ком-
плекса позволит в дальнейшем снизить стоимость и повысить производительность геологоразведочных работ при анализе больших площадей.
СПИСОК ЛИТЕРАТУРЫ
1. Кронберг, П. Дистанционное изучение Земли. Основы и методы дистанционных исследований в геологии [Текст] / П. Кронберг; пер. с нем. -М.: Мир, 1988. -343 с.
2. Шилин Б.В. Тепловая аэросъемка при изучении природных ресурсов [Текст] / Б.В. Шилин. -Л.: Гидро-метеоиздат, 1980. -247 с.
3. Гонсалес, Р. Цифровая обработка изображений
[Текст] / Р. Гонсалес, Р. Вудс. -М.: Техносфера, 2005. -1072 с.
4. Валеев, С.Г. Регрессионное моделирование при обработке данных [Текст] / С.Г Валеев. -Казань: ФЭН, 2001. -296 с.
5. Егоров, В.И. Применение ЭВМ для решения задач теплопроводности: Учеб. пособие [Текст] / В.И. Егоров. -СПб.: СПб ГУ ИТМО, 2006. -77 с.
УДК 004.93
A.A. Захаров, М.И. Ткачук
АЛГОРИТМ АВТОМАТИЧЕСКОЙ РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
Возросший интерес к системам техническо- доступности СТЗ, способных решать актуальные го зрения (СТЗ) в значительной мере объясняет- задачи, возникающие в различных областях прося тем, что прогресс цифровой техники привел к мышленности, сервиса, медицины, индустрии
развлечений и т. д. В связи с тем, что требования заказчиков индивидуальны, а эксплуатация СТЗ часто усложняется различными условиями, вопрос разработки новых методов и алгоритмов компьютерного зрения встает достаточно остро. В сложившейся ситуации появилась потребность в автоматизированных системах построения трехмерных моделей по изображениям, в которых взаимодействие с пользователем сводится к малому количеству простых операций.
Оптические методы трехмерной реконструкции. Одна из основных задач компьютерного зрения - задача восстановления формы по изображениям. Выделяют активные и пассивные оптические методы трехмерной реконструкции. Активные методы реконструкции основаны на использовании дальномеров, имеющих высокую стоимость. Пассивные оптические методы трехмерной реконструкции включают в себя обработку двумерных изображений.
К пассивным методам относятся реконструкции [7, 9]:
по стереоизображениям (shape from stereo); по закраске изображения (shape from shading); по текстуре (shape from texture); по фокусировке (shape from focus); по контуру (shape from contour (silhouettes)); по перемещению (shape from motion). В последнее время активно ведутся разработки методов трехмерной реконструкции по перемещению (shape from motion) [5, 7-9]. В этом случае происходит восстановление формы сцены из последовательности изображений, полученных с разных позиций съемки в некоторые моменты времени. Часто положения камеры тоже считаются неизвестными и восстанавливаются в ходе решения задачи. Для создания системы трехмерной реконструкции предлагается использовать метод, основанный на перемещении камеры в пространстве. Этот метод получил название реконструкции по видеопоследовательности (shape from video).
Коммерческих систем, выполняющих восстановление SD-геометрии по набору изображений, мало. Кроме того, подобные системы имеют ряд недостатков. Например, системы стереофо-тограмметрии осуществляют построение только моделей рельефа, которые не обладают сложной геометрией в отличие, например, от визуальной обстановки города. Также реконструкция происходит по отдельно выбранным кадрам, что влияет
на точность восстановления геометрии. Восстановление геометрии объектов сцены в подобных системах затруднено и требует значительного участия пользователя. Поэтому необходимо разрабатывать новые методы и программные средства автоматической реконструкции трехмерных сцен с геометрией различной сложности.
Алгоритм автоматической реконструкции трехмерных сцен по видеопоследовательности. Предлагаемый алгоритм состоит в следующем. Из всего набора изображений выбираются два соседних кадра. Цель - нахождение соответствий с соседним кадром последовательности. По кадрам вычисляются характерные опорные точки трехмерной сцены. Другие изображения обрабатываются уже относительно первых кадров. На каждом шаге алгоритма первоначальная реконструкция уточняется и расширяется. Алгоритм основан на реализации следующих этапов построения трехмерной модели по видеопоследовательности.
Шаг 1. Получение набора растровых изображений при помощи цифровой видеокамеры. Съемка объекта происходит с разных точек зрения. Камера перемещается по прямой линии. Направление оптической оси камеры строго перпендикулярно направлению движения (рис. 1). На практике камера устанавливается на крыше автомобиля. Текущие координаты камеры определяются с помощью системы спутниковой навигации. Погрешность определения координат камеры не накладывает существенных ограничений на точность реконструкции, т. к. движение происходит по прямой линии.
Шаг 2. Фильтрация изображений. Позво-
Объекты сцены
--.- -----1-----7-----,
\ S \ / 1 ! /
\ \ A t Г Г
\ \ / \ Г 1 !
\ \ / \ / / / \ \ / \ ! 1 ! \ \ / \ I t i
\ \1 \ / ! t \ f A I !
\ / \ Г \ Г 1
I / \ i \ I !
14!
Направление
V / \ / 1
\ / движения
Перемещающаяся камера
Рис. 1. Схема получения видеопоследовательности
а)
б)
Рис. 2. Детектор Харриса: а - рамка на однородной части изображения; б - рамка на границе; с - рамка на уголке
ляет выполнять операции предварительной обработки изображений: сглаживания, изменения контраста и т. д. В работе эксперимент проводился с тестовыми изображениями высокого качества и для них этот шаг в алгоритме не рассматривался.
Шаг 3. Выделение точечных особенностей. Точечная особенность - точка, чья окрестность отличается от окрестностей других точек изображения по выбранной мере. Один из наиболее известных алгоритмов нахождения точечных особенностей - детектор Харриса, обладающий высоким быстродействием [6].
В этом случае для каждого пикселя изображения вычисляется значение особой функции отклика угла, которая оценивает степень похожести изображения окрестности точки на угол (рис. 2).
Изменение содержимого рамки при сдвиге на вектор (и,у) равно Е(и,V). Функция описания изменения содержимого рамки Е (и, у) при сдвиге на вектор (и, V):
Е (и, V) = £ м>( х, у) [I (х + и, у + V) -1 (х, у)]2,
х у
где I(х, у) - изображение маркера; м>(х, у) - оконная функция.
Для небольших смещений Е (и, у) можно приблизить билинейной формой:
Ги
Е (и, у) = [и, у]М
V
где М - матрица производных по изображению 2x2
M = £ w( x, y)
U„
И
В случае, когда рамка находится на равномерной поверхности, оба собственных числа матри-
цы M малы. В случае с границей на изображении одно собственное число много больше другого. Если рамка находится на уголке, то оба собственных числа велики.
Шаг 4. Нахождение точечных соответствий на изображениях. На этом этапе необходимо установить соответствие между точечными особенностями различных изображений одной и той же сцены. Для нахождения точечных соответствий используются дескрипторы. Дескриптор - это идентификатор ключевой точки, выделяющий её из группы точек. По совпадению дескрипторов выделяются соответствующие друг другу ключевые точки. Дескрипторы должны обеспечивать инвариантность нахождения соответствия между особыми точками относительно преобразований изображений. В работе использован дескриптор SIFT (Scale Invariant Feature Transform).
Шаг 5. Вычисление координат опорных точек. Опорными точками будем называть точки, проекции которых были выделены на изображении детектором. Два снимка с изображениями одного и того же участка местности, полученные с двух точек пространства, называются стереоскопической парой снимков (стереопарой). Для вычислений используется понятие эпиполярной конфигурации [1-4]. В простейшем случае две одинаковые параллельные плоскости изображений параллельны базе стереосистемы (рис. 3).
Эпиполярной плоскостью называется плоскость, которой принадлежит трехмерная точка P, оптические центры двух камер C\ и C2, две проекции P и P2 точки P на плоскости изображений. Эпиполярными прямыми называются две прямые e и e2, которые являются прямыми пере-
сечения эпиполярнои плоскости с двумя плоскостями изображений I и /2. Расстояние между оптическими центрами камер называется базой Ь. Зная параметры эпиполярной конфигурации, можно вычислить пространственные координаты точки Р.
Камера заранее откалибрована. Задача калибровки заключается в том, чтобы определить, как расположены пиксели на плоскости изображения данной камеры относительно точек трехмерного пространства, изображения которых требуется получать с помощью камеры. Выделяют внутренние и внешние параметры камеры. К внутренним параметрам относятся:
точка пересечения оптической оси и плоскости изображения;
масштабные множители для горизонтального и вертикального размеров пиксела;
фокусное расстояние f - расстояние от оптического центра до плоскости изображения;
множитель дисторсии объектива - масштабный множитель, применяемый для моделирования радиальной дисторсии объектива.
Внешние параметры описывают местоположение и ориентацию системы координат камеры в трехмерном пространстве. К ним принадлежат параметры переноса / = [1Х 1у 1г ] и параметры поворота
г11 Г12 Г13 0
Г22 Г23 0
г31 ^32 Г33 0
0 0 0 1
Я =
Алгоритм разработан для частного случая: известны внутренние и внешние параметры камеры. Так как оптическая ось камеры всегда направлена перпендикулярно движению, то параметры поворота не учитываются.
В рассматриваемой системе координаты проекций точки Р на плоскости изображений можно вычислить следующим образом:
Хр = / (Хр + Ь /2)/ 2р, Хр = /(Хр - Ь /2)/ 2Р, Ур? = Ур2 = &р / ^р .
Из первых двух соотношений следует, что
^р = /Ь /( хР? - хР2 ).
Таким образом, можно вычислить координаты х и у точки р:
Хр = ь Хр+-Хр2 , ур = Ь Ур +__Ур2 .
2(Хр? _ Хр2 ) 2(Хр1 _ Хр2 )
Шаг 6. Построение трехмерной модели по вычисленным координатам. По вычисленным координатам осуществляется построение трехмерных примитивов. Геометрическая модель строит -
20 30
Угол смещения, градусы
Рис. 4. График зависимости абсолютной погрешности измерения трехмерных координат от угла смещения камеры
Рис. 5. График зависимости количества найденных точечных пар от угла смещения камеры
ся с использованием полигональной геометрии. Этот этап - один из наиболее простых в реализации, т. к. существуют эффективные алгоритмы построения поверхности по известным координатам вершин.
Экспериментальные исследования алгоритма. При реализации алгоритма необходимо находить компромисс между размером поля зрения, точностью вычисления трехмерных координат и количеством найденных точечных соответствий. При малой базе небольшие исходные погрешности в определении координат могут привести к значительным ошибкам вычисления глубины. Если соседние положения камеры будут значительно удалены друг от друга, то это может привести к трудностям в сопоставлении точечных особенностей из-за взаимного перекрытия объектов на изображениях и изменения изображения сцены.
На объекте, имеющем форму параллелепипеда, провели экспериментальные исследования алгоритма. На стороны параллелепипеда нанесли изображения уголковых маркеров; произвели съемку сцены с нескольких позиций. По полученным результатам построили графики зависимости абсолютной погрешности измерения трехмерных координат и количества найденных точечных пар от угла смещения относительно исходного положения камеры (рис. 4, 5).
Анализ графиков показал, что наибольшая точность вычислений координат обеспечивается при угле смещения камеры 25-45 градусов. Однако с увеличением угла смещения значительно уменьшается количество автоматически найденных точечных соответствий. Таким образом, в системе выбрали параметры, при которых угол смещения относительно текущего положения был равен 25 градусам.
Рис. 6. Построение трехмерной модели по последовательности изображений
Исследования разработанного алгоритма проведены на реальных объектах (рис. 6).
Следует отметить, что качество синтезируемой сцены во многом зависит от сложности растрового рисунка. Не всегда алгоритм корректно работает с изображениями, на которых представлены объекты, имеющие сложную геометриче-
скую структуру, или присутствуют взаимные перекрытия. В дальнейшем для повышения качества алгоритма реконструкции планируется улучшать и разрабатывать новые алгоритмы нахождения точечных соответствий.
Работа выполнена при поддержке грантов МК-8838.2010.9, ИК-10.
СПИСОК ЛИТЕРАТУРЫ
1. Марр, Д. Зрение. Информационный подход к представлению и обработке зрительных образов [Текст] / Д. Марр; пер. с англ. -М.: Радио и связь, 1987. -400 с.
2. Форсайт, Д. Компьютерное зрение. Современный подход [Текст] / Д. Форсайт, Ж. Понс; пер. с англ. -М.: Изд. Дом «Вильямс», 2004. -928 с.
3. Хорн, Б.К.П. Зрение роботов [Текст] / Б.К.П. Хорн; пер. с англ. -М.: Мир, 1989. -487 с.
4. Шапиро, Л. Компьютерное зрение [Текст] / Л. Шапиро, Дж. Стокман; пер. с англ // Лаборатория знаний. - М.: БИНОМ, 2006. -752 с.
5. El-Hakim, S.F. Semi-automatic 3d reconstruction of occluded and unmarked surfaces from widely separated views [Текст] / S.F. El-Hakim // Proc. ISPSRS Symp.
-Corfu. -2002. -P. 143-148.
6. Harris, C.G. A combined corner and edge detector [Текст] / C.G. Harris, M. Stephens // Proc. 4th Alvey Vision Conf. -Manchester. -1988. -P. 147-151.
7. Hartley, R. Multiple View Geometry in Computer Vision [Текст] / R. Hartley, A. Zisserman. -Cambridge University Press, 2000. -655 p.
8. Pollefeys, M. Detailed realtime urban 3D reconstruction from video [Текст] / M. Pollefeys, D. Nister, J.-M. Frahm // International J. of Computer Vision. -2008. -Vol. 78 (2-3). -P. 143-167.
9. Szeliski, R. Computer Vision: Algorithms and Applications [Текст] / R. Szeliski. -Springer-Verlag N.Y. Inc, 2010. -979 p.
