CC BY
158
УДК 004.923
А. П. Кирпичников, И. И. Шамсутдинов, М. П. Шлеймович ТРЁХМЕРНАЯ РЕКОНСТРУКЦИЯ СЦЕНЫ ПО НЕСКОЛЬКИМ ИЗОБРАЖЕНИЯМ
Ключевые слова: трехмерная реконструкция, трехмерная модель, калибровка камеры, характерные черты изображения.
В работе рассмотрены и проанализированы существующие методы трёхмерной реконструкции сцен по нескольким изображениям.
Keywords: three-dimensional reconstruction, three-dimensional model, camera calibration, the characteristics of the image. In this paper we discuss and analyze existing methods of three-dimensional scene reconstruction from several images.
Трёхмерная реконструкция сцены (объектов) из двухмерных изображений было и остаётся одной из самых интересных и сложных задач в области компьютерного зрения. Данный процесс лежит в основе построения трехмерных моделей, используемых в робототехнике, архитектурном дизайне, геоинформационных системах, системах безопасности и др. [1, 2].
К настоящему времени разработаны и успешно применяются методы восстановления трёхмерных сцен с использованием специальной аппаратуры, например лазерных сканеров, которая позволяет получить высокоточные модели. Однако такая аппаратура в настоящее время является относительно дорогой, например, по сравнению с бытовыми видео- и фотокамерами. Поэтому актуальна разработка методов трехмерной реконструкции, ориентированных на обработку оптических изображений.
Процесс трёхмерной реконструкции сцены содержит следующие этапы:
1. Получение изображений реальной
сцены;
2. Обнаружение и сопоставление характерных черт изображений;
3. Вычисление трёхмерных координат найденных характеристических точек;
4. Построение трёхмерной модели по найденным координатам.
Первый этап обеспечивает формирование исходных данных для построения трехмерной модели.
На втором этапе осуществляется обнаружение и сопоставление характерных элементов входных изображений. Такими элементами обычно являются характеристические (или ключевые) точки, под которыми понимают точки на изображениях, которые соответствуют одной и той же точке изображенного на них реального объекта [3]. При трёхмерной реконструкции сцены по изображениям делается предположение, что рассматриваемая на каком-то этапе реконструкции пара снимков не сильно отличается друг от друга. По этой причине, описание (дескриптор) окрестности (в простейшем случае, яркостное описание) реальной точки на одном изображении должен примерно совпадать с описанием (дескриптором) этой же точки на другом изображении. Для обнаружения характеристических точек часто применяют детекторы точечных
особенностей, обеспечивающие инвариантность к поворотам и частичному перекрытию объектов на изображениях. На практике широко используются детекторы Харриса [4], SIFT [5], SURF [6]. Кроме точечных особенностей, некоторые при трёхмерной реконструкции сцены могут использоваться линии и области для сопоставления двухмерных цифровых снимков [7].
Третий этап трёхмерной реконструкции сцены по изображениям заключается в вычислении трёхмерных координат найденных точек. Методы, применяемые здесь, условно разделить на три класса:
1. Методы с калибровкой камер;
2. Методы без калибровки камеры;
3. Методы с самокалибровкой.
Калибровка камеры - это процедура
определения ее внутренних и внешних параметров, таких как матрица проекции и расположение одной камеры относительно другой.
Калибровка камеры, как правило, требуется для трёхмерной реконструкции по малому количеству изображений, в частности, при реконструкции по стереопаре. Имея сопоставленные точки на изображениях и внутренние параметры камер, осуществлявших съёмку, можно восстановить расположение камер в пространстве и трёхмерную структуру сцены.
К методам, работающим без предварительной калибровки камер, относятся методы трёхмерной реконструкции сцены, основанные на факторизации матриц, рассмотренные ниже.
В методах, реализующих самокалибровку, обычно накладываются ограничения на внутренние параметры камеры или применяется подход, когда некоторые внутренние параметры камеры вычисляются с помощью факторизации проективной матрицы камеры, а определение трёхмерных координат точек основано на эпиполярной геометрии.
На четвертом этапе решается задача построения трёхмерной модели по найденным координатам точек. Для этого обычно используются методы триангуляции, например, с использованием триангуляции Делоне [10]. При этом, как правило, строится полигональная сетка - совокупность вершин, рёбер и граней, которые определяют форму объекта. Гранями обычно являются полигоны -треугольники, четырехугольники или другие
простые выпуклые многоугольники, так как их применение упрощает операции над трехмерной моделью. Полигоны имеют малые размеры и при большом количестве они создают иллюзию гладкой трехмерной поверхности. После формирования трехмерной модели на данном этапе выполняется наложение текстуры.
Рассмотрим применяемые на практике методы. Метод трёхмерной реконструкции сцены по фокусировке и дефокусировке основан на конечности глубины резкости оптических систем. Данный метод требует интенсивной работы с камерой. Однако реальные объекты представляют собой сложные структуры, вследствие чего фокусировка на каждое изменение формы является трудоёмким процессом. Поэтому данные алгоритмы выполняются довольно долго по сравнению с другими.
Методы трёхмерной реконструкции сцены на основе изменений яркости начали разрабатываться еще в 1970-х годах. Однако и сейчас они являются актуальными и практически значимыми. Входом для этих методов является единственное полутоновое изображение сцены. Данный подход основан на том, что яркость в каждой точке не зависит от положения наблюдателя и пропорциональна косинусу угла между нормалью к поверхности и направлением на источник света. Его основными недостатками является невысокая точность выходной модели и требования постоянства альбедо по всей сцене. Несмотря на указанные недостатки, методы на основе изменения яркости успешно использовались для расчёта формы лунной поверхности на основе обработки изображений. Это связано с тем, что в случае исследования космических тел знание условий освещения, что характерно для снимков планет и астероидов, повышает точность результатов реконструкции. Для данного подхода существуют также вспомогательные алгоритмы, которые позволяют восстановить условия освещения по самому изображению. Алгоритмы трёхмерной реконструкции сцены на основе изменений яркости также используются при анализе сложных сцен. Если рассматривать объект на сцене, который имеет выпуклую форму с плавными и округлыми поверхностями и не имеет ярко выраженных рёбер, углов и резких перепадов яркости на текстуре, то единственный способ воссоздать его модель -использовать рассматриваемый метод.
Методы трёхмерной реконструкции сцены по движению основаны на поиске характеристических точек на входных снимках и установления соответствий между обнаруженными точками на всей последовательности кадров. Пространственные координаты этих точек находятся по принципу триангуляции. Как правило, положения камер и фокусные расстояния считаются неизвестными и восстанавливаются в ходе решения задачи. Одни из самых распространённых алгоритмов этой группы основаны на факторизации матриц [8]. Данные алгоритмы не работают непосредственно с изображениями, а требуют на
вход лишь координаты найденных характеристических точек на последовательности изображений.
Впервые факторизацию матриц для трёхмерной реконструкции сцены по нескольким изображениям применили Томаси и Канаде, которые предложили подход, основанный на аффинной модели камеры. Впоследствии подход развивался, и Якобс предложил использовать факторизацию для восстановления потерянных данных, т.е. для реконструкции объектов, которые частично видны или практически не видны на некоторых снимках [9].
Методы трёхмерной реконструкции сцены по движению работают лишь с координатами найденных характеристических точек.
Достоинствами данных методов является качественная выходная трёхмерная модель, представляющая собой полигональную сетку. Однако это возможно лишь при достаточно большом количестве изображений и большом количестве найденных соответствий на изображениях. К недостаткам можно отнести большую вычислительную сложность алгоритмов, а также сложность наложения текстуры на выходную трёхмерную модель.
К методам реконструкции по движению относятся методы, основанные на обработке стереопар. Считается, что данная группа методов позволяет найти только грубые детали формы объекта, особенно при нехватке пространственной структуры. Однако в настоящее время развитие этих методов привело к получению достаточно качественных трёхмерных моделей.
Наиболее сложные операции обработки в стереосистемах связаны с определением соответствующих признаков, которые необходимы для этих вычислений. Неправильно установленные соответствия приводят к ошибкам в значениях глубины. Ошибки могут приводить как к незначительным отклонениям от истинного значения, так и к полностью неверным результатам.
Один из самых старых методов обнаружения соответствия между пикселями двух изображений основан на использовании оператора кросс-корреляции. В кросс-корреляционном методе предполагается, что для заданной точки одного изображения должна существовать такая область, в которой может быть найдена соответствующая ей точка другого изображения [11].
Размер области поиска соответствующей точки определяется на основе информации о расположении камеры. Эта информация используется при получении изображений. Информацию о расположении камеры извлекают из параметров камеры, которые определяются на этапе калибровки.
Следующий метод обнаружения соответствий предполагает поиск характерного признака на одном изображении, который сопоставляется с характерным признаком на другом изображении. В качестве характерных признаков выбираются стыки, отрезки и области.
Сопоставление стереопар упрощается, когда известна относительная ориентация камер. В таком случае двумерное пространство поиска точки изображения, которая соответствует заданной точке другого изображения, сокращается до одномерного пространства. Часто можно применить ограничение упорядочения, которое утверждает, что если точки лежат на непрерывной трёхмерной поверхности, то их образы должны быть упорядочены одинаковым образом вдоль эпиполярных прямых на каждом изображении стереопары.
Далее строится полутоновое изображение, имеющее такой же размер, что и изображение, полученное с одной из камер (опорной камеры). Карта глубины отражает расстояние точек сцены до опорной камеры. По карте глубины может быть построена полигональная модель и выполнено наложение текстуры.
Для проведения экспериментов по трехмерной реконструкции сцены была сконструирована стереосистема, которая состояла из двух одинаковых камер, расстояние между объективами которых составляло 6,5 см (что соответствует нормам построения стереосистем) [12].
Image Window
Программное обеспечение системы содержит модули для реализации всех этапов трехмерной реконструкции. Для калибровки камер использовался метод гибкой калибровки на основе шахматной доски. Метод заключается в нахождении соответствий на паре изображений угловых точек. По найденным соответствиям и известных размерах квадратов шахматной доски вычисляются калибровочные параметры.
При построении трехмерной модели объекта в системе формируется и корректируется карта глубины. Корректировка нужна из-за наличия шумов и искажений, связанных с условиями получения изображений. По карте глубины строится трехмерная модель. Пример трехмерной реконструкции показан на рис. 1.
На выходных трёхмерных моделях хорошо выделяются объекты, которые находятся ближе к камере, и объекты, находящиеся дальше от камеры. При этом, взаимодействие с моделью происходит согласно геометрическим законам, как если бы мы наблюдали реальную сцену сами с позиции камеры. Построенные модели характеризуются качественной плотной текстурой.
3D Model
Рис. 1 - Пример трехмерной реконструкции
Литература
1. Аун С., Шарнин Л.М., Кирпичников А.П. Информационно-измерительная система слежения за движущимися объектами //Вестник Казанского технологического университета. - Казань: КНИТУ, 2011. - Т. 14. №16. - С. 224-232.
2. Мокшин В.В., Кирпичников А.П., Шарнин Л.М. Отслеживание объектов в видеопотоке по значимым признакам на основе фильтрации частиц //Вестник Казанского технологического университета. - Казань: КНИТУ, 2013. - Т. 16. №18. - С. 297-303.
3. M. Pollefeys, R. Koch and L. Van Gool, "Self-Calibration and Metric Reconstruction inspite of Varying and Unknown Internal Camera Parameters", Proc. International Conference on Computer Vision, Narosa Publishing House, с.90-95, 1998.
4. C. Harris and M. Stephens, "A combined corner and edge detector", Fourth Alvey Vision Conference, c.147-151, 1988.
5. Lowe, D. G., "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, c. 91-110, 2004.
6. Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, c. 346-359, 2008
7. C. Schmid and A. Zisserman, "Automatic Line Matching across Views", Proc. IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Soc. Press, c. 666671, 1997.
8. C. Tomasi and T. Kanade, "Shape and motion from image streams under orthography: A factorization approach", International Journal of Computer Vision,9(2): c. 137-154, 1992.
9. D. Jacobs, "Linear Fitting with Missing Data; Applications to Structure-from-Motion and to Characterizing Intensity Images", Proc. IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Society press, ^ 206-212, 1997.
10. Sebastien Roy and Ingemar J. Cox. A maximum-flow formulation of the n-camera stereo correspondence problem. In IEEE. Proc. of Int. Conference on Computer Vision.
11. Шапиро Л., Стокман Дж. Компьютерное зрение. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.
12. Let's build a stereoscope. Giorgio Carboni, April 1996. http://www.funsci.com/fun3_en/stscp/stscp.ht
© А. П. Кирпичников - д-р физ.-мат. наук, зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, kirpichnikov@kstu.ru; И. И. Шамсутдинов - магистрант каф. автоматизированных систем обработки информации и управления КНИТУ-КАИ; М. П. Шлеймович - доцент каф. автоматизированных систем обработки информации и управления КНИТУ-КАИ, shlch@mail.ru.
© A. P. Kirpichnikov - Prof. KNRTU, kirpichnikov@kstu.ru; I. I. Shamsutdinov - master KNRTU-KAI; M. P. Shleymovich -associate professor, KNRTU-KAI, shlch@mail.ru.
