CC BY
419
УДК 528.8:528.7
НЕКОТОРЫЕ ПРОБЛЕМЫ ПОСТРОЕНИЯ РЕАЛИСТИЧЕСКИХ ИЗМЕРИТЕЛЬНЫХ 3D МОДЕЛЕЙ ПО ДАННЫМ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ
Александр Петрович Гук
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, доктор технических наук, профессор-консультант кафедры физической геодезии и дистанционного зондирования, тел. (383)361-01-59, e-mail: [email protected]
Мария Михайловна Шляхова
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры прикладной информатики и информационных систем, тел. (960)779-62-25, e-mail: [email protected]
В работе рассмотрены основные принципы построения измерительных реалистических 3D моделей объектов местности по различным типам аэрокосмических снимков, цифровых кадровых и сканерных снимков, космических снимков высокого разрешения, лазерной воздушной и наземной съемки с точки зрения единого подхода к обработке данных различного типа. Уточняется понятие «измерительные реалистические 3D модели объектов местности». Рассмотрены особенности современного этапа развития технологий построения 3D моделей, связанные с использованием беспилотных летательных аппаратов, развитием лазерной съемки, прогрессом в области создания автоматических алгоритмов идентификации точек по совокупности перекрывающихся снимков (Global Matching и Semi Global Matching). Отмечаются проблемы, существующие в настоящее время при построении измерительных 3D моделей, намечены пути их решения. Приводятся примеры построения измерительных реалистических 3D моделей на основе традиционной технологии.
Ключевые слова: 3D модели, построение измерительных реалистических 3D моделей, алгоритмы автоматической идентификации точек, пространственные данные, точность 3D моделей.
SEVERAL ASPECTS OF METRIC REALISTIC 3D MODELS CREATION REMOTE SENSING DATA
Aleksander P. Guk
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., D. Sc., professor-consultant, Department of Physical Geodesy and Remote Sensing, 1еХ. (383)361-01-59, e-mail: [email protected]
Mariya M. Shlyakhova
Siberian State University of Geosy stems and Technologies, 630108, Russia, Novosibirsk, 10, Plakhotnogo St., Ph. D., associate professor of Department of Applied Informatics and Information Systems, tel. (960)779-62-25, e-mail: [email protected]
In this work the the basic principles of measuring realistic 3D models of terrain objects for different types of aerospace images; digital human and scanner images, high resolution satellite images, aerial and ground laser survey from the perspective of a unified approach to the treatment of various types of data. Is refined the term «measuring realistic 3D models of terrain objects». The features of the present stage of technological development for constructing 3D models, associated with the use of of the UAV,
development of laser survey, progress in the field of automatic identification algorithms dots together overlapping images (Global Matching и Semi Global Matching). There have been problems currently existing in the construction of the measurement of 3D models, the ways of solving them. Examples of construction of measuring realistic 3D models based on traditional technology.
Key words: 3D model, construction of realistic 3D models of measurement, algorithms for the automatic identification of points, spatial data, accuracy 3D models.
Для построения реалистичных 3D моделей объектов местности требуется следующая информация:
- данные о рельефе местности или цифровой модели рельефа (ЦМР);
- пространственные данные об объектах, которые будут отображаться на 3D модели;
- реальные текстуры местности, которые можно получить по различным типам снимков: космическим, аэрофотоснимкам, цифровым аэро- и наземным снимкам [1, 2].
В последнее время кардинально изменились технические средства получения данных, необходимых для построения 3D моделей, алгоритмы и методы их обработки. Также изменились требования к 3D моделям в соответствии с расширением сферы их использования. За последнее время 3D модели перешли из разряда удобных для просмотра пространственных моделей в реальный продукт для технического использования, позволяющий наблюдать и измерять с заданной степенью точности пространственную модель объектов на плоском экране.
Такой переход стал возможным благодаря следующему:
- появлению и быстрому развитию методов съемки с беспилотных летательных аппаратов цифровыми камерами различного типа (как метрическими, так и неметрическими);
- разработке алгоритмов автоматического построения плотной пространственной модели местности по совокупности перекрывающихся снимков;
- развитию методов лазерной съемки и алгоритмов обработки получаемых данных;
- развитию космических съемочных систем высокого и сверхвысокого разрешения, позволяющих выполнять стереосъемку и создавать пространственные модели высокого качества для обширных территорий.
Соответственно появилось достаточно большое количество новых программ и программных комплексов обработки данных, результатом работы которых является 3D модель местности [3-6].
С расширением области применения 3D моделей изменились и требования к их свойствам.
3D модели местности из удобных для просмотра пространственных моделей территорий или объектов постепенно становятся измерительными реалистическими моделями. Под такими моделями будем понимать псевдопространственные модели с реальным изображением местности, которые можно наблюдать. Также можно измерять пространственные координаты точек модели на плоском экране.
Такие продукты, как стандартные фотограмметрические продукты, должны удовлетворять строгим метрическим характеристикам как в измерительном, так и в изобразительном плане. Для этого нужно определить стандартные характеристики 3Б моделей определенного класса, разработать систему поэтапного контроля за построением 3Б моделей, методику выполнения оценки точности построенной модели и т. д.
В связи с этим в данной статье рассматриваются особенности современного этапа развития технологий построения 3Б моделей, факторы, которые необходимо учитывать при создании измерительных реалистических 3Б моделей
Построение реалистичных 3Б моделей выполняется по космическим снимкам высокого и сверхвысокого разрешения, материалам аэросъемки, цифровой аэро- и наземной съемки, а также воздушного и наземного лазерного сканирования. Путем фотограмметрической обработки этих снимков получают пространственную модель и текстуру для формирования 3Б моделей местности.
Для использования разнородных данных необходимо в первую очередь привести координаты всех данных в единую систему координат.
Несмотря на то, что указанные снимки получаются различными съемочными системами, общие геометрические принципы получения данных иллюстрирует рис. 1, на котором показана связь систем координат, используемых при для обработки измерений по различным типов снимков.
" 2
Строка^сканерного снимка
Кадровый снимок
Строка лазерного снимка
X \ Снимок наземной съемки
Рис. 1. Связь координат точек на сканерных снимках и аэрофотоснимках и точек местности
На рис. 1:
Si, Sj - точки формирования ¿-й и j-й строки сканерного снимка соответственно;
S - точка съемки снимка, полученного кадровой фотографической системой;
Гт £ - вектор, определяющий положение точки тк на кадровом фотографическом снимке;
к - положение точки на снимке, положение которой получено съемочной системой любого типа;
гт\ и гт2 - векторы, определяющие положение точек т1, т2 на снимке;
т1, т2- точки на сканерном и кадровом снимках;
Щ - вектор, определяющий положение точки М на местности по данным лазерной съемки из точки SL^;
X, У, 2 - координаты точки М на местности.
Математическая модель, устанавливающая связь координат точек местности Ямк и соответствующих точек т, £ различных типов снимков (¿), определяется следующим соотношением [6]:
Я
Мк = ^ + Иг,кЛггш1к , (1)
где = (Х$, , 2$) - вектор, определяющий положение точки съемки;
Л, (а,- ю, к,-) - матрица, определяющая угловое положение носителя в момент съемки;
гщ,к {(хт,к ~ хо^ (Ут,-,к - Уo), -/} - вектор измерений на снимке;
х0, у0, -/ - элементы внутреннего ориентирования.
И, к - коэффициент, зависящий от положения точки на снимке и определяющий масштаб фотограмметрических построений.
Таким образом, при построении модели необходимо знать элементы внешнего и внутреннего ориентирования снимков, измерить координаты точек хт, к, у, к
на перекрывающихся снимках и определить коэффициент И, к.
Отметим, что на всех снимках измеряются координаты точек (пикселей) в системе координат снимка, которая определяется внутренними элементами ориентирования снимка. В общем случае все типы изображений можно рассматривать как центральную проекцию местности на плоскость (кадровый снимок) или линию (сканерный снимок) [6]. Каждый снимок, строка изображения определяются элементами внутреннего и внешнего ориентирования.
Это соотношение справедливо для всех типов оптической съемки (при центральном проектировании) и для лазерной воздушной или наземной съемки. Действительно, информацию, получаемую лазерной съемочной системой, мож-
но представить в виде снимка или строки (в случае воздушной лазерной съемки) [7, 8], как показано на рис. 1.
Основными уравнениями, устанавливающими связь координат точек снимка и местности, использующимися для обработки снимков, полученных с центральным проектированием, являются уравнения коллинеарности векторов гт k
и Ятк [7]:
x XQ —
-/
у - У0 — - /
al(X - Xs) + - Ys) + д(2 - 2Б)
аз(X - Xs) + bз(Y - Ys) + 2 - 2б) а2( X - Xs) + b2(Y - Ys) + с2( 2 - 2б)
аз(X - Xs) + Ьз^ - Ys) + сз(г - 2Б)
(2)
где Xs, Ys, 2^ - координаты точки съемки;
а, Ь, с - направляющие косинусы угловых элементов ориентирования строки а, ю, к;
х, у - координаты точек на снимке; X, Y, 2 - координаты точек местности; х0, у0, / - элементы внутреннего ориентирования снимков. Измерив координаты точек на паре перекрывающихся снимков, можно определить множитель N1 к для соответствующей точки при известных элементах внешнего и внутреннего ориентирования снимков. Учитывая, что практически элементы ориентирования снимков известны, можно вычислить пространственные координаты точек для всех точек, измеренных на перекрывающихся снимках. В случае лазерной съемки вектор Я известен и проблема заключается в распознавании точек, то есть принадлежности ее к тому или иному объекту.
В результате по снимкам можно определить пространственные координаты точек, кроме того, при использовании цифровых снимков можно определить яркости элементов изображения, соответствующих точек, которые при построении зБ моделей можно использовать при формировании текстуры.
Для формирования изображения точек пространства на экране нужно использовать формулы связи координат точек объекта в пространстве и объекта в системе координат экранного изображения.
Необходимые преобразования могут быть описаны матрицей следующего вида [9]:
А —
а11 а12 а1з
а21 а22 а2з е
аз1 аз2 аз2 /
х у 2 Б
(з)
Матрица преобразования А получается путем перемножения матриц поворота Ар,Ад,,Лу на углы ф, а, у: сдвига на вектор -Х0, -Уо, -20 и масштабного
преобразования:
Л
м
р 0 0 0
0 д 0 0
0 0 г 0
0 0 0 1
(4)
где р, д, г, d, е,/- коэффициенты масштабного преобразования.
Тогда преобразование, описывающее связь координат точек объекта X, У, 2 и координат точек в пространственной экранной системе координат, можно записать в виде [9]:
[ хуг1] = [ ХТ21] Л .
(5)
Таким образом, все координатные преобразования определяются соотношениями (1) и (5).
Представление всей информации, получаемой по снимкам в виде одной математической модели, позволит унифицировать процесс обработки данных, получаемых по снимкам различного типа.
При переносе на поверхность объекта обычно используется метод прямого проектирования, при этом для каждого элемента изображения поверхности модели вписываются координаты соответствующих точек местности, и яркость пространственного элемента присваивается элементу 3Б модели [1, 3, 4].
Процесс построения 3Б модели сводится к следующему. Выполняется сте-реофотограмметрическая или лазерная съемка объекта. По снимкам измеряются плоские координаты точек изображений объекта и вычисляются пространственные координаты точек объекта (X, У, 2), которые являются точками пространственной модели местности. Каждой точке объекта принадлежит элемент изображения. Яркость элемента и изображения для точки местности (пикселя на местности) может быть взята из любого снимка, принадлежащего совокупности перекрывающихся снимков в области соответствующей точки. Затем координаты точек перевычисляются в систему координат экранной плоскости х, у, г, а яркости элемента с координатами х, у присваивается определенная ранее яркость точки на модели местности с координатами Х, У, 2.
Для построения измерительной реалистической модели нужно выполнять большое количество измерений характерных точек, которые должны быть, кроме того, опознаны на снимках, из которых берется текстура изображения.
Кроме координатных преобразований, при построении 3Б моделей необходимо сформировать реальную текстуру изображения.
В большинстве современных технологий ориентирование текстуры относительно поверхности объекта выполняется путем идентификации точек изображения на текстуре и зБ модели, а затем определяются коэффициенты аффинного преобразования, и координаты элементов текстуры пересчитываются в соответствующие элементы зБ модели. Таким образом, текстура лишь приблизительно соответствует объекту и не является измерительной. Кроме того, для построения текстуры стандартной аэросъемки (с перекрытием 40 и 60 %) недостаточно, поэтому для создания реалистической модели требуются дополнительные снимки. В случае локальных объектов это могут быть съемки обычной цифровой камерой и т. п.
Тем не менее, построение измерительной реалистической модели отдельные этапы которой выполняются вручную, важно как само по себе, так и как средство для исследования новой автоматической технологии построения измерительных реалистических моделей.
На рис. 2 и з показаны результаты построения измерительной реалистической зБ модели гостиницы и ее интерьера, полученных традиционным методом [1, 4, 5].
Понятно, что создание такой модели требует больших трудовых и временных затрат.
Анализируя процесс построений реалистических измерительных моделей, можно выделить процессы, которые необходимо автоматизировать для того, чтобы построение таких моделей стало экономически эффективным.
Рис. 2. зБ модель гостиницы
Рис. 3. 3D модель гостиницы (интерьер)
Во-первых, нужно полностью автоматически выполнять измерения всех соответствующих точек на снимках для построения суперплотной модели местности. Во вторых, необходимо создание реалистической текстуры для измерительных 3D моделей. Суперплотная модель - это модель, содержащая все точки, определяемые разрешающей способностью снимков (для цифровых снимков - все элементы изображения). Современные технологии приближаются к решению первой проблемы. Разработано несколько алгоритмов, почти реализующих построение суперплотных моделей. Это так называемые модели Global Matching и Semi Global Matching [10-13]. Однако при практической реализации возникает достаточно много нерешенных проблем.
Суперплотные модели позволяют в принципе решить проблему построения реалистических текстур, присваивая каждому элементу реальное значение яркости. Для устранения «мертвых зон» в 3D моделях получают цифровые снимки с большим перекрытием с разных точек съемки, что позволяет покрыть естественной текстурой все участки модели [14, 15]. Съемка выполняется в основном с аэроносителей, а в последнее время - в основном с беспилотных летательных аппаратов. Однако следует заметить, что для локальных объектов нельзя полностью отказаться от наземной съемки цифровым аппаратом.
Беглый анализ ситуации, сложившейся в области создания измерительных реалистичных 3D моделей, позволяет сделать следующие выводы:
1. Для отработки методики и технологии автоматического построения измерительных реалистических моделей необходимо создать традиционными ме-
тодами полнофункциональные эталонные 3D модели для тестирования методов и алгоритмов.
2. Необходимо определить единую систему координат, в которой выполняется построение 3D модели и в которой определены системы координат исходных данных всех типов, промежуточные системы координат, в которых выполняются вычисления, и связанную с этими системами систему координат экранной плоскости. То есть, должны использоваться унифицированные системы координат, чтобы модель могла быть дополнена данными различных измерений.
3. Формулы вычисления пространственных координат по снимкам также могут быть унифицированы. Тем более, что существует единый алгоритм для определения элементов внешнего ориентирования снимков для различных типов снимков. Таким образом, наиболее важными является разработка эффективных алгоритмов идентификации соответствующих точек снимков, а также идентификации точек лазерного сканирования и точек на снимках.
4. Программный продукт для построения таких моделей должен представлять собой фотограмметрический комплекс, работающий на основе единого подхода к обработке данных. Отдельные вопросы, связанные с разработкой такого комплекса программ, выполняются в СГУГиТ. Некоторые результаты приведены в работах [16-19].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Гук А. П., Лазерко М. М. Разработка методик создания 3D моделей по аэрокосмическим снимкам высокого и сверхвысокого разрешения и другим данным дистанционного зондирования // Изв. вузов. Геодезия и аэрофотосъемка. - 2011. - № 2. - С. 32-34.
2. Лазерко М. М. Анализ современных средств для создания трехмерных моделей по различным данным // ГЕО-Сибирь-2008. IV Междунар. науч. конгр. : сб. материалов в 5 т. (Новосибирск, 22-24 апреля 2008 г.). - Новосибирск : СГГА, 2008. Т. 3, ч. 1. - С. 122-126.
3. Лазерко М. М. Использование программного продукта Google SketchUp для быстрого формирования трехмерной модели // Геодезия и картография. - 2010. - № 2. - С. 25-27.
4. Комиссаров А. В. Лазерное сканирование: обобщение существующей практики // Инженерные изыскания. - 2013. - № 2. - С. 22-25.
5. Лазерко М. М. Оценка геометрической точности 3D моделей, построенных по различным типам данных в программных продуктах 3dsMAX и Google SketchUp // ГЕ0-Сибирь-2010. VI Междунар. науч. конгр. : сб. материалов в 6 т. (Новосибирск, 19-29 апреля 2010 г.). - Новосибирск : СГГА, 2010. Т. 4, ч. 1. - С. 51-54.
6. Джоел ван Кроненброк, Лазерко М. М. Новые перспективы и проблемы 3D ГИС. От автоматического построения здания до виртуальных городов. Способна ли n-пространст-венная ГИС представлять пространство пользователя? // ГЕ0-Сибирь-2010. VI Междунар. научн. конгр. : Пленарное заседание : сб. материалов (Новосибирск, 19-29 апреля 2010 г.). -Новосибирск : СГГА, 2010. - С. 33-47.
7. Гук А.П. Цифровая фотограмметрическая обработка сканерных изображений: автореферат докторской диссертации. - М., 1991.
8. Лазерко М. М., Шемановская О. А. Моделирование «точечной застройки» трехмерных объектов городской территории по материалам аэрокосмической съемки с использованием проектирования в AUTOCAD // Изв. вузов. Геодезия и аэрофотосъемка. - 2010. - № 1. -С. 20-23.
9. Иванов В. П., Батраков А. С. Трехмерная компьютерная графика; Под ред. Г. М. Полищука. - М. : Д. и С., 1995. - 224 с.
10. Hirschmuller H., Schrstein D. Evaluation of stereo matching costs on images with radiometrics differences // Trans. On Pattern Analysis and Machine Intelligence. - 2009. - V. 31 (9). -P.1582-1599.
11. Hirschmuller H. Accurate and efficient stereo processing by semi-global matching and mutual information // IEEE Conf. on Computer Vision and Pattern Recognition. San Diego, California, USA, 2005, V. 2. - P. 807-814.
12. Горбачев В. А. Плотная реконструкция рельефа местности на основе модифицированного алгоритма полуглобального стереоотождествления // Известия РАН. Теория и системы управления. - 2014. - № 2. - С. 66-77.
13. Чибуничев А. Г., Велижев А. Б. Автоматическое определение взаимной ориентации трехмерных моделей объектов, полученных по результатам лазерного сканирования // Изв. вузов. Геодезия и аэрофотосъемка. - 2007. - № 1. - С. 127-134.
14. Ahokas E., Kaartinen H., Hyyppa J. A quality assessment of repeated airborne laser scanner observations // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - Istanbul, 2004. - Vol. XXXV. - Part XXX, CD-ROM.
15. Rothermel M., Wenzel K., Fritsch D., Haala N. Photogrammetric surface reconstruction from
th th
imagery. Proceedings Low Cost 3D Workshop 2012, 04th- 05 Decembre 2012, Berlin [Электронный ресурс]. - Режим доступа : http://www.ifp.uni-stuttgart.de/publications/software/sure/index.en.html
16. Комиссаров А. В., Антипов И. Т., Зятькова Л. К. Общие принципы формирования виртуальных снимков по данным наземной лазерной съемки // Изв. вузов. Геодезия и аэрофотосъемка. - 2012. - № 2/1. - С. 45-49.
17. Хлебникова Т. А. Технология построения измерительных трехмерных видеосцен по данным ЦММ: проблемы и пути решения // Изв. вузов. Геодезия и аэрофотосъемка. -2008. - № 2. - С. 44-46.
18. Гук А. П. Развитие фотограмметрических технологий на основе имманентных свойств цифровых снимков // Геодезия и картография. - 2007. - № 11. - С. 51-56.
19. Лазерко М. М. Совместная обработка материалов аэрокосмических и наземных съемок для создания 3D моделей городских территорий: автореферат диссертации на соискание ученой степени кандидата технических наук. - Новосибирск : СГГА, 2001. - 20 с.
Получено 03.11.2015
© А. П. Гук, М. М. Шляхова, 2015
