CC BY
260
УДК 004.942
Вестник СибГАУ 2014. № 5(57). С. 136-144
ИСПОЛЬЗОВАНИЕ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ПРИ ТРЕХМЕРНОМ МОДЕЛИРОВАНИИ ЕСТЕСТВЕННЫХ ЛАНДШАФТНЫХ СЦЕН
А. А. Ткачева
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
Рассматривается задача построения трехмерной модели естественной ландшафтной сцены на основе данных лазерного сканирования. Требования, предъявляемые к готовому программному продукту, одним из которых является совместимость с ГИС или, по крайней мере, работа с данными дистанционного зондирования Земли, имеющими географическую привязку, обязывает разработчиков в качестве исходных данных использовать данные радарной, лидарной съемки или DTM, DSM-данные различной точности, снимки с космоса, аэрофотосъемку, наземное сканирование и т. п. Все эти технологии позволяют синтезировать фотореалистичные трехмерные модели ландшафтных сцен, а также анимировать объекты в сцене. Это задача затрагивает как области компьютерной графики, так и компьютерного зрения. Реконструкция ландшафтов на основе исходного облака точек данных лазерного сканирования подразделяется на следующие подзадачи: объединение входных данных в единую систему координат, классификацию LIDAR-данных для реконструкции природного ландшафта сцены, трехмерное ландшафтное моделирования (поверхности Земли) и моделирование растений (деревьев и кустарников). Также рассматривается алгоритм классификации исходного облака точек с LIDAR на три категории: деревья и кустарники (лиственная масса), точки поверхности Земли и других объектов (антропологических объектов). Предложено выделить один пространственный признак Е (х), в соответствии с которым и будем относить точки к той или иной категории. Далее описывается визуализация объектов сканирования путем комбинирования L-систем и алгоритма Space Colonization на языке Python, популярного и мощного открытого лицензионного динамического языка. Визуализация выполняется с помощью стандартных инструментов графического редактора Blender. Показано, что использование динамических свойств языка позволяет строить сложные модели.
Ключевые слова: дистанционное зондирование Земли, LIDAR, трехмерное моделирование растительности, алгоритм Space Colonization, L-системы, имитационное моделирование.
Vestnik SibGAU 2014, No. 5(57), P. 136-144
REMOTE SENSING FOR RECONSTRUCTION OF NATURAL LANDSCAPE SCENES
A. A. Tkacheva
Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail:tkacheva@mail .sibsau.ru
In this paper we are going to build the three-dimensional model of the natural scene based on laser scanning data. The complex requirements of plant modeling applications are nowadays supported by high end GIS and remote sensing data gathering methods such as RADAR, LiDAR DTM and DSM data, high resolution satellite data, stereo camera images etc., as well as automated draping technologies for 3D objects. These technologies allow the creation of synthetic and photorealistic 3D landscape visualizations and simulations to display planning alternatives, scenarios and depict clearly their impact on landscape scenery. It is a task that affects both computer graphics and computer vision. The reconstruction of landscape scenes based on the original point clouds from laser scanners is divided into the following subtasks: association of input data into a single coordinate system, LIDAR data classification for reconstruction natural landscape scenes, 3d landscape modeling (the surface of the Еarth), and plant modeling (trees and shrubs). We pose the problem of classification of the original point cloud with LIDAR into three categories: trees and shrubs (woodland), the surface of the ground and other objects (anthropological objects). Highlight one spatial attribute E (x), according to which we will refer to the terms of this or that category. In this work, we present an adaptation of L-systems and Space Colonization algorithm to the Python language, a popular and powerful open-license dynamic language. Visualization of the script is executed by standard tools of the graphical editor Blender. We show that the use of dynamic language properties makes it possible to build complex models.
Keywords: Remote Sensing, LIDAR, three dimensional plant modeling, Space colonization algorithm, L-systems, simulating modeling.
Введение. Системы дистанционного зондирования Земли (ДЗЗ) находят эффективное применение во многих отраслях народного хозяйства: гидрометеорологии, контроле окружающей среды, геологии, сельском и лесном хозяйствах, военной разведке. Однако в исходном виде изображения, формируемые с помощью различных систем ДЗЗ, не могут быть использованы по назначению, поскольку имеют значительные геометрические искажения по отношению к объектам наблюдаемой сцены.
Методы получения данных дистанционного зондирования Земли. На данный момент наиболее популярные методы получения данных для моделирования трехмерных сцен в геоинформационных системах (ГИС) - это лазерное сканирование объектов (ЬЮАЯ-данные) и зондирование Земли с космоса (снимки с искусственных спутников Земли). Таким образом, данные ДЗЗ - это ЬГОАЯ-данные, космические снимки Земли и аэрофотоснимки. Аэрокосмические снимки представляются в виде растровых изображений, поэтому проблематика обработки и интерпретация таких данных тесно связана с цифровой обработкой изображений. Любая система ДЗЗ предусматривает совместное функционирование двух сегментов: орбитального и наземного, общая схема представлена на рис. 1.
Космический (орбитальный) сегмент - это собственно спутник с системой управления пространственного ориентирования, получения информации и передачи данных. Наземный сегмент - в данном случае это центр приема данных дистанционного зондирования Земли [1]. Упрощенную схему системы приема и
обработки данных дистанционного зондирования Земли можно увидеть на рис. 2.
Наземный сегмент обеспечивает управление полетом космических спутников, регулирование режимов работы аппаратуры передачи данных, прием результатов ДЗЗ, их хранение, обработку, распространение и сбор заявок от потребителей.
Несмотря на наличие большого количества преимуществ в использовании данных с космических снимков, существует и ряд ограничений: экономические затраты (необходимость в покупке снимков, архивные снимки в таком случае более доступны), приобретение специализированного программного обеспечения для обработки снимков и их интеграция с ГИС.
Программные продукты, использующиеся при обработке и анализе материалов дистанционного зондирования, разделяются на специальные и универсальные. Коммерческие пакеты программ, как правило, имеют универсальное ядро и настраиваемые на конкретные задачи модули. Специальные программные продукты привязаны к решению узкого класса задач и зачастую впоследствии за их счет наращивается количество модулей, связанных с универсальным ядром коммерческих программных пакетов. Для обработки данных дистанционного зондирования Земли могут использоваться любые программные средства, обеспечивающие достоверность и качество получаемых результатов. Обязательным требованием при выборе программного обеспечения является возможность работать с данными дистанционного зондирования Земли, имеющими географическую привязку.
Рис. 1. Структура системы дистанционного зондирования Земли
Рис. 2. Общая схема системы приема и обработки данных ДЗЗ
Лазерное сканирование Земли. Лидары. Рассмотрим еще один вид дистанционного зондирования Земли - лидар (LIDAR - Light Identification, Detection and Ranging). Это технология получения и обработки информации дистанционного зондирования с помощью активных оптических систем (лазеров), использующих в том числе явления отражения света от поверхности Земли с проведением высокоточных измерений X, Y, Z координат. Лидар изначально использовался в приложениях воздушной лазерной съемки, он является с экономической точки зрения прекрасной альтернативой традиционной съемке с использованием фотограмметрической обработки данных. Данные лидарной съемки представляют собой набор данных, содержащих облака точек, которые могут управляться, отображаться, анализироваться и совместно использоваться с помощью ГИС. Характерной особенностью скановых изображений, формируемых в процессе полета спутника, является изменение по сложным законам степени перекрытия сканов, которая зависит от многих факторов: параметров орбиты и углов ориентации спутника; режимов работы сканера (маневры спутника и программное отклонение поля зрения датчика); рельефа местности и др. Действие этих факторов приводит к нарушению структуры изображения в виде геометрических разрывов объектов наблюдаемой сцены вдоль линии соприкасания ска-
нов. В связи с этим остро стоит проблема получения из отдельных перекрывающихся сканов единого непрерывного изображения в заданной картографической проекции. В данной статье в качестве исходных данных рассматриваются LIDAR-данные. Основными преимуществами использования облаков точек является относительная дешевизна и оперативность их получения, а также высокая степень детализации. Лазерная съемка с наземных источников TLIDAR (Terrestrial LIDAR) имеет несколько недостатков, которых лишена LIDAR-съемка с воздуха. Это прежде всего сбор информации в «поле», требующий огромных временных и экономических затрат, а также труднодоступность некоторых участков территории. Рассмотрим основной принцип работы воздушного лидара, схематично изображенный на рис. 3.
Излучатель - полупроводниковый лазер ближнего инфракрасного диапазона, работающий в импульсном режиме. Для каждого излученного импульса регистрируется время, затраченное на распространение от источника до объекта, вызвавшего отражение, и обратно к приемнику - наклонная дальность. Также для каждого излученного импульса регистрируется текущее значение угла отклонения сканирующего элемента (зеркала, призмы, оптического клина). Величина этого угла позволяет однозначно определить направление распространения зондирующего луча (линию
визирования) в системе координат лидара, которая «жестко» связана со строительными осями сканерно-го блока лидара. В свою очередь, положение и ориентация системы координат лидара в геодезической (или географической) системе координат определяются благодаря присутствию на борту в составе лидара носителя навигационного комплекса. Он обеспечивает непрерывное определение трех пространственных координат положения сканерного блока X, Y, Z и трех углов его ориентации ю, ф, к. Такой набор шести параметров пространственного положения и угловой ориентации в фотограмметрии называется элементами внешнего ориентирования. Работа бортового навигационного комплекса основана на взаимодействии приемника спутниковой системы GPS и инерциаль-ной системы [2].
Рис. 3. Принцип работы воздушного лидара
Принципы работы с LIDAR-данными. Перейдем к рассмотрению принципов работы с LIDAR-данными. Получение трехмерных модельных сцен на основе данных лазерного сканирования - задача, решение которой затрагивает как области компьютерной графики, так и компьютерного зрения. Задача реконструкции ландшафтных сцен на основе исходного облака точек с лазерных сканеров разбивается на следующие подзадачи:
- камеральная обработка - объединение исходных данных в единую систему координат;
- классификация точек на точки земли, леса (точки лиственной массы, точки стволов деревьев) и точки антропологических объектов;
- восстановление ландшафта - поверхности земли;
- моделирование лиственной массы - деревьев и кустарников.
Для получения достаточного количества информации лазеру необходимо дважды просканировать один и тот же участок под различными углами, соответственно, возникает задача объединения полученных двух облаков точек в единое облако с новой системой координат. Для решения данной задачи использовался существующий инструментарий Envi LIDAR, демо-версия которого бесплатно предоставляется разработ-
чиками по запросу и позволяет пользователю также извлекать высотную информацию из облака точек данных лазерного сканирования.
При предварительной обработке полученного облака точек в единой системе координат будем учитывать следующие характеристики: высота каждой точки в облаке, интенсивность (плотность точек) и геометрическая информация фрагмента облака. Отметим, при нескольких проходах под различными углами исходные облака точек могут содержать как точки земли, так и самого дерева, при плотном же лесном покрове лазер «не достает» до земли и все точки относятся к кроне и при наличии антропогенных объектов часть точек также не относится к лиственной массе (рис. 4).
Рассмотрим классификацию исходного облака точек. Поставим задачу классификации исходного облака точек с ЬГОАЯ на три категории: деревья и кустарники (лесная масса), поверхность земли и иные объекты (антропологические объекты). Существующие алгоритмы классификации в большинстве своем основаны на использование таких признаков, как высота точек, геометрические характеристики и информация с текстурных карт [3-6].
Выделим один пространственный признак Е(х), по которому будем относить точки к той или иной категории. Наложим двухмерную сетку О (20*20 м) на исходное облако точек (рис. 5), в каждой клетке с располагается некоторое множество пространственных точек Р(с), которое в свою очередь разобьём на множество горизонтальных слоев Ь(с). В таком случае фрагмент поверхности земли 1^пиип<1 из всего множества Ь(с) для всех с должен иметь наименьшую высоту в данной клетке с двухмерной сетки О, так как предполагаем, что точки ландшафта земли - это точки с наименьшей высотой. Тогда все остальные фрагменты 1Гее отнесем к лиственной массе. Однако не всегда фрагменты с наименьшей высотой относятся к точкам поверхности земли, возможно лазер «не пробил» плотную лиственную массу и не «дошел» до нее. Введем величину Еа, где каждому фрагменту Ь(с) сопоставим:
Ed ( xi ) =
Xl lground ' Xl ^ Xz<
P, Xl = ltree ' Xl = Xzero ' 0,
(1)
где XI - обозначение фрагмента I; хего - фрагмент с наименьшей высотой среди всего множества Ь фрагментов слоя Ь(с) для каждой клетки с.
Далее, для того чтобы классифицировать объекты антропологической природы, введем величину Е^
Eg( X) =
e(l)
Y х max(1 - — ,0), x = lbuiMmg,
Y х min(-— ,1), x = lground ' 0, Xl = ltree '
(2)
где с - параметр, подобранный эмпирически, равен 6 м [7]; е(1) - высота между соседними слоями клетки с.
Рис. 5. Разбиение исходного облака точек на множество слоев L
Затем необходимо учесть соседство пары клеток с1 и с2 во всей сетке О, подсчитав величину Е, (х/1, х/2), на основе этих пар элементов всего множества слоев Ь строим случайное марковское поле:
Е(х) = Х(Ей(хг) + Е&(хг)) + ц X Е(хк,х2), (3)
/еЬ
где N - множество всех пар (х/1, х/2) и х/1^х/2.
Задача минимизация решалась методом разреза графов, итерационное расширение областей, относящихся к различным категориям, происходило по критерию расстояния между различными фрагментами, небольшие области не учитывались и отбрасывались. Предполагалось, что это ошибочные точки, появившиеся в исходном облаке данных после работы алгоритма совмещения нескольких облаков точек в единую систему координат. Итогом работы является три подмножества облаков точек земли, растительности и антропогенных объектов.
Далее подмножество точек растительной массы необходимо разбить на отдельные объекты - деревья. Для этого из всего подмножества слоев точек растительности выбирается слой с наибольшим количеством точек. Этот слой необходимо сегментировать на отдельные области и найти центр масс данных областей, координата 2 которого является координатой корня дерева, координаты X и У - координаты точек земли для данной клетки с сетки О. Для отдельно стоящих деревьев данная задача решается однозначно и не вызывает сложностей, необходимо лишь установить максимальный порог, по которому и будет определяться привязка точки к определенному сегменту точек (рис. 6).
Однако при перекрытии крон деревьев разбиение множества точек выбранного слоя Ь - нетривиальная задача (рис. 7).
Исходное облако точек разбивается на кластеры по методу ближайшего соседа с использованием евклидовой метрики. Для того чтобы определить новую точку к кластеру, вычислется статистическая величина
Я (формула (4)) - сравнивается усредненное расстояние между точками Б с величиной ожидаемого расстояния Бгап:
R =
D
D„
(4)
где Б - евклидово расстояние между соседними точками, деленное на общее количество точек N.
По статистике величина Я принимает значения близкие к 2,17. Величина Огап вычисляется по формуле (5):
DDran
1
2-' N
(5)
где N/A - плотность точек некоторой окрестности A. На рис. 8 представлено облако точек для одного объекта.
После того как получены отдельные облака точек для каждого объекта, происходит его визуализация в трехмерном пространстве. Визуализация скрипта выполнена средствами графического редактора Blender -открытое программное обеспечение. Основная геометрия дерева: процесс ветвления осуществлялся по алгоритму Space Colonization [8-10], стохастические L-системы использовались на конечных итерациях (дорисовка мелких ветвей) перед наложением текстур на объект [11-14]. На рис. 9 представлено окно редактирования моделирования объекта в редакторе Blender. Все представленные ниже результаты выполнены с помощью динамического языка программирования Python (рис. 8-10).
Далее на полученную трехмерную модель накладываются текстуры коры и листьев. Модель ландшафтной сцены изображена на рис. 10.
Заключение. Построенные в соответствии с изложенным методом трехмерные ландшафтные сцены являются реалистичными и не требуют больших вычислительных затрат.
Рис. 6. Слой с максимальным количеством точек для отдельно стоящего дерева
Рис. 8. Исходное облако точек на основе данных лазерного сканирования: а, б, в - данные, полученные с наземного лазерного сканера под соответствующими углами (проекции) Р1, Р2, Р3; г - полученное облако точек в единой системе координат
Рис. 9. Моделирование дерева в Blender с использованием Python API
Рис. 10. Моделирование ландшафтных сцен: а - трехмерное облако точек; б - полученная модель ландшафта
Таким образом, мы рассмотрели виды дистанционного зондирования Земли, в качестве исходных данных использовались данные лидарной съемки, приведен алгоритм классификации исходного облака точек на три категории: лиственная масса, точки поверхности ландшафта и антропогенные объекты. Далее полученное облако точек, в свою очередь, разделялось на подмножества точек отдельного дерева и эти данные использовались для детального моделирования основной геометрии дерева с использованием комбинированного алгоритма Space Colonization и Z-систем.
Библиографические ссылки
1. Токарева О. С. Обработка и интерпретация данных дистанционного зондирования Земли : учеб. пособие. Томск : Изд-во Томского политехн. ун-та, 2010. 148 с.
2. Медведев Е. М., Данилин И. М., Мельников С. Р. Лазерная локация Земли и леса : учеб. пособие. М. : Геолидар, Геокосмос ; Красноярск : Ин-т леса им. В. Н. Сукачева СО РАН, 2007. 230 с.
3. Verma V., Kumar R., Hsu S. 3D building detection and modeling from aerial lidar data // CVPR. 2006. P. 2213-2220.
4. Lafarge F., Mallet C. Building large urban environments from unstructured point data // ICCV. 2011. P. 1068-1075.
5. Toshev A., Mordohai P., Taskar B. Detecting and parsing architecture at city scale from range data // CVPR. 2010. P. 398-405.
6. Zhou Q.-Y., Neumann U. A streaming framework for seamless building reconstruction from large-scale aerial lidar data // CVPR. 2009. P. 2759-2766.
7. Texture-lobes for tree modelling / Y. Livny [et al.] // ACM SIGGRAPH. 2011. Article 53. P. 1-10.
8. Favorskaya M., Tkacheva A. Rendering of wind effects in 3D landscape scenes // Procedia Computer Scienes. 2013. Vol. 22. P. 1229-1238.
9. Simulating crowds based on a space colonization algorithm / A. de Lima Bicho [et al.] // Computers and Graphics. 2012. № 36. P. 70-79.
10. Runions A., Lane P. Modeling trees with a space colonization algorithm // Eurographics Workshop on Natural Phenomena. 2007. P. 63-70.
11. Ткачева А. А. Применение алгоритма Space Colonization при трехмерном моделировании сложных природных объектов // Вестник СибГАУ. 2014. Вып. 1 (53). C. 85-91.
12. Prusinkiewicz P., Lindenmayer A. The algorithmic beauty of plants. NewYork : Springer-Verlag, 1990. 256 p.
13. Interactive procedural modeling of trees on a tablet / S. Longay [et al.] // Proceedings of the Eurographics Symposium on Sketch-Based Interfaces and Modeling. 2012. P. 107-120.
14. L-Py: an L-System simulation framework for modeling plant development based on a dynamic language / F. Boudon [et al.] // Frontiers in technical advances in plant science. 2012. P. 1-20.
References
1. Tokareva O. S. Obrabotka i interpretatsija dannykh distantsionnogo zondirovanija Zemli [Processing and interpretation of remote sensing data]. Tomsk, Tomsk Polytechnic University Publ., 2010, 148 p.
2. Medvedev E. M., Danilin I. M., Melnikov S. R. Lazernaja lokats ija Zemli i lesa [Laser location of land and forests]. Moscow, Geolidar, Geokosmos; Krasno-jarsk, Institute of forest named after V. N. Sukachev Publ., 2007, 230 p.
3. Verma V., Kumar R., Hsu S. 3D building detection and modeling from aerial lidar data. CVPR. 2006, vol. 2, p. 2213-2220.
4. Lafarge F., Mallet C. Building large urban environments from unstructured point data. ICCV. 2011, p. 1068 -1075.
BecmnuK Cu6FAY 2014. № 5(57)
5. Toshev A., Mordohai P., Taskar B. Detecting and parsing architecture at city scale from range data, CVPR. 2010, p. 398-405.
6. Zhou Q.-Y., Neumann U. A streaming framework for seamless building reconstruction from large-scale aerial lidar data. CVPR. 2009, p. 2759-2766.
7. Livny Y., Pirk S., Cheng Z., Yan F., Deussen O., Cohen-Or D., Chen B., Texture-lobes for tree modeling. ACMSIGGRAPH. 2011, article 53, p. 1-10.
8. Favorskaya M., Tkacheva A. Rendering of wind effects in 3D landscape scenes. Procedia Computer Scienes. 2013, vol. 22, p. 1229-1238.
9. de Lima Bicho A., Rodrigues R., Musse S., Jung C., Paravisi M. Simulating crowds based on a space colonization algorithm. Computers and Graphics. 2012, № 36, p. 70-79.
10. Runions A., Lane P. Modeling trees with a space colonization algorithm. Eurographics Workshop on Natural Phenomena. 2007, p. 63-70.
11. Tkacheva A. A. [Application Space Colonization algorithm in three-dimensional modeling of complex natural objects]. Vestnik SibGAU. 2014, no.1 (53), p. 85-91 (In Russ.).
12. Prusinkiewicz P., Lindenmayer A. The algorithmic beauty of plants. NewYork, Springer-Verlag, 1990, 256 p.
13. Longay S., Runions A., Boudon F., Prusinkiewicz P. TreeSketch: Interactive procedural modeling of trees on a tablet. Proceedings of the Eurographics Symposium on Sketch-Based Interfaces and Modeling. 2012, p. 107-120.
14. Boudon F., Pradal C., Cokelaer T., Prusinkiewicz P., Godin C. L-Py: an L-System simulation framework for modeling plant development based on a dynamic language. Frontiers in technical advances in plant science. 2012, p. 1-20.
© TraneBa A. A., 2014
