CC BY
81
Вычислительные технологии
Том 21, № 1, 2016
Спутниковая радарная интерферометрия: информационно-вычислительные аспекты
Ю.И. Шокин1, В. П. Потапов2'*, С.Е. Попов2, О. Л. Гиниятуллинл2
1 Институт вычислительных технологий СО РАН, Новосибирск, Россия 2Институт вычислительных технологий СО РАН, Кемеровский филиал, Россия *Контактный e-mail: kembict@gmail.com
Рассмотрены основные методы обработки радарных снимков, получаемых с помощью космических аппаратов, программные комплексы для их анализа, их достоинства и недостатки. Работа создаваемой информационно-вычислительной системы геодинамического мониторинга проиллюстрирована на примере Кузбасского угольного бассейна. Описано применение методов морфологического анализа топографических поверхностей при обработке радарных снимков, позволяющих получать дополнительную информацию о динамике природных и техногенных процессов. Рассмотрена схема потоковой обработки изображений с использованием методов BIG DATA, которая существенно сокращает время вычислений на отдельных этапах анализа снимков и позволяет создавать гибкие распределенные вычислительные комплексы для решения различных задач.
Ключевые слова: радарная интерферометрия, база данных, геоинформационная система, облачный сервис, пакет обработки, кластерная система, BIG DATA.
Введение
Данные дистанционного зондирования Земли получили широкое распространение практически во всех отраслях как науки, так и промышленности, помогая решению самых разнообразных задач. В то же время радарные снимки и их тематическая обработка до сих пор являются малоисследованной областью в нашей стране, что обусловлено следующим рядом причин:
— отсутствием отечественных космических аппаратов, способных проводить радарную съемку (планируется запуск системы "Кондор", который отложен на 2017 г.);
— высокой стоимостью и сложностью обработки радарных снимков;
— отсутствием в достаточном количестве высококлассных специалистов для обработки и анализа радарных снимков.
В настоящей работе рассмотрены информационно-вычислительные аспекты обработки радарной информации.
1. Методы радарной интерферометрии
Методам обработки радарной информации посвящено большое количество публикаций, наиболее фундаментальными из которых являются [1-4]. В настоящей работе рассмот-
© ИВТ СО РАН, 2016
рено создание информационно-вычислительных систем с использованием метода радиолокационной интерферометрии, с помощью которого строятся высотные модели на основе расчета разности фаз нескольких радарных снимков на одну территорию [5].
Метод радарной интерферометрии имеет много достоинств, среди них важнейшим является стоимость данных, так как для регулярных площадных оценок необходим большой объем исходной информации. Кроме того, радарная съемка по сравнению с оптико-электронной обладает такими преимуществами, как [6]:
1) независимость от погодных условий и времени суток;
2) высокая точность данных при довольно низкой стоимости;
3) возможность построения ЦМР, близких к реальным высотам местности, а не цифровых моделей поверхности (ЦМП);
4) возможность построения цифровых моделей рельефа без использования наземных контрольных точек;
5) решение задач динамической оценки смещений различных топографических поверхностей.
Этапы интерферометрической обработки радарных снимков представлены на рис. 1.
Для реализации всего цикла обработки радарных снимков существует ряд программных комплексов, как коммерческих, так и свободно распространяемых, каждый из которых имеет свои преимущества и недостатки. Так, коммерческие пакеты Sarscape (Sarmap) и Erdas Imagine (Hexagon Geospatial) работают практически со всеми типами космических аппаратов, они более функциональны и обеспечивают весь цикл обработки информации. Последние их версии выпущены в 2015 г. Среди свободно распространяемых пакетов можно отметить пакеты Next ESA SAR Toolbox и GMTSAR. Однако
Рис. 1. Этапы интерферометрической обработки снимков
по функциональности и удобству использования они значительно уступают упомянутым выше коммерческим пакетам.
Отметим, что для обработки радарных снимков необходимы продолжительное время вычислений и высокая квалификация пользователя, так как каждый новый объект требует знания специфики предметной области. Особенностью процессов обработки радарной информации также является то, что на промежуточных этапах расчетов генерируются значительные объемы вспомогательной информации, которая затем используется для различных целей.
2. Создание систем геодинамического мониторинга
В горнопромышленных регионах страны вследствие интенсивной добычи полезных ископаемых существенно нарушаются природные ландшафты. Горизонтальные и вертикальные смещения поверхности, затрагивающие нередко территории городов и поселков, вызывают серьезные осложнения в эксплуатации жилищного фонда, промышленных зданий и сооружений. Это приводит к необходимости создания систем мониторинга геодинамической безопасности, в которых регламентированно осуществляются сбор, хранение, обработка и анализ информации о происходящих явлениях для принятия соответствующих решений. В этом направлении как в нашей стране, так и за рубежом проводится большое количество работ, в том числе и с помощью разнообразных систем дистанционного зондирования Земли, в которых радарная съемка применяется пока лишь эпизодически [7].
На протяжении многих лет в ИВТ СО РАН ведутся работы по созданию информационно-вычислительной системы геодинамического мониторинга, основанной на использовании методов радарной интерферометрии. В настоящей работе мы приводим некоторые результаты, полученные в последнее время.
В качестве базовой области исследования нами выбран Кузнецкий угольный бассейн, что объясняется несколькими причинами. Здесь происходят сложные геодинамические процессы, вызванные высокой сейсмичностью региона (последнее землетрясение произошло в 2013 г.). Его территория испытывает большие техногенные нагрузки, что связано со значительными объемами перемещения горных масс и промышленными взрывами до 250 000 т взрываемых веществ ежегодно.
Для оценки площадных изменений геодинамического состояния дневной поверхности были использованы системы дистанционного зондирования Земли с применением радарной интерферометрии. Получены радарные снимки с космических аппаратов ALOS, SKY-MED и мультиспектральные Landsat 7-8 (более 50 снимков) наиболее сейсмически активной зоны региона за 2007-2014 гг., на их основе сформирована необходимая база данных и выбраны адекватные методы расчета геодинамических характеристик. Это позволило создать прототип интегрированной информационно-вычислительной системы для решения задач геодинамического мониторинга горнопромышленного региона, общая схема которой приведена на рис. 2.
Система уже на самых ранних этапах разработки создавалась как распределенная с использованием облачных сервисов типа DAAS и SAAS, что позволило сконцентрироваться на процессах обработки геоданных и анализе их особенностей для получения новых данных о процессах, происходящих в горном массиве. Поскольку возможности классических методов интерферометрической и дифференциальной интерферометри-ческой обработки данных при измерении рельефа и смещений отражающей поверхности
Рис. 2. Общая схема информационно-вычислительной системы геодинамического мониторинга на основе радарных данных дистанционного зондирования
существенно ограничены эффектами пространственной и временной декорреляции [5], расчеты проводились традиционным методом с использованием программных комплексов Sarscape и NEXT ESA SAR TOOLBOX (рис. 3). После накопления достаточного количества снимков произведены расчеты методом малых базовых линий SBAS [8], основанные на совместном использовании длинных временных серий изображений, которые совпали с ранее выполненными. Вся обработка осуществлялась в рамках создания пилотного экземпляра системы, поэтому удалось в определенной мере автоматизировать всю последовательность расчетов, что существенно сократило время вычислений и позволило разработать методы постпроцессорной обработки радарных снимков с использованием морфологического анализа. На рис. 3 и 4 показаны результаты расчета интерферограммы и карта вертикальных смещений в исследуемом районе Кузбасса с использованием снимков SKY-MED в 2013 г.
При разработке системы основное внимание было направлено на создание методов постпроцессорной обработки снимков и анализа полученных данных для уточнения характеристик геодинамического состояния дневной поверхности. Для анализа данных о смещениях поверхности использовались морфологический и фрактальный методы обработки изображений, которые позволяют отследить изменение состояния поверхности на основе таких интегральных характеристик, как поле линейных элементов поверхности (линеаментов), распределение его плотности и фрактальная размерность изображения. Именно по их изменению можно судить о динамике процессов, происходящих в массиве горных пород.
Для расчета поля линеаментов опробовано несколько алгоритмов [9], наиболее удачным из них оказался алгоритм Хаффа, который был программно реализован аналогично тому, как это предложено в работе [10]. На этой методической основе проведен цикл расчетов (около 1000), результаты анализа которых позволили сделать выводы о геодинамическом состоянии массива в районе интенсивных горных работ до и после
Рис. 4. Карта вертикальных смещений поверхности, м
произошедшего в Кузбассе землетрясения в 2013 г. Установлено, что до землетрясения изменение поля линеаментов (трещин) происходило за счет общего увеличения их количества, а после землетрясения оно уменьшилось вследствие укрупнения размеров линеаментов. Выводы, сделанные в ходе расчетов, хорошо согласуются с физической картиной произошедших геодинамических событий. Результаты обработки снимков по предложенной методике показаны на рис. 5.
Рис. 5. Изменение среднего количества линеаментов по картам горизонтальных (1) и вертикальных (2) смещений
Рис. 6. Результаты расчетов по оценке скоростей смещений
По полученным на протяжении 2011-2014 гг. данным проведены расчеты с использованием метода постоянных отражателей (PS), позволяющего производить интегральную оценку скоростей смещения поверхности для ограниченного набора пикселей с достаточно сильным устойчивым отраженным сигналом (постоянных рассеивателей), наблюдаемых для большинства территорий с городскими застройками (рис. 6) [7]. Выполненные расчеты позволили осуществить геодинамическое районирование в исследуемом районе с выделением зон, испытывающих техногенное воздействие.
Проводимые на протяжении 2007-2015 гг. численные эксперименты показали возможности спутниковой радарной интерферометрии для решения сложных задач, связанных с оценкой состояния горного массива на больших площадях, и выявили некоторые особенности метода, затрудняющие его применение:
— определенная сложность и трудоемкость обработки радарной информации;
— отсутствие возможности потоковой обработки;
— разнообразие форматов снимков;
— в процессе расчетов генерируется большое количество вспомогательной информации, которая затем не используется, однако требует значительного объема памяти.
Возникшие вопросы необходимо решать уже сегодня, учитывая, что объемы радарной информации постоянно увеличиваются и она становится такой же доступной, как данные с КА Landsat 7-8 [11]. Так, нами начаты исследования по применению современных систем высокоскоростных вычислений для обработки радарных снимков с использованием технологий BIG DATA [12], позволяющих работать с большими массивами неструктурированной информации, к которым относятся и радарные снимки. Как было указано выше, их обработка и анализ носят нетривиальный характер, и поэтому представляется возможным применение высокопроизводительных вычислений, в том числе параллельных. Для решения таких задач применяются средства массово-параллельной обработки алгоритмами MapReduce, программными каркасами и библиотеками проекта Hadoop [13]. Такие средства эффективны в условиях непрерывного распределения по многочисленным узлам обычной вычислительной сети [14, 15].
Для задач радарной интерферометрии можно выделить общую схему вычислений по принципу разделения препроцессинга на ресурсоемкие задачи (параллельные) и задачи, не требующие значительных ресурсов (последовательные). К параллельным задачам можно отнести, например, расчет интерферограммы и когерентности. Они становятся наиболее актуальными, когда речь заходит о современных аппаратах дистанционного зондирования Земли типа Cosmo-SkyMed, Sentinel, снимки c которых имеют большие массивы информации. В этих случаях объем требуемых вычислительных ресурсов может измеряться десятками гигабайт. В связи с этим "локальный" подход к решению задач обработки снимков требует больших объемов оперативной памяти и дискового пространства вычислительной системы, что подтверждается и нашими многочисленными экспериментами c системами на основе Hadoop.
Для обработки радарных спутниковых снимков используются два сценария.
1. Изображения дистанционного зондирования Земли собираются для каждого необходимого участка за определенный промежуток времени, зависящий от применяемого космического аппарата. Обработка изображений происходит по запросу пользователя системы с учетом заданных требований и параметров. Результаты проведенных расчетов сохраняются для быстрого доступа.
2. Изображения дистанционного зондирования Земли поступают в виде потока (примерно одно-два изображения на каждую территорию еженедельно). Проводится их
предварительная обработка, в том числе выявляются изображения, непригодные для дальнейшего анализа (очистка данных). Пользователь системы затем получает доступ как к уже имеющимся результатам, так и к обработанным изображениям с заданными параметрами.
Оба сценария требуют большого дискового пространства (от нескольких терабайт) для хранения исходных и полученных данных. Выполнение отдельной операции по обработке изображения может занимать до нескольких часов на отдельном компьютере. Поэтому для решения задач, связанных с обработкой радарных снимков, нами предложено использовать систему распределенных вычислений на основе Hadoop-технологий, реализуемую в обычной локальной сети. Это позволит отказаться от дорогостоящих систем хранения данных в пользу распределенной файловой системы HDFS, которая является частью проекта Hadoop.
Система HDFS предназначена для хранения больших объемов данных (несколько тера- или петабайт). В ней данные распределяются между большим количеством вычислительных узлов, надежно сохраняются путем резервирования. Кроме того, система обеспечивает быстрый доступ к данным и легкую их масштабируемость путем добавления в кластер дополнительных узлов. Эффективным элементом технологии Hadoop являются модели параллельного программирования MapReduce, которые позволяют выполнять отдельные операции обработки данных параллельно, что приводит к общему снижению длительности вычислительных операций. Данная технология изначально была представлена компанией Google как модель параллельного программирования с использованием вычислительных кластеров, построенных на базе персональных компьютеров, обладающих низкой стоимостью.
Программа, построенная с использованием MapReduce, состоит из двух основных этапов: Map и Reduce. На первом этапе данные разделяются на части и каждая из них обрабатывается на отдельном компьютере. На втором этапе полученные данные собираются вместе для формирования конечного результата. Таким образом, общее время длительности вычислительных операций можно уменьшить, используя один из представленных подходов либо их комбинацию.
1. Радарное изображение разделяется на несколько частей и выполняется операция по его обработке параллельно на нескольких вычислительных устройствах. Затем данные, полученные на каждом из узлов, объединяются для формирования конечного результата (рис. 7).
2. Одновременно проводятся на нескольких компьютерах наиболее затратные по времени операции по обработке изображений с различными параметрами, такие как расчет интерферограммы и компенсация фазы. Этот подход позволяет перейти к анализу результатов обработки изображений без ожидания последовательного выполнения каждой операции (рис. 8).
При реализации схемы обработки радарных снимков средствами Hadoop появляется возможность интегрирования различных систем обработки изображений дистанционного зондирования Земли. Кроме того, можно достаточно быстро создавать гибкие системы по обработке снимков в распределенной среде с помощью уже имеющихся программных средств и систем.
В рамках предлагаемого подхода можно использовать данные промежуточных расчетов, выполненных на различных этапах обработки радарной информации, маршрутизируя соответствующие информационные потоки, организуя их обработку по заданным направлениям. Такая технология легко реализуется в локальных сетях, она позволяет
Рис. 7. Обработка одного изображения
Рис. 8. Одновременная обработка нескольких изображений
наращивать вычислительные мощности, изменяя либо количество компьютеров в сети, либо их характеристики. Также можно выбирать алгоритмы отдельного этапа, например, применяя графические процессоры, сохраняя при этом общий алгоритм обработки данных.
На протяжении 2014-2015 гг. в ИВТ СО РАН проводились эксперименты по реализации отдельных трудоемких этапов расчета радарных снимков с использованием программно-аппаратного комплекса на основе На^ор-кластера в локальной вычислительной сети из десяти компьютеров, которые показали эффективность предлагаемого подхода. Общее время расчетов для этапов формирования интерферограмм и устранения набега фазы при этом уменьшилось в 4-5 раз. Если на отдельном этапе (устранение набега фазы) использовать графический процессор, то время расчета можно уменьшить в десять раз.
Заключение
Анализ современных программных комплексов (коммерческих и свободно распространяемых) позволил выбрать системы, наиболее приемлемые для решения задач, связанных с геодинамическим мониторингом территории. На основе серии расчетов определены особенности формирования информационных потоков для обработки радарных снимков и выполнена их программная реализация. С помощью методов морфологического анализа (расчета линеаментных полей и фрактальной размерности) установлен
ряд закономерностей изменения земной поверхности территорий, подвергающихся сейсмическим и техногенным воздействиям.
Результаты численных экспериментов по обработке радарной информации позволили выделить наиболее сложные и требующие значительных временных затрат этапы. Предложена схема обработки трудоемких стадий вычислительного процесса (расчета интерферограммы и компенсации фазы) с использованием технологий BIG DATA. Рассмотрены практические схемы реализации данной технологии на базе кластеров Hadoop, показавшие ее эффективность при обработке радарных снимков.
Список литературы / References
[1] Processing of synthetic aperture radar images / Ed. H. Maitre. Hoboken, USA: John Willey and Sons, 2008. 389 p.
[2] Richards, M.A., Scheer, J.A., Holm, W.A. Principles of modern radar. Basic principles. Edison, New Jersey: SciTech Publishing, 2010. 924 p.
[3] Hanssen, R.N. Radar interferometry — data interpretation and error analysis. New York, Boston, Dordrecht, London, Moscow: Kluwer Academic Publishers, 2001. 308 p.
[4] Massonnet, D., Souyris, J.-C. Imaging with synthetic aperture radar. EFPL Press, 2008. 280 p.
[5] Верба В.С., Неронский Л.Б., Осипов И.Г., Турок В.Э. Радиолокационные системы землеобзора космического базирования. М.: Радиотехника, 2010. 680 с.
Verba, V.S., Neronskiy, L.B., Osipov, I.G., Turok, V.E. Space-based radar systems for survey the Earth. Moscow: Radiotekhnika, 2010. 680 p. (In Russ.)
[6] Richards, J.A. Remote sensing with Imaging Radar. New York: Springer, 2009. 361 p.
[7] Soergel, U. Radar remote sensing of urban areas. Netherlands: Springer, 2010. 278 p. doi:10.1007/978-90-481-3751-0.
[8] Kampes, B.A. Radar interferometry. Persistent scatterer techniquue. Netherlands: Springer, 2006. 211 p. doi:10.1007/978-1-4020-4723-7.
[9] Chen, C.H. Image processing for remote sensing. New York: CRC Press, 2007. 400 p.
[10] Rahnama, M., Gloaguen, R. TecLines: A MATLAB-based toolbox for tectonic lineament analysis from satellite images and DEMs. Pt 1: Line segment detection and extraction // Remote Sensing. 2014. Vol. 6, No. 7. P. 5938-5958.
[11] Nest ESA SAR Toolbox. User Guide. European Space Agency, 2015. 121 p.
[12] Warden, P. BIG DATA Glossary. Cembridge, 2011. 45 p.
[13] Holmes, A. Hadoop in practice. Second edition. Island: Manning, 2014. 510 p.
[14] Dragievi, S.B. Colloborative geographic information systems. Hershey, Pensilvania: Idea Group Publishing, 2006. 386 p.
[15] Krishnakumar, K., Ganesh Karthikeyan, V. Analysis and performance evaluation of large data sets using Hadoop // Intern. Journal of Research in Advent Technology. 2014. Vol. 2, No. 5. P. 245-250.
Поступила в 'редакцию 16 ноября 2015 г., с доработки — 9 декабря 2015 г.
Satellite radar interferometry: information computer aspects
Shokin, Yuriy I.1, Potapov, Vadim P.2'*, Popov, Semen E.2, Giniyatullina, Olga L.2
1Institute of Computational Technologies SB RAS, Novosibirsk, 630090, Russia 2Institute of Computational Technologies SB RAS, Kemerovo Branch, Russia * Corresponding author: Potapov, Vadim P., e-mail: kembict@gmail.com
The radar interferometry methods for processing of radar images are considered. The basic advantages of radar imagery applied to optoelectronic imagery for solving problems of the Earth surface deformation monitoring are addressed.
The stages for processing of radar images are considered. The most labor-intensive stages in terms of both computation and computation time are highlighted.
The experience of radar imagery usage for estimation of the Earth's surface deformations in the mining areas at the major mining regions is represented. We present the concept of building an information system using radar images as a data for geodynamic monitoring. ALOS satellite imagery, SKY-Med and multispectral satellite images Landsat are used as a data. In created prototype of the system we use cloud services such as DaaS and SaaS, which allows to concentrate on the process of geoprocessing and analysis of their characteristics in order to obtain new data for the processes which occurs in the mountain range. The results of the radar data processing in system which uses SARscape, NEXT ESA SAR TOOLBOX, traditional methods of interferogram calculating and small baseline subset method (SBAS) are represented. Special attention is focused on a method of image post-processing and data analysis, which allows to clarify the characteristics of geodynamic condition of the surface. For this purpose, morphology and fractal image processing techniques are used. It is allowed to track changes in the surface state on the basis of such integral characteristics as the field of linear elements surface, the distribution of its density and fractal dimension of the image.
Application of permanent reflectors allowed producing an integrated assessment of the speed of the surface displacement for a limited set of pixels with a strong sustainable reflected signal.
Numerical experiments show the opportunity of satellite radar interferometry for solving complex problems associated with massif state estimation over a large area. The approach to the implementation of preprocessing technology with Hadoop, which enables the integration of different imaging systems of remote sensing, is suggested.
Keywords: radar interferometry, databases, geographic information systems, cloud services, processing packages, cluster systems, BIG DATA.
Received 16 November 2015 Received in revised form 9 December 2015
© ICT SB RAS, 2016
