CC BY
72
УДК 528.852
ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ В ОБРАБОТКЕ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
Алексей Александрович Бучнев
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, старший научный сотрудник лаборатории обработки изображений, тел. (383)333-73-32, e-mail: baa@ooi.sscc.ru
Павел Алексеевич Ким
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, старший научный сотрудник лаборатории обработки изображений, тел. (383)333-73-32, e-mail: kim@ooi.sscc.ru
Валерий Павлович Пяткин
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, зав. лабораторией обработки изображений, тел. (383)333-73-32, e-mail: pvp@ooi.sscc.ru
Рассматривается макет Web-сервиса по выделению аномальных (линейных и кольцевых) структур на космических изображениях, который решает новую задачу предоставления услуг обработки данных дистанционного зондирования Земли (ДЗЗ) в рамках облачной модели SaaS. Макет сервиса реализован на платформе Windows.
Ключевые слова: дистанционное зондирование, облачные вычисления, линеаменты, кольцевые структуры.
CLOUD COMPUTING IN EARTH REMOTE SENSING DATA PROCESSING
Aleksey A. Buchnev
Institute of the Computational mathematics and mathematical geophysics SB RAS, 630090, Russia, Novosibirsk, Acad. Lavrent'ev av., 6, lab of the images processing senior researcher, tel. (383)333-73-32, e-mail: baa@ooi.sscc.ru
Pavel A. Kim
Institute of the Computational mathematics and mathematical geophysics SB RAS, 630090, Russia, Novosibirsk, Acad. Lavrent'ev av., 6, lab of the images processing head, tel. (383)333-73-32, e-mail: kim@ooi.sscc.ru
Valeriy P. Pyatkin
Institute of the Computational mathematics and mathematical geophysics (ICM&MG) SB RAS, 630090, Russia, Novosibirsk, Acad. Lavrent'ev av., 6, lab of the images processing head, tel. (383)333-73-32, e-mail: pvp@ooi.sscc.ru
We consider the Web-service layout to detect anomalous (linear and circular) structures on the space images, which solves the problem of a new data processing services of Earth remote sensing (ERS ) within the cloud SaaS model . Layout service implemented on the Windows platform.
Key words: remote sensing, cloud computing, lineaments, coils.
1. Введение
Программа прикладных дистанционных исследований Земли из космоса обширна и разнообразна [1]. Эффективность дистанционных исследований Земли из космоса во многом определяется используемыми методами тематической обработки данных дистанционного зондирования Земли (ДЗЗ). Функциональные возможности разработанного в ИВМиМГ СО РАН совместно с ФГБУ «НИЦ «Планета» Росгидромета РФ программного комплекса PlanetaMonitoring для обработки данных ДЗЗ дают возможность использовать при их обработке практически функционально полный набор операций. Одна из важных операций, реализованных в комплексе, - обнаружение объектов заданной формы (линеаментов и кольцевых структур) на космических снимках. Материалы аэрокосмических съемок показали повсеместное распространение линейных и кольцевых образований в структуре земной коры, что обусловило широкий интерес к ним со стороны исследователей импактных кратеров на поверхности Земли и геологов. При обработке космических снимков с целью обнаружения на них объектов, представляющих интерес, в силу целого ряда причин предпочтение отдается статистическому подходу [2-4]. Основная причина состоит в том, что вследствие случайного характера природных процессов данные дистанционных измерений (спектросовмещенные изображения) содержат много случайных вариаций, маскирующих различия значений яркости изображения в точках области объекта и в точках области фона. В подобной ситуации надежные алгоритмы обнаружения могут быть построены только с помощью вероятностного (статистического) подхода. В настоящее время становится актуальным использование Internet-технологий для оперативной интеграции информационно-вычислительных ресурсов для решения задач обработки данных ДЗЗ. Новая парадигма облачных вычислений (cloud computing) даёт такую возможность [5]. Основная идея облачных вычислений - технологии распределённой обработки и хранения данных, в которых все необходимые ресурсы предоставляются пользователю как Internet-сервис. Концептуально технологию облачных вычислений делят на предоставление инфраструктуры в качестве сервиса (IaaS, Infrastructure as a Service), платформы в качестве сервиса (PaaS, Platform as a Service) или программного обеспечения в виде сервиса (SaaS, Software as a Service), а также многих придуманных и ещё не придуманных Internet-технологий для удалённых пользовательских вычислений. В данной работе основное внимание будет уделено облачной концепции SaaS (Software as a Service, «программное обеспечение как услуга»). В работе рассматривается разработка макета Web-сервиса по выделению линейных и кольцевых структур, которая решает новую задачу предоставления услуг обработки данных ДЗЗ в рамках облачной модели SaaS. Макет сервиса реализован на платформе Windows и состоит из следующих компонент: вычислительной компоненты, созданной на основе разработанного ранее Windows-приложения Lineaments&Coils выделения линейных и кольцевых структур на спутниковых изображениях, и Web-интерфейса, выполненного на основе свободного Web-сервера Apache.
2. Вычислительная компонента
Вычислительная компонента облачной технологии выделения линеамен-тов и кольцевых структур является пакетным вариантом упомянутого выше Windows-приложения Lineaments&Coils. Все необходимые для работы соответствующих процедур данные собраны в текстовом файле, имя которого является фактическим параметром компоненты. Главными из этих данных являются размер выделяемого объекта (длина линеамента либо радиус круга, возможно задание интервала значений), допустимая вероятность ложного обнаружения объекта, расстояние от предполагаемого положения объекта для измерения значений пикселов.
Основная часть процедур состоит в вычислении статистик S+ и Л' на основе анализа значений пикселов изображения вдоль нормалей к предполагаемому положению объекта [6]. Эти статистики определяются следующим образом. Для г = \,...,к обозначим через çt, сп , значения пикселов, наблюдаемых в точках проверяемого положения объекта и на линии /-й нормали к объекту слева и справа от него. Тогда S+=^J{çt >max(4,£2)}, S~=^=ll{Çi<min(4,£2)}, где / rj - индикаторная функция события {, равная 1 или 0 в зависимости от того, произошло или не произошло событие {. Для каждого возможного положения решение о наличии объекта принимается по результату сравнения посчитанных значений статистик S+ и S~ с предопределенными пороговыми значениями, полученными на основе входных параметров. При этом предполагается, что количество проверяемых позиций объекта к и расстояния вдоль нормалей для получения значений пикселов и таковы, что все величины могут рассматриваться как статистически независимые в совокупности, когда в поле зрения объект отсутствует.
Используемый для построения статистик S+ и Л' анализ значений пикселов требует больших временных затрат при его последовательном выполнении. В связи с этим разработаны параллельные реализации алгоритмов обнаружения аномальных структур. Реализация достигается средствами ОС Windows на уровне потоков: количество запускаемых потоков равно количеству логических процессоров. Каждый процесс (или поток), зная общее количество процессов и свой номер, определяет горизонтальную полосу изображения для обработки. При этом полосы у соседних процессов перекрываются, и глубина этого перекрытия зависит от размера обнаруживаемых объектов.
Вычислительная компонента передает в вызывающую среду код завершения, означающий либо успешное обнаружение объектов, либо ошибочный вызов (как правило, обнаруживаются неверные значения параметров). В случае успешного завершения формируются два файла с одним и тем же изображением обнаруженных объектов: один файл в формате BMP, второй в формате JPEG.
3. Web-интерфейс
Текущая реализация Web-интерфейса продолжает многолетнее развитие разрабатываемой в ИВММГ СО РАН концепции объединения в рамках единой программной оболочки разнородных алгоритмов для обработки изображений [7]. Таким образом, «сменные» вычислительные компоненты опираются на единообразный сетевой интерфейс, предусматривающий возможность реализации таковых компонентов на различных архитектурных платформах гетерогенной сети, включая многопроцессорные архитектуры Сибирского суперкомпьютерного центра. Обозначенная идеология успешно укладывается в облачный подход к развитию программного «софтвера», ориентируя на отказ от прямой адресации элементов сети в пользу гипертекстовых ссылок, что, в частности, облегчает пользовательское «обременение» обязательным знанием особенностей архитектуры вычислителя.
С учетом разнородности и обширности рынка пользовательских браузеров, используемых в Интернет-сети, WEB-интерфейс в макетном варианте реализован с применением минимальных средств гипертекстового языка HTML. Сервисная часть выполнена на Apache 2.2, но закладываемая в концепцию «многополярность» распараллеливания процессов не противоречит и другим платформам, типа IIS Windows.
Структурно в интерфейсе можно выделить следующие три части: подготовка параметров, вызов вычислителя, просмотр результата. Дальнейшая детализация приведет к более сложным структурам, образующим своего рода интерактивные технологические карты вычислительного процесса. О характере и сложности такой технологической карты можно получить представление на примере выбора обрабатываемого изображения, которое может оставаться неизвестным пользователю, ни в форме представления, ни в масштабе, ни в палитре. Аналогичные трудности встанут перед пользователем и при анализе результатов расчета...
В целях упрощения экспериментального эксплуатационного этапа тестирования макета, передача пользовательских изображений производится по анонимному входу в библиотеку сервиса по FTP-протоколу. Таким образом, пользователь имеет возможность вести поиск «скрытых» объектов, как по архивным данным, так и по индивидуальным образцам изображений.
Естественность высоких требований к уровню сервиса автоматизированных информационных систем приводит к необходимости организации Службы сервиса, что диссонирует с желанием устранить человека из процессов информационной обработки, однако позволяет решить проблему «заторов» при сложившейся технологии пакетной обработка заданий в суперкомпьютерном центре.
4. Заключение
В заключение отметим, что успешный опыт реализации макета облачного Web-сервиса по выделению аномальных (линейных и кольцевых) структур на космических изображениях будет использован для предоставления услуг обра-
ботки данных ДЗЗ в рамках облачной модели SaaS и по другим программным модулям комплекса PlanetaMonitoring, в частности, блока распознавания.
Работа выполнена частично при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-07-00066) и Программы 133П фундаментальных исследований Президиума РАН (проект № 0315-2015-0012).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. М.- Техносфера, 2010. - 560 с.
2. Салов Г.И. О мощности непараметрических критериев для обнаружения протяженных объектов на случайном фоне. //Автометрия. 1997. N 3. с. 60-75.
3. Пяткин В.П., Салов Г.И. Статистический подход к задаче обнаружения некоторых структур на аэрокосмических изображениях // Наукоемкие технологии. - 2002. - №3. - т.3. -С. 52-58.
4. Бучнев А. А., Пяткин В. П., Салов Г. И. Выделение кольцевых структур на космических снимках // Интерэкспо ГЕО-Сибирь-2013. IX Междунар. науч. конгр. : Пленарное заседание : сб. материалов в 2 т. (Новосибирск, 15-26 апреля 2013 г.). - Новосибирск : СГГА, 2013. - С. 3-9.
5. Kim P. A., Kalantaev P. A., Pyatkin V. P. Cloud Multiagent System for the Database of Natural Resources.// Pattern Recognition and Image Analysis, 2015, Vol. 25, No. 2, pp. 220-222.
6. Салов Г.И. Новый статистический критерий для задач с двумя и тремя выборками, более мощный, чем критерии Вилкоксона и Уитни. //Автометрия. 2011. N 4. с. 58-70.
7. Бучнев А.А., Калантаев П.А., Ким П.А., Пяткин В.П., Системная поддержка процесса обработки цифровых изображений. // Математ. структуры и моделирование Сб.научн.трудов Омск.гос.ун-т 1999. -Вып.3. стр.42-46/МДИ-98
© А. А. Бучнев, П. А. Ким, В. П. Пяткин, 2016
