CC BY
12
УДК 528.852
РАСПРЕДЕЛЕННАЯ СЕТЬ ОБЛАЧНЫХ WEB-СЕРВИСОВ ДЛЯ ОБРАБОТКИ СПУТНИКОВЫХ ДАННЫХ
Алексей Александрович Бучнев
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, кандидат технических наук, старший научный сотрудник лаборатории обработки изображений, тел. (383)330-73-32, e-mail: baa@ooi.sscc.ru
Павел Алексеевич Ким
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, кандидат физико-математических наук, старший научный сотрудник лаборатории обработки изображений, тел. (383)330-73-32, e-mail: kim@ooi.sscc.ru
Валерий Павлович Пяткин
Институт вычислительной математики и математической геофизики СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, доктор технических наук, профессор, заведующий лабораторией обработки изображений, тел. (383)330-73-32, e-mail: pvp@ooi.sscc.ru
Федор Валерьевич Пяткин
Сибирский центр ФГБУ «НИЦ «Планета», 630099, Россия, г. Новосибирск, ул. Советская, 30, младший научный сотрудник, тел. (383)222-33-07, e-mail: fep@ya.ru
Рассматривается распределенная сеть облачных web-сервисов для обработки спутниковых данных, предоставляющая услуги обработки данных дистанционного зондирования Земли (ДЗЗ) в рамках облачной модели SaaS. Фактически это совокупность Web-сервисов, реализующих функциональные модули программного комплекса обработки данных ДЗЗ PlanetaMonitoring.
Ключевые слова: дистанционное зондирование, программное обеспечение PlanetaMonitoring, облачная среда, web-сервис, линеаменты, кольцевые структуры, кластеризация, метод ^-средних.
DISTRIBUTED NETWORK OF CLOUD-BASED WEB-SERVICES FOR SATELLITE DATA PROCESSING
Aleksey A. Buchnev
Institute of the Computational Mathematics and Mathematical Geophysics SB RAS, 6, Prospect Аkademik Lavrentiev St., Novosibirsk, 630090, Russia, Ph. D., Senior Researcher of Image Processing Laboratory, phone: (383)330-73-32, e-mail: baa@ooi.sscc.ru
Pavel A. Kim
Institute of the Computational Mathematics and Mathematical Geophysics SB RAS, 6, Prospect Аkademik Lavrentiev St., Novosibirsk, 630090, Russia, Ph. D., Senior Researcher of Image Processing Laboratory, phone: (383)330-73-32, e-mail: kim@ooi.sscc.ru
Valeriy P. Pyatkin
Institute of the Computational Mathematics and Mathematical Geophysics SB RAS, 6, Prospect Аkademik Lavrentiev St., Novosibirsk, 630090, Russia, D. Sc., Professor, Head of Image Processing Laboratory, phone: (383)330-73-32, e-mail: pvp@ooi.sscc.ru
Fedor V. Pyatkin
Siberian Center FGBU «SRC «Planeta», 30, Sovetskaya St., Novosibirsk, 630099, Russia, Junior Researcher, phone: (383)222-33-07, e-mail: fep@ya.ru
We consider a distributed network of cloud-based Web- services for processing satellite data, which provides remote sensing data processing services within the framework of the cloud SaaS model. In fact, this is a collection of web- services that implement the functional modules of the PlanetaMonitoring remote sensing data processing software.
Key words: remote sensing, software PlanetaMonitoring, cloud, web-service, lineaments, coils, cluster analysis, ^-means method.
1. Введение
Целью работы является разработка и реализация модели (макета) распределенной сети облачных web-сервисов для обработки спутниковых данных, предоставляющей услуги обработки данных дистанционного зондирования Земли (ДЗЗ) в рамках облачной модели SaaS. Фактически это совокупность web-сервисов, реализующих функциональные модули программного комплекса обработки данных ДЗЗ PlanetaMonitoring. Разработанный в ИВМиМГ СО РАН совместно с ФГБУ «НИЦ «Планета» программный комплекс PlanetaMonitoring обеспечивает функционально полный набор операций по обработке данных ДЗЗ [1,2,3]. Программный комплекс PlanetaMonitoring реализует технологии предварительной и тематической обработки многоспектральной спутниковой информации оптического, инфракрасного и микроволнового диапазонов. В процессе предварительной обработки спутниковых данных осуществляются яркостные и геометрические преобразования, геокодирование, составление обзорных монтажей и другие. Тематическая обработка многоспектральных спутниковых данных включает технологии распознавания объектов (без обучения и с обучением), выделения и картирования линеаментов и кольцевых структур, а также пространственного перемещения природных объектов (ледяных полей, водных масс, облачных образований в атмосфере). Каждая из перечисленных выше программных технологий комплекса PlanetaMonitoring для использования в облачной среде реализована в виде Windows-приложения (пакетный режим). В данной работе предлагается подход к организации облачной среды, способной обеспечить надежное и эффективное выполнение этих Windows-приложений при обработке данных ДЗЗ.
В настоящее время становится актуальным использование Internet-технологий для оперативной интеграции информационно-вычислительных ресурсов при решении задач обработки данных ДЗЗ. Новая парадигма облачных
вычислений (cloud computing) дает такую возможность [4]. Основная идея облачных вычислений — технологии распределенной обработки и хранения данных, в которых все необходимые ресурсы предоставляются пользователю как Internet-сервис. Концептуально технологию облачных вычислений делят на предоставление инфраструктуры в качестве сервиса (IaaS, Infrastructure as a Service), платформы в качестве сервиса (PaaS, Platform as a Service) или программного обеспечения в виде сервиса (SaaS, Software as a Service) и многих других возможных Internet-технологий для удаленных пользовательских вычислений. В данной работе основное внимание уделяется облачной концепции SaaS (Software as a Service, «программное обеспечение как услуга»).
В ИВМиМГ СО РАН разрабатываются макеты web-сервисов, реализующих программные технологии (пакетные Windows-приложения) комплекса PlanetaMonitoring, что решает новую задачу предоставления услуг обработки данных ДЗЗ в рамках облачной модели SaaS. Макеты сервисов реализуются на платформе Windows и состоят из двух компонент. Вычислительной компоненты, созданной на основе разработанного ранее соответствующего Windows-приложения (пакетный режим), и Web-интерфейса, выполненного на основе свободного Web-сервера Apache [5]. Основной облачный web-сервер для обработки спутниковых данных планируется реализовать на базе ИВМиМГ СО РАН. Ряд обстоятельств диктуют такое решение, главное из них - возможность организации высокопроизводительных масштабируемых вычислений на Сибирском Суперкомпьютерном Центре (ССКЦ), установленном в ИВМиМГ СО РАН. На основном сервере формируется так называемая облачная среда, предоставляющая услуги обработки данных ДЗЗ в рамках облачной модели SaaS. Фактически это совокупность web-сервисов, реализующих функциональные модули программного комплекса обработки данных ДЗЗ PlanetaMonitoring [6].
Далее, используя технологию «зеркалирования» [7], эта облачная среда (полностью или частично) переносится на серверы наземного комплекса приема, обработки, архивации и распространения спутниковой информации (НКПОР) Росгидромета, включающий в себя три региональных центра, входящих в состав ФГБУ «НИЦ «Планета»: Европейский (гг. Обнинск - Москва -Долгопрудный), Сибирский (г. Новосибирск) и Дальневосточный (г. Хабаровск). Кроме того, в состав НКПОР входит сеть стационарных и мобильных автономных пунктов (около 70) приема спутниковой информации в России, Антарктиде и на морских судах, находящихся под научно-методическим руководством ФГБУ «НИЦ «Планета» (рис. 1). Первое резервное зеркало будет реализовано на сервере Сибирского центра (СЦ) ФГБУ «НИЦ «ПЛАНЕТА». Важно, что СЦ ФГБУ "НИЦ "Планета" поддерживает web-сервер, на котором представлена оперативная спутниковая продукция, поступающая в режиме реального времени (ftp1.rcpod.ru).
ЗСГвд 20'сш 40'вд 50"бд ЙО'ед ЗО'сш Ш'ви 90'вд ЮОвд 20'сш 110"вд
Рис. 1
2. Вычислительные компоненты распределенной системы
облачных web-сервисов
Разрабатываемая в ИВМиМГ СО РАН система облачных web-сервисов по обработке спутниковых данных содержит набор сервисов, соответствующих функционально полному набору программных технологий, включенных в состав программного комплекса по обработке данных дистанционного зондирования Земли (ДЗЗ) PlanetaMonitoring [2]. Перечислим некоторые из этих программных технологий: фильтрация спутниковых изображений; радиометрическая и геометрическая коррекция; географическая привязка; трансформирование в картографические проекции и построение мозаик из отдельных изображений; выделение линеаментов и кольцевых структур; распознавание и классификация объектов окружающей среды (кластерный анализ и классификация с обучением); определение пространственных перемещений объектов по разновременным спутниковым изображениям. Заметим, что технология выделения линеаментов и кольцевых структур уже реализована в виде облачного web-сервиса и доступна пользователям сети Internet [5].
По сути, практически каждая вычислительная компонента некоторого web-сервиса является пакетным вариантом соответствующей программной техноло-
гии комплекса Р1апе!аМош1;оп^: для обращения к сервису необходимо передать в облачную среду текстовый файл, содержащий параметры обработки. Исключение составляет web-сервис для классификации с обучением: процесс обучения классификатора (построение сигнатур классов) возможен только на основе интерактивного взаимодействия с пользователем. В связи с этим этап обучения классификатора необходимо выделить в отдельный процесс, который может быть загружен на компьютер пользователя. Результаты работы процесса обучения передаются в облачную среду для запуска основного этапа работы классификатора.
В настоящее время нами завершаются испытания макета облачного Web-сервиса жесткой кластеризации данных ДЗЗ. Основным алгоритмом жесткой кластеризации в нашей системе является широко известный алгоритм К-средних [8]. Алгоритм основан на итеративной процедуре отнесения векторов признаков кластерам по критерию минимума расстояния вектора до центра кластера. Оптимальным считается такое разбиение входных векторов на кластеры, при котором внутриклассовый разброс не может быть уменьшен при переносе какого-либо вектора из одного кластера в другой. Алгоритм К-средних обеспечивает получение минимума (в общем случае локального) следующей функции ошибок
Здесь N - количество векторов признаков, К - число кластеров, Ху- _/-ый вектор признаков, Ш. - центр ¿-го кластера, р(х, у) - выбранная метрика (расстояние) между векторами х и у, С^- ¿-ый кластер.
Алгоритм ^-средних является одним из способов, называемых "Методы центра тяжести", которые используются в задачах автоматической классификации данных, и представляет собой вариант метода динамических сгущений.
Результатами кластеризации можно управлять с помощью следующих параметров [9]: количество выделяемых кластеров; количество итераций алгоритма; тип метрики (расстояния) между векторами (Евклидова, Чебышева, Ма-халанобиса, сити-блок расстояние), выбранная метрика определяет форму получаемых кластеров; способ выбора начальных центров; точность вычислений.
Приведенные ниже рисунки демонстрируют результат работы алгоритма ^-средних (исходные данные предоставлены СЦ ФГБУ «НИЦ «Планета»).
На рис. 2 изображена водно-ледовая обстановка на реке Мильтюш (впадает в Обское водохранилище в районе с. Бурмистрово); апрель 2015 года, изображение ИСЗ «Канопус» (разрешение 10 м). Рис. 3 - результат кластеризации, выделялось 12 кластеров.
Рис. 2 Рис. 3
3. Web-интерфейс распределенной системы облачных web-сервисов
Разработка «частных» облачных сервисов имеет в своей природе также и такую аргументацию, как возможность обеспечения сохранности интеллектуальной собственности на создание и использование в режиме ноу-хау авторских программных алгоритмов. Тем самым, оказывается оправданным вложение усилий в развитие облачных технологий несоизмеримое по масштабам возможностям программных корпораций. Численное расширение спектра web-сервисов, развиваемых в рамках единой облачной технологии, с необходимостью должно учесть при конструировании их программного наполнения качественные особенности в структуре пользовательских запросов, в частности, асинхронную природу обращений к ним. Большие временные затраты на обслуживание конкретного сервиса в режиме online требует отслеживания его текущего состояния, и, принятое решение о взаимодействии по этой задаче с пользователем удачно сочетает баланс между вычислительными нагрузками на собственно процесс и его вспомогательное обеспечение. Другая насущная проблема развития облака, решение которой увеличивает его эффективный потенциал - это необходимость перераспределять ресурсы для однотипных запросов, оттягивающих их на свою реализацию, что наиболее безболезненно возможно при «зеркалировании» сервисных процессов на компьютерах доступной сети, то есть дублирование инфраструктуры процессов по соответствующим серверам облака с сохранением
иерархии каталогов файловой системы, вписываемое в гипертекстовое пространство возможных браузеров работы с web-сервисами. Работа «зазеркалья» обеспечивается диспетчером распределения ресурсов для конкретных сервисных запросов. Структурная сложность, находящегося в разработке облачного диспетчера, определяется архитектурой вложения предметно-ориентированного облака web-сервисов в эксплуатируемые уже сейчас распределенные сети Наземного комплекса приема, обработки, архивации и распространения спутниковой информации Росгидромета (рис. 1).
Как уже отмечалось, с начальных реализаций представленного Web-сервиса, целенаправленно продолжилось многолетнее развитие идеологически поддерживаемой в Лаборатории обработки изображений ИВММГ СО РАН концепции объединения в рамках единой интерфейсной программной оболочки разнородных алгоритмов для обработки изображений [10]. Таким образом, «сменные» вычислительные компоненты, опирающиеся на унифицированный сетевой интерфейс, предусматривают возможность реализации вычислительных компонентов на различных архитектурных платформах гетерогенных сетей, объединяющих как многопроцессорные архитектуры Сибирского суперкомпьютерного центра, так и распределенные сети НКПОР Росгидромета.
С учетом разнородности и обширности рынка пользовательских браузеров, используемых в Интернет, WEB-интерфейс в макетном варианте реализуется с использованием базовых средств гипертекстового языка HTML. Сервисная часть выполнена на Apache 2.2 [11, 12], при этом, с учетом природной гетерогенности объемлющей инфраструктуры, развиваются и другие платформы в архитектуре IIS Windows.
Информационные потоки данных обеспечиваются по FTP-протоколу. Таким образом, пользователь имеет возможность вести поиск «скрытых» в «облаке» объектов, как по архивным данным, так и по индивидуальным образцам изображений. Здесь отслеживается облачная парадигма хранения данных. Собственно пользовательский интерфейс реализуется посредством «формы» в HTML — разделе документа, позволяющем вводить информацию для последующей обработки системой, и, дополнительно к разметке обычных элементов, содержит разметку для элементов управления и надписей [13].
На рис. 4 приведен интерфейс сеанса работы с макетом web-сервиса выделения линеаментов и кольцевых структур на спутниковых изображениях [5]. Задан параметр выделения кольцевых структур. На исходном космическом снимке после запуска и выполнения соответствующей программы web-сервиса выделены две одинаковые кольцевые структуры. Одна из них, расположенная выше, представляет импактный кратер Брент (Канада). Диаметр кратера 3,8 км, позиция, выделенная стрелкой, - центр кратера Брент с географическим координатами: 16,074° N и 78,183° W.
С I © loi1.sscc.tu &
Измените имя исходного сшшка
Image2 Image2res | ¡Линеементы/Окружности (0/1) = 1
[c_split = 1 1 i C_stp = 00 11 Alpha =0.000001
I..UI-: = "пныи рэзмеро&ЬЕЕга —'9D Максимальный размер объекта = 10D ¡Приращение = 4
[фон = D |:"Шаг угла = 10_ЩЦвет построения (значения R G В диапазон Q - i = 2ь£ 2Ео Ö
Запустить программу
Тестовые запросы К-среднее
Измените имя исходного снимка
miH3kan J res [jK =15
Итер = 50 [
Запустить программу
Файл параметров: Parameters.txt Обнаружено объектов 2
Рис. 4
4. Заключение
Успешный опыт реализации макета облачного web-сервиса по выделению линеаментов и кольцевых структур на космических изображениях был использован для создания макета облачного web-сервиса жесткой кластеризации дан-
ных ДЗЗ, представляющего широко известный алгоритм ^-средних. В дальнейшем предполагается разработка макетов облачных web-сервисов и по другим программным модулям комплекса PlanetaMonitoring [2].
Работа выполнена частично при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-07-00066) и Базового проекта ФАНО (проект № 0315-2016-0003).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шовенгердт Р. А. Дистанционное зондирование. Модели и методы обработки изображений. М.- Техносфера, 2010. - 560 с.
2. Асмус В.В., Бучнев А.А., Кровотынцев В.А., Пяткин В.П., Салов Г.И. Planetamonitoring: программный комплекс обработки спутниковых данных // Проблемы информатики. - 2013,№ 3. - С. 85-99.
3. Asmus V.V., Buchnev A.A., Pyatkin V.P., Salov G.I. Software System for Satellite Data Processing of Applied Tasks in Remote Sensing of the Earth. //Pattern Recognition and Image Analysis, vol. 19, No.3, 2009. pp. 69-74.
4. Kim P. A., Kalantaev P. A., Pyatkin V. P. Cloud Multiagent System for the Database of Natural Resources.// Pattern Recognition and Image Analysis, 2015, Vol. 25, No. 2, pp. 220-222.
5. Бучнев А.А., Ким П.А., Пяткин В.П., Салов Г.И. Макет облачного web-сервиса по выделению линеаментов и кольцевых структур на космических изображениях // Журн. Сиб. Федерального Ун-та. Техника и Технология. - 2017. - Т. 10, № 6. - С. 741-746.
6. Бучнев А. А., Пяткин В. П., Пяткин Ф. В. Облачная среда в прикладных дистанционных исследованиях Земли // Интерэкспо ГЕО-Сибирь-2017. XIII Междунар. науч. конгр. : Пленарное заседание : сб. материалов (Новосибирск, 17-21 апреля 2017 г.). - Новосибирск : СГУГиТ, 2017. - С. 8-13.
7. Mirror website [Electronic resource] URL: https://en.wikipedia.org/wiki/Mirror_website (the date of the reference search: 11.03.2018)
8. Jain A.K. Data clustering: 50 years beyond K-means. Pattern Recognition Letters, 2010, 31, 651-666.
9. Асмус В.В., Бучнев А.А., Пяткин В.П. Кластерный анализ данных дистанционного зондирования Земли. Автометрия, 2010, 46(2), 58-66.
10. Бучнев А.А., Калантаев П.А., Ким П.А., Пяткин В.П., Системная поддержка процесса обработки цифровых изображений. // Математические. структуры и моделирование. // Сб.научн.трудов Омск.гос.ун-т 1999.-Вып.3. стр.42-46/МДИ-98.
11. Environment Variables in Apache [Electronic resource] URL: https://httpd.apache.org/docs/2.4/env.html (the date of the reference search: 11.03.2018).
12. Running CGI Scripts on Apache2 [Electronic resource]. URL: https://tasdikrahman.me/2015/09/30/Running-CGI-Scripts-on-Apache2-Ubuntu / (the date of the reference search: 11.03.2018).
13. Form (HTML) [Electronic resource]. URL: https://ru.wikipedia.org/wiki/HTML (the date of the reference search: 11.03.2018).
REFERENCES
1. Schowengerdt R.A. (2010) Remote sensing. Models and methods for image processing. Moskva, Technosfera, 560 p. [in Russian].
2. Asmus V.V., Buchnev A.A., Krovotyntsev V.A., Pyatkin V.P., Salov G.I. (2013) Planetamonitoring: software complex processing of satellite data. Problems of Informatics, 7(3), 85-99. [in Russian].
3. Asmus V.V., Buchnev A.A., Pyatkin V.P., Salov G.I. (2009) Software System for Satellite Data Processing of Applied Tasks in Remote Sensing of the Earth. //Pattern Recognition and Image Analysis, vol. 19, No.3, pp. 69-74.
4. Kim P. A., Kalantaev P. A., Pyatkin V. P. (2015) Cloud Multiagent System for the Database of Natural Resources.// Pattern Recognition and Image Analysis, Vol. 25, No. 2, pp. 220-222.
5. Buchnev A.A, Kim P.A., Pyatkin V.P., Salov G.I. (2017) Cloud web-service model for detection of lineaments and circular structures in space images. J P.F. Sib. Fed. Univ. Eng. technol, 10(6), 741-746. DOI: 10.17516/1999-494X-2017-10-6-741-746. [in Russian].
6. Buchnev A.A., Pyatkin V.P., Pyatkin F.V. (2017) Cloud in the application of earth remote sensing. In Sbornik materialov Interekspo Geo-Sibir'-2017: Mezhdunarodnoy nauchnoy konferentsii: plenarnaya sessiya [Proceedings of Interexpo GEO-Siberia-2017: International Scientific Conference: plenary session] (pp. 13-20). Novosibirsk: SSGA [in Russian].
7. Mirror website [Electronic resource] URL: https://en.wikipedia.org/wiki/Mirror_website (the date of the reference search: 11.03.2018).
8. Jain A.K. (2010) Data clustering: 50 years beyond K-means. Pattern Recognition Letters, 31, 651-666.
9. Asmus V.V., Buchnev A.A., Pyatkin V.P. (2010) The cluster analysis of Earth remote sensing data. Avtometriya, 46(2), 58-66. [in Russian].
10. Buchnev A.A., Kalantaev P. A., Kim P. A., Pyatkin V.P. (1999) System support for digital image processing. In Sbornik nauchnych trudov Omskogo gos.un-ta. "Matematicheskiye struktury i modelirovaniye",T.3. [Collection of scientific papers: "Mathematical structures and modeling",V.3] (pp.42-46/MDI-98). Omsk: OmSU [in Russian].
11. Environment Variables in Apache [Electronic resource] URL: https://httpd.apache.org/docs/2.4/env.html (the date of the reference search: 11.03.2018).
12. Running CGI Scripts on Apache2 [Electronic resource] URL: https://tasdikrahman.me/2015/09/30/Running-CGI-Scripts-on-Apache2-Ubuntu (the date of the reference search: 11.03.2018).
13. Form (HTML) [Electronic resource] URL: https://ru.wikipedia.org/wiki/HTML (the date of the reference search: 11.03.2018).
© А. А. Бучнев, П. А. Ким, В. П. Пяткин, Ф. В. Пяткин, 2018
