CC BY
39
УДК 004.75
Ю.И. Шокин, Н.Н. Добрецов, В.В. Смирнов, Д.Л. Чубаров Институт вычислительных технологий СО РАН, Новосибирск Л.В. Калашников
Западно-Сибирский региональный центр приема и обработки спутниковых данных
ОРГАНИЗАЦИЯ И ФУНКЦИОНИРОВАНИЕ СИСТЕМЫ ОПЕРАТИВНОЙ ОБРАБОТКИ ДАННЫХ TERRA/AQUA
В статье представлена система оперативной обработки данных оперативного спутникового мониторинга с платформ TERRA/AQUA, развернутой в Институте вычислительных технологий СО РАН. Рассмотрены вопросы организации систем автоматизированной обработки оперативных данных.
Y.I. Shokin, N.N. Dobretsov, V.V. Smirnov, D.L. Chubarov Institute of Computational Technologies, SB RAS A.B. Kalashnikov
West Siberian regional center for receiving and processing satellite data, Novosibirsk
SETUP OF AN ONLINE TERRA/AQUA DATA PROCESSING SYSTEM AND PRACTICAL EXPERIENCE
One of the key issues in automated data processing is to provide for consistent performance and reliability along the path from the direct readout system to long term storage of high level products. We outline the technical issues and solutions chosen for an automated satellite data processing system for the TERRA/AQUA platform installed at the Institute of Computational Technologies.
В настоящее время в Институте Вычислительных технологий СО РАН, в ходе выполнения ряда проектов, направленных на создание современной информационной поддержки и обеспечения данными от различных сенсоров, выполняющих регулярные наблюдения за окружающей средой, развернута автоматизированная система приема и обработки спутниковых данных, в том числе принимаемых в оперативном режиме.
В 2009 году, на базе информационно-вычислительных ресурсов ИВТ СО РАН и инфраструктуры приема Западно-Сибирского регионального центра приема и обработки данных, развернут комплекс по приему и обработке данных принимаемых с платформ Terra/Aqua. Инфраструктура Западно-Сибирского Регионального Центра по приему и обработке данных обеспечивает бесперебойный прием данных в режиме реального времени. Для приема данных с платформ Terra/Aqua задействованы две приемных станции MEOS-
POLAR ведущих прием и аппаратную распаковку потока данных в автоматическом режиме. Благодаря расположению приемного комплекса, обеспечивается прием данных покрывающих Сибирь, часть Дальнего Востока и Якутии, а также территории Урала и Центральной России включая часть Московского региона. Имеется возможность приема данных и с других активных в настоящее время платформ. Для решения задачи обработки поступающего потока данных, на базе информационно-вычислительной инфраструктуры ИВТ СО РАН, развернут вычислительный комплекс обработки потока “сырых” данных поступающих в ИВТ СО РАН по выделенному волоконно-оптическому каналу связи, связывающему институт с приемным комплексом (п. Новый). К настоящему времени реализована цепь алгоритмов, PGE (Product Generation Executable, NASA DRLab), обеспечивающих обработку “сырых” данных сенсора MODIS до продуктов уровня L2G/L3. Сборка и валидация вычислительного комплекса обработки данных MODIS была проведена в Центре космического мониторинга Алтайского государственного университета (Лагутин, 2007). При адаптации комплекса сотрудниками Института вычислительных технологий были добавлены программные компоненты для обеспечения режима потоковой обработки, а также компоненты автоматической архивации данных (Шокин,Добрецов,Смирнов 2010). Созданный вычислительный комплекс обеспечивает распределенную обработку данных в режиме реального времени, архивирование потока “сырых” данных. Для хранения поступающей информации и продуктов ее обработки используется система хранения данных ИВТ СО РАН, включающая в себя промышленную систему хранения данных EMC Clariion с подсистемой параллельного файлового доступа. Общий объем используемого системой дискового пространства в настоящее время составляет порядка 64Т. Объем ежедневного “продукта” составляет порядка 35-50Gb информации. Работа комплекса полностью автоматизирована и не требует вмешательства оператора, за исключением функций управления расписанием приема, корректировки параметров алгоритмов и контроля работы комплекса.
Функциональность системы постоянно расширяется, как за счет расширения списка продуктов обработки данных MODIS, так и за счет подключения к системе новых потоков данных. Так, с осени 2010 года, развернута обработка данных гиперспектрометра AIRS поступающих с платформы Aqua. Доступ к продуктам обработки обеспечивается подсистемой сервисов доступа к данным. Подсистема включает в себя набор HTTP/FTP ресурсов, а также интерфейсы доступа к данным с использованием технологий геосервисов (KML\KMZ, WMS).
Работа выполняется при поддержке проекта IV. 31.2.1. Программы фундаментальных исследований СО РАН на 2010 - 2012 гг., Российского фонда фундаментальных исследований (грант 09-07-00103); Программы интеграционных фундаментальных исследований Президиума СО РАН (междисциплинарные проекты No.No. 4, 116, заказной проект No.9);
Программы поддержки ведущих научных школ (грант НШ-931.2008.9).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Лагутин А.А., Никулин Ю.А., Жуков А.П., Лагутин А.А., Резников А.Н., Синицин В.В., Шмаков И.А. Математические технологии оперативного регионального спутникового мониторинга характеристик атмосферы и подстилающей поверхности ч. 1. MODIS// Вычислительные технологии. - 2007. - Т. 12. - № 2.
2. Шокин Ю.И., Пестунов И.А., Смирнов В.В. КОРПОРАТИВНАЯ ИНФОРМАЦИОННАЯ СИСТЕМА СО РАН ДЛЯ СБОРА, ХРАНЕНИЯ И ОБРАБОТКИ СПУТНИКОВЫХ И НАЗЕМНЫХ ДАННЫХ // Труды X Всероссийской конференции с участием иностранных ученых "Проблемы мониторинга окружающей среды (EM-2009)". Кемерово, 27-30 октября 2009. Горный информационно-аналитический бюллетень. 2009. Вып. 2, т. 1 (т. 2)
3. Шокин Ю.И., Н.Н. Добрецов, В.В. Смирнов, А.А. Лагутин, В.Н. Антонов, A3. Калашников Система информационной поддержки задач оперативного мониторинга на основе данных дистанционного зондирования // Тезисы докладов Восьмой открытой Всероссийской конференции "Современные проблемы дистанционного зондирования земли из космоса" (Москва, 15 - 19 ноября 2010 г.). М.: ИКИ РАН, 2010. - С. 40-41.
© Ю.И. Шокин, Н.Н. Добрецов, В.В. Смирнов, Д.Л. Чубаров, Л.В.
Калашников, 2011
