CC BY
36УДК 004: 519.854 DOI:10.31854/1813-324X-2021-7-1-105-121
Организация Web-ориентированного сервиса мониторинга окружающей среды с использованием данных дистанционного зондирования Земли и конвейеризации обработки данных
A.B. Скатков1 , К.В. Кротов1 *
Севастопольский государственный университет, Севастополь,299053, Российская Федерация *Адрес для переписки: krotov_k1@mail.ru
Информация о статье
Поступила в редакцию 10.08.2020 Принята к публикации 28.01.2021
Ссылка для цитирования: Скатков А.В., Кротов К.В. Организация Web-ориентированного сервиса мониторинга окружающей среды с использованием данных дистанционного зондирования Земли и конвейеризации обработки данных // Труды учебных заведений связи. 2021. Т. 7. № 1. С. 105-121. DOI:10.31854/1813-324X-2021-7-1-105-121
Аннотация: Анализируются виды данных дистанционного зондирования Земли и способы их обработки, которые реализуются с целью идентификации на земной поверхности негативных природных явлений и техногенных воздействий на окружающую среду, их характеристик и условий распространения. Выполняется обоснование необходимости конвейеризации обработки данных дистанционного зондирования Земли в Web-ориентированных сервисах мониторинга окружающей среды. Обосновывается архитектурная организация Web-ориентированных сервисов мониторинга окружающей среды, функциональная схема системы получения и обработки данных. На основе анализа способов тематической и POST-темати-ческой обработки данных выполняется обоснование организации многостадийной (конвейерной) системы реализации действий с ними, обеспечивающих разносторонний мониторинг окружающей среды.
Ключевые слова: данные дистанционного зондирования Земли, Web-ориентированный сервис мониторинга окружающей среды, конвейеризированная обработка данных.
Введение
В соответствии с [1] комплексный мониторинг окружающей среды (ОС) предполагает обнаружение и контроль природных явлений, оказывающих негативное влияние на ОС (негативных природных явлений (НПЯ)), обнаружение и контроль техногенных воздействий (ТВ) на ОС. К НПЯ, для обнаружения, контроля динамики, определения условий распространения которых используются данные дистанционного зондирования Земли (ДЗЗ), отнесены [1, 2]:
- болезни лесных насаждений, вспышки размножения насекомых-фитофагов, влияние выбросов вредных веществ предприятий на растительность, деградация и гибель растительности;
- почвенно-эрозийные процессы, приводящие к изменению распределения растительного покрова.
К загрязнениям техногенного характера (ТВ), для обнаружения, контроля динамики, определения условий распространения которых и их влияния на окружающую среду используются данные ДЗЗ, отнесены [1, 2]:
- подземные и наземные разливы нефти и нефтепродуктов, возникающие вследствие аварий на нефтедобывающих установках либо разрывов нефтепроводов;
- несанкционированные свалки бытовых, промышленных и строительных отходов.
Основными задачами, решаемыми с использованием данных ДЗЗ для мониторинга ОС, являются: оперативное обнаружение НПЯ и ТВ на ОС, их типизация, наблюдение за их динамикой, определение их характеристик и условий распространения. Современные технологии получения данных ДЗЗ предусматривают, что они являются свободно
распространяемыми, предоставляемыми к использованию различными Интернет-ресурсами (центрами хранения и предоставления данных). В связи с этим требуется построение систем получения данных ДЗЗ по запросам пользователей, их обработки, соответствующей требованиям пользователей. С этой целью реализуется разработка Web-ориентированных сервисов мониторинга ОС. Т. к. одновременно к этим сервисам может обращаться большое количество пользователей, то в них требуется реализовать высокопроизводительную обработку данных ДЗЗ с целью снижения времени отклика на запросы. Одним из вариантов организации высокопроизводительной обработки данных ДЗЗ является ее конвейеризация. В этом случае основной задачей является обоснование возможности и способа конвейеризации обработки данных ДЗЗ.
1. Анализ существующих подходов
к реализации мониторинга окружающей
среды с использованием данных
дистанционного зондирования Земли
Анализ указанных видов загрязнений ОС и НПЯ показал, что их обнаружение, контроль динамики и определение их параметров возможен с использованием данных ДЗЗ, характеризующих состояние подстилающей земной поверхности (почвенно-эрозийные процессы, загрязнения вследствие разливов нефтепродуктов, несанкционированные свалки промышленных и строительных отходов) и состояние растительности (влияние на лесные насаждения атмосферных загрязнений, вспышек болезней, очагов размножения насекомых-фитофагов). Для осуществления мониторинга окружающей среды с целью идентификации очагов загрязнения ОС, НПЯ, условий их развития используются данные ДЗЗ разных типов, получемые различными видами аппаратуры, функционирующей в разных диапазонах спектра электромагнитных волн, соответствующие различным размерам полигонов, задаваемых пользователями. Соответственно, для них требуется реализация разных способов обработки.
Физической основой ДЗЗ с использованием оптико-электронных приборов является зависимость между зарегистрированными параметрами собственного либо отраженного излучения объектов (явлений) на подстилающей земной поверхности и ее физическими (химическими) характеристиками. Приборы формируют спектрально-отражательные характеристики объектов поверхности, выполняют измерение отраженного (собственного) излучения от земной поверхности в различных участках спектра. Различимость объектов (явлений) обеспечивается за счет разных значений их отражательной способности [1-4] (разных значений коэффициента отраженной солнечной яркости (КСЯ)). Задача мониторинга окружающей среды с
использованием данных ДЗЗ состоит в оценке динамики отражательных свойств земной поверхности, в распознавании объектов (явлений) на основе данных измерений их отраженного (собственного) излучения. Для ее решения используются многозональные (многоспектральные) данные ДЗЗ, соответствующие характеристикам отражательной способности земной поверхности, измеренным в нескольких диапазонах спектра излучения. Многозональные данные - это набор массивов значений отраженной спектральной яркости, измеренных в различных спектральных диапазонах для определенного участка земной поверхности. Каждый элемент одного массива представляет собой значение интенсивности отраженного (собственного) излучения земной поверхности, измеренное для определенной точки земной поверхности в одном спектральном диапазоне.
Детектирование наличия болезней лесных насаждений выполняется с использованием данных ДЗЗ низкого разрешения спектрорадиометра MODIS искусственных спутников Земли (ИСЗ) Aqua, Terra (разрешение 500-1000 м). Детектирование таких НПЯ и ТВ на ОС, как несанкционированные свалки промышленных, бытовых и строительных отходов, разливы нефтепродуктов, почвенно-эро-зийные процессы, выполняется с использованием данных ДЗЗ среднего разрешения ИСЗ LandSat 8 (разрешение 30 м). В тоже время детальное описание явлений на больших пространствах является трудно разрешимой задачей, поэтому для уточнения характеристик НПЯ и ТВ, определения условий их распространения используются данные ИСЗ LandSat 8, соответствующие ограниченной области, в которой зафиксировано явление.
Для обнаружения НПЯ и ТВ на ОС необходим контроль динамики отражательной способности земной поверхности и растительности на ней, т. е. необходимо сопоставление разновременных данных ДЗЗ для выявления изменений отражательных свойств поверхности. При использовании разновременных данных ДЗЗ фиксируется факт различия значений отражательной способности для отдельных участков полигонов, задаваемых пользователями, и на основе зафиксированного различия делается вывод о наличии НПЯ либо ТВ на ОС. Идентификация наличия НПЯ и ТВ на ОС реализуется путем анализа динамики многозональных данных об отражательной способности поверхности в определенных спектральных каналах. При обнаружении на земной поверхности НПЯ либо ТВ на ОС требуется определить их характеристики и условия распространения.
Наряду с идентификацией наличия НПЯ либо ТВ на ОС, выполняемой на основе данных ДЗЗ низкого или среднего разрешения, требуется определить их характеристики с целью дальнейшего контроля динамики и прогнозирования развития [1, 5]. Если обнаружение НПЯ либо ТВ на ОС выполняется для
территорий большого размера (региона), где контролируется динамика отражательных свойств подстилающей поверхности и растительности на ней, то идентификация характеристик явлений (воздействий) должна быть выполнена на территории, на которой они зафиксированы (локальная область меньшего размера). Поэтому определение характеристик явлений (воздействий), а также условий их распространения (развития) выполняется с использованием данных среднего либо высокого разрешения, соответствующих территории, на которой эти явления (воздействия) зафиксированы.
Для каждого из рассматриваемых НПЯ и ТВ на ОС определены параметры, их характеризующие либо характеризующие условия их распространения. Они сведены в таблицу 1.
ТАБЛИЦА 1. Характеризующие НПЯ и ТВ на ОС параметры
TABLE 1. Parameters Characterizing the Negative Natural Phenomena and Man-Made Impacts on the Environment
№ Природное явление/ техногенное воздействие на ОС Параметры, характеризующие явление (воздействие) Параметры, характеризующие условия распространения явлений и воздействий Способ определения параметров
1 2 3 4 5
1 Болезни лесных насаждений (воздействие размножения насекомых-фитофагов, техногенные воздей-ствия-загрязнение атмосферы) - площадь повреждений [б] - координаты линии контура [6] - тип лесных насаждений [7] - состав насаждений [далее - 8] - состояние растительного покрова (степень усыхания растительности) - слабо поврежденная/ ослабленная, сильно ослабленная, усыхающая - цифровая модель рельефа (ЦМР) Aqua, Terra (MODIS), LandSat 8 (OLI/TIRS), данные SRTM
2 Эрозия почвы - площадь и форма явления [9-11] - координаты границы [9, 10] - почвозащитная способность растительности (определяется по виду растительности на поверхности) [9, 10]; - влагосодержание почвы (определяется по косвенным признакам, связанным с влагосодержанием растительности) [11] - температура подстилающей поверхности [9, 10]; - степень эродируемости почвы [11] - ЦМР [11] LandSat 8(OLI/TIRS), данные SRTM
3 Механические воздействия на почву (свалки промышленных и строительных отходов) - площадные характеристики [1] - степень нарушения земель [1, 12, 13] - вид отходов, реализующих воздействие (строительные, бытовые, промышленные) [1, 12, 13]; - температура слоя отходов [1]; - ЦМР [12, 13]. LandSat 8(OLI/TIRS), данные SRTM
- положение участка загрязнения на рельефе [далее - 1] - степень деградации почвы - определяется по косвенным признакам на основе состояния растительности - тип и состояние естественной травянистой, кустарниковой и лесной растительности - наличие поверхностных водоемов (ручьи, реки, озера, пруды) - рельеф территории (учет поверхностного стока с территории) - тип почвенного покрова (глина, гравий, песок) - характеризуется ее составом, определяемым на основе почвенных карт - гидрометеорологический прогноз: температура воздуха, температура поверхности
4 Загрязнение почвы нефтепродуктами - площадь и форма пятна загрязнения [1], - координаты контура [5, 7] - степень нарушения растительности [1] LandSat (OLI/TIRS) данные SRTM
Для получения информации о наличии и виде НПЯ и ТВ на ОС, их характеристик и условий распространения многозональные спутниковые данные, формируемые ИСЗ, должны быть подвергнуты предварительной и тематической обработке. Предварительная обработка снимков осуществляется для устранения различного рода искажений во время проведения съемки и реализуется с целью повышения точности результатов. Современные технологии получения спутниковых данных предусматривают, что многозональные снимки указанных ИСЗ являются свободно распространяемыми, предоставляемыми к использованию интернет-ресурсами.
Особенностью данных, получаемых с указанных ресурсов, является реализованная для них предварительная обработка. Исключение составляет контроль наличия облачности над определенными точками рассматриваемого полигона. На основе полученных с ресурсов данных ДЗЗ (в различных спектральных каналах) выполняется первоначальное формирование значений отраженной солнечной яркости точек на поверхности (в соответствующих спектральных диапазонах), а затем реализуется их тематическая обработка.
Для рассматриваемых задач мониторинга тематическая обработка многозональных спутниковых данных низкого и среднего разрешения (для идентификации наличия НПЯ и ТВ на ОС на земной поверхности, для определения их характеристик, а также условий развития) предполагает:
- определение по полученным в соответствии с пользовательскими запросами данным в заданных каналах, представляющих собой значения градаций серого цвета для каждой точки на поверхности, значений отражательной способности поверхности (КСЯ) в этих каналах;
- идентификацию на основе спектрально-отражательных характеристик подстилающей поверхности соответствующих объектов на ней (т. е. соотнесение точек на поверхности определенным кластерам с учетом значений отражательной способности поверхности в различных диапазонах измерений КСЯ);
- расчет для каждого кластера значений определенных индексов, характеризующих состояние поверхности (либо расчет значений оттенков цветов в RGB-модели по значениям КСЯ в разных каналах);
- формирование итоговых массивов значений параметров, отражающих текущее состояние подстилающей поверхности с точки зрения рассматриваемых явлений - формирование итоговых изображений, характеризующих состояние поверхности.
Одним из способов распределения точек на поверхности по кластерам с учетом значений отражательной способности является необучаемая кластеризация в соответствии с алгоритмом ISODATA [14] (с целью объединения пикселей со сходными свойствами в отдельные области - кластеры), после реализации которой каждый из сформированных кластеров характеризуется определенными признаками.
Для идентификации наличия НПЯ и ТВ на ОС реализуется контроль динамики отражательных свойств поверхности в отдельных участках задаваемого пользователем полигона [15]. Одним из возможных способов контроля динамики отражательных свойств подстилающей поверхности является использование разновременных значений индекса NDVI, сопоставляемых с каждым из сформированных кластеров. Зафиксированные значительные различия в значениях индекса NDVI на разновре-
менных снимках для определенных участков земной поверхности являются свидетельством наличия некоторого НПЯ либо ТВ на ОС. В частности, для лесных насаждений степень их повреждения определяется следующим образом [16]: 25 % - слабое, 50 % -среднее, 75 % - сильное. Определение степени отличия отражательных свойств подстилающей поверхности для рассматриваемого момента времени по сравнению с ее «нормальными» отражательными свойствами (определенными с использованием ретроспективных данных) реализуется с использованием соответствующих значений индекса NDVI на основе выражения вида [17]:
(МРУ1сиггеп{ - МРУ1погт) А =________* 100,
NDVI
ич 'norm
где NDVIcurrent - значение индекса NDVI, полученное для соответствующих точек поверхности на текущий момент времени; NDVInorm - «нормальное» значение индекса, полученное на основе ретроспективных данных.
Для типизации объектов (явлений) в рассмотрение вводится набор признаков распознавания. Признаки распознавания идентифицируются на основе значений отражательной способности поверхности, измеренных в различных спектральных каналах приборов ИСЗ. Каждый тип объектов на поверхности характеризуется своим описанием в этом пространстве признаков.
После идентификации наличия НПЯ и ТВ на ОС в рассматриваемом полигоне, который задан пользователем, необходимо определить тип этого явления, его характеристики и условия распространения. Типизация явлений, обнаруженных в заданных полигонах, предполагает выполнение процедуры визуального дешифрирования. Для этого реализуется обработка дополнительных данных, полученных в пакете, связанном с датой, наиболее близкой к заданной пользователем. Визуальное дешифрирование также обеспечивает определение следующих параметров НПЯ и ТВ на ОС, характеризующих условия их распространения:
1) болезни лесных насаждений - тип лесных насаждений (лиственные, хвойные и смешанные), состав лесных насаждений (лиственный смешанный с небольшим количеством хвойных насаждений, смешанные с преобладанием хвойных пород, хвойные с преобладанием еловых насаждений и с небольшим количеством сосны и т. д.);
2) эрозия почвы - состояние почвенного покрова с точки зрения его гумусированности и, как следствие, почвозащитная способность растительности, влагосодержание почвенного покрова (по состоянию травянистой и кустарниковой растительности), почвозащитная способность растительности (определяется по виду растительности на участке).
Цвет и тон на формируемом изображении могут быть как «естественными» (полученными в результате измерения отражательной способности в видимых диапазонах излучения- красном, синем и зеленом каналах), так и «искусственными» (полученными путем сопоставления цвета с определенной комбинацией значений отраженной яркости, измеренных в различных диапазонах спектра). Для визуализации многоспектрального снимка в трех различных спектральных каналах реализуется отображение каждого канала в цветах RGB-модели - красном, зеленом и синем [18]. Например, комбинация каналов 5-6-2 ИСЗ Landsat 8 означает, что ближний ИК-диапазон (5-й канал: 0,845-0,885 мкм) отображается на экране красным цветом, диапазон 1,560-1,660 мкм (6-й канал) - зеленым, а видимый диапазон 0,450-0,515 мкм (2-й канал) - синим.
Для идентификации типов НПЯ и ТВ, их характеристик и условий распространения используются результаты обработки данных ИСЗ Landsat 8 в различных спектральных каналах, соответствующих только областям, где они обнаружены, а не полигонам, задаваемым пользователями. В таблице 2 обобщены основные дешифровочные признаки, в соответствии с которыми идентифицируются типы НПЯ и ТВ на ОС, а также условия их распространения.
Особенность применения индекса Ы0У1 для определения наличия НПЯ и ТВ на ОС на основе контроля динамики отражательных свойств предполагает, что поверхность должна быть покрыта растительностью не менее, чем на 30 % (при сильно разреженной растительности на подстилающей поверхности либо в сезон ослабленной или невегетирующей растительности применение индекса Ы0У1 не является целесообразным [17]). В случае недостаточной развитости растительности определение динамики отражательных свойств поверхности должно быть выполнено с использованием индекса БАУ1 - индекса растительности с коррекцией по почве (почвенного вегетационного индекса). Использование этого индекса необходимо, когда покрытие поверхности растительностью не менее 15 % [17]. Расчет характеристик отражательной способности поверхности с использованием индекса БАУ1 предусматривает использование выражения вида:
SAVI =
pNIR — pRED pNIR + pGREEN + ^
(1 +L),
где Ь- коэффициент, учитывающий влияние почвы на ее отражательные характеристики [21].
Идентификация характеристик НПЯ и ТВ на ОС (см. таблицу 1) выполняется как посредством визуального дешифрирования (с использованием признаков из таблицы 2), так и путем вычисления дополнительных вегетационных, влажностных и
температурных индексов. Значения этих индексов сопоставляются с выделенными в результате не-обучаемой классификации кластерами и характеризуют НПЯ или ТВ в рассматриваемой области локального размера, в которой они обнаружены. Указанные характеристики определяются в ходе тематической обработки в зависимости от типа явления, условиями распространения которого они являются.
Дополнительная интерпретация полученных значений ЫОУ1 позволяет определить степень разреженности растительности, которая влияет на скорость развития НПЯ, связанных с распространением болезней лесных насаждений и их поражением насекомыми-фитофагами. Идентификация степени разреженности лесных насаждений определяется в соответствии со шкалой [15].
Для идентификации текущего состояния НПЯ (ТВ) с целью контроля его динамики и дальнейшего прогнозирования его развития, определения последствий их влияния на ОС требуется зафиксировать степень нарушения растительности на поверхности. Данный параметр является характеристикой следующих явлений и воздействий на ОС:
- деградации лесных насаждений;
- загрязнения почвы нефтепродуктами;
- механического загрязнения поверхности почвы (свалки).
Идентификация степени угнетения лесной растительности выполняется посредством сравнения отражательной способности поверхности для текущих данных в соответствующих спектральных каналах с ретроспективными данными в этих же каналах.
Для идентификации степени угнетения растительности используется либо индекс NDVI либо дополнительный индекс - зеленый нормализованный разностный вегетационный индекс СЫОУ1, являющийся более чувствительным к изменениям содержания хлорофилла в листьях [15]:
GNDVI =
Pnir-Pgreen Pnir+Pgreen'
где - количество солнечной отраженной радиации, измеренное в ближнем инфракрасном (БИК) диапазоне спектра; Рс^Еы - количество солнечной отраженной радиации, измеренное в видимом (зеленом) диапазоне спектра.
Значения данного индекса изменяются в диапазоне [-1; 1]. Изменение индексов NDVI либо GNDVI от первоначальных (нормальных) значений, полученных на основе ретроспективного анализа, на 25 % соответствует слабому угнетению растительности, 50 % - среднему и 75 % - сильному угнетению растительности.
*
ТАБЛИЦА 2. Дешифровочные признаки для типизации НПЯ, ТВ на ОС, определения условий их развития
и распространения
TABLE 2. Decryption Features for the Negative Natural Phenomena and Man-Made Impacts on the Environment, Determining the Conditions
for their Development and Distribution
Тип явления (воздействия)/ условия развития Признаки дешифрирования
прямые косвенные
1 2 3
Типизация явлений/воздействий на ОС
Эрозия почвы Цвет и оттенок участка поверхности, в котором зафиксировано явление: -каналы 7-5-3 (здоровая растительность ярко-зеленая, открытая почва ярко-розовых оттенков) [18] -каналы 4-3-2 (открытая почва - светлые оттенки (светло-коричневый, желтый цвета)) [11] Форма участка поверхности [11]: -неправильная форма, вытянутая в направлении форм рельефа Балочно-овражная форма рельефа [11] Повреждение травянистого и кустарникового покрова [11]
Несанкционированные свалки бытовых и промышленных отходов Цвет, оттенок и текстура участка поверхности: -каналы 4-3-2 (цвет участка поверхности, на котором фиксируется свалка - белый, светло-серый с белыми или светло-желтыми вкраплениями, светло-желтый, светло-голубой (серый)) [13, 19] Форма участка поверхности [19]: -неправильная форма участка поверхности, на котором зафиксировано воздействие Наличие подъездных путей/ грунтовых дорог [19] Вытянутая линейная форма вдоль автодорог [19] Повреждение травянистого, кустарникового покрова [13, 19] Цвет, оттенок растительности вокруг свалки - коричневая/ желтая в естественных цветах [5]
Разливы нефтепродуктов Наличие теплового контраста участка поверхности с разливом нефтепродуктов по сравнению с окружающими участками [5, 7] Повреждение травянистого покрова на участке, где зафиксирован разлив [5, 7] Наличие объектов транспортирования и хранения нефтепродуктов [5, 7].
Характеристики, условия развития и распространения НПЯ и ТВ на ОС
Болезни лесных насаждений: - тип и состав лесных насаждений - степень угнетения лесных насаждений Цвет и тон: - каналы 4-3-2 [18]: • на весенних и летних снимках хвойные леса - темно-зеленая окраска, смешанные леса с преобладанием мелколиственных пород - светло-зеленая окраска с вкраплениями темно-зеленых пятен, мелколиственные леса - светло-зеленый цвет • на осенних снимках смешанные лесные насаждения - неравномерный светло-красный тон с темно-зелеными пятнами • еловые леса - неравномерный тон с привлечением темно-зеленых пятен • сосновые леса - светло-серый или сине-зеленый. - каналы 5-4-3 [18]: • растительность - в оттенках красного цвета, хвойные леса -более темно-красные/ коричневые по сравнению с лиственными лесами • более светлые оттенки-травянистая или кустарниковая растительность Цвет и тон: - каналы 4-3-2 [28]: • угнетенная растительность - коричневая и желтая - каналы 7-5-3 [28]: • сухостойная растительность - оранжевая
Эрозия почвы: - почвозащитная способность растительности - степень увлажнения открытой почвы - степень эродируемости почвы Цвет и тон: - каналы 4-3-2 [18-20]: • на весенних и летних снимках лесные насаждения представляются оттенками зеленого цвета • на весенних и летних снимках травянистая и кустарниковая растительность представляется светло-зеленым (салатным) оттенком зеленого цвета Тон (оттенок) цвета открытого участка поверхности: - каналы 7-5-3 (более влажной почве соответствует более темный оттенок (тон) розового цвета в рассматриваемом участке открытой почвы) [18] Тон (оттенок) цвета открытого участка поверхности: - каналы 7-5-3 (почва с большим содержанием гумуса отображается более темным оттенком, чем истощенная (без содержания гумуса) почва) [9, 18].
Анализ влагосодержания растительности позволяет определить условия развития и распространения НПЯ или ТВ [21]. Количество влаги в растениях свидетельствует об их состоянии и о возможности распространения болезней и влияния ТВ. Также влагосодержание растений косвенным образом характеризует количество влаги в почве, которое определяет степень развития эрозии (при малом количестве влаги в почве развитие ветровой эрозии является более вероятным). Для идентификации количества влаги в растительности наиболее информативным является влажностный индекс Ы0Ш1, который вычисляется следующим образом [22]:
NDWI =
pNIR — pSWIR pNIR + pSWIR
где ршк - количество солнечной отраженной радиации, измеренное в БИК-диапазоне спектра; р^щ -количество солнечной отраженной радиации, измеренное в среднем инфракрасном (СИК) диапазоне спектра излучения. Значения индекса изме-
няются в диапазоне [-1; 1].
Температура земной поверхности является условием, влияющим на развитие: эрозийных процессов почвы; процессов, происходящих в слое бытовых, промышленных и строительных отходов на несанкционированных свалках (возможное изменение состояния отходов); процессов распространения нефтепродуктов в почве, которое является следствием их разлива.
Рассматриваемые НПЯ и ТВ на ОС являются мезо- или микромасштабными. В этом случае для идентификации температуры необходимо использование данных ИСЗ Landsat 7, 8. Для расчета значений температуры подстилающей поверхности на основе данных ИСЗ Landsat 7, 8 используется формула следующего вида [23, 24]:
Т =
А TTOR
к-,
,n(| + iy
L„
-L„
где ¿таХр - максимальное количество приходящего излучения (¿таХр = 12,65 для ЕТМ+); - минимальное количество приходящего излучения (^ттр = 3,2 для ЕТМ+); Qca^ тах - максимальное калиброванное значение яркости пикселя на снимке (Qcal_max = 255); Qcal_mm - минимальное калиброванное значение яркости пикселя на снимке
№са1_тт = 1).
Для Landsat 8 выражение для вычисления р1 имеет вид [13]:
п. — м * п .4- ^
Pt = Mp* Qcal + Ар,
где ТПов - температура поверхности; Кг, К2 - калибровочные константы; pt - значение отраженной солнечной яркости, измеренное в одном из тепловых каналов.
Заданными значения калибровочных констант для Landsat 7 являются: Ki = 666,09; К2 = 1282,71. Для Landsat 8 значения Кг, К2 извлекаются из файла метаданных, сопровождающего сцену, передаваемую с интернет-ресурса. В зависимости от типа спутника значение pt определяется на основе дискретного калиброванного значения пикселя Qcal, представляющего собой значение оттенка серого цвета, получаемое из файла сцены по различным формулам. Для Landsat 7 выражение имеет вид [12]:
Pt
Q,
calm
-Q,
calm
' * (Qcal Çcaimin) + L„
где Мр и Ар - калибровочные коэффициенты, извлекаемые из файла метаданных, сопровождающего спутниковый снимок (сцену).
Вещества, находящиеся в твердых бытовых, промышленных и строительных отходах, являются легко растворимыми и легко вымываемыми, поэтому вместе с дождевой водой они проникают в почву, где осуществляется их последующее распространение [1, 2]. В приповерхностном слое реализуется распространение нефти и нефтепродуктов, поступающих в почву в результате их разлива из поврежденных мест хранения и транспортировки. Поэтому для определения распространения в почве вредных веществ необходима фиксация таких ее параметров, как гранулометрический состав и структура [25, 26]. Гранулометрический состав почв является их физико-механическим свойством, которое определяет степень просачивания жидкостей. Степень просачивания жидкости характеризуется возможностью формирования агрегатов из твердых элементов почвы.
Использование многозональных данных для идентификации свойств почвы предполагает применение прямых либо косвенных методов [25, 26]. Прямые методы распознавания почв предусматривают анализ их цвета и текстуры на снимках, полученных на основе многозональных данных. Эти методы применимы при типизации открытых почв, свободных от растительности. На тон, цвет, текстуру изображения влияют различные характеристики самих почв: эродированность, засоленность, солонцеватость, окарбоначенность, степень увлажнения, содержание гумуса и др. [28]. Поэтому однозначно дешифрировать состав почвы на основе многозональных данных ДЗЗ только по прямым де-шифровочным признакам (цвет, тон, текстура) представляется затруднительным. Косвенные методы предусматривают анализ характера растительности, наземного покрова, рельефа и т. д. [28]. Однако использование характера изображения растительности на снимках как дешифровочного признака ограничивается не изученностью ее индикационной роли по отношению к почвам, а также изменчивостью характера растительности, связанной с антропогенными воздействиями на нее и естественными процессами [27, 28].
р
р
р
Идентификация НПЯ и ТВ на ОС обуславливает необходимость уточнения их характеристик и условий распространения по многозональным данным среднего разрешения (Landsat 8) в области меньшего размера, содержащей только рассматриваемое явление или воздействие. Тематическая обработка данных из каналов Landsat 8 для областей, в которых зафиксировано наличие НПЯ и ТВ, выполняется в соответствии с приведенными выше этапами и является аналогичной тематической обработке с целью идентификации динамики отражательных свойств поверхности. Таким образом, реализация мониторинга ОС с использованием данных ДЗЗ обеспечивается:
- тематической обработкой разновременных снимков полигонов, задаваемых пользователями;
- обработкой данных ДЗЗ в целью типизации НПЯ и ТВ на ОС;
- обработкой данных ДЗЗ с целью определения характеристик НПЯ и ТВ на ОС, условий их развития и распространения.
В Web-ориентированных сервисах мониторинга ОС действия по идентификации наличия НПЯ и ТВ на ОС на поверхности, их типизации, определению их характеристик и условий распространения реализуются одновременно в соответствии с запросами большого количества пользователей. Тогда выполнение этих операций связано с обработкой большого количества данных ДЗЗ. При этом функционирование Web-ориентированных сервисов мониторинга ОС должно обеспечивать минимизацию времени отклика на запросы пользователей. В силу этого обработку данных ДЗЗ требуется выполнять на параллельно функционирующих устройствах. В тоже время тематическая обработка многоспектральных данных ДЗЗ разных типов имеет одинаковую последовательность этапов. Поэтому параллельную обработку данных ДЗЗ, соответствующих различным запросам пользователей, требуется выполнять в составе конвейерной (многостадийной) системы.
2. Анализ способов параллельной обработки данных ДЗЗ в Web-ориентированных сервисах мониторинга ОС и методов управления
Работы по созданию систем мониторинга ОС с использованием данных ДЗЗ ведутся в различных научных организациях (ИКИ РАН, ИВТ СО РАН, ИАПУ ДВО РАН). Результаты работ по реализации таких систем изложены в [29-37]. Анализ этих работ позволил сформулировать следующие особенности процесса параллельной обработки данных. Получение результатов обеспечивается распределенной обработкой данных ДЗЗ на параллельно функционирующих устройствах. Принципы управления обработкой данных предполагают, что для полученных от центров хранения данных ДЗЗ определяется свободное вычислительное устройство
(ВУ), куда будут направлены данные и сценарий их обработки. Свободному ВУ назначается для реализации определенный сценарий обработки, выполняется загрузка данных, обрабатывающих процедур и самого сценария для интерпретации. При этом типизация данных по какому-либо признаку, группирования однотипных данных для их обработки в соответствии с одинаковым сценарием обработки в системах не выполняется. Рост вычислительной нагрузки приводит к включению в состав системы обработки дополнительных уст-ройств (масштабированию).
Анализ способов управления обработкой показал, что наличие необработанных данных и требуемого количества ресурсов на ВУ для их выполнения, приводит к необходимости повторного формирования диспетчирующим устройством сценария обработки, который передается на ВУ для его интерпретации. Это приводит к повторной активизации обрабатывающих процедур (загрузка в оперативную память ВУ, запуск на выполнение и т. д.). Исключить указанные недостатки позволяет подход, предусматривающий объединение однотипных данных в соответствии с заданными признаками. В частности, объединение данных возможно в соответствии с видом их тематической обработки. Объединение данных в соответствии с некоторыми признаками (формирование пакетов) позволяет исключить повторяющееся построение сценариев обработки для однотипных данных и передачу их на ВУ.
На основе анализа работ [29-37] сделан вывод о том, что системы не предполагают реализации конвейерной обработки и обладают высокой стоимостью (в том числе, связанной с необходимостью их масштабирования при увеличении вычислительной нагрузки). В отличие от них в конвейерные системы при росте вычислительной нагрузки дополнительные обрабатывающие приборы (сегменты) не добавляются, поэтому стоимость реализации этих систем значительно ниже. В тоже время поддержание требуемой производительности вычислений достигается путем совершенствования управления процессом обработки данных ДЗЗ (формированием динамических расписаний, формированием расписании обработки пакетов данных и т. д.). По этой причине разработка способа конвейерной обработки данных ДЗЗ в составе таких систем является актуальной.
3. Обоснование архитектуры
ШеЬ-ориентированных сервисов мониторинга окружающей среды с использованием данных ДЗЗ и способа конвейеризированной обработки данных
Основное назначение рассматриваемых сервисов (систем) состоит в решении задач регионального мониторинга окружающей среды, контроля за возникновением и развитием НПЯ и ТВ на ОС на
территориях малых масштабов (региональный и территориальный уровни). Базовыми функциями сервисов (систем), обеспечивающими реализацию мониторинга, являются:
- идентификация наличия НПЯ и ТВ на ОС на заданных пользователями полигонах, определение их типа с привлечением знаний пользователей (визуальное дешифрирование);
- определение характеристик НПЯ и ТВ на ОС, идентифицированных на заданных полигонах (площадь, координаты контура и т. д.);
- идентификация динамики рассматриваемых НПЯ и ТВ на ОС;
- определение условий распространения НПЯ и ТВ на ОС.
Современный подход к получению спутниковых данных разных типов от различных ИСЗ [36-39] предполагает обращение с запросами к центрам их хранения, доступ к которым возможен средствами Шев-технологий. Сервисы этих центров обеспечивают следующие функции:
- реализация скачивания данных для заданных полигонов;
- пользовательский интерфейс к каталогам данных;
- поиск данных;
- передачи данных в соответствии с запросами;
- организация авторизации и разграничения доступа к данным.
В работах [29-34] авторами охарактеризована унифицированная технология автоматического получения наборов данных из центров их хранения, разработанная в ИКИ РАН. В соответствии с этой технологией процесс получения данных ДЗЗ организован с использованием стандартных блоков, обеспечивающих выполнение следующих функций:
- поиск, контроль обновления и доступности спутниковых снимков в архивах центров хранения и предоставления данных;
- построение очередей загрузки данных для разных центров;
- авторизация на ШеЬ-ресурсах центров предоставления данных;
- запрос на получение данных ДЗЗ и загрузка этих данных с ресурсов;
- контроль целостности получаемых данных;
- экспорт данных из архива.
Разработанный Web-ориентированный сервис
мониторинга ОС с использованием данных ДЗЗ реализует указанную технологию. Функционирование разработанного Web-ориентированного сервиса мониторинга ОС обеспечивает доступ различных распределенных пользователей к спутниковым данным ДЗЗ, хранимых в распределенных архивах, и к результатам их тематической обработки с использованием Web-технологий. Разработанная система мониторинга ОС обеспечивает для ее пользователей
реализацию ШеЬ-интерфейса к распределено хранящимся архивам спутниковых данных, средствам обработки этих данных и результатам их обработки.
Подход к построению систем мониторинга ОС, предусматривающий реализацию запросов пользователей на данные из центров их хранения, последующую их тематическую обработку с целью мониторинга ОС, положен в основу организации геопар-тала (геосервиса), обобщенная структурная схема которого представлена на рисунке 1.
Рис. 1. Обобщенная структурная схема системы мониторинга ОС с использованием данных ДДЗ
Fig. 1. Generalized Block Diagram of the Environment Monitoring System Using Remote Sensing Data
Решение задач мониторинга ОС с использованием данных ДЗЗ обеспечивается следующими функциями геопортала [34, 39]:
- автоматизированным получением данных от ИСЗ разных типов за счет генерации запросов к соответствующим центрам их хранения;
- тематической разнонаправленной обработкой разнотипных данных ДЗЗ (данных разных ИСЗ) для получения специализированных продуктов;
- отображением пользователям результатов идентификации наличия НПЯ и ТВ на ОС с целью их типизации на основе экспертных знаний;
- автоматическим определением характеристик в соответствии с идентифицированным видом явления (воздействия), условий распространения;
- автоматизированным ведением архивов исходных данных ДЗЗ и результатов обработки.
Идентификация наличия НПЯ и ТВ на ОС, определение их типов, характеристик и условий распространения реализуется с использованием разнотипных данных (от различных ИСЗ). Соответственно, данные каждого типа требуют своего вида тематической обработки. Разнотипная тематическая обработка данных разных ИСЗ обеспечивает определение различных характеристик и условий распространения НПЯ и ТВ на ОС. На основе уточнения функций, реализуемых системой мониторинга ОС с использованием данных ДЗЗ, и ее структурной схемы (см. рисунок 1) реализована разработка функциональной схемы Web-ориентированного сервиса мониторинга ОС с использованием данных ДЗЗ (рисунок 2).
Блок картографического задания координат полигона
X
Блок генерации запросов к Центрам хранения данных для получения снимков
Е
Блок получения
данных ДЭЗ
от Центров
хранения данных
1
Блок каталогизации
данных ДЭЗ,
полученных от
Центров хранения
данных
Подсистема
получения
данных ДЭЗ
Блок определения характеристик явлений по снимкам Landsat
Блок комплексирования условий развития явлений и воздействий
Подсистема определения характеристик и условий распространения явлений и воздействий
Блок вывода характеристик негативных явлений
и техногенных воздействий на ОС
Блок тематической обработки данных MODIS
Блок тематической
обработки данных Landsat
Подсистема тематической обработки данных
Блок идентификации
динамики отражательной способности по снимкам MODIS
Блок идентификации
динамики отражательной способности по снимкам Landsat
Подсистема идентиф икации наличия явлений
Архив результатов тематической обработки
8
Архив комплектов данных по каждому явлению и техногенному воздействию
Подсистема архивации результатов обработки
Тематические продукты
Рис. 2. Функциональная схема Web-ориентированного
сервиса (системы) мониторинга ОС с использованием данных ДЗЗ
Fig. 2. Functional Diagram of a Web-Based Service (System) of Environment Monitoring Using Remote Sensing Data
Координация взаимодействия этих подсистем обеспечивается подсистемой управления функционированием системы мониторинга ОС для идентификации НПЯ и ТВ. Организация процессов обработки предполагает:
- формирование необходимых наборов данных для обработки (в частности, группирование данных ДЗЗ одного типа для их тематической обработки одинакового вида);
- выбор и управление вычислительными ресурсами для реализации обработки данных (загрузка
программ в оперативную память, определение очередности запуска программ обработки данных на соответствующих обрабатывающих приборах конвейерной системы);
- диспетчеризацию потоков данных между приборами, реализующими обработку (управление обменом данными между вычислительными устройствами);
- управление на соответствующих приборах выполнением программ обработки поступающих данных, т. е. управление последовательностью запуска программ, реализующих различные этапы обработки на соответствующих вычислительных ресурсах;
- оперативное получение информации о состоянии процессов обработки (фиксация возмущающих воздействий, влияющих на запланированный ход процесса обработки);
- организацию автоматического размещения результатов обработки в архивах для обеспечения дальнейшей возможности работы с ними.
Детальное описание НПЯ и ТВ (определение их характеристик) на полигонах больших размеров по данным низкого разрешения является трудно разрешимой задачей. Поэтому в случае, если НПЯ и ТВ зафиксированы в полигоне большого масштаба (с использованием данных низкого разрешения), то в соответствии с определяемыми в результате РОБТ-тематической обработки их приближенными характеристиками выполняется идентификация размера области меньшего размера, для которой с использованием снимков среднего разрешения будут определены их точные параметры. Таким образом, для идентификации характеристик НПЯ и ТВ на ОС требуется реализовать переход от полигона большого размера к области стандартного размера, в которой обнаружено явление или воздействие (выбирается один из стандартных размеров областей, заданных в системе, соответствующий масштабу обнаруженного явления).
Рассматриваемая система мониторинга ОС на основе данных ДЗЗ реализует предоставление многопользовательского доступа к распределено хранящимся данным, а также обеспечивает многопользовательский доступ к средствам обработки этих данных. Следствием является поступление значительного количества запросов на данные и их обработку. Идентификация НПЯ и ТВ на ОС связана с обработкой больших объемов данных (массивов числовых значений КСЯ в нескольких спектральных каналах). В силу этого на вход системы обработки поступают потоки данных больших объемов, соответствующие сгенерированным запросам. Для пользователей условием эффективного функционирования системы является время ее реакции на их запросы. Функционирование системы должно обеспечивать минимизацию данного параметра. Время реакции на запрос пользователя определя-
ется временем получения снимков из центров хранения и предоставления данных, а также временем выполнения операций с ними. Снижение временных затрат связано с использованием функционирующих параллельно вычислительных ресурсов, что обеспечивает увеличение скорости обработки данных.
Причинами, обуславливающими возможность обработки данных на параллельно функционирующих обрабатывающих приборах в многостадийной системе, являются: независимость обработки данных ДЗЗ одного типа от результатов обработки данных других типов (независимо обрабатываемые потоки данных); независимость реализации программы одного типа, выполняющей обработку соответствующих данных ДЗЗ, от функционирования программ других типов.
Процесс получения и обработки данных представляется рассмотренной выше последовательностью этапов выполнения действий с массивами значений КСЯ, измеренными в разных каналах различных приборов ИСЗ. При этом порядок (этапы) выполнения работ с многозональными данными разных типов является одинаковым. В случае, если обработка данных представляется в виде последовательности этапов, то увеличение ее производительности с использованием параллельно функционирующих вычислительных устройств обеспечивается ее конвейеризацией. При этом программные модули, реализующие эти этапы и выполняющие обработку соответствующих данных, используют один и тот же набор вычислительных ресурсов. Вычислительный ресурс, на котором реализуется одна из стадий обработки данных (исполнение программного модуля, реализующего этап обработки), является сегментом конвейера. Тогда последовательность сегментов, реализующих выполнение программ обработки данных, образует конвейер выполнения работ со спутниковыми снимками. Предложена функциональная схема конвейера обработки данных ДЗЗ, которая представлена на рисунке 3.
Анализ предложенной схемы показывает наличие этапов обработки, которые могут быть конвейеризированы, и этапов РОБТ-тематической обработки, не подлежащих конвейеризации. Функциональная схема процесса конвейеризированной обработки данных (см. рисунок 3) предусматривает следующую последовательность выполнения операций (работ) для идентификации НПЯ и ТВ на ОС, а также условий их распространения:
- генерация запросов к центрам хранения и предоставления данных в соответствии с параметрами полигона для мониторинга, заданными пользователем;
- получение спутниковых данных в виде массивов значений степеней градаций серого цвета, соответствующих значениям КСЯ в спектральных каналах;
Блок генерации запросов к Центрам хранения данных для получения снимков
Блок получения данных от Центров хранения спутниковых данных
Блок архивации результатов тематической обработки
Блок анализа
динамики отражательной способности поверхности/ идентификаций явлений
Блок выделения подобластей/ привязка к географическим координатам
Блок
буферизации
и
каталогизации
данных
Блок
идентификаци
и классов
объектов
на
поверхности
Блок определения
значений отражательной способности
Блок необучаемой классификации (кластеризации ) данных
Блок
формирования Блок
комплектов формирования
параметров, и вывода
характеризующ тематических
их явления изображений
(воздействия)
Рис. 3. Функциональная схема конвейера обработки данных ДЗЗ разных типов для решения задачи мониторинга ОС
Fig. 3. Functional Diagram of Processing of the Remote Sensing Data of Different Types for Solving the of Problem of Environment Monitoring
- буферизация и каталогизация массивов значений степеней градаций серого цвета, соответствующих значениям КСЯ в спектральных каналах, позволяющим идентифицировать определенные явления и процессы на земной поверхности;
- расчет значений отраженной яркости (КСЯ) для данных, хранящихся в буфере и используемых при идентификации наличия НПЯ и ТВ на ОС;
- на основе массивов значений отраженной яркости реализуется выделение объектов и явлений на поверхности посредством необучаемой классификации (формирование кластеров);
- для объектов и явлений, идентификация которых выполнена в результате необучаемой классификации, реализуется формирование осредненных значений вегетационных индексов, либо формирование значений оттенков цветов в RGB-модели, получаемых на основе значений КСЯ в различных каналах спектрорадиометров;
- архивация полученных результатов тематической обработки спутниковых данных.
Этапы обработки, являющиеся частью схемы выполнения операций с данными (см. рисунок 3), но не входящие в состав конвейера:
- идентификация динамики отражательной способности земной поверхности для определения наличия НПЯ и ТВ на ОС;
- формирование комплектов параметров, характеризующих условия распространения явлений
либо воздействий на ОС (каждый комплект представляет собой набор значений параметров, характеризующих условия распространения определенного явления либо воздействия);
- выделение подобластей, для которых будет выполняться уточнение характеристик явлений и воздействий, привязка этих подобластей к географическим координатам;
- формирование и вывод тематических изображений пользователю.
Таким образом, за счет конвейеризации действий с данными разных типов реализуется объединение выполнения разных этапов различных программ обработки данных. В силу того, что на вход конвейера поступают данные ДЗЗ разных типов (от разных ИСЗ), обрабатываемые различными программами, поэтому эффективная реализация процесса обработки обеспечивается его планированием и управлением.
Результаты тематической обработки данных ДЗЗ с целью идентификации наличия НПЯ и ТВ на ОС представлены на рисунках 4, 5. На рисунке 4 представлено тематическое изображение после кластеризации данных 4 (БИК) и 5 (RED) каналов спектро-радиометра OLI/TIRS ИСЗ Landsat 8 за предыдущие несколько лет (ретроспективные данные, визуализация выполнена в естественных цветах).
Рис. 4. Результаты кластеризации ретроспективных данных 4 и 5 каналов OLI/TIRS ИСЗ Landsat 8
Fig. 4. Results of Clustering of the Retrospective Data of Channels 4 and 5 of the OLI/TIRS Sa tellite Landsa 18
На рисунке 5 представлено тематическое изображение после кластеризации данных 4 (БИК) и 5(RED) каналов спектрорадиометра OLI/TIRS ИСЗ Landsat 8 для текущего года с выделенными красным цветом границами обнаруженных техногенных воздействий на ОС. На рисунке 6 представлено тематическое изображение, являющееся результатом обработки данных 10 канала спектрорадиометра OLI/TIRS ИСЗ Landsat 8 (температурный канал), характеризующих условие распространения ТВ на ОС. На рисунке 7 представлены результаты тематической обработки данных 5 (БИК) и 6 (СИК) каналов для определения влагосодержания растительности на поверхности.
Рис. 5. Результаты кластеризации данных 4 и 5 каналов OLI/TIRS ИСЗ Landsat 8 текущего года
Fig. 5. Results of Clustering of Data of 4 and 5 Channels of the OLI/TIRS Satellite Landsat 8 of the Current Year
■ 45° 40° 35° 30° 25° 20° 15° 10° 5°
Рис. 6. Тематическое изображение, соответствующее данным 10 канала (температура) ИСЗ Landsat 8
Fig. 6. Thematic Image Corresponding to Channel 10 Data (Temperature) Satellite Landsat 8
Рис. 7. Результаты кластеризации данных 5 и 6 каналов OLI/TIRS ИСЗ Landsat 8 для определения влагосодержания растительности
Fig. 7. Results of Clustering of Data from Channels 5 and 6 of the OLI/TIRS Satellite Landsat 8 for Determining the Moisture Content of Vegetation
Заключение
Выполнен анализ процесса мониторинга ОС с использованием данных ДЗЗ, который реализуется в соответствующих Web-ориентированных сервисах. Определено, что для реализации мониторинга ОС с использованием данных ДЗЗ необходим контроль динамики отражательных свойств подстилающей
земной поверхности в соответствующих полигонах, задаваемых пользователями системы. Типизация НПЯ либо ТВ на ОС реализуется путем визуального дешифрирования результатов дополнительной обработки данных ДЗЗ. При идентификации типа НПЯ либо ТВ на ОС с целью определения их характеристик и условий распространения реализуется дополнительная обработка уже имеющихся данных ДЗЗ, либо запрос на получение и реализация обработки дополнительных данных ДЗЗ. Опре-
делено, что процессы обработки данных ДЗЗ разных типов имеют одинаковую последовательность этапов. Сформулирована необходимость параллельной обработки данных ДЗЗ в Web-ориентиро-ванных сервисах мониторинга ОС. Сформулирована возможность конвейеризации обработки данных ДЗЗ. Выполнено обоснование архитектуры и функциональной схемы Web-ориентированного сервиса мониторинга ОС. Выполнено обоснование схемы конвейеризации тематической обработки данных ДЗЗ и POST-тематической обработки.
Список используемых источников
1. Втюрин С.А., Князев Н.А., Палатов Ю.А., Романенко С.Н. Использование данных дистанционного зондирования Земли из космоса для прогнозного моделирования экологической обстановки // Современные проблемы дистанционного зондирования Земли из космоса. 2007. Т. 1. № 1. C. 111-118.
2. Жарко В.О. Методы обработки данных спутниковых измерений спектрально-временных характеристик отраженного излучения для дистанционной оценки параметров лесного покрова. Дис. ... канд. физ.-мат. наук. Москва. Институт космических исследований РАН, 2015. 131 с.
3. Сутырина Е.Н. Дистанционное зондирование Земли. Иркутск: Из-во Иркутского государственного университета, 2013. 165 с.
4. Герман М.А. Космические методы исследования в гидрометеорологии. Л.: Гидрометеоиздат, 1985. 352 с.
5. Токарева О.С., Климентьев Д.С. Оценка последствий нефтяных разливов на основе данных дистанционного зондирования Земли // Гео-Сибирь. 2010. Т. 4. № 1. С. 130-133.
6. Барталев С.А., Лупян Е.А. Спутниковый мониторинг бореальных систем // Природа. 2005. № 9. с.44-53.
7. Бондура В.Г. Аэрокосмический мониторинг объектов нефтегазового комплекса. М.: Научный мир, 2012. 558 с.
8. Федотова Е.В., Жолдуев А.А., Изосимов В.Г. Шпирук Ю.Д., Маглинец Ю.А., Цибульский Г.М. Анализ сезонной динамики растительного покрова на основе данных дистанционного зондирования Земли // Журнал Сибирского Федерального университета. Техника и технологии. 2014. Т. 7. № 8. С. 976-983.
9. Кирвякова А.В. Эрозия почв юго-западной части Ставропольской возвышенности и прилегающих территорий Прикубанской равнины. Автореферат дис. . канд. географ. наук. Ставрополь: Ставропольский государственный университет, 2008. 28с.
10. Аввакумова А.О. Анализ динамики структуры землепользования на основании данных дистанционного зондирования Земли // Научные ведомости Белгородского государственного университета. Серия: Естественные науки. 2018. Т. 42. № 2. С. 214-222. D0I:10.18413/2075-4671-2018-42-2-214-222
11. Скрипчинский А.В., Бурым Ю.В. Мониторинг эрозионных процессов средствами космической съемки // Наука. Инновации. Технологии. 2016. № 2. С. 89-98.
12. Тимофеева С.С., Шешукова Л.В., Охотин А.Л. Мониторинг свалок твердых бытовых и промышленных отходов в Иркутском районе по данным космических снимков // Вестник ИрГТУ. 2012. № 9(68). С. 76-81.
13. Липилин Д.А. Распределение и динамика объектов размещения твердых бытовых отходов на территории Краснодарского края. Дис. ... канд. географ. наук. Краснодар: Кубанский государственный университет, 2014. 184 с.
14. Ту Дж., Гонсалес Р. Принципы распознавания образов. М.: Мир, 1978. 416 с .
15. Лабутина И.А., Балдина Е.А. Использование данных дистанционного зондирования для мониторинга экосистем ООПТ. Методическое пособие / Всемирный фонд дикой природы (WWF России). Проект ПРООН/ГЭФ/МКИ «Сохранение биоразнообразия в российской части Алтае-Саянского экорегиона». М: Всемирный фонд дикой природы, 2011. 88 с.
16. Малышева Н.В. Автоматизированное дешифрирование аэрокосмических изображений лесных насаждений. М.: Издательство Московского государственного университета леса, 2012. 154 с.
17. Савицкая О.В. Методы спутникового мониторинга оценки состояния и продуктивности посевов зерновых культур. Дис. ... канд. геогр. наук. Обнинск: Всероссийский научно-исследовательский институт сельскохозяйственной метеорологии, 2016. 184 с.
18. Адамович Т.А., Ашихмина Т.Я., Кантор Г.Я. Использование различных комбинаций спектральных каналов космических снимков спутника Landsat 8 для оценки природных сред и объектов (обзор) // Теоретическая и прикладная экология. 2017. № 2. С.9-18.
19. Клименко К.В., Орлова Т.А., Исмаилов Р.Р. Мониторинг распространения стихийных свалок твердых коммунальных отходов в республике Крым // Вестник факультета землеустройства Санкт-Петербургского государственного аграрного университета. 2017. № 3. С. 26-29.
20. Чыонг Н.К. Оценка состояния лесного фонда Ленинградской области и ГИС-прогноз его развития. Дис. ... канд. с.-х. наук. СПб: Санкт-Петербургский государственный лесотехнический университет имени С.М. Кирова, 2014. 174 с.
21. Черепанов А.С. Вегетационные индексы // Геоматика. 2011. № 2. С. 98-102.
22. McFeeters S.K. The use of the Normalized Difference Water Index (NDWI) in the delineation of open water features // International Journal of Remote Sensing. 1996. Vol. 17. Iss. 7. PP. 1425-1432. D0I:10.1080/01431169608948714
23. Landsat 7 Science Data Users Handbook. // NASA.GOV: сервер Национального управления США по воздухоплаванию и исследованию космического пространства. URL: https://www.usgs.gov/media/files/landsat-7-data-users-handbook (дата обращения 15.10.20)
24. Landsat 8 Science Data Users Handbook. // NASA.GOV: сервер Национального управления США по воздухоплаванию и исследованию космического пространства. URL: https://www.usgs.gov/media/files/landsat-8-data-users-handbook (дата обращения 15.10.20)
25. Дамбаева З.Б., Цыбикдоржиев Ц.Ц. Краткий курс основ почвоведения: методическое пособие. Улан-Удэ: Изд-во БГСХА им. В.Р. Филиппова, 2009. 51 с.
26. Григорьян Б.Р., Кулагин В.И. Почвоведение: учебное пособие. Казань: Из-во Казанского государственного университета, 2008. 96 c.
27. Савин И.Ю. Использование спутниковых данных для составления почвенных карт: современные тенденции и проблемы // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 6. С. 29-39. D0I:10.21046/2070-7401-2016-13-6-29-39
28. Симакова М.С. От визуального дешифрирования аэрофотоснимков и полевого картографирования почв до автоматизированного дешифрирования и картографирования по космическим снимкам // Бюллетень Почвенного института им. В.В. Докучаева. 2014. № 74. С. 3-19.
29. Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., и др. Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 53-75.
30. Миклашевич С.Э., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Мазуров А.А., Матвеев А.М. и др. Программно-аппаратный комплекс для сбора, обработки, архивации и распространения спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 4. С. 47-56.
31. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов С.А., Барталев С.А., Ефремов В.Ю. и др. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
32. Барталев С.А., Егоров В.А., Жарко В.О., Лупян Е.А., Плотников Д.Е., Хвостиков С.А. и др. Спутниковое картографирование растительного покрова России. М.: ИКИ РАН, 2016. 208 с.
33. Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 156-170.
34. Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145-155.
35. Шокин Ю.И., Пестунов И.А., Смирнов В. В., Синявский Ю. Н., Скачкова А.П., Дубров И.С. и др. Распределенная информационная система сбора, хранения и обработки спутниковых данных для мониторинга территорий Сибири и Дальнего Востока // Журнал Сибирского федерального университета. Серия: Техника и технологии. 2008. Т. 1. № 4. С. 291-314.
36. Шокин Ю.И., Добрецов Н.Н., Кихтенко В.А., Смирнов В.В., Чубаров Д.Л., Чубаров Л.Б. О распределённой инфраструктуре системы оперативного спутникового мониторинга ЦКП ДДЗ СО РАН // Вычислительные технологии. 2013. Т. 18. Специальный выпуск. C. 86-94.
37. Недолужко И.В. Интеграция ресурсов спутникового центра в информационные системы наблюдения за Землёй. Дис. ... канд. техн. наук. Владивосток: Институт автоматики и процессов управления ДВО РАН, 2014. 138 с.
38. Бабяк П.В., Недолужко И.В., Фомин Е.В. Подход к предоставлению услуг по обработке спутниковых данных в Центре коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН // Труды XIV Всероссийской объединенной конференции «Интернет и современное общество» (IMS-2011, Санкт-Петербург, Россия, 10-12 октября 2011). Санкт-Петербург: ООО "МультиПроджектСистемСервис" (МПСС), 2011. C. 27-32.
39. Уваров И.А., Халикова О.А., Балашов И.В., Бурцев М.А., Лупян Е.А., Матвеев А.М. и др. Организация работы с метеорологической информацией в информационных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2013. Т. 10. № 2. С. 30-45.
* * *
Organization of Web-Based Environmental Monitoring Service Using Earth Remote Sensing Data and Pipelining Data Processing
A. Scatkov1 , K. Krotov1
Sebastopol State University, Sebastopol, 299053, Russian Federation
Article info
DOI:10.31854/1813-324X-2021-7-1-105-121 Received 10th August 2020 Accepted 27th January 2021
For citation: Scatkov A., Krotov K. Organization of Web-Based Environmental Monitoring Service Using Earth Remote Sensing Data and Pipelining Data Processing. Proc. of Telecom. Universities. 2021;7(1):105-121. (in Russ.) D0I:10.31854/1813-324X-2021-7-1-105-121
Abstract: The article analyzes the types of remote sensing data and methods of their processing, which is implemented in order to identify negative natural phenomena and man-made impacts on the environment on the earth's surface, their characteristics and distribution conditions. The substantiation of the pipelining remote sensing data processing necessity in Web-oriented services environmental monitoring services is carried out. The article substantiates the architectural organization of Web-oriented services for environmental monitoring services and the functional scheme of the data acquisition and processing system. Based on the analysis of the thematic and POST-thematic data processing methods, the organization of a multistage (pipeline) system for the implementing actions with them that provide versatile environmental monitoring is justified.
Keywords: Earth remote sensing data, Web-based environmental monitoring service, pipelined data processing. References
1. Vtyurin S. A., Knyazev N. A., Palatov Yu. A., Romanenko S. N. Using Earth Remote Sensing Data from Space for Predictive Modeling of the Environmental Situation. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2007;1(4): 111-118. (in Russ.)
2. Zharko V.O. Methods of Processing Data from Satellite Measurements of Spectral and Temporal Characteristics of Reflected Radiation for Remote Estimation of Forest Cover Parameters. PhD Thesis. Moscow. Space Research Institute of the Russian Academy of Sciences Publ.; 2015. 131 p. (in Russ.)
3. Sutyrina E.N. Remote Sensing of the Earth. Irkutsk: Irkutsk State University Publ.; 2013. 165 p. (in Russ.)
4. Herman M.A. Space Research Methods in Hydrometeorology. Leningrad: Hydrometeoizdat Publ.; 1985. 352 p. (in Russ.)
5. Tokareva O.S., Klimentiev D.S. Assessment of Consequences of Oil Floods on the Basis of Remote Sensing Data. Geo-Sibe-ria. 2010;4(1):130-133. (in Russ.)
6. Bartalev S.A., Lupyan E.A. Satellite Monitoring of Boreal Systems. Priroda. 2005;9:44-53. (in Russ.)
7. Bondur V.G. Aerospace Monitoring of Oil and Gas Facilities. Moscow: Nauchnyi mir Publ.; 2012. 558 p. (in Russ.)
8. Fedotova E.V., Zholudev A.A., Izosimov V.G., Shpiruk Yu.D., Maglinets Yu.A., Tsybul'skii G.M. Analysis of Seasonal Dynamics of Vegetation on Remote Sensing Data. Journal of Siberian Federal University. Engineering & Technologies. 2014;7(8): 976983. (in Russ.)
9. Kirvyakova A.V. Soil Erosion in the South-Western Part of the Stavropol Upland and Adjacent Territories of the Prikuban Plain. Phd Theses. Stavropol: Stavropol State University Publ.; 2008. 28 p. (in Russ.)
10. Avvakumova A.O. Land-Use Structure Dynamics Analysis Using the Earth Remote Sensing Data. Scientific bulletins of the Belgorod State University. Series: Natural Sciences. 2018;42(2):214-222. (in Russ.) DOI:10.18413/2075-4671-2018-42-2-214-222
11. Skripchinsky A.V., Burym Yu.V. Monitoring Erosion Satellite Imagery Means // Nauka. Innovations. Technologies. 2016;2:89-98. (in Russ.)
12. Timofeeva S.S., Sheshukova L.V., Okhotin A.L. Monitoring Dumps of Solid Domestic and Industrial Waste in the Irkutsk Region by Satel-Lite Imagery Data. Proceedings of Irkutsk State Technical University (Vestnik Irkutskogo gosudarstvennogo tehnicheskogo universiteta). 2012;9(68):76-81. (in Russ.)
13. Lipilin D.A. Distribution and Dynamics of Solid Waste Disposal Facilities on the Territory of the Krasnodar Territory. PhD Theses. Krasnodar: Kuban State University Publ.; 2014. 184 p.
14. Tu J., Gonzalez R. Principles of Image Recognition. Moscow: Mir Publ.; 1978. 414 p. (in Russ.)
15. Labutina I.A., Baldina E.A. Using Remote Sensing Data for Monitoring Protected Area Ecosystems. Moscow: World Wildlife Fund Publ.; 2011. 88 p. (in Russ.)
16. Malysheva N.V. Automated Decoding of Aerospace Images of Forest Stands. Moscow: Moscow State University of the Forest Publ.; 2012. 154 p. (in Russ.)
17. Savitskaya O.V. Methods of Satellite Monitoring of the Assessment of the State and Productivity of Grain Crops. PhD Thesis. Obninsk: All-Russian Research Institute of Agricultural Meteorology Publ.; 2016. 184 p. (in Russ.)
18. Adamovich T.A., Ashikhmina T.Ya., Kantor G.Ya. Use of Various Combinations of Spectral Channels of Satellite Images from the Landsat 8 Satellite for an Assessment of Natural Environments and Objects (Review). Theoretical and Applied Ecology. 2017;2:9-18. (in Russ.)
19. Klimenko K.V., Orlova T.A., Ismailov R.R. Monitoring the Spread of Natural Landfills of Solid Municipal Waste in the Republic of Crimea. Vestnik fakulteta zemleustroistva Sankt-Peterburgskogo gosudarstvennogo agrarnogo universiteta. 2017;3:26-29. (in Russ.)
20. Chuong N.K. Assessment of the State of the Forest Fund of the Leningrad Region and GIS-Forecast of its Development. Phd Theses. St. Petersburg: Saint-Petersburg State Forest Technical University Named after S.M. Kirov Publ.; 2014. 174 p. (in Russ.)
21. Cherepanov A.S. Vegetative Indexes. Geomatics. 2011;2:98-102. (in Russ.)
22. McFeeters S.K. The use of the Normalized Difference Water Index (NDWI) in the delineation of open water features. International Journal of Remote Sensing. 1996;17(7):1425-1432. D01:10.1080/01431169608948714
23. NASA.GOV: Server of the US national Aeronautics and Space administration. Landsat 7 Science Data Users Handbook. Department of the Interior U.S. Geological Survey. Available from: https://www.usgs.gov/media/files/landsat-7-data-users-hand-book [Accessed 15th October 2020]
24. NASA.GOV: Server of the US national Aeronautics and Space administration. Landsat 8 Science Data Users Handbook. Department of the Interior U.S. Geological Survey. Available from: https://www.usgs.gov/media/files/landsat-8-data-users-hand-book [Accessed 15th October 2020]
25. Dambaeva Z.B., Tsibikdorzhieva T.S. Brief Course in the Fundamentals of Soil Science. Ulan-Ude: Buryat State Academy of Agriculture by V.R. Philippov Publ.; 2009. 51 p. (in Russ.)
26. Grigoryan B.R., Kulagin V.I. Soil Science. Kazan: Kazan State University Publ.; 2008. 96 p. . (in Russ.)
27. Savin I.Yu. Usage of Satellite Data for Soil Mapping: Modern Tendencies and Problems. Sovremennye problemy dis-tantsionnogo zondirovaniya Zemli iz kosmosa. 2016;13(6):29-39. (in Russ.) D0I:10.21046/2070-7401-2016-13-6-29-39
28. Simakova M.S. From Visual Aerial Photo Interpretation and Field Soil Survey to Automated Decoding and Soil Mapping by Satellite Imagery. Dokuchaev Soil Bulletin. 2014;74:3-19. (in Russ.)
29. Loupian E.A., Balashov I.V., Bourtsev M.A., Efremov V.Yu., Kashnitskiy A.V., Kobets D.A., et al. Development of Information Systems Design Technologies. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2015;12(5): 53-75. (in Russ.)
30. Miklashevich S.E., Balashov I.V., Burtsev M.A., Efremov V.Yu., Mazurov A.A., et al. Complex System for the Receiving, Processing, Archiving and Distribution of Satellite Data and Products of Thematic Processing. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2012;9(4):47-56. (in Russ.)
31. Loupian E.A., Proshin A.A., Burtsev M.A., Balashov S.A., Bartalev S.A., Efremov V.Yu., et al. IKI Center for Collective Use of Satellite Data Archiving, Processing and Analysis Systems Aimed at Solving the Problems of Environmental Study and Monitoring. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2015;12(5):263-284. (in Russ.)
32. Bartalev S. A., Egorov V.A., Zharko V.O., Loupian E.A., Plotnikov D.E., Khvostikov S.A., et al. Satellite Mapping of the Vegetation Cover of Russia. Moscow: Space Research Institute of Russian Academy of Sciences Publ.; 2016. 208 p. (in Russ.)
33. Kashnitskiy A.V., Balashov I.V., Loupian E.A., Tolpin V.A., Uvarov I.A. Development of Software Tools for Satellite Data Remote Processing in Contemporary Information Systems. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2015;12(1):156-170. (in Russ.)
34. Kobets D.A., Matveev A.M., Mazurov A.A., Proshin A.A. Organization of Automated Multithreaded Processing of Satellite Information in Remote Monitoring Systems. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2015;12(1):145-155. (in Russ.)
35. Shokin Yu.I., Pestunov I.A., Smirnov V.V., Sinyavskiya Yu.N., Skachkova A.P., Dubrov I.S., et al. The Distributed Informational System of Satellite Data Collecting, Storage and Processing for Siberia and the Far East Territories Monitoring. Journal of Siberian Federal University. Engineering & Technologies. 2008;1(4):291-314. (in Russ.)
36. Shokin Yu.I., Dobretsov N.N., Kikhtenko V.A., Smirnov V.V., Chubarov D.L., Chubarov L.B. On a Distributed Infrastructure for the Monitoring of Satellite Remote Sensing Data Using the Center for Shared Access. Computational Technologies. 2013;18(S1):86-94. (in Russ.)
37. Nedoluzhko I.V. Integration of Satellite Center Resources into Earth Observation Information Systems. Phd Theses. Vladivostok: Institute of Automation and Control Processes Publ.; 2014. 138 p. (in Russ.)
38. Babyak P.V., Nedoluzhko I.V., Fomin E. V. An Approach Used to Provide Satellite Data Processing Services at Multiple Access Centre for Regional Satellite Monitoring of Environment FEB RAS. Proceedings of the XIV All-Russian Joint Conference on Internet and Modern Society", IMS-2011, 10-12 October 2011, St. Petersburg, Russia. St. Petersburg: MultiProdzhektSistem-Servis Publ.; 2011. p.27-32. (in Russ.)
39. Uvarov I.A., Khalikov N.A., Balashov I.V., Burtsev M.A., Loupian E.A., Matveev A.M., et al. Meteorological Data Management in Framework of the Satellite Monitoring Information Systems. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa. 2013;10(2):30-45. (in Russ.)
Сведения об авторах:
СКАТКОВ Александр Владимирович
доктор технических наук, профессор, профессор кафедры «Информационные технологии и компьютерные системы» Севастопольского государственного университета, vm1945@mail.ru © https://orcid.org/0000-0002-5678-9587
КРОТОВ Кирилл Викторович
кандидат технических наук, доцент, доцент кафедры «Информационные системы» Севастопольского государственного университета, кгоШу k1@mail.ru © https://orcid.org/0000-0002-9670-6141
