CC BY
27
УДК 528.88; 551.465; 551.463.8
DOI: 10.21209/2227-9245-2022-28-1-19-30
ОБНАРУЖЕНИЕ И КАРТИРОВАНИЕ НЕФТЯНЫХ СЛИКОВ В МОРЕ КОМБИНАЦИЕЙ РАЗЛИЧНЫХ ИСТОЧНИКОВ ДАННЫХ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ
DETECTION AND MAPPING OF OIL SLICKS IN THE SEA WITH A COMBINATION
OF DIFFERENT EARTH SENSING DATA SOURCES
Рассматриваются методы дистанционного зондирования Земли, используемые для обнаружения и картирования разливов нефти. Исследования направлены на решение задач в области аэрокосмического мониторинга мест нефтеразработок и нефтяных загрязнений. Объект исследования - изображения или последовательность изображений естественной окружающей среды. Предмет исследования - математическое моделирование и аппаратно-программное обеспечение для обработки и анализа изображений, распознавания и классификации образов, позволяющие оценивать экологическое состояние мест нефтеразработок шельфовой зоны. Цель исследования - благодаря полуавтоматическому анализу изображений, оперативно обнаруживать нефтяные загрязнения в шельфовых акваториях с использованием нейросетевых алгоритмов сверхточного типа (ResNet-10) с долговременной и кратковременной памятью ^ТМ) сети при обработке материалов от нескольких источников информации, требующей пространственного соответствия между изображениями. Для распознавания объектов на местности анализировались визуальные данные на базе формирования устойчивых признаков с использованием глубоких нейронных сетей. В качестве основы предлагается использовать многомерные неоднородные (несколько изображений) данные дистанционного зондирования. Задачи исследования, реализующие цель: сформировать множество наборов изображений, содержащих сцены в условиях изменяющейся окружающей среды (погодные условия, освещенность, сезонность, угол обзора); использовать собственную базу, позволяющую выделить устойчивые признаки изображений; разработать методы и алгоритмы обработки и анализа изображений для формирования устойчивых признаков, образующих сцены из нейронных сетей; провести вычислительные эксперименты для сравнительного анализа и оценки результатов классификации и категоризации с использованием модели сложных сетей для управления комплексной информацией. Для этого выполнена автоматическая регистрация геометрических деформаций (перемещение, вращение, изменение масштаба) с помощью билинейной интерполяции, а также тестирование для возможной вариации статистической модели внутри неоднородного скользящего окна, основанного на полуавтоматическом подходе, шельфовых акваторий Нефтяных Камней (Каспийское море). Стандартные однослойные 2D сети LSTM [18] применяют для решения проблемы сегментации текстур с помощью классификации текстурных перпикселей. Сеть точно оценивает области текстуры и автоматически адаптирует различный масштаб, ориентацию и форму областей текстуры на изображении. Показан простой способ применения сетей LSTM для сегментации текстур, приведено сравнение эффективности (точности) с использованием измерения качества классификации на основе исследований с использованием новой меры подобия, основанной на статистической модели (три версии правила ближайшего соседа и метод максимального правдоподобия) [6]. Результаты исследований в целом подтвердили эффективность использования предложенной модели. Второй фронт исследований (анализ распознавания объектов) показал, что контекстную информацию необходимо учитывать в системах распознаваний объектов. Удалось найти доказательства, что естественное формирование кластеров ука-
А. Ш. Гулиев, государственная нефтяная компания, г. Баку
alov_soc@yahoo.com
А. Guliyev, State Oil Company, Baku
19
© А. Ш. Гулиев, 2022
зывает на то, что возникли контексты, которые, по-видимому, были фундаментальными для результатов производительности. Однако важно подчеркнуть, что эти эксперименты носят эмпирический характер и проводятся на определенной базе изображений, хорошо известной в академической научной среде
Ключевые слова: радиолокационные снимки, дистанционное зондирование, мониторинг нефтяных загрязнений, классификатор максимального правдоподобия, рекуррентно связанные блоки, устойчивые признаки изображений, нейросетевые алгоритмы, сетевая архитектура, контекстная информация, перемещение
Earth remote sensing methods, used to detect and map oil spills, are considered. The research is aimed at solving problems in the field of aerospace monitoring of oil development sites and oil spills. The object of the research is images or a sequence of images of the natural environment. The subject of the research is presented by mathematical modeling and software for image processing and analysis, recognition and classification of images, to assess the environmental condition of offshore oilfields. The aim of the research is to detect oil pollution in the shelf area by means of semi-automated image analysis using super-accurate neural network algorithms (ResNet10) with long- and short-term memory (LSTM) when processing materials from several information sources, which require spatial matching between the images. To recognize objects on the ground, visual data have been analyzed based on the formation of stable features using deep neural networks. Multidimensional heterogeneous (multiple images) remote sensing data has been proposed as the basis. The research tasks, which help to realize the aim are: to form a set of image sets, containing scenes in a changing environment (weather conditions, illumination, seasonality, viewing angle); to use own base, allowing to allocate stable image features; to develop methods and algorithms for processing and analysis of images for formation of stable features forming scenes from neural networks; to conduct computer experiments for comparative analysis and evaluation results of classification and categorization with the use of neural networks. For this purpose the author has made automatic registration of geometrical deformations (displacement, rotation, scale change), using bilinear interpolation and testing for possible variation of statistical model inside the inhomogeneous sliding window based on the semi-automatic approach for the shelf area of the Oil Rocks (Caspian Sea). Standard single-layer 2D LSTM networks [18] are used to solve the texture segmentation problem by classifying texture perpixels. The network accurately estimates texture regions and automatically adapts the different scale, orientation and shape of texture regions in the image. A simple way of using LSTM networks for texture segmentation is shown, and the efficiency (accuracy) is compared, using research-based measures of classification quality using a new similarity measure based on a statistical model (three versions of the nearest-neighbor rule and the maximum likelihood method) [6]. The results of the studies have generally confirmed the effectiveness of the proposed model. The second front of the research (object recognition analysis) has shown that context information must be taken into account when applying object recognition systems. It has become possible to find evidence that the natural formation of clusters indicates that contexts emerged, which appeared to be fundamental to performance results. However, it is important to emphasize that these experiments are empirical in nature and are conducted on a particular image base that is well known in the academic scientific community
Key words: Radar images; remote sensing, oil pollution monitoring, maximum likelihood classifier, recurrently linked blocks, persistent features of images, neural network algorithms, network architecture, context information; movement
Б ведение. В настоящее время имеется значительный объем материалов дистанционного зондирования Земли. Существует потребность в автоматических методах обработки изображений. При обработке изображений сложно анализировать многомерные неоднородные (несколько изображений) данные в общем депозитарии для группирования или сравнения соответствующей им информации.
Существует большое количество разнообразных универсальных исследователь-
ских пакетов, позволяющих осуществлять реализацию алгоритмов обработки многомерных данных и выполнять последовательный анализ их эффективности. Однако опыт реализации большого количества проектов показывает, что отсутствует оптимальная математическая модель и оптимальные статистические алгоритмы для обработки многомерных изображений, направленные на детекцию мест нефтезагрязнений и их последовательностей, обеспечивающие достаточную эффективность в условиях про-
странственной неоднородности и мульти-спектрального (многозонального) характера космических съемок.
Имеет место множество обзорных публикаций, посвященных обнаружению участков разливов нефти [8; 10; 13; 14; 15; 16]. В этих исследованиях приведены преимущества использования различных источников дистанционного зондирования и методов достижения цели, поскольку соответствующие подходы могут предложить эффективный мониторинг морской среды и помочь обнаружить участки разливов нефти. В исследованиях в качестве основы используются некоторые алгоритмы генерации случайного поля с текстурой, соответствующей реально получаемым данным из изображений.
Методология исследования. Одним из самых распространенных подходов, базирующихся на использовании линейных авторегрессионных моделей формирования изображений, является подход казуального и полуказуального типа [5; 7; 8; 11; 14].
Отличием данного подхода является периодичность получаемых алгоритмов моделирования. Для определения числовых значений коэффициентов авторегрессии в аналогичных алгоритмах необходимо знать пространственную корреляцию эталонных текстур и обеспечить решение системы уравнений Юла-Уокера [5], что часто является затруднительным, сопряжено с существенными аналитическими и вычислительными сложностями, и его вряд ли можно обобщить для ситуации, когда доступно более двух изображений. Альтернативным подходом является модель, описывающая текстуры на основе пространственного Фурье-спектра [1; 3; 4], что позволяет учитывать глобальный характер связей между элементами изображения. Недостатком получаемых моделей является необходимость построения сложных алгоритмов формирования распределений пространственных и фазовых спектров и отсутствие возможности реализации быстродействующих процедур генерации искусственных изображений для областей произвольной конфигурации.
Названные подходы являются потребными процесса ручной инженерии и сложного моделирования для покрытия вариаций текстуры. Кроме того, трудно обобщить размер подокна с неизвестным масштабом.
Вместо использования фильтров, выбранных вручную, предложено машинное обучение методами сегментации [2; 9; 20; 21]. Многоканальные фильтры обобщены в единую систему, которая объединяет задачу по представлению и классификации признаков.
Объект исследования - изображения или последовательность изображений естественной окружающей среды.
Предмет исследования - математическое моделирование и аппаратно-программное обеспечение для обработки и анализа изображений, распознавания и классификации образов, машинного обучения, позволяющие оценивать экологическое состояние мест нефтеразработок шельфовой зоны.
Цель исследования - благодаря полуавтоматическому анализу изображений, оперативно обнаружить нефтяные загрязнения в шельфовых акваториях с использованием нейросетевых алгоритмов сверхточного типа (ResNet-10) с долговременной и кратковременной памятью ^ТМ) сети при обработке материалов от нескольких источников информации, требующей пространственного соответствия между изображениями. Для распознавания объектов на местности анализировались визуальные данные на базе формирования устойчивых признаков с использованием глубоких нейронных сетей. В качестве основы предлагается использовать многомерные неоднородные (несколько изображений) данные дистанционного зондирования в общем депозитарии для группирования или сравнения соответствующей им информации.
Задачи исследования, реализующие цель:
- сформировать множество наборов изображений, содержащих сцены в условиях изменяющейся окружающей среды (погодные условия, освещенность, сезонность, угол обзора);
- использовать собственную базу, позволяющую выделить устойчивые признаки изображений;
- разработать методы и алгоритмы обработки и анализа изображений для формирования устойчивых признаков, образующих сцены из нейронных сетей;
- провести вычислительные эксперименты для сравнительного анализа и оценки результатов классификации и категоризации
с использованием модели сложных сетей для управления комплексной информацией.
Постановка задачи. Анализ доступной литературы показывает, что задача описания и обработки пространственно неоднородного и нестационарного во времени реального многомерного материала, характерным примером которого являются спутниковые многозональные изображения, в настоящее время не является решенной. В этой связи актуальной задачей является стратегия, заключающаяся в использовании стандартных однослойных 2D сетей LSTM [18]. Такая стратегия не требует какой-либо ручной предварительной обработки или этапа извлечения признаков и выводит сегментированное изображение без остаточной обработки. Предварительный успех пиксельного многомерного подхода рекуррентной нейронной сети LSTM с использованием маркировки изображений [18] и офлайн распознавания почерка [17] указывает на способность выполнять классификацию на уровне пикселей. Предлагаемая сетевая модель основана на идее Грейвса [18], но с гораздо более простой архитектурой для сложных и реальных данных динамической водной поверхности.
Сеть точно оценивает области текстуры и автоматически адаптирует различный масштаб, ориентацию и форму областей текстуры на изображении. Показан простой способ применения сетей LSTM к проблеме классификации текстур. Приводится сравнительный анализ эффективности (точности) с использованием измерения качества классификации на основе исследований с использованием новой меры подобия, основанной на статистической модели (три версии правила ближайшего соседа и метод максимального правдоподобия) [6].
Показано, что использование аппарата нейронной сети (НС) позволяет эффективно решить проблему нахождения пространственных связей между элементами реальных изображений (в том числе и нелинейных), представляя их в виде весов НС, получаемых в ходе обучения по эталонному фрагменту реального изображения.
Методы и материалы. Использовалось программное обеспечение для анализа данных дистанционного зондирования Земли ResNet-10 (нейросетевые алгоритмы свер-точного типа), ERDAS Imagine 6.7 и SNAP Desktop (Sentinel Application Platform 8.0.0).
Некоторые статистические показатели использовались в качестве функций для данных временных рядов ЭеттеМА. Для расчетов применялся бесплатно доступный набор инструментов для анализа временных рядов для Ма^аЬ (http://pub.ist.ac.at/~schloegl/ matlab/tsa/).
В процессе экспериментальных работ выполнен многовременной анализ, собрана серия изображений с июня 2017 г. по ноябрь 2018 г., которые представлены в табл. 1 участка шириной 52,08 км, длиной 45,2 км, площадью 2354 км2. Географические координаты участка: ДО^'М, 5030ГЕ-4Щ)1ГМ,5ГЮ7Е . Все данные группировки спутников Эепйпе!-1А, которые были использованы, доступны в Центре открытого доступа Европейского космического агентства [12].
Регистрация изображений (или согласование). К исходным изображениям применено несколько автоматических регистраций геометрических деформаций (перемещение, вращение и изменение масштаба). Затем искаженное изображение зарегистрировано на исходном изображении с помощью билинейной интерполяции.
Результаты сравнения расчетных параметров с фактическими показаны в табл. 2. Из таблицы следует, что расчетные параметры очень близки к реальным. Это демонстрирует эффективность и надежность регистрации. Количественно оценить точность преобразования, вычисленную методом регистрации, сложно.
Для геометрических методов это будет зависеть от точности контрольных данных. Точность регистрации традиционно характеризуется средней квадратической ошибкой (РМЭЕ), которая представляет собой величину расстояния между положением контрольной точки после исправления изображения и ее положением на изображении. РМЭЕ определяется следующим уравнением:
RMSE =
1
N Зе (y),- - (х, y)t i :
(1)
или (х,у), = Тфпе(х,у) Тфт вычисленное аффинное преобразование, || (х,у), - (х,у'),1 -евклидово расстояние;
N - количество пар контрольных точек. Единица измерения, используемая для определения РМЭЕ, основана на пикселях.
Точность регистрации оценивалась путем вычисления RMSE (1) в каждой контрольной точке. Из общего количества контрольных точек выбрано всего десять. Как показано в табл. 3, точность в каждой отдельной кон-
Разделение текстуры с помощью 2D сети LSTM. Сетевая архитектура: сеть, которая применялась для сегментации текстур, включала три уровня: один входной слой, один скрытый слой, один выходной слой. Сети получают двумерный (2D) массив в качестве входных данных. Значение RGB пиксели подаются прямо на скрытый слой. Он состоит
трольной точке составляет менее 0,15 пикселя. Общая средняя квадратичная ошибка менее 0,1 пикселя получена для десяти контрольных точек, что является относительно высокой точностью.
из четырех рекуррентно связанных блоков с подсетями LSTM. В подсети ячейка памяти используется как самоподключение, а шлюзы ввода, забвения и вывода управляют хранением данных (рис. 1).
Повторяющиеся соединения осуществляют доступ ко всем направлениям каждого пикселя (слева направо, справа налево,
Таблица 1 / Table 1
Изображения Sentinel-1A, использованные в данной работе [20] / Sentinel-1A images used in this work [20]
Изображение SentineMA / Image SentineMA Дата сеанса съемки / Date of the shooting session
S1A_IW_GRDH_1 SDV_20170612T 142845_20170612T142910_017002_01C507_11DB 12 Июня 2017
S1A_IW_GRDH_1 SDV_20170624T142846_20170624T142911 _017177_01CA5E_6929 24 Июня 2017
S1A_IW_GRDH_1 SDV_20171102T024356_20171102T024421_019080_020461_0628 2 Ноября 2017
S1A_IW_GRDH_1 SDV_20170822T024354_20170822T024419_018030_01E445_60F4 22 Августа 2017
S1A_IW_GRDH_1 SDV_20171010T142851_20171010T142916_018752_01 FA61 _8AB4 10 Октября 2017
S1A_IW_GRDH_1SDV_20170711T143657_20170711T143722_017425_01 D1D4_67DC 11 Июля 2017
S1A_IW_GRDH_1 SDV_20180425T143659_20180425T143724_021625_025472_6713 25 Апреля 2018
S1A_IW_GRDH_1 SDV_20180923T142857_20180923T142922_023827_02999B_B1C9 23 Сентября 2018
S1A_IW_GRDH_1 SDV_20180817T024401_20180817T024426_023280_028805_0B4F 17 Августа 2018
S1A_IW_GRDH_1 SDV_20180823T143706_20180823T143731_023375_028B09_6202 23 Августа 2018
S1A_IW_GRDH_1 SDV_20180923T142857_20180923T142922_023827_02999B_B1C9 23Сеньября 2018
S1A_IW_GRDH_1 SDV_20181004T024402_20181004T024427_023980_029E94_0BE2 4 Октября 2018
Таблица 2 / Table 2
Сравнение параметров, алгоритмом настройки с реальными параметрами / Comparison of parameters, by the tuning algorithm with real parameters
Параметры трансформации / Transformation Parameters tx(pixels) ty (pixels) в, ° s, %
Реальные параметры / Real parameters 118 235 -17 123
Расчетные параметры / Calculated parameters 118,632 234,823 -16,952 123,301
Таблица 3 / Table 3
RMSE, рассчитанные в контрольных точках (в пикселях) / RMSE calculated at control points (in pixels)
Контрольные точки / Control points 1 2 3 4 5 6 7 8 9 10 Итого RMSE / Total RMSE
RMSE 0,07 0,09 0,04 0,01 0,04 0,03 0,04 0,03 0,03 0,14 0,04
сверху вниз и снизу вверх; 2п скрытых единиц для п -мерных данных) и накапливают информацию. Следовательно, глобальная информация обо всех пикселях окружения способствует окончательному выводу. Наконец, контекстная информация обо всех
направлениях из скрытого слоя отправляется на единственный выходной слой. Размер выходного слоя соответствует количеству классов, и каждый выходной блок обеспечивает вероятность каждого класса текстуры на пиксель.
Рис. 1. Подробная схема блока долгой краткосрочной памяти, используемая в скрытых слоях рекуррентной нейронной сети / Fig. 1. Detailed scheme of the long short-term memory block used in the hidden layers of the recurrent neural network
Обучение сети. Чтобы найти оптимальную сетевую модель задачи, сначала нарабатывался другой размер скрытого блока на постоянном размере входных пикселей и определялся эмпирически. Размер входного и выходного слоев зависит от количества пикселей и класса текстуры соответственно. Сеть обучается с использованием 179 случайных выборок размером 100 х 100 с фиксированной скоростью обучения и импульсом.
Предлагаемый подход требовал комплекса данных полевого обследования. Получены тренировочные точки и соответствующие временные ряды. Первое, что нужно учитывать в этом сценарии - это увеличение количества обучающих выборок, чтобы лучше представить фактическое распределение временных рядов пикселей в пространстве признаков, относительно интересующей области (рис. 2).
Набор образцов был разделен на три подмножества: тренировочные данные (98 %), контрольный набор данных установки разработчика (1 %), тестовые точки (1 %). Модель разрабатывалась посредством нескольких вычислений и оценок показателей произ-
водительности (точность и потери), а также визуального анализа классифицированной площади нефтеразливов на водной поверхности. В эксперименте в качестве точности тестирования выбрана максимальная точность по всем параметрам.
Модель CNN реализована с использованием библиотеки Keras и постепенно улучшалась путем корректировки непрерывных обучающих выборок до достижения следующей архитектуры и гиперпараметров:
1) архитектурные слои:
- ячейка LSTM с 256 скрытыми блоками;
- полностью связанный выходной слой с softmax функцией активации;
2) функция потерь: категориальная кросс-энтропия;
3) оптимизатор: Адам;
4) скорость обучения: 0,00001;
5) размер партии: 16;
6) количество эпох: 25.
Тесты проводились в контейнере Docker с настроенной подготовленной к Keras средой, работающей на хосте и оснащенной 12 процессорами Intel (R) Xeon (R) CPU E5-2620 v2 @ 2.10 ГГц и 24 ГБ оперативной памяти.
Рис. 2. Блок-схема этапов подготовки нейронной сети. Представлены операции, выполняемые
людьми, параллелограммы представляют автоматизированные операции (скрипты), а ромбик - условную операцию / Fig. 2. Block diagram of the stages of neural network preparation. Operations performed by people are represented, parallelograms represent automated operations (scripts),
and a rhombus represents a conditional operation
Для определения максимального совпадения между ними прогнозируемые регионы были отсортировали от больших к малым. Это помогло избежать двойного присвоения региона. Максимальная область перекрытия между прогнозируемым и достоверным изображениями совпадает, и коэффициент перекрытия будет соответствовать качеству классификации по площади. Следовательно, обнаруживаются наиболее вероятные сходства между достоверным и предсказанным изображениями, точность классификации изображения (Асс.) вычисляется следующим образом:
Л г^ 4$ 45 1 # ■ _- _■■
щ Л1 щ чд где R - номер области в наземном изображении;
А1 и А; - площадь всего изображения и метка г в реальное наземное изображение соответственно;
А' - максимальная часть соответствующей области для метки г в прогнозируемом изображении;
А; з А"г - площадь перекрывающейся части между А; и А°г.
Результаты исследования и их обсуждения. В исследовании использовались два
алгоритма классификации: правило ближайшего соседа (к^^ и классификатор максимального правдоподобия, а также три различных варианта правила ближайшего соседа (рис. 4...6). Все наборы данных классифицированы этими четырьмя методами [17].
Опишем три версии правила ближайшего соседа. В первых двух методах: k-NN с к = 1 и к = 9. Это означает, что первый использован для классификации одного соседа а
второй - девяти соседей (9^^. В третьем методе использовались средние значения областей обучения (далее МDМ).
Этот классификатор также называется минимальным расстоянием до средних значений. Визуальная интерпретация дает хорошее представление о результате классификации, но следует проверить окончательную точность. В табл. 4 приведены результаты всех выполненных экспериментов. Вариант 9-NN работает так же хорошо, как лучший метод для определенного набора данных, тогда как максимальная вероятность варьируется от лучшего до худшего. Можно отметить, что уменьшение размерности, в основном, приводит к худшей точности (за исключением РСА). Однако даже в этих случаях по некоторым классификациям были достигнуты хорошие результаты.
Таблица 4 / Table 4
Сравнение точности распознавания текстуры на изображениях, % / Comparison of texture recognition accuracy in images, %
Датчик/ Sensor Дата / Date MDM 1-NN 9-NN ML ResNet-10
Sentinel-IA Поляризации вместе VV+VH поляризованные изображения 68,4 71,2 67,2 44,4 83,6
Sentinel-IA 3 изображения PCA, рассчитанные на основе всех поляризованных изображений VV и VH 73,2 71,2 63,4 64,4 88,9
Sentinel-IA Выбор сцены (одна дата, одна поляризация):
- использование коэффициента Фишера (17.08.2018, № поляризовано) 45,6 33,2 40,1 42,9 74,3
- использование ступенчатой регрессии (23.09.2018, № поляризовано) 54,8 53,2 54,1 51,6 69,0
Sentinel-IA Выбор сцены (две даты, обе поляризации):
- использование коэффициента Фишера (среднее, мин, среднеквадратичное значение, энтропия) 40,0 55,2 57,6 62,8 77,8
- использование пошаговой регрессии тах,тт, эксцесс) 47,6 59,2 58,8 61,6 86,2
а) б) с)
Водная Признаки Водная Неправильно
поверхность нефтепроявления поверхность идентифицированные
объекты
Рис. 3. Классификация поляризованных изображений Sentinel-1A (поляризации вместе VV+VH) (1A_IW_GRDH_1SDV_20170612T142845) с помощью 9-NN (слева) и ML (справа) /Fig. 3. Classification of polarized Sentinel-IA images (polarizations together VV+VH) 1A_IW_GRDH_1SDV_20170612T142845)
using 9-NN (left) and ML (right).
а)
б)
с)
Водная поверхность
Признаки нефтепроявления
Водная поверхность
Неправильно
идентифицированные
объекты
Рис. 4. Классификация трех компонентов PCA из поляризованных изображений Sentinel-1A VVи VH от
12.06.2017 г., ResNet-10 (a), SNAP 9-NN (б) и ML (c). Сцены были поляризованы VV/ Fig. 4. Classification of three PCA components from Sentinel-IA VV and VH polarized images from June 12, 2017, ResNet-10 (a), SNAP 9-NN (b), and ML (c). The scenes were polarized VV.
Наилучшее качество сегментации на основе площадей (усредненное по 12 тестовым образцам) сравнивается в табл. 4. В предла-
гаемой методике сеть LSTM привела к высокой производительности с лучшим (для сетей LSTM) результатом.
а)
б)
TV*-"-
с)
чг %
Водная поверхность
Признаки нефтепроявления
Водная поверхность
Неправильно
идентифицированные
объекты
Рис. 5. Классификация одной сцены Sentinel-1A (одна дата, одна поляризация) ResNet-10 (a), SNAP 9-NN (б) и ML (c). Сцены для верхнего ряда от 17.08.2018 г. выбираются с помощью дискриминантного отношения Фишера, а сцены для нижнего ряда от 23.09.2018 г. выбираются с пошаговой регрессией. Обе использованные сцены поляризованы VV/ Fig. 5. Classification of one Sentinel-IA scene (one date, one polarization) ResNet-10 (a), SNAP 9-NN (b) and ML (c). Scenes for the top row from 08/17/2018 are selected using the Fisher discriminant ratio, and the scenes for the bottom row from 09/23/2018 are selected with stepwise regression.Both scenes used were polarized by VV
Заключение. В статье представлена основанная на обучении сегментация текстур с использованием 2D сетей LSTM. Сеть обладает высокой дискриминационной способностью с единственной обучаемой моделью для каждого пикселя, которая не требует отдельного извлечения признаков. Сеть учитывает данные о пикселе и его окружении и не требует отдельного пространственного моделирования. Она может автоматически изучать образцы текстуры для каждого пикселя. а) б)
Выполнено сравнение предложенного метода с известными популярными алгоритмами сегментации. Результаты качества сегментации, надежности и простоты были благоприятными.
В заключение можно сделать вывод о том, что 2D сети LSTM эффективно анализируют информацию о текстуре, а также ее местоположение с помощью одной прямой и автоматически обучаемой модели, подходящей для множества различных задач. с)
Водная Признаки Водная Неправильно
поверхность нефтепроявления поверхность идентифицированные
объекты
Рис. 6. Классификация четырех сцен Sentinel-1A (две даты, обе поляризации) с ResNet-10 (a), SNAP 9-NN (б) и ML (c). Сцены для верхнего ряда от 12.06.2017 г. и сцены для нижнего ряда от 02.11.2017 г. выбираются с помощью дискриминантного отношения Фишера / Fig. 6. Classification of four Sentinel-1A scenes (two dates, both polarizations) with ResNet-10 (a), SNAP 9-NN (b), and ML (c). Scenes for the top row from 06.12.2017 and scenes for the bottom row from 02.11.2017 are selected using the Fisher discriminant ratio
Результаты выполненных исследований в целом подтвердили возможность и эффективность предложенной модели, что позволяет моделировать конкурентное мультивре-менное поведение модели.
Второй фронт исследований, анализ распознавания объектов, показал, что контекстная информация является важной функцией, которую необходимо учитывать в системах распознаваний объектов.
Кроме того, удалось найти доказательства, что естественное формирова-
Список литературы _
ние кластеров указывает на то, что возникли контексты, которые, по-видимому, были фундаментальными для результатов производительности. Однако важно подчеркнуть, что эти эксперименты носят эмпирический характер и проводятся на определенной базе изображений, тем не менее, хорошо известной в академической научной среде.
В будущем планируется исследовать более сложные модификации LSTM архитектуры.
1. Бондур В. Г. Моделирование двумерных случайных полей яркости на входе аэрокосмической аппаратуры методом фазового спектра. Текст: электронный // Исследование Земли из космоса. 2000. № 5. С. 28. URL: https:// www.aerocosmos.info/pdf/2006/Bon_model.pdf (дата обращения: 25.12.2021).
2. Бондур В. Г, Савин А. И. Принципы моделирования полей сигналов на входе аппаратуры ДЗ аэрокосмических систем мониторинга окружающей; среды // Исследование Земли из космоса. 1995. № 4. С. 24-33.
3. Бондур В. Г, Аржененко Н. И., Линник В. Н., Титова И. Л. Моделирование многоспектральных аэрокосмических изображений динамических полей яркости // Исследование Земли из космоса. 2003. № 2. С. 3-17.
4. Бондур В. Г., Старченков С. А. Методы и программы обработки и классификации аэрокосмических изображений // Известия высших учебных заведений: геодезия и аэрофотосъемка. 2000. № 3. С. 118-143.
5. Васильев К. К. Статистические методы обработки многомерных изображений. Методы обработки сигналов и полей // Спектр. Ульяновск: Ул ПИ, 1992. C. 3-19.
6. Гулиев А. Ш., Хлебникова T. A. Многомерная статистическая модель для обнаружения мест не-фтезагрязнений по материалам космических съемок // Интерэкспо ГЕО-Сибирь. XVII Междунар. науч. конгресс (г Новосибирск, 19-21 мая 2021 г): сб. материалов в 8 т. Т. 4. Дистанционные методы зондирования Земли и фотограмметрия, мониторинг окружающей среды, геоэкология. Новосибирск: СГУГ, 2021. C. 11-16. URL: https://doi.org/10.33764/2618-981X-2021-4-11-16.
7. Джайн А. К. Успехи в области математических моделей для обработки изображений // ТИИЭР. 1981. Т. 69, № 5. С. 9-39.
8. Alpers W., Holt B., Zeng K. Remote sensing of environment oil spill detection by imaging radars // Challenges and pitfalls. Remote Sens. Environ. 2017. P 133-147.
9. Anil K., Karu J. Learning texture discrimination masks: Pattern Analysis and Machine Intelligence // IEEE Transactions on. 1996. Vol. 18. №2. P. 195-205.
10. Brekke C., Solberg A.H.S. Oil spill detection by satellite remote sensing // Remote Sens. Environ. 2005. № 95. P. 1-13. URL: https://doi.org/10.3390/s8106642.
11. Efros A. Texture synthesis by non-parametric sampling // IEEE International Conference on Computer Vision: Corfu, Greece. 1999.
12. ESA CopernicusOpen Access Hub. 2019. URL:https://scihub.copernicus.eu (дата обращения: 25.12.2021). Текст: электронный.
13. Fingas M., Brown C. E. Oil Spill Remote Sensing: A Review // In Oil Spill Science and Technology. Elsevier: Amsterdam, The Netherlands, 2011. P. 111-169.
14. Fingas M., Brown C. E. Oil Spill Remote Sensing: A Forensics Approach // Standard Handbook Oil Spill Environmental Forensics; Elsevier: Amsterdam, The Netherlands. 2016. P. 961-981.
15. Fingas M., Brown C. Review of oil spill remote sensing // Marine Pollution Bulletin. 2014. № 83. P. 9 23. URL: https://doi.org/10.3390/s18010091.
16. Fingas M., Brown C. Sensors // A Review of oil spill remote sensing. 2017. № 18. P. 91.
17. Graves A., Schmidhuber J. Offline andwriting recognition with multidimensional recurrent neural networks // Advances in Neural Information Processing Systems. 2008. P. 545-552.
18. Hochreiter S., Schmidhuber J. Long Short-Term Memory. Текст: электронный // Neural Computation. 1997. 9. P. 1735-1780. URL: https://www.bioinf.jku.at/publications/older/2604.pdf (дата обращения: 25.12.2021).
19. Kim K., Jung K., Park S. Support vector machines for texture classification: Pattern Analysis and Machine Intelligence. Текст: электронный // IEEE Transactions on. 2000. Vol. 24. - no. 11. P. 1542-1550. URL: https://core.ac.uk/download/pdf/42413589.pdf (дата обращения: 25.12.2021).
20. Melendez J., Girones X. Supervised texture segmentation through a multi-level pixel-based classifier based on specifically designed filters. Текст: электронный // Image Processing (ICIP) 18th IEEE International Conference. 2011. P. 2869-2872. URL: https://10.1109/ICIP.2011.6116147 (дата обращения: 25.12.2021).
21. Tivive F., Bouzerdoum A. Texture classification using convolutional neural networks // TENCON, IEEE Region 10 Conference. 2006. P. 1-4.
References _
1. Bondur V. G. Issledovaniye Zemli iz kosmosa (Exploration of the Earth from space), 2000, no. 5, p. 28. Available at: https://www.aerocosmos.info/pdf/2006/Bon_model.pdf (date of access: 12/25/2021). Text: electronic.
2. Bondur V. G., Savin A. I. Issledovaniye Zemli iz kosmosa (Exploration of the Earth from space), 1995, no. 4, рр. 24-33.
3. Bondur V. G., Arzhenenko N. I., Linnik V. N., Titova I. L. Issledovaniye Zemli iz kosmosa (Exploration of the Earth from space), 2003, no. 2, рр. 3-17.
4. Bondur V. G., Starchenkov S. A. Izvestiya vysshih uchebnyh zavedeniy: geodeziya I aerofoto syemka (News of higher educational institutions: geodesy and aerial photography), 2000, no. 3, рр. 118-143.
5. Vasilyev K. K. Spektr (Spektr). Ulyanovsk: Ul PI, 1992, рр. 3-19.
6. Guliyev A. Sh., Khlebnikova T. A. Interekspo GEOSibir'. KHVII Mezhdunar. nauch. kongress (g. Novosibirsk, 19-21 maya 2021 g.) (InterexpoGEO Siberia. XVII Intern. scientific congress (Novosibirsk, May 19-21, 2021): Collected materials in 8 volumes. Vol. 4. Remote sensing methods of the Earth and photogramme-try, environmental monitoring, geoecology. Novosibirsk: SGUG), 2021, рр. 11-16. Available at: https://doi. org/10.33764/2618981X202141116.
7. Dzhayn A. K. TIIER (TIER), 1981, vol. 69, no. 5, рр. 9-39.
8. Alpers W., Holt B., Zeng K. Challenges and pitfalls. Remote Sens. Environ (Challenges and pitfalls. Remote Sens. Environ), 2017, рр. 133 147.
9. Anil K., Karu J. IEEE Transactions on (IEEE Transactions on), 1996, vol. 18. no. 2,рр. 195 205.
10. Brekke C., Solberg A.H.S. Remote Sens. Environ (Remote Sens. Environ), 2005, no. 95, рр. 1 13. Available at: https://doi.org/10.3390/s8106642.
11. Efros A. IEEE International Conference on Computer Vision: Corfu, Greece (IEEE International Conference on Computer Vision: Corfu, Greece), 1999.
12. ESA Copernicus Open Access Hub (ESA Copernicus Open Access Hub), 2019. Available at: https:// scihub.copernicus.eu (accessed: 25.12.2021). Text: electronic.
13. Fingas M., Brown C. E. In Oil Spill Science and Technology (In Oil Spill Science and Technology). Elsevier: Amsterdam, The Netherlands, 2011, рр. 111 169.
14. Fingas M., Brown C. E. Standard Handbook Oil Spill Environmental Forensics (Standard Handbook Oil Spill Environmental Forensics). Elsevier: Amsterdam, The Netherlands, 2016, рр. 961 981.
15. Fingas M., Brown C. Marine Pollution Bulletin (Marine Pollution Bulletin), 2014, no. 83, рр. 9 23. Available at: https://doi.org/10.3390/s18010091.
16. Fingas M., Brown C. A Review of oil spill remote sensing (A Review of oil spill remote sensing), 2017, no. 18, рр. 91.
17. Graves A., Schmidhuber J. Advances in Neural Information Processing Systems (Advances in Neural Information Processing Systems), 2008, рр. 545-552.
18. Hochreiter S., Schmidhuber J. Neural Computation (Neural Computation), 1997, no. 9, рр. 1735 1780. Available at: https://www.bioinf.jku.at/publications/older/2604.pdf (accessed: 25.12.2021). Text: electronic.
19. Kim K., Jung K., Park S. IEEE Transactions on (IEEE Transactions on), 2000, vol. 24, no. 11, рр. 15421550. Available at: https://core.ac.uk/download/pdf/42413589.pdf (accessed: 25.12.2021). Text: electronic.
20. Melendez J., Girones X. Image Processing (ICIP) 18th IEEE International Conference (Image Processing (ICIP) 18th IEEE International Conference), 2011, рр. 2869-2872. Availableat: https://10.1109/ ICIP.2011.6116147 (dateaccessed: 25.12.2021). Text: electronic.
21. Tivive F., Bouzerdoum A. TENCON, IEEE Region 10 Conference (TENCON, IEEE Region 10 Conference), 2006, рр. 1-4.
Информация об авторе _ Information about the author
ГулиевАловсатШура оглы, старший геодезист, Государственная нефтяная компания, г. Баку, Азербайджанская Республика; аспирант, Сибирский государственный университет геосистем и технологии, г. Новосибирск, Россия. Область научных интересов: аэрокосмический мониторинг, нефтеразработка, шельфовая зона alov_soc@yahoo.com
Guliyev Alovsat Shura ogly, Senior Surveyor, State Oil Company, Baku, Azerbaijan Republic; PhD student, Siberian State University of Geosystems and Technology, Novosibirsk, Russia. Scientific interests: Aerospace monitoring, oil development, shelf zone
Для цитирования_
Гулиев A. Ш. Обнаружение и картирование нефтяных сликов в море комбинацией различных источников данных дистанционного зондирования Земли // Вестник Забайкальского государственного университета. 2022. Т. 28, № 1. С. 19-30. DOI: 10.21209/2227-9245-2022-28-1-19-30.
Guliyev A. Detection and mapping of oil slicks in the sea with a combination of different earth sensing data sources // Transbaikal State University Journal, 2022, vol. 28, no. 1, pp. 19-30. DOI: 10.21209/2227-9245-2022-28-1-19-30.
Статья поступила в редакцию: 13.01.2022 г. Статья принята к публикации: 19.01.2022 г.
