CC BY
17
ЯМАШКИН С. А., ЯМАШКИНА Е. О.
РАЗРАБОТКА ГЛУБОКОЙ НЕЙРОСЕТЕВОЙ МОДЕЛИ ДЛЯ ПРОГНОЗИРОВАНИЯ СТИХИЙНЫХ ПРОЦЕССОВ1 Аннотация. В статье предложены принципы построения глубокой сверточной нейросетевой модели для решения задачи высокоточного прогнозирования развития стихийных процессов, в частности пожаров. Разработанная архитектура нейронной сети одновременно интегрирует спектральную и пространственную информацию и состоит из нескольких модулей: ввода, сверточного выделения признаков, вывода. Модель включает в себя компоненты обработки данных для точного и надежного обнаружения стихийных процессов на основе материалов дистанционного зондирования Земли в рамках репозитория глубоких нейросетевых моделей.
Ключевые слова: нейронная сеть, машинное обучение, репозиторий нейросетевых моделей, прогнозирование пространственных процессов.
YAMASHKIN S. A., YAMASHKINA E. O.
DEVELOPMENT OF DEEP NEURAL NETWORK MODEL FOR PREDICTION OF NATURAL PROCESSES Abstract. The article proposes the principles of constructing a deep convolutional neural network model for solving the problem of high-precision forecasting of the development of natural processes, in particular, fires. The developed architecture of the neural network simultaneously integrates spectral and spatial information and consists of several modules: input, convolutional feature extraction, output. The model includes data processing components for accurate and reliable detection of natural processes based on Earth remote sensing materials within the deep neural network models repository.
Keywords: neural network, machine learning, neural network model repository, prediction of spatial processes.
Введение. Природные и природно-техногенные стихийные процессы и чрезвычайные ситуации ежегодно наносят ущерб имуществу и угрожают жизни людей. Целью данного исследования является решение задачи актуализации репозитория нейросетевых моделей посредством разработки автоматизированных алгоритмов, анализирующих потоковые данные
1 Работа выполнена при финансовой поддержке гранта Президента Российской Федерации (грант № МК-199.2021.1.6).
изображений, полученные со спутников, для мониторинга и предотвращения перерастания пожаров в стихийные бедствия [4].
Разработка новых высокоточных алгоритмов прогнозирования развития стихийных пространственно-временных процессов на основе анализа больших массивов ретроспективных, текущих и экспертных данных, цифровых инфраструктур пространственных данных должна быть основана на экспериментальном исследовании системных связей и закономерностей функционирования и развития природно-социально-производственных систем с последующим комплексным применением сверточных и рекуррентных нейронных сетей [2]. Достижение необходимого результата может быть обеспечено двумя направлениями исследований: 1) использование информативных пространственно-временных данных для обучения глубоких моделей и классификации (в том числе данных ДЗЗ и электронных ландшафтных карт);
2) синтез новых эффективных нейросетевых архитектур для эффективного анализа больших данных в системе цифровых ИПД.
Методология исследования. Анализ спутниковых изображений является трудоемкой задачей, так как обработке подвергаются многочисленные временные зависимости, сложные изменения спектра и другие факторы и сопутствующие условия, такие как облака и свет.
Пусть £ = {1,..,5и,...Д| представляет собой набор из целых чисел индексации пикселов мультиспектральных изображений, а Ь = {1, 2} - набор из целых чисел индексации двух классов: «пожар есть» и «пожара нет». Изображения X = ^1,.. ^п,. . .,Х} представляют собой набор, состоящий из N векторов признаков, где М - мерная функция. Изображения Sentinel-2 имеют 12 спектральных полос, поэтому данный параметр примем равным 12.
Раннее обнаружение лесных пожаров со спутниковых изображений является сложной задачей вследствие ряда факторов: точности распознавания препятствуют погодные условия, такие как облака и дождь; пространственные модели лесных пожаров имеют различные спектральные диапазоны. В проектируемой системе будут использованы трехмерные сверточные сети и семантическая сегментация для решения данных проблем Семантическая сегментация характеризуется отображением «многие-ко-многим», когда изображению, состоящему из набора пикселей из выборки X соответствует один вектор из выборки У: У = f (X). Элементы выборки У обозначают вероятность того, набор пикселей и все изображение из выборки X принадлежат классу У.
Современные данные дистанционного зондирования Земли (например, Sentinel-2) имеют высокие временное, пространственное и спектральное разрешения, которые
превосходят данные параметры у спутниковых снимков прошлого поколения [3; 5]. В связи с этим при разработке необходимо учитывать следующие требования.
1. Поиск пространственных зависимостей между соседними пикселями, так как лесные пожары распространяются на близлежащие расстояния.
2. Определение смешанных спектральных паттернов для обработки корреляции по спектральным полосам. Это положение определено тем, что спектральные диапазоны чувствительны к различным факторам, таким как повороты видеодатчика, условия атмосферного рассеяния и освещения.
Традиционные модели машинного обучения, такие как полносвязанные сети, в которых каждый нейрон связан с нейронами в следующих друг за другом слоях, не учитывают пространственные структуры и многоканальные зависимости. В разработке будут использованы архитектуры для глубокого машинного обучения, функции которых будут обобщены с различной степенью детализации благодаря последовательности слоев. В отличие от традиционных сверточных нейронных сетей для двухмерных изображений, спектральные изображения имеют дополнительное измерение спектральных полос с частичными зависимостями между ними. По данной причине будет разработана трехслойная сверточная сеть.
Сверточные сети имеют большую вычислительную эффективность, чем полносвязанные, благодаря механизму распределения весов, в котором значения принимающих нейронов в одном слое имеют одинаковые веса и смещения при формировании их взвешенной суммы из наблюдаемых нейронов в рецептивном поле:
VI = Фс (Ь1 + wi* х),
где * - операция трехмерной свертки, смещение добавлено покомпонентно; ^ -итоговые значения применения ьго фильтра; фс - функция активации (например, ReLU); Ь^ -общее смещение фильтра; w¿ - вектор с общим весом.
Последний сверточный слой соединяют с полносвязанным слоем, чтобы впоследствии рассчитать балл классификации лесного пожара. Проекционный слой состоит из нейронов, каждый из которых связан со всеми картами признаков в последнем сверточном слое. На выходе получаем вектор Ур с вычисленным ^м значением:
Ур = фр ^рУ + Ьр).
Модуль вывода проектируемой сети состоит из проекционного слоя для преобразования вектора в ту же размерность, что и вектор измерения классификации. В формализованном виде слой проекции представляет собой линейное отображение:
у' = wv + Ь,
где у' - вектор обозначения баллов классификации лесного пожара. Softmax - функция активации для нелинейности проекции. Рассчитаем потерю кросс-энтропии для обучения нейронной сети, которая сравнивает окончательную оценку ус и метку каждого пикселя:
Ус
ехр Уе
^ес
ехр(У
Результаты исследования. Предлагается архитектура глубокой нейронной сети, которая одновременно интегрирует спектральную, пространственную информацию и исторические данные. Сеть включает несколько блоков: 1) модуль прямого распространения для анализа данных об атомарном участке космической съемки; 2) сверточный модуль для анализа геопространственной окрестности территории; 3) сверточно-рекуррентный модуль для анализа временных последовательностей исторических наблюдений (в частности, погодных условий). Выходы этих блоков вытягиваются в вектор посредством модуля слияния данных и анализируются модулем финализации для принятия решения об устойчивости территории к пожарам. Опишем подробнее работу нейросетевой модели, представленную на рисунке 1.
Рис. 1. Глубокая модель для прогнозирования развития пожаров.
Вход в сеть состоит из матриц пикселей для каждого спектрального диапазона, пиксели отражают географическое местоположение объекта для каждого измерения. Так как необходимо найти метку для каждого пикселя, перекрестная проверка не применяется. Если
4
обучающий набор будет иметь низкое число выборок данных, это может привести к переобучению.
Предлагается использовать ^-кратную перекрестную проверку, чтобы обеспечить точность разделения данных на обучающий набор и набор для тестирования, который будет использоваться в качестве эталонного. Это позволяет выбрать оптимальную настройку для модели и точную работу. Данные при этом делятся следующим образом: 80% для обучения модели, 10% для проверки и 10% для тестирования. Модель реализована на языке Python 3.6 с использованием библиотеки Keras. Экспериментальные оценки показывают высокую эффективность данного подхода с точностью обнаружения 94 %.
Для решения данных проблем предлагается пакетная нормализация слоев, чтобы увеличить возможности по обучению данных, а также перекрестный выход классификации. Сначала изображение делится на участки по 12 пикселей, поскольку минимальная площадь возгорания для набора данных о пожаре составляет 144км2 с 50%-м перекрытием. Нормализация выполняется отдельно для каждого спектрального диапазона путем вычитания среднего значения для каждого пикселя изображения.
Чтобы сохранить пространственные связи между областями в одном изображении, рассчитываем координаты центрального пикселя каждой области изображения в качестве входных сверточного модуля. Выход модели можем положительным или отрицательным.
Модуль свертки предназначен для фиксирования пространственной зависимости при одновременном снижении сложности сети. Он включает две операции: свертку и сглаживание. Входной сигнал подается через три сверточных слоя, в которых нейроны одного слоя связаны с несколькими нейронами другого слоя в пределах рецептивного поля. Сверточные слои становятся меньше, когда они находятся на более глубоком уровне для извлечения сжатых и абстрактных функций. Это позволяет анализировать локальную пространственную зависимость между пикселями независимо от их фактического местоположения на двухмерном изображении по сравнению с полносвязанными сетями.
Для построения архитектуры были проведены эксперименты с различной глубиной сети (числом сверточных и рекуррентных слоев), различными размерами пакетов, ядра, количеством сверточных фильтров [1]. Проведен эксперимент с двухмерными сверточными слоями, но такая структура ухудшила результаты классификации, что свидетельствует о пространственных зависимостях по спектральным полосам. Эмпирически подобрана глубина сверточного модуля из трех слоев.
Также при построении модели сети необходимо избегать переобучения. Открытых обучающих данных для приложений, специализированных для такой предметной области, как обнаружение лесных пожаров, недостаточно из-за требований экспертных знаний (для
5
маркировки пикселей) и реальных наблюдений (произошедшие пожары). Это может привести к переобучению, поскольку модель может быть слишком сложной, чтобы соответствовать небольшому количеству обучающих выборок. Для решения этой проблемы были протестированы следующие стратегии.
1. Семантическая составляющая. Изображение и его классификация являются инвариантными. Такие модификации, как поворот и зеркальное отображение, помогают увеличить объем обучающих данных без потери качества. Формально можно трансформировать каждую выборку данных в восьми различных шаблонах путем комбинирования.
2. Регуляризация - добавление ограничений к условиям с целью предотвратить переобучение. Пакетная нормализация используется до и после обработки с помощью сверточного модуля.
3. Временная информация - для эксперимента использованы спутниковые изображения, полученные в разные моменты времени. Увеличение входного сигнала на этапе подготовки данных позволит избежать переобучения модели.
Предлагается использовать k-кратную перекрестную проверку, чтобы обеспечить точность разделения данных на обучающий набор и набор для тестирования, который будет использоваться в качестве эталонного. Это позволяет выбрать оптимальную настройку для модели и точную работу. Данные при этом разделены следующим образом: 80% для обучения модели, 10% для проверки и 10% для тестирования.
Для регулирования параметров сети использован оптимизатор Adaptive Moment Estimation (Adam). Полученная сеть требует тонкой настройки трех гиперпараметров: скорость обучения, импульс коэффициента с параметром регуляризации и веса регуляризации слоев. С точки зрения анализа временных последовательностей одномерные сверточные сети показали результат, конкурентный с использованием рекуррентных сетей и часто его превышающий. Замена операции классической свертки на сверку в глубину усилила устойчивость модели к переобучению.
Заключение. Развитие высокоточных алгоритмов прогнозирования пространственно-временных процессов на основе факторально-динамического анализа больших массивов ретроспективных, текущих и экспертных данных возможно на основе исследования системных связей и закономерностей функционирования и развития ПСПС на основе комплексного применения глубоких сверточных и рекуррентных нейронных сетей к анализу данных ДЗЗ и электронных ландшафтных карт.
В статье предложены принципы построения эффективных глубоких сверточных моделей для решения задачи высокоточного прогнозирования развития пожаров,
практическое использование которых делает возможным повышение эффективности анализа. Разработанная архитектура нейронной сети одновременно интегрирует спектральную и пространственную информацию.
Нейросетевая модель состоит из нескольких модулей:
1) модуль ввода - передает данные изображений и информацию о погоде к последующим слоям;
2) сверточный модуль - рассчитывает пространственные и спектральные зависимости по пикселям данных;
3) модуль вывода - возвращает результат прогноза.
Система состоит из компонента обработки данных, компонента раннего прогнозирования лесных пожаров с использованием глубокого обучения для точного и надежного обнаружения в рамках репозитория глубоких нейросетевых моделей.
СПИСОК ЛИТЕРАТУРЫ
1. Ямашкин С. А., Ямашкина Е. О, Коваленко С. М. Принципы построения сверточно-рекуррентной нейросетевой модели для прогнозирования пространственно-временных процессов // Наука и бизнес: пути развития. - 2020. - № 9. - С. 154-156.
2. Kussul N., Lavreniuk M., Skakun S. Deep learning classification of land cover and crop types using remote sensing data // IEEE Geoscience and Remote Sensing Letters. - 2017. -Vol. 14, No. 5. - P. 778-782.
3. Tao Y., Gao X., A. Ihler Deep neural networks for precipitation estimation from remotely sensed information // 2016 IEEE Congress on Evolutionary Computation (CEC). -Vancouver, 2016. - P. 1349-1355.
4. Yamashkin S. A., Kamaeva A. A., Yamashkin A. A. Matters of Neural Network Repository Designing for Analyzing and Predicting of Spatial Processes // International Journal of Advanced Computer Science and Applications. - 2021. - Vol. 12, № 5. - P. 17-22.
5. Zhang L. Zhang, B. Du Deep learning for remote sensing data: A technical tutorial on the state of the art // IEEE Geoscience and Remote Sensing Magazine. - 2016. - Vol. 4, № 2. -P. 22-40.
