CC BY
5
ЯМАШКИН С. А., ЯМАШКИНА Е. О., НИКУЛИН В. В.
АКТУАЛИЗАЦИЯ БАЗЫ ДАННЫХ РЕПОЗИТОРИЯ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ДЛЯ АНАЛИЗА И ПРОГНОЗИРОВАНИЯ РАЗВИТИЯ ПРОСТРАНСТВЕННЫХ ПРОЦЕССОВ1 Аннотация. В статье описано решение задачи актуализации базы данных репозитория нейросетевых моделей для анализа и прогнозирования развития пространственных процессов на основе проектно-ориентированного подхода. Процесс интеграции глубоких нейронных сетей в репозитории основывается на проектно-ориентированном подходе, на основе которого каждая хранимая глубокая нейронная сеть сопоставлена с кругом задач, в рамках которых она может использоваться и с данными, которые она при этом анализирует. В рамках репозитория интегрированы модели, позволяющие решать задачи классификации, сегментации и детектирования объектов на основе данных дистанционного космического мониторинга.
Ключевые слова: нейронная сеть, машинное обучение, репозиторий нейросетевых моделей, прогнозирование пространственных процессов.
YAMASHKIN S. A., YAMASHKINA E. O., NIKULIN V. V.
UPDATING DATABASE OF REPOSITORY OF NEURAL NETWORK MODELS FOR ANALYSIS AND PREDICTION OF SPATIAL PROCESSES
Abstract. The article describes the solution for the problem of updating the database of the repository of neural network models for the analysis and forecasting of spatial processes based on the project-oriented approach. The process of integrating deep neural networks in the repository is based on the project-oriented approach, on the basis of which each stored deep neural network is compared with the range of tasks within which it can be used and with the data it analyzes. Within the framework of the repository, models are integrated that allow solving the problems of classification, segmentation and detection of objects based on remote space monitoring data.
Keywords: neural network, machine learning, neural network model repository, prediction of spatial processes.
Введение. Актуальность разработки репозитория нейросетевых моделей для анализа и прогнозирования развития природных и природно-техногенных процессов определена необходимостью информационного обеспечения процесса принятия управленческих решений в области управления территориальными системами и реагирования на экологические, социально-экономические угрозы [1]. Обозначенная проблематика актуальна в рамках
1 Работа выполнена при финансовой поддержке гранта Президента Российской Федерации (грант № МК-199.2021.1.6).
перехода к передовым цифровым технологиям для обеспечения эффективного решения стратегических задач устойчивого пространственного развития и территориального планирования, поставленной в постановлении Правительства Российской Федерации от 1 декабря 2021 г. №2148 об утверждении государственной программы Российской Федерации «Национальная система пространственных данных».
Функционирование инфраструктур пространственных данных в настоящее время базируется на использовании методов и алгоритмов анализа мультимодельных пространственных данных большого объема. С ростом качественных и количественных характеристик доступных вычислительных мощностей и развитием научно-инженерного опыта в области анализа данных актуальность в обозначенной области приобретает глубокое машинное обучение (deep learning), нуждающееся в усилении проектной ориентации процесса использования нейросетевых моделей. Данная статья посвящена решению задачи актуализация базы данных репозитория нейросетевых моделей для анализа и прогнозирования развития
пространственных процессов на основе проектно-ориентированного подхода.
Методология исследования. Процессы проектирования сложных нейросетевых моделей и оптимизации их гиперпараметров должны быть определены характеристиками проектных задач, требующих решения. В следствии этого тезиса, эффективное применение глубоких нейронных сетей возможно при условии консолидации знаний, эвристик и правил в единую систему с удобными графическими и прикладными программными интерфейсами. Этим обуславливается необходимость проектирования и разработки в системе цифровых инфраструктур пространственных данных репозитория глубоких нейросетевых моделей, обеспечивающего системный доступ к хранилищу моделей, а также компонентам выбора оптимального инструмента для решения конкретных прикладных задач области анализа пространственных данных.
При проектировании и разработке репозитория нейросетевых моделей для анализа и прогнозирования развития пространственных процессов последовательно решены следующие задачи: проектирование онтологической модели хранилища моделей, разработка схемы их хранения в форме мета-языка, построение графических пользовательских интерфейсов репозитория на основе современных веб-технологий для решения задачи подбора релевантных моделей и предоставления информации о конкретной нейросетевой модели, развертывание подсистемы аутентификации пользователей, создание подсистемы динамической визуализации моделей в виде динамически выстраеваемых графов, с интерактивной возможностью прямого редактирования архитектуры и топологии нейросетевой модели, а также разработка прикладного программного интерфейса (API),
позволяющего обеспечить унифицированное взаимодействие для программного обмена данными с репозиторием.
Процесс интеграции глубоких нейронных сетей в репозитории основывается на проектно-ориентированном подходе, на основе которого каждая хранимая глубокая нейронная сеть (Model) сопоставлена с кругом задач (Project), в рамках которых она может использоваться и с данными (Data), которые она при этом анализирует (рисунок 1).
Рис. 1. Модель данных репозитория нейросетевых моделей анализа и прогнозирования пространственных процессов.
Нейросетевые модели характеризуются набором инициализирующих свойств, графовой организацией структуры на основе вершин-слоев и связей, а также параметрами и алгоритмами компиляции (оптимизаторы, функции потерь, метрики). Использование визуального программирования и принципов блочного проектирования при конкретизации топологии сложных нейросетевых моделей позволяет ускорить процесс их разработки. Практическую ценность репозиторий нейронных сетей получает при условии постоянной актуализации хранилища глубоких моделей с обеспечением доступа к предварительно обученным экземплярам и выполнением функционала рекомендательной веб-системы для подбора, конфигурирования и релевантного поиска эффективного инструмента решения проектных задач в области анализа пространственных данных.
В рамках репозитория интегрированы модели, позволяющие решать задачи классификации, сегментации и детектирования объектов на основе данных дистанционного космического мониторинга.
Модели классификации пространственных данных. Классическая задача классификации изображений в области анализа данных дистанционного мониторинга используется для присвоения метки изображению, соответствующей, например, типу земель [2]. Более сложный случай - поиск соответствия нескольких меток к изображению. Этот подход к классификации на уровне изображения не следует путать с классификацией на уровне пикселей, которая называется семантической сегментацией. Дадим описание представленных в репозитории моделей классификации пространственных данных.
1) Сверточная сеть с N сверточными блоками и плотно связанным слоем принятия решения для классификации систем землепользования. Модель обучена на основе набора данных UC Merced Land Use Dataset, включающего более 2000 изображений, разбитых на 21 территориальный класс. Данная модель позволяет достичь точности классификации пространственных данных более 92 % при малой емкости, невысокой требовательности к вычислительным ресурсам и значительной устойчивости к переобучению.
2) Модель GeoSystemNet, предназначенная для анализа данных дистанционного мониторинга на основе применения геосистемного подхода для расширения набора обучающих данных. К преимуществам модели относятся достаточное количество степеней свободы (настраиваемых параметров), позволяющее конфигурировать модель, исходя из решаемой проблемы (рисунок 2): количество входов модели (тематических уровней анализируемых данных), модулей извлечения и слияния признаков, гиперпараметры персептрона, принимающего итоговое решение о принадлежности территориального участка определенному классу.
Рис. 2. Архитектура модели GeoSystemNet.
Тестирование модели на основе расширенного на базе геосистемного подхода набора EuroSAT показало возможность достижения повышения точности классификации в условиях дефицита данных в пределах 9 %.
3) Плотно связанная модель малой емкости, обученная на наборе информационных территориальных дескрипторов, расчет и консолидация которых позволяет снизить размерность анализируемых данных за счет допустимой утраты некоторого количества информации об анализируемой территории. Системный анализ дескрипторов территории, рассчитываемых на основе разнородных пространственных данных (космической съемки территории, цифровой модели рельефа и цифровой ландшафтной карты) позволяет достичь значительного прироста точности классификации метагеосистем, при этом анализ морфометрических дескрипторов увеличивает точность на 3 %, а метрик, рассчитанных на основе цифровых карт - на 11 %.
4) Глубокая нейронная сеть, интегрирующая спектральную и пространственную информацию посредством плотно связанного блока для анализа данных об атомарном участке космической съемки, сверточного блока анализа геопространственной окрестности территории (рисунок 3). Агентства стратегических инициатив по продвижению новых проектов за цифровое решение «Прогнозирование уровней воды в период весеннего половодья». Анализ геопространственной окрестности и исторических данных позволяет увеличить точность классификации в пределах 10 %.
Рис. 3. Модель классификации земель с учетом пространственного окружения.
5) Модель метаклассификатора, позволяющая осуществлять объединение нескольких моделей в ансамбль для повышения устойчивости системы классификации. Точность решений, принимаемых ансамблем, имеет тенденцию стремиться к точности наиболее эффективного моноклассификатора системы. Ошибочность системы в большинстве случаев не превышает ошибочность наиболее эффективного классификатора, избегая при этом грубых систематических ошибок, допускаемых отдельными моноклассификаторами. Формирование метаклассификатора по предложенному алгоритму представляет собой возможность добавить элемент предсказуемости и контроля в использование нейронных сетей, традиционно представляющих собой «черный ящик».
Модели сегментации пространственных данных. При решении задачи сегментации метка класса присваивается каждому пикселю изображения [3]. При семантической сегментации объектам одного и того же класса присваивается одна и та же метка, тогда как при экземплярной сегментации каждому объекту присваивается уникальная метка. Одноклассовые модели часто обучаются для выделения техногенных объектов и природных процессов, а многоклассовые - для классификации типов растительности и систем землепользования. Представим характеристику моделей классификации пространственных данных, интегрированных в репозитории.
1) Набор 512-, 1024- и 2048-канальных архитектур U-Net, оптимизированных за счет использования методов интерполяции и прореживания с улучшением показателя точности сегментации (меры Жаккара) в пределах 5 %. Модель пространственной сегментации данных обеспечивает высокий порог качества распознавания объектов и формирует методологическую основу для формирования тонко настроенных моделей сегментации. Структура нейронной сети функционально расширяема для смежных предметных областей.
2) Модель сегментации для выделения множества классов растительного покрова и систем землепользования на основе архитектуры U-Net (осуществляющая мультиклассовую сегментацию). Модель может быть скомпилирована и обучена на основе различных функций потерь. Так, функция Focal Loss полезна, когда в обучающем наборе имеются несбалансированные целевые классы.
3) Модель детекции оползневых процессов на основе данных космического мониторинга и цифровой модели рельефа, функционирующая на основе модифицированной архитектуры U-Net. Процесс предварительной подготовки данных для сегментации предполагает сбор и расширение размеченных данных дистанционного зондирования и карт морфометрических параметров территории. Модель достигает высоких значений метрики качества (коэффициент корреляции Мэтьюса) в пределах 0,7 при картировании оползней в новых регионах.
4) Набор моделей сегментации, обучающихся на основе автоматизировано рассчитываемых на основе мультиспектральных данных дистанционного мониторинга карт спектральных индексов: нормализованные относительные индексы растительности (NDVI), воды (NDWI), сухости (DMCI, NDDI), гарей (NBR) и иных автоматизировано рассчитываемых показателей. При условии установки порогового значения, нейросетевые модели способны обучаться бинарной сегментации, а при определении алгоритма квантования -многоклассовой. Обученные таким образом модели могут применяться для оценки устойчивости территории к затоплению, засухе, возгоранию.
Модели обнаружения объектов реализуют технологию детекции экземпляров семантических природных и природно-техногенных объектов определенного класса на цифровых изображениях дистанционного мониторинга [4]. Модели глубокого обучения способны обеспечивать более высокую точность, меньшие затраты времени и сложность, в сравнении с более ранними подходами компьютерного зрения.
1) Реализация моделей Fast R-CNN и Faster R-CNN, спроектированной для обнаружения объектов (областей интереса), и основанная на архитектуре, в рамках которой анализируемое изображение подается на вход сверточной нейронной сети и обрабатывается модулем локализации объектов для получения карты признаков и регионов потенциальных объектов, с последующей обработкой слоем прореживания RoI (Region of Interest) и анализом на основе плотно связанного слоя, выходные сигналы которого передаются двум другим полносвязным слоям: первый определяет байесову вероятность принадлежности объекта определенному классу, а второй — границы региона потенциального объекта.
2) Модель глубокого обучения для обнаружения объектов с помощью регрессии ограничивающей рамки Mask R-CNN, расширяющая Faster R-CNN функцией сегментации изображения на уровне пикселей с разделением задач классификации и прогнозирования маски на уровне пикселей.
Модели обнаружения объектов могут быть использованы при этом для решения задач подсчета объектов, детекции зданий, инфраструктурных объектов, транспортных средств, ландшафтов, растительных и животных объектов.
Заключение. В статье описано решение задачи актуализация базы данных репозитория нейросетевых моделей для анализа и прогнозирования развития пространственных процессов на основе проектно-ориентированного подхода. Процесс интеграции глубоких нейронных сетей в репозитории основывается на проектно-ориентированном подходе, на основе которого каждая хранимая глубокая нейронная сеть сопоставлена с кругом задач, в рамках которых она может использоваться и с данными, которые она при этом анализирует.
Нейросетевые модели характеризуются набором инициализирующих свойств, графовой организацией структуры на основе вершин-слоев и связей, а также параметрами и алгоритмами компиляции (оптимизаторы, функции потерь, метрики). Использование визуального программирования и принципов блочного проектирования при конкретизации топологии сложных нейросетевых моделей позволяет ускорить процесс их разработки. В рамках репозитория интегрированы модели, позволяющие решать задачи классификации, сегментации и детектирования объектов на основе данных дистанционного космического мониторинга.
В числе моделей классификации пространственных данных в репозитории представлены сверточная сеть с несколькими сверточными блоками и плотно связанным слоем принятия решения, модель GeoSystemNet, предназначенная для анализа данных дистанционного мониторинга на основе применения геосистемного подхода, плотно связанная модель малой емкости, обученная на наборе информационных территориальных дескрипторов, глубокая нейронная сеть, интегрирующая спектральную и пространственную информацию посредством плотно связанного и сверточного блоков, а также модель метаклассификатора, позволяющая осуществлять объединение нескольких моделей в ансамбль для повышения устойчивости системы классификации.
К представленным моделям сегментации пространственных данных следует отнести набор разноканальных оптимизированных архитектур U-Net, модель сегментации для выделения множества классов растительного покрова и систем землепользования, модель детекции оползневых процессов на основе данных космического мониторинга и цифровой модели рельефа, набор моделей сегментации, обучающихся на основе автоматизировано рассчитываемых на основе мультиспектральных данных дистанционного мониторинга карт спектральных индексов. Интегрированные в репозитории нейросетевые модели могут применяться для оценки устойчивости территории к затоплению, засухе, возгоранию, решению задачи классификации типов земель и техногенных объектов и определения их свойств.
СПИСОК ЛИТЕРАТУРЫ
1. Yamashkin S. A., Kamaeva A. A., Yamashkin A. A., Yamashkina E. O. Matters of Neural Network Repository Designing for Analyzing and Predicting of Spatial Processes // International Journal of Advanced Computer Science and Applications. - 2G21. - Vol. 12, No. 5. - P. 17-22.
2. Shafique A., Cao G., Khan Z., Asad M., Aslam M. Deep learning-based change detection in remote sensing images: a review // Remote Sensing. - 2G22. - Vol. 14. - No. 4. - P. 871.
3. Yuan Q., Shen H., Li T., Li Z., Li S., Jiang Y., Zhang L. Deep learning in environmental remote sensing: Achievements and challenges // Remote Sensing of Environment. - 2020. - Vol. 241. - 111716.
4. Ma L., Liu Y., Zhang X., Ye Y., Yin G., Johnson B. A. Deep learning in remote sensing applications: A meta-analysis and review // ISPRS Journal of Photogrammetry and Remote Sensing. - 2019. - Vol. 152. - P. 166-177.
