Научная статья на тему 'ПРОГРАММНО-АЛГОРИТМИЧЕСКИЙ КОМПЛЕКС ПРОГНОЗИРОВАНИЯ ДИНАМИКИ АРКТИЧЕСКИХ ОЗЕР РОССИИ НА ОСНОВЕ СПУТНИКОВЫХ СНИМКОВ И ЭНТРОПИЙНО-РАНДОМИЗИРОВАННОГО ПОДХОДА'

ПРОГРАММНО-АЛГОРИТМИЧЕСКИЙ КОМПЛЕКС ПРОГНОЗИРОВАНИЯ ДИНАМИКИ АРКТИЧЕСКИХ ОЗЕР РОССИИ НА ОСНОВЕ СПУТНИКОВЫХ СНИМКОВ И ЭНТРОПИЙНО-РАНДОМИЗИРОВАННОГО ПОДХОДА Текст научной статьи по специальности «Науки о Земле и смежные экологические науки»

CC BY
3
1
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
машинное обучение / рандомизированная модель / программно-алгоритмический комплекс / прогнозирование / термокарстовые озера / парниковые газы / machine learning / randomized model / software-algorithmic complex / forecasting / thermokarst lakes / greenhouse gases

Аннотация научной статьи по наукам о Земле и смежным экологическим наукам, автор научной работы — Сокол Евгений Сергеевич, Тогачев Александр Алексеевич, Попков Алексей Юрьевич, Дубнов Юрий Андреевич, Полищук Владимир Юрьевич

Статья посвящена проблеме прогнозирования эволюции термокарстовых озер в зонах мерзлоты как интенсивных источников природной эмиссии парниковых газов в атмосферу на арктических территориях. Цель работы. Целью работы является рассмотрение вопросов создания программно-алгоритмического комплекса прогнозирования пространственно-временной динамики озер Российской Арктики на основе методов и алгоритмов рандомизированного машинного обучения. Материалы и методы. Для прогнозирования в качестве исторических данных используются временные ряды спутниковых измерений площадей термокарстовых озер в арктической зоне России и данных о среднегодовой температуре и годовой сумме осадков, полученных на основе систем реанализа ERA-5, ERA-Interim и др. Применяются методы энтропийно-рандомизированного моделирования динамики полей термокарстовых озер, позволяющие прогнозировать изменения площадей озер арктической зоны. Для программной реализации комплекса прогнозирования эволюции площади термокарстовых озер используются средства современных геоинформационных систем. Результаты. Разработана архитектура программно-алгоритмического комплекса, основанная на использовании алгоритмов энтропийно-рандомизированного моделирования. Программно-алгоритмический комплекс прогнозирования позволяет проводить обучение и тестирование модели на основе имеющихся исторических данных о динамике площади термокарстовых озер и климатических изменениях в Российской Арктике. Заключение. Реализация программного комплекса на основе веб-геоинформационной системы NextGIS Web позволяет включать прикладные программы прогнозирования на языке Python. Разработанный программный комплекс может быть использован в задачах оценки и прогноза динамики объемов озерной эмиссии парниковых газов, оказывающей влияние на изменение температуры воздуха в северных регионах.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам о Земле и смежным экологическим наукам , автор научной работы — Сокол Евгений Сергеевич, Тогачев Александр Алексеевич, Попков Алексей Юрьевич, Дубнов Юрий Андреевич, Полищук Владимир Юрьевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

SOFTWARE-ALGORITHMIC COMPLEX OF FORECASTING THE DYNAMICS OF ARCTIC LAKES IN RUSSIA BASED ON SATELLITE IMAGES AND ENTROPY-RANDOMIZED APPROACH

The article is devoted to the problem of predicting the evolution of thermokarst lakes in permafrost zones as intensive sources of natural emissions of greenhouse gases into the atmosphere in the Arctic territories. Goal of the work. The purpose of the work was to consider the issues of creating a softwarealgorithmic complex for predicting the spatio-temporal dynamics of lakes in the Russian Arctic based on methods and algorithms of randomized machine learning. Materials and methods. For forecasting, time series of satellite measurements of the areas of thermokarst lakes in the Arctic zone of Russia and data on the average annual temperature and annual precipitation obtained on the basis of the ERA-5, ERA-Interim, etc. reanalysis systems are used for forecasting. Methods of entropy-randomized dynamics modeling are used fields of thermokarst lakes, allowing to predict changes in the areas of lakes in the Arctic zone. For the software implementation of a complex for predicting the evolution of the area of thermokarst lakes, modern geographic information systems are used. Results. The architecture of the software-algorithmic complex has been developed, based on the use of entropy-randomized modeling algorithms. The software-algorithmic forecasting complex makes it possible to train and test the model based on available historical data on the dynamics of the area of thermokarst lakes and climate changes in the Russian Arctic. Conclusion. The implementation of a software package based on the NextGIS Web geographic information system allows you to include forecasting applications in Python. The developed software package can be used in assessing and forecasting the dynamics of greenhouse gas emissions from lakes, which influence changes in air temperature in the northern regions.

Текст научной работы на тему «ПРОГРАММНО-АЛГОРИТМИЧЕСКИЙ КОМПЛЕКС ПРОГНОЗИРОВАНИЯ ДИНАМИКИ АРКТИЧЕСКИХ ОЗЕР РОССИИ НА ОСНОВЕ СПУТНИКОВЫХ СНИМКОВ И ЭНТРОПИЙНО-РАНДОМИЗИРОВАННОГО ПОДХОДА»

Научная статья

УДК 551.34:551.58

DOI: 10.14529/ctcr230402

ПРОГРАММНО-АЛГОРИТМИЧЕСКИЙ КОМПЛЕКС ПРОГНОЗИРОВАНИЯ ДИНАМИКИ АРКТИЧЕСКИХ ОЗЕР РОССИИ НА ОСНОВЕ СПУТНИКОВЫХ СНИМКОВ И ЭНТРОПИЙНО-РАНДОМИЗИРОВАННОГО ПОДХОДА

Е.С. Сокол1, eugen137@gmai.com А.А. Тогачев1, togachevaa@uriit.ru

A.Ю. Попков2, Popkov.alexey@gmail.com, https://orcid.org/0000-0003-4039-7746 Ю.А Дубнов2,3, yury.dubnov90@phystech.edu, https://orcid.org/0000-0001-5471-3733

B.Ю. Полищук4, liquid_metal@mail.ru, https://orcid.org/0000-0002-2058-1725 Ю.С. Попков2,5, popkov.yuri@gmail.com, https://orcid.org/0000-0002-9692-507X А.В. Мельников1, MelnikovAV@uriit.ru, https://orcid.org/0000-0002-1073-7108 Ю.М. Полищук1, yupolishchuk@gmail.com, https://orcid.org/0000-0002-4944-4919

Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия

2 Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия

3 Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

4 Институт мониторинга климатических и экологических систем Сибирского отделения Российской академии наук, Томск, Россия

5 Институт проблем управления им. В.А. Трапезникова Российской академии наук, Москва, Россия

Аннотация. Статья посвящена проблеме прогнозирования эволюции термокарстовых озер в зонах мерзлоты как интенсивных источников природной эмиссии парниковых газов в атмосферу на арктических территориях. Цель работы. Целью работы является рассмотрение вопросов создания программно-алгоритмического комплекса прогнозирования пространственно-временной динамики озер Российской Арктики на основе методов и алгоритмов рандомизированного машинного обучения. Материалы и методы. Для прогнозирования в качестве исторических данных используются временные ряды спутниковых измерений площадей термокарстовых озер в арктической зоне России и данных о среднегодовой температуре и годовой сумме осадков, полученных на основе систем реа-нализа ERA-5, ERA-Interim и др. Применяются методы энтропийно-рандомизированного моделирования динамики полей термокарстовых озер, позволяющие прогнозировать изменения площадей озер арктической зоны. Для программной реализации комплекса прогнозирования эволюции площади термокарстовых озер используются средства современных геоинформационных систем. Результаты. Разработана архитектура программно-алгоритмического комплекса, основанная на использовании алгоритмов энтропийно-рандомизированного моделирования. Программно-алгоритмический комплекс прогнозирования позволяет проводить обучение и тестирование модели на основе имеющихся исторических данных о динамике площади термокарстовых озер и климатических изменениях в Российской Арктике. Заключение. Реализация программного комплекса на основе веб-геоинформационной системы NextGIS Web позволяет включать прикладные программы прогнозирования на языке Python. Разработанный программный комплекс может быть использован в задачах оценки и прогноза динамики объемов озерной эмиссии парниковых газов, оказывающей влияние на изменение температуры воздуха в северных регионах.

Ключевые слова: машинное обучение, рандомизированная модель, программно-алгоритмический комплекс, прогнозирование, термокарстовые озера, парниковые газы

Благодарности. Работа проводилась при финансовой поддержке гранта Российского научного фонда по проекту № 22-11-20023.

Для цитирования: Программно-алгоритмический комплекс прогнозирования динамики арктических озер России на основе спутниковых снимков и энтропийно-рандомизированного подхода / Е.С. Сокол, А.А. Тогачев, А.Ю. Попков и др. // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2023. Т. 23, № 4. С. 16-25. DOI: 10.14529/ctcr230402

© Сокол Е.С., Тогачев А.А., Попков А.Ю., Дубнов Ю.А., Полищук В.Ю., Попков Ю.С., Мельников А.В, Полищук Ю.М., 2023

Original article

DOI: 10.14529/ctcr230402

SOFTWARE-ALGORITHMIC COMPLEX OF FORECASTING THE DYNAMICS OF ARCTIC LAKES IN RUSSIA BASED ON SATELLITE IMAGES AND ENTROPY-RANDOMIZED APPROACH

E.S. Sokol1, eugen137@gmai.com A.A. Togachev1, togachevaa@uriit.ru

A.Yu. Popkov2, Popkov.alexey@gmail.com, https://orcid.org/0000-0003-4039-7746 Yu.A. Dubnov2 3, yury.dubnov90@phystech.edu, https://orcid.org/0000-0001-5471-3733 V.Yu. Polishchuk4, liquid_metal@mail.ru, https://orcid.org/0000-0002-2058-1725 Yu.S. Popkov2 5, popkov.yuri@gmail.com, https://orcid.org/0000-0002-9692-507X A.V. Melnikov1, MelnikovAV@uriit.ru, https://orcid.org/0000-0002-1073-7108 Yu.M. Polishchuk1, yupolishchuk@gmail.com, https://orcid.org/0000-0002-4944-4919

Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia

2 Federal Research Center Computer Science and Control of the Russian Academy of Sciences, Moscow, Russia

3 National Research University Higher School of Economics, Moscow, Russia

4 Institute of Monitoring of Climatic and Ecological Systems of the Siberian Branch of the Russian Academy of Sciences, Tomsk, Russia

5 V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia

Abstract. The article is devoted to the problem of predicting the evolution of thermokarst lakes in permafrost zones as intensive sources of natural emissions of greenhouse gases into the atmosphere in the Arctic territories. Goal of the work. The purpose of the work was to consider the issues of creating a software-algorithmic complex for predicting the spatio-temporal dynamics of lakes in the Russian Arctic based on methods and algorithms of randomized machine learning. Materials and methods. For forecasting, time series of satellite measurements of the areas of thermokarst lakes in the Arctic zone of Russia and data on the average annual temperature and annual precipitation obtained on the basis of the ERA-5, ERA-Interim, etc. reanalysis systems are used for forecasting. Methods of entropy-randomized dynamics modeling are used fields of thermokarst lakes, allowing to predict changes in the areas of lakes in the Arctic zone. For the software implementation of a complex for predicting the evolution of the area of thermokarst lakes, modern geographic information systems are used. Results. The architecture of the software-algorithmic complex has been developed, based on the use of entropy-randomized modeling algorithms. The software-algorithmic forecasting complex makes it possible to train and test the model based on available historical data on the dynamics of the area of thermokarst lakes and climate changes in the Russian Arctic. Conclusion. The implementation of a software package based on the NextGIS Web geographic information system allows you to include forecasting applications in Python. The developed software package can be used in assessing and forecasting the dynamics of greenhouse gas emissions from lakes, which influence changes in air temperature in the northern regions.

Keywords: machine learning, randomized model, software-algorithmic complex, forecasting, thermo-karst lakes, greenhouse gases

Acknowledgments. The work was supported by grant of Russian scientific fund for the project No. 22-11-20023.

For citation: Sokol E.S., Togachev A.A., Popkov A.Yu., Dubnov Yu.A., Polishchuk V.Yu., Popkov Yu.S., Melnikov A.V., Polishchuk Yu.M. Software-algorithmic complex of forecasting the dynamics of arctic lakes in Russia based on satellite images and entropy-randomized approach. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2023;23(4):16-25. (In Russ.) DOI: 10.14529/ctcr230402

Введение

Потепление климата в ближайшие десятилетия будет приводить к таянию мерзлоты и дополнительной эмиссии углекислого газа и метана, способной внести заметный вклад в потепление климата, что вызывает озабоченность мировой общественности и требует разработки эффективных мер по ограничению роста среднегодовой температуры Земли до 1,5-2 °С до 2050 г. Разработка таких мер на региональном уровне для арктических регионов невозможна без формирования обоснованных прогнозов объемов эмиссии метана и углекислого газа с использованием экспериментальных данных о пространственно-временной динамике полей термокарстовых озер как важных источников эмиссии природного метана и углекислого газа на территории регионов. Известно, что наибольший вклад в глобальную эмиссию парниковых газов вносят территории вечной мерзлоты арктических регионов, что подтверждается многочисленными экспериментальными исследованиями в Сибири и в других северных регионах [1-5].

Известно [6], что объемы озерной эмиссии парниковых газов в атмосферу на отдельной территории определяются суммарной площадью озер на этой территории. Поэтому важной с точки зрения прогнозирования объемов озерной эмиссии парниковых газов в атмосферу является информация о динамике площадей термокарстовых озер на различных территориях Арктики, получаемая в настоящее время вследствие труднодоступности и высокой степени заболоченности арктических территорий дистанционными методами с использованием спутниковых снимков. В последние годы дистанционные исследования динамики площадей термокарстовых озер по спутниковым снимкам проведены в Западной Сибири, на Аляске и в других северных регионах [1, 5, 7].

Наиболее перспективным для разработки эффективной модели прогнозирования объемов накопления парниковых газов в арктических озерах представляется, по нашему мнению, подход, основанный на методах рандомизированного машинного обучения [8, 9], которые показали высокую эффективность в решении проблем прогнозирования мировой экономики, демографии и др.

Основанные на рандомизированном подходе методы позволяют определить энтропийно-оптимальную апостериорную плотность распределения вероятностей оцениваемых параметров модели при «наихудших», в терминах энтропии, шумах измерений [9]. Такой подход позволяет получать состоятельные и эффективные оценки параметров модели в условиях ограниченных объемов эмпирических данных. Поэтому особую важность рандомизированный подход представляет для решения задач прогнозирования динамики накопления парниковых газов в термокарстовых озерах Арктики в связи с их влиянием на глобальные климатические изменения, что может явиться основой разработки и функционирования систем адаптации к меняющимся условиям среды обитания на различных управленческих уровнях. Отметим, что с использованием этого подхода для задач прогноза динамики арктических озер в [10, 11] были разработаны модели и эффективные алгоритмы восстановления пропусков во временных рядах экспериментальных данных о площадях озер, возникающих из-за отсутствия безоблачных космических снимков в периоды пасмурной погоды на арктических территориях.

В задачах моделирования и прогноза динамики полей термокарстовых озер наиболее характерной является ситуация, когда объемы массивов реальных данных скудны, а сами данные содержат ошибки. В этих условиях оценивание значений характеристик (параметров) модели осуществляется по малому количеству не вполне достоверных данных. Если их рассматривать как случайные объекты, то и оценки характеристик модели приобретают свойства случайных переменных. Поэтому естественным образом возникает предложение рассматривать параметры модели как случайные величины. Это предложение приводит к трансформации модели с детерминированными параметрами в модель со случайными параметрами, которую будем называть рандомизированной моделью.

Процессы образования и эволюции термокарстовых озер изучены недостаточно, исторические данные о площадях озер, получаемые по спутниковым снимкам, скудны и сопровождаются значительными погрешностями. Все это приводит к тому, что прогнозные модели должны функционировать в условиях достаточно высокой неопределенности. В [12] предлагается альтернативный существующему в машинном обучении подход, который назван рандомизированным прогнозированием. Этот подход основан на рандомизированной параметризованной модели (РПМ) исследуемого процесса, параметры которой предполагаются случайными величинами.

Поэтому под характеристиками РПМ понимаются функции плотности распределения вероятностей (ПРВ) параметров.

В отличие от детерминированных моделей, где восстанавливаются оценки параметров, в рандомизированных моделях необходимо сформировать оптимальные оценки функций ПРВ. Последнее достигается методами рандомизированного машинного обучения (РМО) [8]. Смысл рандомизированного прогнозирования состоит в том, чтобы, используя энтропийно-оптимизированную модель, генерировать ансамбль предсказательных траекторий при энтропийно-наихудших измерительных шумах (ошибках) и определять его числовые характеристики методами математической статистики.

Опыт использования рассматриваемого подхода для прогнозирования динамики площадей термокарстовых озер в [12] на примере арктической территории Западной Сибири показывает, что такой подход позволяет получать состоятельные и эффективные оценки параметров модели в условиях ограниченных объемов эмпирических данных. В цитированной работе [12] прогнозные оценки динамики площадей озер были получены средствами MATLAB. Однако для развития технологии рандомизированного прогнозирования возникает необходимость создания программно-алгоритмического комплекса прогнозирования, основанного на применении алгоритмов энтропийно-рандомизированного моделирования. Вопросы создания таких комплексов применительно к моделированию пространственно-временной динамики полей термокарстовых озер в настоящее время не разработаны, что определяет важность и актуальность поставленной задачи.

В связи с изложенным целью работы является рассмотрение вопросов создания программно-алгоритмического комплекса прогнозирования пространственно-временной динамики озерных полей Российской Арктики в условиях современных климатических изменений на основе методов и алгоритмов энтропийно-рандомизированного машинного обучения, ориентированных на использование исторических данных о временных рядах площадей термокарстовых озер и климатических параметрах за период последних десятилетий.

1. Общая характеристика исторических данных

Имеющиеся исторические данные для прогнозирования динамики термокарстовых озер на территориях арктических регионов России, согласно вышеизложенному, включают средние (по территории региона) значения площадей озер, среднегодовые значения температуры воздуха и годовые суммы осадков на территории этого региона, полученные за период последних 3-4 десятилетий [1-5]. Одной из важных особенностей исторических данных является наличие пропусков во временных рядах данных о средних площадях озер, вызванных отсутствием в некоторые годы безоблачных спутниковых снимков. Восстановление пропущенных значений о площадях озер проводится в рамках рассматриваемого подхода к прогнозированию динамики площадей озер с использованием рандомизированного алгоритма, что демонстрируется на примере территории Западно-Сибирской Арктики в [10, 11].

Важной проблемой прогнозирования эволюции термокарстовых озер является формирование временных рядов данных о климатических параметрах, наиболее существенно влияющих на изменение площадей арктических озер, основными из которых являются среднегодовая температура воздуха и годовая сумма осадков. Эти климатические параметры для прогнозирования динамики озер на исследуемой территории определяются с использованием известных систем реана-лиза метеорологических полей ERA-5, ERA-40, ERA-INTERIM и APHRODITE JMA.

Далее на рис. 1 приведем для иллюстрации графики временных рядов данных о площадях озер и климатических параметрах, полученные за период 1985-2021 гг. по результатам исследований на территории самого западного региона Российской Арктики - арктической тундры на севере Кольского полуострова.

Временные ряды данных на рис. 1 получены за период 1985-2021 гг. Отрезками сплошных линий на графиках отображены линейные тренды, определенные на основе аппроксимации временных рядов соответствующих показателей. Данные о площадях озер основаны на результатах измерения площадей озер по спутниковым изображениям Landsat. Вопросы получения этих данных рассматриваются в [3]. Особенностью данных о средних площадях озер является наличие пропусков во временных рядах этих данных, вызванных отсутствием в некоторые годы безоб-

лачных спутниковых снимков. Восстановление пропущенных значений о площадях озер проводится с использованием рандомизированного алгоритма [10].

о.

U «

а> H

-1

-2

-3

у - 0,06jc -i?2 — (1 115,24 ,33 ид- A

• M — и • • • • Аг** у • • V

( 4 •

• * • • i

; • •

• ê

1980

1990

Bp

2000 ем я, годы

Ь)

2010

2020

2030

750

вз о

а п s

V

о « g

«s Р

ч Е я я 09

е

et

о -

700

650

600

550

500

J • = l,30x - 1 R2 = 0, 989,43 08

•• t ** < •

[ mr \ff*L \j \ m[

• • • • • • • • • • • •

4

1980

1990

2000 Время, годы

с)

2010

2020

2030

Рис. 1. Графики временных рядов средней площади термокарстовых озёр (a), среднегодовой температуры воздуха (b) и годовой суммы

осадков (c) на арктической территории Кольского полуострова Fig. 1. Time series graphs of the average area of thermokarst lakes (a), average annual air temperature (b) and annual summa precipitation (c) on the Arctic territory of the Kola Peninsula

Временные ряды среднегодовой температуры и годовой суммы осадков получены по результатам реанализа, являющегося способом получения метеорологической информации в заданных пунктах исследуемой территории. Преимуществом данных реанализа является равномерное покрытие территории. В настоящей работе для определения температуры и годовой суммы осадков на исследуемой территории использовались данные системы реанализа ERA-5. График временного хода среднегодовых значений температуры воздуха на рис. 1Ь показывает рост среднегодовой температуры со временем с величиной коэффициента линейного тренда а1 = 0,06 °С/год как результат

потепления. Временной ход годовой суммы осадков показывает увеличение во времени годовой суммы осадков с коэффициентом линейного тренда а2 = 1,30 мм/год на Кольской территории.

2. Алгоритмические основы рандомизированного моделирования

Важными этапами разработки рандомизированной параметризованной модели (РПМ) для прогнозирования эволюции термокарстовых озер является обучение и тестирование модели. Обучение РПМ состоит в оценивании ПРВ ее параметров и шумов по имеющимся данным. Обучение реализуется с помощью алгоритмов РМО [8, 9], использующих исторические данные о площадях озер, среднегодовых значениях температуры и годовых суммах осадков на исследуемых территориях, которые получены за 35-40-летний период.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Согласно [12], формирование рандомизированных моделей эволюции площади термокарстовых озер и влияющих на нее климатических параметров предполагает для моделирования указанных переменных использование математических моделей линейной динамической рандомизированной регрессии (ЛДРР). Временная эволюция площади озер (ЛДРР-П) S[n] описывается следующим уравнением динамической рандомизированной регрессии с двумя влияющими факторами - среднегодовой температурой T[n] и годовой суммой осадков R[n]:

S[n] = a0 + YJv]í=1akS[n - k] + a(p+í)T[n] + a(p+2)R[n],

где

ak £Як = [ak, ад"], к = 0,(p + 2); a = [a0, ..,ap+2} £ <A = •

Наблюдаемый выход модели

v[n] = S[n] + 2,[n], где í[n] - измерительный шум.

Случайные параметры модели характеризуются функцией ПРВ P(a). Значения случайного измерительного шума £,[п] в различные моменты n времени могут принадлежать различным интервалам:

$п] £ Еп = [Пп], S>]]

с функцией ПРВ Qn(£[«]), n = 0JV.

Для обучения этой модели, т. е. оценивания функций ПРВ P(a), Qn(£,[n|) используются коллекции исторических данных о площади озер, температуре и осадках. Однако на этапе прогнозирования площади прогнозные данные о температуре и осадках отсутствуют. Для их генерации на этапе прогнозирования эволюции озер формируются вспомогательные модели температуры ЛДРР-Т и осадков ЛДРР-О. Подробное описание этих моделей дано в [12].

3. Архитектура программно-алгоритмического комплекса

ПАК имеет микросервисную архитектуру [13], т. е. некоторые его части (сервисы) существуют автономно, являясь отдельными узкоспециализированными приложениями, и взаимодействуют с остальными компонентами по сети. Для реализации многопользовательского режима работы ПАК, а также для повышения отказоустойчивости, необходимо управление очередью сообщений, представляющих собой задачи для прогнозирования или подготовки данных. Для управления очередью сообщений выбран программный продукт с открытым исходным кодом Apache Kafka [14]. Архитектура программно-алгоритмического комплекса представлена на рис. 2.

Дадим описание основных составных частей схемы на рис. 2. Интерфейс ПАК разработан на основе широко используемой при создании геопорталов серверной географической информационной системы NextGIS Web [15], обеспечивающей функции: создание и отображение цифровых карт и использование их в качестве геопорталов; выполнение навигации по картам; взаимодействие с внешними программами; отображение данных в виде графиков; загрузка данных о площадях озер в виде Shape-файлов и таблиц Excell; загрузку данных о климатических параметрах в виде таблиц Excell. Часть перечисленных функций являются встроенными в NextGIS Web, остальные реализуются в процессе разработки ПАК.

Рис. 2. Архитектура программно-алгоритмического комплекса Fig. 2. Architecture of the software-algorithmic complex

В качестве СУБД сервера базы данных выбрана широко используемая PostgreSQL [16] с расширением PostGIS [17], позволяющая хранить геоданные и имеющая встроенные пространственные функции (определение пересечения, расчет площади и т. п.).

Указанные на рис. 2 модули прогнозирования имеют схожую структуру, но основаны на разных моделях. Модули прогнозирования включают компоненты обучения, тестирования и прогнозирования. Модуль прогнозирования площади озер основан на модели ЛДРР-П, модуль прогнозирования климатических параметров - на моделях ЛДРР-О и ЛДРР-Т. Все модули прогнозирования объединены в один сервис, реализованный на языке программирования Python 3.10. Взаимодействие с этим сервисом осуществляется через очередь сообщений.

Модуль подготовки данных реализован как отдельный сервис, разработанный на языке Python 3.10. Он включает в себя компоненту восстановления пропусков в данных о средней площади озер, возникающих из-за большого количества пасмурных дней на арктических территориях. Загружаемые в ПАК данные имеют форматы Shape-файлов и таблиц Excel. Конечным результатом работы ПАК являются временные ряды прогнозных значений средней площади озер в заданных арктических регионах. Предполагается возможность свободного использования разработанного исходного программного кода ПАК согласно лицензии GPLv3 [18]. Заметим, что NextGIS Web - серверная ГИС, на основе которой разработан интерфейс ПАК, также распространяется на основе лицензии GPLv3.

Заключение

Разработан программно-алгоритмический комплекс энтропийно-рандомизированного прогнозирования пространственно-временной динамики полей термокарстовых озер арктической зоны России в условиях современных климатических изменений. Архитектура программно-алгоритмического комплекса (ПАК) ориентирована на использование алгоритмов рандомизированного моделирования, позволяющих вычислять оценки функций плотности распределения вероятностей (ПРВ) параметров модели линейной динамической регрессии и измерительных шу-

мов. Исторические данные о динамике площадей термокарстовых озер арктической зоны, загружаемые в базу данных ПАК, основаны на дистанционных измерениях площадей озер по космическим снимкам Landsat. При прогнозировании динамики площадей озер климатические данные для прогнозного периода неизвестны. Поэтому в ПАК предусмотрена возможность прогнозирования климатических параметров с использованием моделей динамической регрессии со входом в виде случайной последовательности, ПРВ которых определяются с помощью процедуры энтропийно-рандомизированного машинного обучения и коллекции обучающих данных. Программно-алгоритмический комплекс реализован на основе современной веб-геоинформационной системы NextGIS Web, позволяющей включать прикладные программы рандомизированного прогнозирования на языке Python.

Список литературы

1. Закономерности распределения размеров термокарстовых озер / А.С. Викторов, В.Н. Капралова, Т.В. Орлов и др. // Доклады Академии наук. 2017. Т. 474, № 5. C. 625-627. DOI: 10.7868/S0869565217050218

2. Carbon Emission from Thermokarst Lakes in NE European Tundra / S. Zabelina, L. Shirokova, S. Klimov et al. // Limnology and Oceanography. 2020. Vol. 66, iss. S1. P. 1-15. DOI: 10.1002/Ino.11560

3. Minor contribution of small thaw ponds to the pools of carbon and methane in the inland waters of the permafrost-affected part of the Western Siberian lowland / Y.M. Polishchuk, A.N. Bogdanov, I.N. Muratov et al. // Environmental Research Letters. 2018. Vol. 13, no. 4. P. 1-16. DOI: 10.1088/1748-9326/aab046

4. A Global Inventory of Lakes Based on High Resolution Satellite Imagery / C. Verpoorter, T. Kutser, D A. Seekel, L.J. Tranvik // Geophysical Research Letters, 2014. Vol. 41. P. 6396-6402. DOI: 10.1002/2014GL060641

5. Webb E.E., Liljedahl A.K. Diminishing lake area across the northern permafrost zone // Nature Geoscience. 2023. Vol. 16. P. 202-209. DOI: 10.1038/s41561-023-01128-z

6. Методические вопросы оценки запасов метана в малых термокарстовых озерах криолито-зоны Западной Сибири / Ю.М. Полищук, В.Ю. Полищук, Н.А. Брыксина и др. // Известия Томского политехнического университета. Инжиниринг георесурсов. 2015. Т. 326, № 2. С. 127-135.

7. Polishchuk Y.M., Muratov I.N., Polishchuk V.Y. Remote research of spatiotemporal dynamics of thermokarst lakes fields in Siberian permafrost. Ch. 8 // The Arctic: Current Issues and Challenges; Eds.: O S. Pokrovsky, S.N. Kirpotin, A.I. Malov. New York: Nova Science Publishers, 2020. P. 208-237.

8. Попков Ю.С., Попков А.Ю., Дубнов Ю.А. Рандомизированное машинное обучение при ограниченных объемах данных. М.: URSS, 2019. 310 с.

9. Popkov Y.S., Popkov A.Y. New Method of Entropy-Robust Estimation for Ramdomized Models under Limited Data // Enthropy. 2014. Vol. 16, no. 2. P. 675-698. DOI: 10.3390/e16020675

10. A randomized algorithm for restoring missing data in the time series of lake areas using information on climatic parameters / Y.S. Popkov, E.S. Sokol, A.V. Melnikov et al. // Advances in Social Science, Education and Humanities Research. 2020. Vol. 483. P. 186-190. DOI: 10.2991/assehr.k.201029.035

11. Entropy-Randomized Method for the Reconstruction of Missing Data / Y.A. Dubnov, V.Y. Polishchuk, Y.S. Popkov et al. // Automation and Remote Control. 2021. Vol. 82, no. 4. P. 670-686. DOI: 10.1134/S0005117921040056

12. Алгоритмы рандомизированного машинного обучения для прогнозирования эволюции площади термокарстовых озер в зонах вечной мерзлоты / Ю.А. Дубнов, А.Ю. Попков, В.Ю. Полищук и др. // Автоматика и телемеханика. 2023. № 1. С. 98-120. DOI: 10.31857/S0005231023010051

13. Микросервисы. Паттерны разработки и рефакторинга. СПб.: Питер, 2019. 544 с.

14. Apache Kafka. URL: https://kafka.apache.org/documentation/ (дата обращения: 02.06.2023).

15. NextGIS Web. URL: https://docs.nextgis.ru/docs_ngweb/source/toc.html#nextgis-web (дата обращения: 02.06.2023).

16. PostgreSQL. URL: https://postgrespro.ru/docs/postgresql (дата обращения: 02.06.2023).

17. PostGIS. URL: https://postgis.net/documentation/ (дата обращения: 02.06.2023).

18. Standard public license GNU (GPL). URL: https://www.gnu.org/licenses/gpl-3.0.html (дата обращения: 02.06.2023).

References

1. Viktorov A.S., Kapralova V.N., Orlov T.V. et al. Consistent patterns of the size distribution of thermokarst lakes. Doklady Earth Sciences. 2017;474(2):692-694. DOI: 10.1134/S1028334X17060162

2. Zabelina S., Shirokova L., Klimov S. et al. Carbon Emission from Thermokarst Lakes in NE European Tundra. Limnology and Oceanography. 2020;66(S1): 1-15. DOI: 10.1002/Ino.11560

3. Polishchuk Y.M., Bogdanov A.N., Muratov I.N. et al. Minor contribution of small thaw ponds to the pools of carbon and methane in the inland waters of the permafrost-affected part of the Western Siberian lowland. Environmental Research Letters. 2018;13(4):1-16. DOI: 10.1088/1748-9326/aab046

4. Verpoorter C., Kutser T., Seekel D.A., Tranvik L.J. A Global Inventory of Lakes Based on High Resolution Satellite Imagery. Geophys. Geophysical Research Letters. 2014;41:6396-6402. DOI: 10.1002/2014GL060641

5. Webb E.E., Liljedahl A.K. Diminishing lake area across the northern permafrost zone. Nature Geoscience. 2023;16:202-209. DOI: 10.1038/s41561-023-01128-z

6. Polishchuk Yu.M., Polishchuk V.Yu., Pokrovsky O.S., Kirpotin S.N., Shirokova L.S. [Methodological issues of estimating methane reserves in small thermokarst lakes in the permafrost zone of Western Siberia]. Bulletin of the Tomsk polytechnic university. Geo assets engineering. 2015;326(2):127-135. (In Russ.)

7. Polishchuk Y.M., Muratov I.N., Polishchuk V.Y. Remote research of spatiotemporal dynamics of thermokarst lakes fields in Siberian permafrost. Ch. 8. In: Pokrovsky O.S., Kirpotin S.N., Malov A.I. (Eds.). The Arctic: Current Issues and Challenges. New York: Nova Science Publishers; 2020. P. 208-237.

8. Popkov Yu.S., Popkov A.Yu., Dubnov Yu.A. Randomizirovannoe mashinnoe obuchenie pri ogranichennykh ob"emakh dannykh [Randomized Machine Learning with Limited Data]. Moscow: URSS Publ.; 2019. 310 p. (In Russ.)

9. Popkov Y.S., Popkov A.Y. New Method of Entropy-Robust Estimation for Ramdomized Models under Limited Data. Enthropy. 2014;16(2):675-698. DOI: 10.3390/e16020675

10. Popkov Y.S., Sokol E.S., Melnikov A.V. et al. A randomized algorithm for restoring missing data in the time series of lake areas using information on climatic parameters. Advances in Social Science, Education and Humanities Research. 2020;483:186-190. DOI: 10.2991/assehr.k.201029.035

11. Dubnov Y.A., Polishchuk V.Y., Popkov Y.S. et al. Entropy-Randomized Method for the Reconstruction of Missing Data. Automation and Remote Control. 2021;82(4):670-686. DOI: 10.1134/S0005117921040056

12. Dubnov Y.A., Popkov A.Y., Polishchuk V.Y. et al. Randomized Machine Learning Algorithms to Forecast the Evolution of Thermokarst Lakes Area in Permafrost Zones. Automation and Remote Control. 2023;84(1):56-70. DOI: 10.1134/S0005117923010034

13. Mikroservisy. Patterny razrabotki i refaktoringa [Microservices. Development and refactoring patterns]. St. Petersburg: Piter Publ.; 2019. 544 p. (In Russ.)

14. Apache Kafka. Available at: https://kafka.apache.org/documentation/ (accessed 02.06.2023).

15. NextGIS Web. Available at: https://docs.nextgis.ru/docs_ngweb/source/toc.html#nextgis-web (accessed 02.06.2023).

16. PostgreSQL. Available at: https://postgrespro.ru/docs/postgresql (accessed 02.06.2023).

17. PostGIS. Available at: https://postgis.net/documentation/ (accessed 02.06.2023).

18. Standard public license GNU (GPL). Available at: https://www.gnu.org/licenses/gpl-3.0.html (accessed 02.06.2023).

Информация об авторах

Сокол Евгений Сергеевич, начальник отдела информационных систем, ведущий специалист, Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия; eugen137@gmai.com.

Тогачев Александр Алексеевич, главный специалист Центра космического обслуживания, Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия; togachevaa@uriit.ru.

Попков Алексей Юрьевич, канд. техн. наук, ведущий научный сотрудник, Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия; Popkov.alexey@gmail.com.

Дубнов Юрий Андреевич, научный сотрудник, Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия; Национальный исследовательский университет «Высшая школа экономики», Москва, Россия; yury.dubnov@phystech.edu.

Полищук Владимир Юрьевич, канд. техн. наук, научный сотрудник Отдела геоинформационных технологий, Институт мониторинга климатических и экологических систем Сибирского отделения Российской академии наук, Томск, Россия; liquid_metal@mail.ru.

Попков Юрий Соломонович, д-р техн. наук, проф., академик РАН, главный научный сотрудник, Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия; Институт проблем управления им. В.А. Трапезникова Российской академии наук, Москва, Россия; popkov.yuri@gmail.com.

Мельников Андрей Витальевич, д-р техн. наук, проф., директор, Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия; MelnikovAV@uriit.ru.

Полищук Юрий Михайлович, д-р физ.-мат. наук, проф., главный научный сотрудник Центра космического обслуживания, Югорский научно-исследовательский институт информационных технологий, Ханты-Мансийск, Россия; yupolishchuk@gmail.com.

Information about the authors

Eugeniy S. Sokol, Head of the Information Systems Department, Leading Specialist, Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia; eugen137@gmai.com.

Aleksandr A. Togachev, Chief specialist of the Space Service Center, Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia; togachevaa@uriit.ru.

Aleksey Yu. Popkov, Cand. Sci. (Eng.), Senior researcher, Federal Research Center Computer Science and Control of the Russian Academy of Sciences, Moscow, Russia; Popkov.alexey@gmail.com.

Yury A. Dubnov, Researcher, Federal Research Center Computer Science and Control of the Russian Academy of Sciences, Moscow, Russia; National Research University Higher School of Economics, Moscow, Russia; yury.dubnov90@phystech.edu.

Vladimir Yu. Polishchuk, Cand. Sci. (Eng.), Researcher of the Geoinformation Technologies Department, Institute of Monitoring of Climatic and Ecological Systems of the Siberian Branch of the Russian Academy of Sciences, Tomsk, Russia; liquid_metal@mail.ru.

Yuri S. Popkov, Dr. Sci. (Eng.), Prof., RAS Academician, Principal researcher, Federal Research Center Computer Science and Control of the Russian Academy of Sciences, Moscow, Russia; V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia; popkov.yuri@gmail.com.

Andrey V. Melnikov, Dr. Sci. (Eng.), Prof., Director, Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia; MelnikovAV@uriit.ru.

Yury M. Polishchuk, Dr. Sci. (Phys. and Math.), Prof., Principal researcher of the Space Service Center, Ugra Research Institute of Information Technologies, Khanty-Mansiysk, Russia; yupolishchuk@ gmail.com.

Статья поступила в редакцию 05.06.2023

The article was submitted 05.06.2023

i Надоели баннеры? Вы всегда можете отключить рекламу.