CC BY
0
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE AND MANAGEMENT
(сс) \Х/ H) Check for updates
УДК 004.021 Оригинальное эмпирическое исследование
https://doi.org/10.23947/2687-1653-2024-24-3-283-292
Разработка алгоритма семантической сегментации данных дистанционного зондирования Земли для определения фитопланктонных популяций
Ю.В. Белова , И.Ф. Развеева И, Е.О. Рахимбаева
Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация И razveevai@mail. ru
Аннотация
Введение. Компьютерное зрение широко используется для семантической сегментации данных дистанционного зондирования Земли (ДЗЗ). Метод позволяет контролировать экосистемы, в том числе водные. Востребованы алгоритмы, обеспечивающие качество семантической сегментации снимков ДЗЗ, в частности, для выявления областей с фитопланктоном, где возможно цветение воды — причина заморов. Цель исследования — создание алгоритма, обрабатывающего спутниковые данные как входную информацию для формирования и верификации математических моделей гидродинамики, по которым отслеживается состояние водных объектов. В литературе описаны различные алгоритмы семантической сегментации. Новые исследования сосредоточены на повышении надежности распознавания — чаще с помощью нейросетей. Этот подход совершенствуется в представленной работе. Для развития направления предлагаются новый набор сведений из открытых источников и синтетические данные для улучшения обобщающей способности модели. Впервые область контура фитопланктонной популяции сравнивается с базой данных — и так формируются граничные условия для реализации математических моделей и построения гранично-адаптивных сеток. е
и
Материалы и методы. Набор снимков ДЗЗ дополнили с помощью авторского аугментационного алгоритма на ®
ле
языке Python. Компьютерное зрение сегментировало области фитопланктонных популяций на снимках. Сверточ- g
ную нейронную сеть (СНС) U-Net обучили на базе ускорителей вычислений NVIDIA Tesla T4. ^
у
Результаты исследования. Для автоматизации обнаружения областей распространения фитопланктона разра- ®
ботан алгоритм компьютерного зрения, основанный на СНС U-Net. Модель оценили по вычисленным значениям ак
и
основных метрик качества, относящихся к задачам сегментации. Получены следующие значения метрик: р
Precision = 0,89, Recall = 0,88, F1 = 0,87, Dice = 0,87 и IoU = 0,79. Графическая визуализация результатов обучения н
СНС на обучающем и валидационном наборах показала хорошее качество обучения модели. Об этом свидетель- ^
ствуют малые изменения функции потерь в конце обучения. Выполненная моделью сегментация оказалась лье
близка к ручной разметке, что говорит о высоком качестве предложенного решения. По площади одного пикселя ит
л
рассчитали площадь сегментированной области фитопланктонной популяции. Полученный результат для исход- ис ного изображения — 51202,5 (по информации о количестве пикселей, относящихся к цветению сине-зеленых §
в
водорослей). Соответствующий итог моделирования — 51312. ^
Обсуждение и заключение. Исследование расширяет теоретические и практические знания о применении свер- к
т
точных нейронных сетей для семантической сегментации данных космических снимков. Учитывая итоги работы, ам можно оценить потенциал автоматизации процесса семантической сегментации данных ДЗЗ для определения роф границ фитопланктонных популяций с помощью искусственного интеллекта. Применение предложенной модели нИ компьютерного зрения для получения контуров цветения воды из-за фитопланктона позволит создать базы данных — основу для экологического мониторинга водных ресурсов и прогностического моделирования гидробиологических процессов.
© Белова Ю.В., Развеева И.Ф., Рахимбаева Е.О., 2024
Ключевые слова: экологический мониторинг водных ресурсов, границы фитопланктона, контур цветения воды, цветение воды из-за сине-зеленых водорослей, сегментация данных космических снимков
Благодарности. Авторы благодарят научного консультанта проекта члена-корреспондента РАН, доктора физико-математических наук, профессора А.И. Сухинова.
Финансирование. Исследование выполнено при финансовой поддержке Российского научного фонда (грант РНФ № 22-71-10102 «Математические модели и параллельные алгоритмы для прогнозирования динамики фитопланктонных популяций в морских системах с учетом обмена кислородом и углекислым газом на суперкомпьютерных вычислительных системах»).
Для цитирования. Белова Ю.В., Развеева И.Ф., Рахимбаева Е.О. Разработка алгоритма семантической сегментации данных дистанционного зондирования Земли для определения фитопланктонных популяций. Advanced Engineering Research (Rostov-on-Don). 2024;24(3):283-292. https://doi.org/10.23947/2687-1653-2024-24-3-283-292
Original Empirical Research
Development of an Algorithm for Semantic Segmentation of Earth Remote Sensing Data to Determine Phytoplankton Populations
Yulia V. Belova , Irina F. Razveeva И, Elena O. Rakhimbaeva
Don State Technical University, Rostov-on-Don, Russian Federation И razveevai@mail. ru
Abstract
Introduction. Computer vision is widely used for semantic segmentation of Earth remote sensing (ERS) data. The method allows monitoring ecosystems, including aquatic ones. Algorithms that maintain the quality of semantic segmentation of ERS images are in demand, specifically, to identify areas with phytoplankton, where water blooms— the cause of suffocation — are possible. The objective of the study is to create an algorithm that processes satellite data as input information for the formation and checking of mathematical models of hydrodynamics, which are used to monitor the state of water bodies. Various algorithms for semantic segmentation are described in the literature. New research focuses on enhancing the reliability of recognition — often using neural networks. This approach is modified in the presented work. To develop the direction, a new set of information from open sources and synthetic data are proposed. They are aimed at improving the generalization ability of the model. For the first time, the contour area of the phytoplankton population is compared to the database — and thus the boundary conditions are formed for the implementation of mathematical models and the construction of boundary-adaptive grids.
Materials and Methods. The set of remote sensing images was supplemented with the author's augmentation algorithm in Python. Computer vision segmented areas of phytoplankton populations in the images. The U-Net convolutional neural network (CNN) was trained on the basis of NVIDIA Tesla T4 computing accelerators.
Results. To automate the detection of phytoplankton distribution areas, a computer vision algorithm based on the U-Net CNN was developed. The model was evaluated by the calculated values of the main quality metrics related to segmentation tasks. The following metric values were obtained: Precision = 0.89, Recall = 0.88, F1 = 0.87, Dice = 0.87, and IoU = 0.79. Graphical visualization of the results of CNN learning on the training and validation sets showed good quality of model learning. This is evidenced by small changes in the loss function at the end of training. The segmentation performed by the model turned out to be close to manual marking, which indicated the high quality of the proposed solution. The area of the segmented region of the phytoplankton population was calculated by the area of one pixel. The result obtained for the original image was 51202.5 (based on information about the number of pixels related to the bloom of blue-green algae). The corresponding result of the modeling was 51312.
Discussion and Conclusion. The study expands theoretical and practical knowledge on the use of convolutional neural g networks for semantic segmentation of space imagery data. Given the results of the work, it is possible to assess the tu.r potential for automating the process of semantic segmentation of remote sensing data to determine the boundaries of g phytoplankton populations using artificial intelligence. The use of the proposed computer vision model to obtain contours ^ of water bloom due to phytoplankton will provide for the creation of databases — the basis for environmental monitoring of water resources and predictive modeling of hydrobiological processes.
ts
e
¡g Keywords: environmental monitoring of water resources, phytoplankton boundaries, water bloom contour, blue-green tp:s algae bloom, space image data segmentation th
Acknowledgements. The authors would like to thank the project scientist A.I. Sukhinov, Corresponding Member of the Russian Academy of Sciences, Dr.Sci. (Phys.-Math), Professor.
Funding Information. The research was done with the financial support of the Russian Science Foundation (grant No. 22-71-10102 "Mathematical Models and Parallel Algorithms for Predicting the Dynamics of Phytoplankton Populations in Marine Systems Taking into Account the Exchange of Oxygen and Carbon Dioxide on Supercomputer Computation Systems").
For Citation. Belova YV, Razveeva IF, Rakhimbaeva EO. Development of an Algorithm for Semantic Segmentation of Earth Remote Sensing Data to Determine Phytoplankton Populations. Advanced Engineering Research (Rostov-on-Don). 2024;24(3):283-292. https://doi.org/10.23947/2687-1653-2024-24-3-283-292
Введение. В различных сферах деятельности необходимы автоматизированные алгоритмы для обработки информации, полученной со спутников. Решение фундаментальных и прикладных задач экологии требует сегментирования участков в соответствии с фокусом внимания исследователей. Это оптимизирует процесс изучения и моделирования гидробиологических процессов. В качестве примера такого локального интереса можно привести цветение воды из-за распространения фитопланктона. Явление имеет значение для текущего и комплексного мониторинга водных ресурсов. Его хорошо видно со спутников при дистанционном зондировании Земли (ДЗЗ).
Цветение воды заметно влияет на ее качество в поверхностных источниках, используемых для систем хозяйственно-питьевого водоснабжения [1]. По реакции фитопланктонных популяций в гидрологической среде можно достоверно судить об общем состоянии водной экосистемы [2]. Негативные последствия неконтролируемого размножения водорослей — это массовая гибель рыбы (замор), рост нагрузки на водопроводные очистные сооружения [3], загрязнение берегов и пляжей [4].
Систематические замеры на автоматических станциях контроля качества воды, а также получение данных исследовательских экспедиций — это трудоемкие и дорогостоящие мероприятия. Дополнительный источник информации о состоянии фитопланктонного сообщества — современные спутниковые системы, оснащенные съемочной аппаратурой. Они позволяют дистанционно фиксировать состояние биомассы водорослей, отслеживать ее динамику в заданный временной промежуток.
Значимое преимущество спутниковых данных как инструмента мониторинга водных ресурсов — возможность полномасштабного и оперативного контроля в любой точке Земли. Широкий обзор акватории, как правило, дает исследователям значительный объем полезной информации. Но, несмотря на активное развитие систем на основе алгоритмов компьютерного зрения, задача выделения контуров интересующих областей на данных ДЗЗ до сих пор не решена в полной мере.
Хорошие результаты дают разные алгоритмы семантической сегментации на снимках. С их помощью можно выявить и уточнить границы и структуру природных объектов. В [5] показана эффективность метода LBP (от англ. local binary patterns — локальные бинарные шаблоны) для распознавания объектов, состоящих из криволинейных контуров. LBP обеспечивает высокую резкость краев и детализацию данных спутникового зондирования Земли. В [6] отмечается, что для повышения надежности распознавания следует сочетать алгоритмы искусственного интеллекта и такие классические методы выделения контуров изображений, как операторы Собеля, Кирша ш
ие
и Лапласа. В [7] предлагается комплексный подход для семантической обработки спутниковых изображений не- я ограниченного размера с применением нейросетевых моделей U-Net, которые при выделении объектов показали g
значение F1 -меры от 0,78 до 0,91. &
у
В исследовании [8] дается обзор интеллектуальных методов решения задачи семантической сегментации данных на к
а
спутниковых снимках. Авторы приходят к выводу, что в этом случае наиболее эффективны и производительны именно g
н
нейросетевые алгоритмы. В качестве примера приводится сверточная нейронная сеть (СНС), обученная на нескольких *
тысячах спутниковых снимков штата Массачусетс (США). Точность модели составила 85,31 %. ^
В работе [9] рассмотрены семантическая сегментация, сегментация экземпляра и паноптическая сегментация. ®
Названы преимущества использования методов глубокого обучения, реализованных в архитектурах таких СНС, лет
ит
как SegNet, U-Net и DeepLab. лис
и
В [10] автоматизированная обработка спутниковых изображений основывается на сочетании набора данных g
ы
SpaceNet и достижений в области компьютерного зрения, которые стали возможны благодаря глубокому обучению. ®
,а
В данной работе представлены пять подходов, основанных на улучшениях моделей U-Net и Mask R-Convolutional ик
т
Neuronal Networks. Значения метрик для лучших моделей: средняя точность (average precision, AP) и средний отклик д (average recall, AR) 0,937 и 0,959 соответственно. о
ф
Эффективное применение СНС для обнаружения инверсионных следов на спутниковых снимках описано в [11]. До- и
казано, что при масштабном мониторинге инверсионных следов с измерением их воздействия на климат подход на основе СНС архитектуры и-№1 демонстрирует F1-меру, равную 0,52, с общей средней вероятностью обнаружения 0,51.
И
Особый интерес вызывают модели 2023 года: Segment Anything (SAM), Language-Segment-Anything (Lang-SAM) и HQ-SAM. Это динамические инструменты глубокого обучения, способные прогнозировать маски объектов по изображениям с помощью подсказок ввода. Ряд исследователей уже применили этот подход для анализа аэрофотоснимков и данных ДЗЗ. Точность определения областей интереса оказалась высокой [12]. В [13] значение F1 достигает 86,5 % ± 4,1 %. В дальнейшем модели подобной архитектуры с различными модификациями (Polyp-SAM, Grounding DINO и пр.) позволят выполнять как интерактивную (требующую вмешательства пользователя), так и автоматическую сегментацию.
Для обработки ДЗЗ все шире внедряются интеллектуальные технологии. Отмечается высокая точность моделей. Особое внимание уделяется методам на основе таких СНС, как SegNet, U-Net, DeepLab в сочетании с классическими методами предобработки изображений. Активно развивается обобщенный подход к сегментации.
В настоящей работе рассматривается решение задачи из области усвоения данных ДЗЗ методом компьютерного зрения. Показано применение СНС U-Net для сегментации областей, содержащих фитопланктонные популяции. Созданный авторами алгоритм позволяет сегментировать области интереса и вычислять их площади, что необходимо для дальнейшего анализа при решении задач гидродинамики и гидробиологии.
Приведенные ниже четыре пункта описывают научную новизну представленного исследования.
1. Сформирован набор данных из открытых источников.
2. Для улучшения обобщающей способности модели сгенерированы синтетические данные. С этой целью применили собственный алгоритм аугментации для большей устойчивости модели к шумам при практическом использовании [14].
3. Реализована интеллектуальная модель, основанная на СНС архитектуры U-Net на высокоуровневом языке Python. Ее ключевые гиперпараметры оптимизированы с помощью библиотеки Optuna и проверены на тестовом наборе данных.
4. Сравниваются области найденного контура, содержащего фитопланктонные популяции, с имеющейся базой данных. Таким образом сформированы граничные условия для последующей реализации математических моделей и построения гранично-адаптивных сеток.
Для достижения поставленной цели требуется решить ряд задач:
- подготовить базу данных ДЗЗ, содержащую области интереса участки цветения воды;
- обосновать и описать топологию СНС U-Net;
- выполнить аугментацию данных для создания расширенного репрезентативного набора;
- реализовать, оптимизировать, отладить и протестировать СНС архитектуры U-Net;
- определить значения ключевых метрик качества модели для сегментации;
- вычислить площади сегментированного контура с учетом масштаба исходного изображения.
Теоретическая значимость исследования обусловлена расширением представлений о возможностях применения технологии компьютерного зрения в области мониторинга водных ресурсов. Практическая значимость заключается в разработке прикладного кроссплатформенного и масштабируемого инструмента для анализа снимков ДЗЗ с целью фиксации областей интереса в водных экосистемах.
Материалы и методы. Для геопространственного анализа задействовали доступное программное обеспечение с открытым исходным кодом, с помощью которого часто решаются экологические задачи [15].
Исследование основано на актуальных спутниковых данных. Внимание авторов фокусируется на состоянии водоемов в период цветения сине-зеленых водорослей. Анализ этой информации позволяет:
- прогнозировать объем и распределение фитопланктона по акватории [16];
- контролировать физические и биологические процессы, определяющие скорость роста фитопланктона и накопление биомассы [17];
- анализировать климатические изменения на основе прогноза динамики процесса цветения [18];
g - детально изучить процесс обмена CO2 между водным объектом и воздухом [19].
sut Для автоматизации процесса обнаружения областей распространения фитопланктонных популяций и вычисле-ns
о ния их площадей предлагается разработать алгоритм компьютерного зрения на основе СНС архитектуры U-Net. d-
м В качестве обучающей выборки для алгоритма глубокого обучения взяли 20 космических снимков таких вод-
^ ных объектов, как Черное, Каспийское, Азовское моря и др. Фото получены в разных точках земной поверхности. se
¡g На первом этапе изображения разметили, чтобы преобразовать информацию в формат, доступный для пони-
ts:p мания алгоритмом компьютерного зрения, который будет выполнять сегментацию. Выбирали из двух распро-th страненных подходов к предоставлению аннотаций:
- создание маски пиксельного уровня;
- выделение границ многоугольника для области интереса.
Применили первый вариант, где файлы масок на уровне пикселей представляют собой области интереса для алгоритма. Размеченные маски — это файлы с расширением jpeg или png. Пропорции соответствуют изображению, которое они аннотируют. На рис. 1 представлен пример исходного изображения и его маски, где зеленым цветом обозначена суша, синим — водная поверхность, красным — область фитопланктонной популяции.
а) б)
Рис. 1. Разметка изображений: а — исходное изображение; б — маска изображения
Для увеличения числа изображений в наборе данных применили авторский аугментационный код, дополненный шумовыми эффектами. При создании расширенного набора данных использовали следующие модификации исходных изображений:
- поворот на произвольный угол;
- отображение по осям ОХ и OY;
- обрезка;
- масштабирование;
- цветокоррекция.
Все изменения проводились с учетом шумов, которые могут появиться на реальных изображениях, полученных при ДЗЗ, и сегментировались с помощью разработанного алгоритма.
Отметим преимущество авторского алгоритма создания дополнительных исходных данных. В условиях ограниченного набора реальных снимков использование для обучения искусственно созданных изображений позволит провести более тонкую настройку разработанной модели, оптимизировать ее параметры и сделать более устойчивой к искажениям при практическом применении.
Архитектура СНС и-№е1 разработана для решения задачи сегментации биомедицинских данных. При ее выборе определяющим фактором стал относительно малый размер исходных данных, с которым на практике показывает удовлетворительные результаты.
Архитектура СНС основана на взаимодействии слоев свертка + пулинг, которые сначала уменьшают
пространственное разрешение картинки (энкодер), а потом увеличивают его, предварительно объединив с данными картинки и пропустив через другие слои свертки (декодер) (рис. 2).
Рис. 2. Архитектура СНС U-Net
Сверточные блоки декодера и энкодера соединены сквозными связями, или пропускными соединениями (англ. skip connections). Это решает проблему затухающего градиента, актуальную для компьютерного зрения [20]. В данном исследовании использовали энкодер от нейронной сети ResNet-50, предобученной на дата-сете ImageNet.
<а
s
s
ев
И
S
к
л
§
F «
а о
-е к К
Для подбора гиперпараметров СНС ^№1, влияющих на архитектуру и процесс обучения, задействовали библиотеку Optuna. Это позволило автоматизировать настройку модели для достижения лучших результатов. Результаты исследования. В таблице 1 представлены параметры модели, заданные при обучении.
Таблица 1
Параметры при обучении сверточной нейронной сети
№ Параметр Значение
1 Количество изображений в тренировочной выборке 700
2 Количество изображений в валидационной выборке 200
3 Количество изображений в тестовой выборке 100
4 Размер пакета 10
5 Коэффициент скорости обучения 1е-4
6 Детектор переобучения Ранняя остановка
7 Оптимизатор Adam
й о
43
(D >
Модель обучалась при помощи оптимизации функции потерь Дайса функции (Dice loss) (2), основанной на коэффициенте Дайса (1).
2| X п У\
DSC =
Dice Loss = 1 -
|X|+Y '
21X n Y\ + Smooth
(1)
(2)
|X| + \Y\ + .Smooth
Здесь X — это множество пикселей, определенных в ходе разметки как область конкретного класса; Y — множество пикселей, отнесенных к конкретному классу согласно выводам разработанной сегментационной модели. Коэффициент Smooth используется для сглаживания результата вычисления в случае, когда значения X и Y близки к нулевым.
Для обучения модели использовали метод стохастической оптимизации Adam. В качестве детектора переобучения взяли раннюю остановку. В машинном обучении это один из самых широко используемых методов регуляризации для предотвращения переобучения. Процесс обучения проводился на базе ускорителей вычислений NVIDIA Tesla T4, реализован за 100 эпох и занял 55 минут.
На рис. 3. представлен график обучения СНС на обучающем и на валидационном наборе. По оси ОХ отложены эпохи обучения, а по оси ОY — значения функции потерь. Анализируя график можно сделать вывод о хорошем качестве обучения модели, так как в конце обучения на тренировочной выборке наблюдаются малые изменения функции потерь.
Рис. 3. Обучение СНС U-Net: — на обучающей выборке; — на валидационной выборке
При оценке качества моделей сегментации применяется коэффициент Дайса и метрика степени пересечения между двумя ограничивающими рамками (англ. Intersection over Union — IoU, индекс Жаккара), определяемая по формуле:
X n Y
IoU =-
(2)
X и У
где X — это множество пикселей, определенных в ходе разметки как область конкретного класса; У — множество пикселей, отнесенных к конкретному классу согласно выводам разработанной модели сегментации.
В таблице 2 представлены значения попиксельной точности, полноты, М-меры, коэффициента Дайса и 1о и. Для получения итогового значения 1оП вычисляется среднее взвешенное по значениям данной метрики для каждого класса.
Таблица 2
Результаты оценки качества модели на тестовой выборке
Показатель Precision Recall Fl Dice IoU
Среднее значение по тестовой выборке 0,89 0,88 0,87 0,87 0,79
На рис. 4 представлены итоги работы алгоритма по сегментированию областей водных ресурсов, суши и фи-топланктонных популяций. Полученные результаты удовлетворяют задачам мониторинга водных ресурсов и имеют практическую ценность.
а)
б)
в)
г)
д)
е)
Рис. 4. Результаты работы алгоритма по сегментированию областей водных ресурсов, суши и фитопланктонных популяций: а, г — исходное изображение; б, д — ручная разметка; в, е — результат работы модели
Результат сегментации на рисунке 4 в и 4 е визуально близок к ручной разметке, что говорит о высоком качестве работы модели. Площадь сегментированной области фитопланктонной популяции рассчитали, оценив площадь одного пикселя. Каждое приведенное изображение имеет дополнительные метаданные с обозначением масштаба изображения и его разрешения. На основе этого значения вычисляется площадь, занимаемая каждым пикселем. В рассмотренном случае для рис. 4 а итоговое значение — 51 202,5. Цифра получена согласно информации о количестве пикселей, относящихся к цветению сине-зеленых водорослей, из набора сегментированных снимков фитопланктонных популяций в прибрежных системах [21]. Результат вычислений для рис. 4 в — 51 312.
Обсуждение и заключение. При оценке состояния водных ресурсов компьютерное зрение и другие алгоритмы машинного обучения позволяют освободить специалистов от монотонных операций. Их выполняют интеллектуальные системы. В этом случае мониторинг может вестись круглосуточно. Алгоритм будет адекватно
(D
5
и
(D
4
6
5
3
S
и
X
<D
н
к
е
(D
4 о
5
£ А
Cfl
3
s 13 s a о -е и S
прогнозировать риски, моделировать развитие ситуации и поддерживать принятие оперативных решений. Сохраненные и тиражированные знания в формате баз данных и реестров могут использоваться для создания долгосрочных источников информации, к которым исследователи будут обращаться при анализе состояния водоемов и построении климатических моделей.
Обработка данных ДЗЗ в виде семантических контуров позволит верифицировать сложные математические модели за счет уточнения граничных и начальных условий, повысить достоверность, скорость и надежность прогностического моделирования гидробиологических процессов.
Список литературы / References
1. Yun Zhang, Wanli Gao, Yuying Li, Yeqing Jiang, Xiaonuo Chen, Yinlei Yao, et al. Characteristics of the Phytoplankton Community Structure and Water Quality Evaluation in Autumn in the Huaihe River (China). International Journal of Environmental Research and Public Health. 2021;18(22):12092. https://doi.org/10.3390/ijerph182212092
2. Huang Yiqiang, Shen Yucheng, Zhang Shouzhi, Li Yang, Sun Zeyu, Feng Mingming, et al. Characteristics of Phytoplankton Community Structure and Indication to Water Quality in the Lake in Agricultural Areas. Frontiers in Environmental Science. 2022;10:1-14. http://doi.org/10.3389/fenvs.2022.833409
3. Говорова Ж.М., Говоров О.Б. Влияние фитопланктона на формирование качества воды и методы его удаления. Часть 1. С.О.К. Сантехника. Отопление. Кондиционирование. Энергосбережение. 2019;206(2):32-35. URL: https://www.c-o-k.ru/articles/vliYanie-fitoplanktona-na-formirovanie-kachestva-vodY-i-metodY-ego-udaleniYa-chast-1 (дата обращения: 04.06.2024).
Govorova ZhM, Govorov OB. Influence of Phytoplankton on the Formation of Water Quality and Methods of its Removal. Part 1. Plumbing, Heating, Air Conditioning. 2019;206(2):32-35. (In Russ.) URL: https://www.c-o-k.ru/articles/vliyanie-fitoplanktona-na-formirovanie-kachestva-vodY-i-metodY-ego-udaleniYa-chast-1 (accessed: 04.06.2024).
4. Ерина О.Н., Пуклаков В.В., Соколов Д.И., Гончаров А.В. Подледное цветение фитопланктона в Можайском водохранилище. Вестник биотехнологии и физико-химической биологии имени Ю.А. Овчинникова. 2019;15(2):49-54. URL: https://biorosinfo.ru/upload/file/journal 56.pdf (дата обращения: 04.06.2024).
Erina ON, Puklakov VV, Sokolov DI, Goncharov AV. Subglacial Phytoplankton Bloom in the Mozhaisk Reservoir. Yu.A. Ovchinnikov Bulletin of Biotechnology and Physical and Chemical Biology. 2019;15(2):49-54. (In Russ.) URL: https://biorosinfo.ru/upload/file/journal 56.pdf (accessed: 04.06.2024).
5. Panasenko ND, Poluyan AYu, Motuz NS. Algorithm for Monitoring the Plankton Population DYnamics Based on Satellite Sensing Data. Journal of Physics: Conference Series. 2021;2131(3):032052. https://doi.org/10.1088/1742-6596/2131/3/032052
6. Панасенко Н.Д., Ганжур М.А., Ганжур А.П. Исследование применения космических снимков для определения объектов на поверхности водоемов. Инженерный вестник Дона. 2020;72(12):376-387. URL: http://www.ivdon.ru/ uploads/article/pdf/IVD 19 11 Panasenko Ganzhur1.pdf 244b44d819.pdf (дата обращения: 04.06.2024).
Panasenko ND, Ganzhur MA, Ganzhur AP. Multichannel Satellite Image Application for Water Surface Objects Identification. Engineering Journal of Don. 2020;72(12):376-387. URL: http://www.ivdon.ru/uploads/article/pdf/IVD 19 11 Panasenko Ganzhur1.pdf 244b44d819.pdf (accessed: 04.06.2024).
7. Янакова Е.С., Тюрин А.А. Комплексный алгоритм семантической обработки спутниковых изображений. Известия Тульского государственного университета. Технические науки. 2020;(10):183-189.
Yanakova ES, Tyurin AA. Complex Algorithm for Semantic Processing of Satellite Images. Izvestiya TulGU. 2020;(10):183-189.
8. Друки А.А., Спицын В.Г., Болотова Ю.А., Башлыков А.А. Семантическая сегментация данных дистанционного зондирования Земли при помощи нейросетевых алгоритмов. Известия Томского политехнического университета. Инжиниринг георесурсов. 2018;329(1):59-68. URL: https://earchive.tpu.ru/bitstream/11683/46113/1/bulletin tpu-2018-v329-i1-07.pdf (дата обращения: 04.06.2024).
g Druki AA, Spitsyn VG, Bolotova YuA, Bashlykov AA. Semantic Segmentation of Earth Remote Sensing Data Using
3 Neural Network Algorithms. Bulletin of Tomsk Polytechnic University. Geo Assets Engineering. 2018;329(1):59-68.
1 URL: https://earchive.tpu.ru/bitstream/11683/46113/1/bulletin tpu-2018-v329-i1-07.pdf (accessed: 04.06.2024).
Jt 9. Лукашик Д.В. Анализ современных методов сегментации изображений. Экономика и качество систем связи.
| 2022;24(2):57-65. URL: https://journal-ekss.ru/wp-content/uploads/2022/06/57-65.pdf (дата обращения: 04.06.2024).
j> Lukashik DV. Analysis of Modern Image Segmentation Methods. Economics and Quality of Communication Systems.
£ 2022;24(2):57-65. URL: https://journal-ekss.ru/wp-content/uploads/2022/06/57-65.pdf (accessed: 04.06.2024).
£ 10. Mohanty S, Czakon J, Kaczmarek K, PYskir A, Tarasiewicz P, Kunwar S, et al. Deep Learning for Understanding
Satellite Imagery: An Experimental Survey. Frontiers in Artificial Intelligence. 2020;3:534696. http://doi.org/10.3389/frai.2020.534696
11. Hoffman JP, Rahmes TF, Wimmers AJ, Feltz WF. The Application of a Convolutional Neural Network for the Detection of Contrails in Satellite Imagery. Remote Sensing. 2023;15(11):2854. https://doi.org/10.3390/rs15112854
12. Ren Yougui, Xiaomei Yang, Zhihua Wang, Ge Yu, Yueming Liu, Xiaoliang Liu, et al. Segment Anything Model (SAM) Assisted Remote Sensing Supervision for Mariculture — Using Liaoning Province, China as an Example. Remote Sensing. 2023;15(24):5781. https://doi.org/10.3390/rs15245781
13. Alagialoglou L, Manakos I, Papadopoulou S, Chadoulis R-T, Kita A. Mapping Underwater Aquatic Vegetation Using Foundation Models With Air- and Space-Borne Images: The Case of Polyphytos Lake. Remote Sensing. 2023;15(16):4001. https://doi.org/10.3390/rs15164001
14. Бескопыльный А.Н., Стельмах С.А., Щербань Е.М., Развеева И.Ф., Кожакин А.Н., Бескопыльный Н.А., Оноре Г.С. Программа для аугментации изображений. Патент РФ, № 2022685192. 2022. URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685192&TypeFile=html (дата обращения: 04.06.2024).
Beskopylny AN, Stelmakh SA, Shcherban EM, Razveeva IF, Kozhakin AN, Beskopylny NA, et al. Image Augmentation Software. RF Patent, No. 2022685192. 2022. (In Russ.) URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685192&TypeFile=html (accessed: 04.06.2024).
15. Cortés IM. Open-Source Software for Geospatial Analysis. Nature Reviews Earth and Environment. 2023;4(143):1. https://doi.org/10.1038/s43017-023-00401-4
16. Развеева И.Ф., Рахимбаева Е.О. Применение методов искусственного интеллекта при анализе скоплений фитопланктонных популяций на водной поверхности. В: Тр. Междунар. науч. конф. «Интеллектуальные информационные технологии и математическое моделирование» (ИИТ&ММ-2022). Ростов-на-Дону: Донской государственный технический университет; 2022. С. 45-49.
Razveeva IF, Rakhimbaeva EO. Application of Artificial Intelligence Methods in the Analysis of Phytoplankton Populations on the Water Surface. In: Proc. International Scientific Conference "Intelligent Information Technologies and Mathematical Modeling". Rostov-on-Don: DSTU Publ. House; 2022. P. 45-49.
17. Hopkins JE, Palmer MR, Poulton AJ, Hickman AE, Sharples J. Control of a Phytoplankton Bloom by Wind-Driven Vertical Mixing and Light Availability. Limnology and Oceanography. 2021;66:1926-1949. https://doi.org/10.1002/lno. 11734
18. Yanhui Dai, Shangbo Yang, Dan Zhao, Chuanmin Hu, Wang Xu, Donald M Anderson, et al. Coastal Phytoplankton Blooms Expand and Intensify in the 21st Century. Nature. 2023;615:280-284. https://www.nature.com/articles/s41586-023-05760-y
19. Asselot R, Lunkeit F, Holden P, Hense I. Climate Pathways behind Phytoplankton-Induced Atmospheric Warming. Biogeosciences. 2022;19(1):223-239. http://doi.org/10.5194/bg-19-223-2022
20. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Deep Residual Learning for Image Recognition. In: Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York City: IEEE; 2016. P. 770-778. ^ https://doi.org/10.48550/arXiv.1512.03385 «
21. Белова Ю.В., Развеева И.Ф., Рахимбаева Е.О. Программа для оконтуривания области фитопланктонных g популяций в прибрежных системах. Патент РФ, № 2022685220. 2022. URL: https://new.fips.ru/registers-doc- & view/fips servlet?DB=EVM&DocNumber=2022685220&TypeFile=html (дата обращения: 04.06.2024). «
Belova YuV, Razveeva IF, Rakhimbaeva EO. A Program for Delineating the Area of Phytoplankton Populations in g Coastal Systems. RF Patent, No. 2022684631. 2022. (In Russ.) URL: https://new.fips.ru/registers-doc-view/fips servlet?DB=EVM&DocNumber=2022685220&TypeFile=html (accessed: 04.06.2024). «
Об авторах: R
Юлия Валериевна Белова, кандидат физико-математических наук, доцент кафедры математики и информатики к Донского государственного технического университета (344003, Российская Федерация, г. Ростов-на-Дону, ®
ч
пл. Гагарина, 1), SPIN-код, ORCID, yvbelova@yandex.ru д
,а
Ирина Федоровна Развеева, старший преподаватель кафедры строительства уникальных зданий и сооружений g
т
Донского государственного технического университета (344003, Российская Федерация, г. Ростов-на-Дону, ^ пл. Гагарина, 1), SPIN-код, ORCID, razveevai@mail.ru о
н
Елена Олеговна Рахимбаева, аспирант, ассистент кафедры программного обеспечения вычислительной S техники и автоматизированных систем Донского государственного технического университета (344003, Российская Федерация, г. Ростов-на-Дону, пл. Гагарина, 1), SPIN-код, ORCID, lena rahimbaeva@mail.ru
Заявленный вклад авторов:
Ю.В. Белова: программная реализация и тестирование интеллектуального алгоритма на основе глубокого обучения для обработки данных спутниковых наблюдений, анализ качества алгоритма сегментации по данным натурных наблюдений.
И.Ф. Развеева: программная реализация, обучение и отладка интеллектуального алгоритма на основе глубокого обучения для обработки данных спутниковых наблюдений, корректировка текста статьи.
Е.О. Рахимбаева: сбор и предобработка обучающего набора данных, реализация процесса аугментации данных, оформление научной статьи.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Все авторы прочитали и одобрили окончательный вариант рукописи.
About the Authors:
Yulia V. Belova, Cand.Sci. (Eng.), Associate Professor of the Mathematics and Computer Science Department, Don State Technical University (1, Gagarin Square, Rostov-on-Don, 344003, Russian Federation), SPIN-code, ORCID, yvbelova@yandex.ru
Irina F. Razveeva, Senior Lecturer of the Construction of Unique Buildings and Structures Department, Don State Technical University (1, Gagarin Square, Rostov-on-Don, 344003, Russian Federation), SPIN-code, ORCID, razveevai@mail.ru
Elena O. Rakhimbaeva, Postgraduate student, Teaching assistant of the Computer and Automated Systems Software Department, Don State Technical University (1, Gagarin Square, Rostov-on-Don, 344003, Russian Federation), SPIN-code, ORCID, lena rahimbaeva@mail.ru
Claimed Contributorship:
YuV Belova: software implementation and testing of an intelligent algorithm based on deep learning for processing satellite observation data, analysis of the quality of the segmentation algorithm based on field observations.
IF Razveeva: software implementation, training and debugging of an intelligent algorithm based on deep learning for processing satellite observation data, correction of the text.
E Rakhimbaeva: collection and preprocessing of the training data set, implementation of the data augmentation process, formatting of the article.
Conflict of Interest Statement: the authors claimed no conflict of interest.
All authors have read and approved the final manuscript.
Поступила в редакцию / Received 21.06.2024
Поступила после рецензирования / Reviewed 15.07.2024
Принята к публикации / Accepted 24.07.2024
n o
d -
e v
&
