CC BY
9Телевидение и обработка изображений
УДК 004.89 Научная статья
https://doi.org/10.32603/1993-8985-2023-26-4-56-59
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения
М. М. Заславский, К. Е. Крыжановский, Д. В. Иванов н
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия
н dmitry.ivanov@moevm.info
Аннотация
Введение. Использование доступных спутниковых снимков и аэрофотосъемки беспилотными летательными аппаратами (БПЛА) в задачах экологического мониторинга наталкивается на несовершенство существующих инструментов. Геоинформационные системы не обладают достаточной гибкостью для автоматической работы с гетерогенными источниками, а новейшие модели искусственного интеллекта в экологии требуют предварительной подготовки данных. В статье представлены результаты проектирования программной системы экологического мониторинга по данным сенсоров машинного зрения, которая обеспечивает унификацию данных и одновременно является гибкой как с точки зрения источников данных, так и способов их анализа. Цель работы. Создание открытой программной системы для согласованной пространственной разметки гетерогенных данных машинного зрения для задач экологического мониторинга.
Материалы и методы. Методы программной инженерии, методы теории баз данных, методы пространственной разметки, методы обработки изображений.
Результаты. На основе анализа особенностей существующих открытых данных дистанционного зондирования Земли, а также аэрофотосъемки БПЛА и подходов к проведению экологического мониторинга составлен обобщенный метод унификации данных. Для реализации метода была составлена гибкая архитектура программной системы, а также разработана модель данных для документоориентированной системы управления базами данных, позволяющие хранить данные и масштабировать процедуру анализа данных. Заключение. В статье проведен анализ существующих источников данных и инструментов проведения экологического мониторинга. Создан обобщенный метод унификации данных машинного зрения, архитектура и модель данных. Метод, архитектура и модель успешно реализованы в виде программной системы с веб-интерфейсом. Ключевые слова: пространственная разметка, машинное зрение, дистанционное зондирование Земли, аэрофотосъемка, автоматизация экологического мониторинга
Для цитирования: Заславский М. М., Крыжановский К. Е., Иванов Д. В. Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения // Изв. вузов России. Радиоэлектроника. 2023. Т. 26, № 4. С. 56-69. doi: 10.32603/1993-8985-2023-26-4-56-69
Источник финансирования. Работа выполнена при финансовой поддержке Российского научного фонда (грант № 22-76-10042).
Благодарности. Выражаем признательность студентам кафедры МОЭВМ СПбГЭТУ "ЛЭТИ" Павлу Романовичу Талащенко, Вячеславу Витальевичу Парамонову, Михаилу Денисовичу Давыдову, Владиславу Олеговичу Болкунову, Дмитрию Вадимовичу Сергевнину, Никите Андреевичу Бояркину за участие в совместных исследованиях.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Статья поступила в редакцию 16.04.2023; принята к публикации после рецензирования 10.07.2023; опубликована онлайн 28.09.2023
56
О Заславский М. М. Крыжановский К. Е.. Иванов Д. В., 2023
СС]
0
Television and Image Processing
Original article
Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
Mark M. Zaslavskiy, Kirill E. Kryzhanovskiy, Dmitry V. Ivanov H
Saint Petersburg Electrotechnical University, St Petersburg, Russia
H dmitry.ivanov@moevm.info
Abstract
Introduction. The use of available satellite images and aerial photography by unmanned aerial vehicles (UAVs) in the tasks of environmental monitoring is challenged by the imperfection of existing tools. Geographic information systems are characterized by insufficient flexibility to automatically work with heterogeneous sources. The latest models based on artificial intelligence in ecology require preliminary data preparation. The article presents the results of designing a software system for environmental monitoring based on machine vision sensor data, which provides data unification while being flexible both in terms of data sources and methods of their analysis. Aim. Creation of a generalized software system for coordinated spatial marking of heterogeneous machine vision data for environmental monitoring tasks.
Materials and methods. Software engineering methods, database theory methods, spatial markup methods, image processing methods.
Results. A generalized method for unifying data was developed. The method is based on the analysis of existing open data from remote sensing of the Earth, as well as UAV aerial photography and approaches to environmental monitoring. To implement the method, a flexible architecture of the software system was designed, and a data model for a document-oriented DBMS was developed, which allows storing data and scaling the data analysis procedure. Conclusion. The existing sources of data and tools for environmental monitoring were analyzed. A generalized method for unifying machine vision data, an architecture, and a data model was created. The method, architecture, and model were successfully implemented as a software system with a web interface.
Keywords: spatial marking, machine vision, remote sensing of the Earth, aerial photography, automation of environmental monitoring
For citation: Zaslavskiy M. M., Kryzhanovskiy K. E., Ivanov D. V. Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies. Journal of the Russian Universities. Radioelectronics. 2023, vol. 26, no. 4, pp. 56-69. doi: 10.32603/1993-8985-2023-26-4-56-69
Conflict of interest. The authors declare no conflicts of interest.
Acknowledgements. The work was carried out with the financial support of the Russian Science Foundation (grant no. 22-76-10042).
We would like to express our gratitude to the students of the Department of Software Engineering and Computer Applications SPbETU "LETI" Pavel R. Talashchenko, Vyacheslav V. Paramonov, Mikhail D. Davydov, Vladislav O. Bolkunov, Dmitry V Sergevnin, Nikita A. Boyarkin for participation in joint research.
Submitted 16.04.2023; accepted 10.07.2023; published online 28.09.2023
Введение. На сегодняшний день существует большое количество территорий, страдающих от таких экологических проблем, как изменение климата, загрязнение окружающей среды, рост пустынь и сокращение площадей лесных массивов. При этом негативные эффекты напрямую воздействуют на экономику затронутых стран: так, в [1-3] отмечается негативное влияние последствий изменения клима-
та на сельское хозяйство, сферу энергетики и городскую инфраструктуру. Ввиду сложности экологических проблем для устранения и минимизации последствий требуется постоянный мониторинг обширных природных зон. Существующие на данный момент технологии позволяют значительно упростить и автоматизировать процесс сбора данных: беспилотные летательные аппараты (БПЛА) [4] и спутники [5] на
57
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
сегодняшний день стали наиболее распространенным инструментом решения экологических задач. Однако вопросы агрегирования и совместной обработки данных экологического мониторинга не решаются достаточно эффективно. Несмотря на то что в последние пять лет произошло значительное развитие приложений методов машинного обучения и искусственного интеллекта (ИИ) [6] для экологических задач, на уровне инструментов существуют сложности в согласовании применения различных методик анализа при использовании данных из разных источников. Исследователи применяют либо устоявшуюся технологию геоинформационных систем [7], которая воплощает достаточно подробную модель данных максимально общего назначения и подразумевает ориентацию на сами данные вместо способов их обработки, либо используют прототипы новейших методов в качестве самостоятельных программных пакетов. Возникает необходимость переосмысления архитектуры обработки данных для задач экологического мониторинга для организации процесса с точки зрения унификации источников данных и методов обработки.
Целью данной работы является создание открытой программной системы для согласованной пространственной разметки гетерогенных данных машинного зрения для задач экологического мониторинга. В качестве возможных источников входных данных выступают RGB-снимки земной поверхности, выполненные с помощью спутников дистанционного зондирования земли и БПЛА. Обработка данных организуется с помощью конвейерного принципа, включающего этапы предобработки данных и применения методов экологического анализа. Унификация результатов достигается путем обеспечения единых интерфейсов доступа к гетерогенным данным, а также за счет единого интерфейса для подключения дополнительных методов анализа данных.
Текст статьи организован следующим образом. В разделе "Обзор" даются характеристики исходных данных экологического мониторинга в открытом доступе, а также проводится сравнение основных подходов к анализу данных. В разделе "Архитектура системы" подробно опи-
58
сывается метод обработки, модель данных и принцип построения программной системы. В разделе "Реализация системы" приводятся основные технические решения и используемые технологии, описываются характеристики разработанной системы.
Обзор. Для построения обобщенной программной системы экологического мониторинга на основе RGB-снимков земной поверхности необходимо проанализировать особенности источников данных, а также недостатки существующих программных средств экологического мониторинга.
Учитывая важность современных экологических проблем, необходимо, чтобы разрабатываемая программная система была доступна для как можно большего количества потенциальных пользователей. Поэтому в ее архитектуре необходимо предусмотреть использование открытых источников данных и свободно распространяемых технологий. Наиболее доступными и полезными в задачах мониторинга выступают системы дистанционного зондирования Земли (ДЗЗ) [8], поскольку современные спутники покрывают всю поверхность планеты, обеспечивая при этом высокую детализацию изображений и большой диапазон применяемых инструментов наблюдения.
Для анализа особенностей спутниковых данных был проведен поиск активных спутниковых систем, данные которых публикуются в открытом доступе и обновляются на регулярной основе. Поиск проводился по запросам "satellite remote sensing", "спутники дистанционного зондирования Земли". Результаты поиска фильтровались по наличию RGB-данных и режиму доступа к спутниковым данным (открытый). При отсеве нерелевантных результатов был сформирован список из 11 систем ДЗЗ, приведенный в таблице.
Помимо спутниковой съемки в задачах экологического мониторинга также повсеместно применяются данные аэрофотосъемки с помощью БПЛА, так как она позволяет получить более высокое пространственное разрешение снимка на местности [19]. Применительно к задачам автоматического экологического мониторинга к особенностям данного источника можно отнести:
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
Известия вузов России. Радиоэлектроника. 2023. Т. 26, № 4. С. 56-69 Journal of the Russian Universities. Radioelectronics. 2023, vol. 26, no. 4, pp. 56-69
Системы дистанционного зондирования Земли
Earth remote sensing systems
Спутник Задача спутника Разрешающая способность, метров на пиксель Открытый доступ Периодичность обновления данных, сутки Формат данных
КА "Канопус-В" [9] Мониторинг природных и техногенных катастроф, а также анализ экосистем 12-16 Есть 5 GeoTIFF
КА "Ресурс-П" [10] Изучение состояния и динамики ландшафта, лесов, водоемов, а также изменений климата 1-30 Есть 3 GeoTIFF
КА "ЭкспрессАМ" [11] Получение информации для мониторинга природных ресурсов, изменений природных и техногенных катастроф 10-60 Есть 4 GeoTIFF
КА "Экспресс-РВ" [12] Мониторинг территории России 8-16 Ограничен 3 GeoTIFF
Landsat [13] Измерение изменений в земной поверхности, в том числе изменения в растительности, снеге, льде и водных ресурсах 15-30 Есть 16 GeoTIFF
Sentinel-2 [14] Мониторинг условий, в которых происходят изменения земли, лесных ресурсов, зданий и городской динамики 10-60 Есть 10 GeoTIFF
MODIS [15] Получение изображений для метеорологических и климатических исследований 250-1000 Есть 1-2 GeoTIFF
Landsat-8 [16] Измерение изменений в земной поверхности, в том числе изменения в растительности, снеге, льде и водных ресурсах 15-30 Есть 16 GeoTIFF
Sentinel-3 [17] Мониторинг морских цветов, температуры и уровня моря, а также климата 300-1000 Есть 3 NRT
Suomi NPP [18] Изучение климатических факторов и способности земли к поддержанию жизни 375-750 Есть 1 HD5
1. Качество снимков, полученных с БПЛА, напрямую определяется типом камеры, высотой полета, технологией стабилизации кадра, настройками оборудования, а также в гораздо большей степени зависит от атмосферных условий во время съемки. При этом применяемые алгоритмы обработки снимков и видеопотока
практически всегда требуют применения автоматизированных или автоматических процедур калибровки камер [20] для обеспечения привязки к масштабу объектов съемки и минимизации искажений оптической системы БПЛА.
2. Главный этап пространственной разметки - геопространственная привязка снимков -
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
также может значительно варьироваться по точности в зависимости от типов БПЛА и используемых технологий. Так, например, использование глобальных навигационных систем [21] зависит от спутникового покрытия и качества сигнала. Применение оптических и инерциальных методов навигации [22] требует развитых методов фильтрации шума и априорных данных о начальных координатах БПЛА в глобальной системе координат.
Подводя итог анализу применимости данных ДЗЗ и аэрофотосъемки БПЛА для автоматического экологического мониторинга в рамках единой программной системы, можно сделать вывод, что обработка данных возможна только при условии учета индивидуальных особенностей каждого конкретного источника данных и при обеспечении процедур унификации снимков, которые позволят объединять данные разных источников в один массив.
Современные программные средства для решения задач экологического мониторинга можно условно разделить на две группы: инструменты интеллектуальной обработки данных и географические информационные системы.
Инструменты интеллектуальной обработки данных включают в себя средства интеллектуального анализа данных [23], а также модели ИИ и машинного обучения [24]. Данные инструменты позволяют обрабатывать большие объемы информации об экологических условиях, обобщать и выявлять тенденции, прогнозировать изменения. Как правило, подобные инструменты широко опираются на предобрабо-танные и размеченные массивы экологических данных, где данные приведены к общей форме.
Геоинформационные системы (ГИС) [25] -это программно-аппаратные комплексы, которые позволяют собирать, хранить, анализировать и представлять геопространственные данные, такие как карты и снимки со спутников. ГИС могут использоваться для мониторинга изменений в экосистемах, планирования использования земель, принятия решений по охране окружающей среды. Важно отметить, что по своей структуре ГИС ориентированы на решение общих задач пространственной разметки. Кроме того, ГИС чаще всего представляют собой дорогостоящие в поддержке монолит-
60
ные системы [26], поэтому внесение изменений в них, а также, например, подключение новых источников данных может быть сложным.
Важно отметить, что обе группы инструментов не имеют четкой границы. Так, например, в современных ГИС существуют интегрированные инструменты для работы с моделями интеллектуальной обработки данных [27]. Однако существенной проблемой традиционных инструментов остается ограниченная применимость: инструменты интеллектуальной обработки данных ориентированы на сами данные, ГИС ориентированы на пространственные задачи. Помимо этого проблемой является и сложность подключения новых источников данных. Поэтому для построения открытой программной системы экологического мониторинга необходимо учесть эти недостатки на уровне архитектуры путем общей ориентации на задачу работы с разнородными источниками, а также за счет обеспечения гибкости и расширяемости системы методами и моделями анализа.
Архитектура программной системы. Проведенный обзор показал, что снимки из открытых источников не пригодны для совместного анализа и дальнейшего мониторинга без предварительной подготовки, так как даже данные из одного класса источников могут иметь различные характеристики и требовать разных подходов для фильтрации и унификации. Для преодоления гетерогенности в основу архитектуры разрабатываемой программной системы необходимо положить обобщенный метод унификации исходных данных. Метод должен проводить пространственную разметку данных для обеспечения их совместного использования в процессе анализа экологических данных. Поскольку ключевым вопросом к исходным данным выступает их принципиальная пригодность, то метод целесообразно представить как конвейер из четырех последовательных этапов: пространственная разметка, фильтрация, сегментация, фрагментация. Результат выполнения предыдущего этапа выступает в качестве входных данных для последующего. Выполнение этапов метода сводится к вычислениям над исходными данными и подразумевает сохранение результатов вычислений в модели данных, поддерживающей индексацию
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
геоданных. Метод задает общую логику обработки данных, выбор отдельных алгоритмов и их реализаций, составляющих тот или иной этап, диктуется спецификой экологической задачи и сценария использования.
Первым этапом выступает пространственная разметка снимков, подразумевающая приведение исходных изображений в соответствие с географическими системам координат. Для определенности, в качестве основной используется система географических координат WGS 84 (World Geodetic System) [28]. Пространственная разметка сводится к следующим шагам:
1. Фиксация в модели данных параметров в локальной системе координат, разрешения обрабатываемого снимка в пикселях, координат углов в локальной системе координат.
2. Вычисление координат углов снимка в системе WGS84.
3. Включение координат углов снимков (в локальной системе координат и WGS84) в географические индексы.
Следующим этапом обработки является фильтрация снимков. Шумы на исходных снимках могут быть вызваны атмосферными условиями, такими как туман, облака или дым, вызывающими размытие или изменение цвета, а также внешними факторами, например многократным отражением или отражением от поверхностей различных материалов. Также качество снимков может быть понижено из-за технических причин, связанных с процессами съемки, передачи, обработки и хранения данных. Фильтрация используется для улучшения снимков путем удаления шума при сохранении полезных данных за счет применения математических операций к значениям пикселей снимка или его части. Наиболее часто используемыми видами являются медианная и гауссова [29], а также анизотропная фильтрации [30]. В качестве начального фильтра, позволяющего убрать импульсные шумы, может быть использована фильтрация по медиане за счет простоты реализации и скорости работы. В случае необходимости усиления границ и контуров областей на снимках, а также устранения эффектов наложения спектров может быть применена анизотропная фильтрация. После применения фильтров полученные снимки необходимо сохранить в
базе данных для дальнейшей обработки.
Следующим этапом предобработки снимков является сегментация. Цель данного этапа -разметка снимков и последующее создание масок для выделения объектов интереса, важных в решаемой экологической задаче. Это необходимо для того, чтобы обеспечить более точную и эффективную работу алгоритмов обработки, а также избежать возможных ошибок, связанных с влиянием облачности и других атмосферных явлений. Для создания масок необходимо выполнить следующие шаги:
1. Сегментация снимка на регионы с похожими характеристиками.
2. Выделение контуров соответствующих регионов, выделенных на снимке.
3. Построение маски путем преобразования контуров.
Полученные маски используются для исключения непригодных участков из дальнейшей обработки или для дополнительного анализа в случае необходимости. При использовании мультиспектральных данных на этапе сегментации дополнительно возможен анализ спектров для определения элементов земной поверхности, по-разному отражающих падающее на них излучение. Этот анализ позволяет изучить спектральные характеристики объекта и определить его особенности. Например, для оценки растительного покрова чаще всего используется вегетационный индекс NDVI (Normalized Difference Vegetation Index) [31], который вычисляется на основе разницы между значениями инфракрасного и видимого спектров.
Завершающим этапом обработки является фрагментация снимков, которая необходима для упрощения визуализации результатов обработки конечным пользователям. Ввиду высокого разрешения съемки снимки могут иметь большой размер: от сотен мегабайт до нескольких гигабайт. Помимо неудобства просмотра обработка таких больших снимков может быть трудоемкой с точки зрения вычислений, требующих значительного объема памяти и вычислительной мощности. Чтобы решить эту проблему, снимки разделяют на более мелкие фрагменты, которые легче обрабатывать и анализировать. Фрагменты представляют собой квадратные или прямоугольные изображения, с
61
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
фиксированной шириной и высотой, создаваемые разделением снимка на перекрывающиеся участки одинакового размера, которые затем обрезаются и сохраняются в базе данных как отдельные файлы. Помимо упрощения обработки, фрагментация обеспечивает более быструю загрузку и отображение таких снимков на конечных устройствах в виде интерактивных карт, позволяя пользователям отслеживать изменения окружающей среды по мере их возникновения.
В качестве источников данных используются открытые порталы спутниковых данных Copernicus Open Access Hub [32] и Earthdata [33], содержащие данные семейства спутников Sentinel и предоставляющие снимки земной поверхности с пространственной привязкой, обновляемые не реже одного раза в месяц.
Для реализации метода в виде программной системы необходимо использовать модульную клиент-серверную архитектуру. Такой тип архитектуры позволяет дополнять систему новыми источниками данных путем подключения к ней нового модуля загрузки данных, а также новых алгоритмов с помощью унифицированных интерфейсов.
Серверная часть реализует логику периодической загрузки гетерогенных данных из открытых источников (порталы спутниковых данных и репозитории данных БПЛА), логику выполнения метода унификации данных и обслуживает запросы клиентской части. Клиентская часть предоставляет интерфейс для ручной загрузки исходных данных, конфигурирования автоматической выгрузки данных, выполнения задач экологического мониторинга, просмотра отчетов и визуализации обрабатываемых данных.
Пользовательский сценарий (рис. 1) использования разработанной системы:
1. Пользователь запрашивает снимок выбранной области.
2. Выбор источника снимка (спут-ник/БПЛА).
3. Если выбранной области нет в хранилище, система инициирует загрузку выбранной области из источника с помощью соответству-
ющего модуля, а затем обработает загруженный снимок.
4. Снимок проходит четыре стадии предобработки в рамках метода унификации: пространственная разметка, фильтрация, сегментация и фрагментация.
5. Предобработанный снимок передается алгоритму экологического анализа.
6. Результат выполнения экологического анализа (размеченный снимок, текстовая статистика) в виде отчета демонстрируется пользователю.
При необходимости анализ может быть повторен автоматически на регулярной основе при наличии новых снимков в источнике с помощью модуля "Планировщик". Результаты таких повторных запусков также доступны пользователю в формате отчетов.
Модель данных. Поскольку работа обобщенного метода унификации данных подразумевает хранение большого количества данных, необходимо сформировать эффективную модель данных для поддержки процесса. ER-диаграмма модели представлена на рис. 2.
Модель данных формализует данные предметной области с помощью следующих сущностей:
- Image - исходные и обработанные снимки;
- Scale - масштаб снимка по осям x и у;
- Resolution - разрешение снимка в пикселях и метрах в соответствующей системе координат;
- Bounds - границы снимка в пикселях и метрах в соответствующей системе координат;
- Corner - координаты угла снимка в локальной системе координат;
- Metadata - метаинформация, изъятая из снимка - exif-тег, используемая система координат;
- AlgorithmMetadata - коллекция для хранения параметров используемых алгоритмов анализа;
- CheckResult - хранение статистики обработки снимков.
Основной коллекцией в базе данных является Image, используемая для хранения информации о каждом снимке, включая промежуточные версии. Остальные коллекции связываются с Image путем одноименных полей, выступающих как внешние ключи. Ключевыми атрибутами Image являются:
62 Разработка системы экологического мониторинга
на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
Пользователь (frontend)
Пользователь запрашивает у системы обработанный снимок выбранной области
Планировщик задач
1
Обработка запроса
Выбор источника
Модули имеют общий интерфейс
Спутниковые снимки
Ресурс 1 +
Скачивание спутниковых
данных с ресурса 1
I
Спутниковые снимки Ресурс 2
I
Скачивание спутниковых
данных с ресурса 2
Унифицированные спутниковые снимки
Спутниковые снимки Ресурс n
Скачивание путниковых
данных с ресурса n
Модули имеют общий интерфейс
I
Снимки с дронов
Ресурс 1 +
Скачивание данных с дрона с ресурса 1
1 Снимки 1 Снимки
с дронов с дронов
Ресурс 2 Ресурс n
Скачивание Скачивание
данных данных
с дрона с дрона
с ресурса 2 с ресурса n
Калибровка снимков
Унифицированные снимки с дронов
Обрезка снимка +
Алгоритмы
анализа имеют общий интерфейс
Алгоритм анализа 1
Алгоритм анализа 2
Алгоритм анализа m
Геопривязка
Разбиение на тайлы
Сжатие
Предобработанные снимки
Обработка снимков с использованием алгоритмов анализа
Выдача анализированного снимка пользователю на frontend
Пользователь —f— (frontend) 1
Рис. 1. Архитектура программного средства Fig. 1. Software architecture
- stage - стадия обработки снимка, соответ- ного метода унификации; ствующая этапу обработки в рамках обобщен- - created_at - дата создания снимка;
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
Scale
PK ImageID
x_factor y_factor
Corner
PK ImageID
x y
Metadata
PK ImageID
coordinate_system corner_coordinates image_type source
AlgorithmMetadata
PK algorthm name
algorthm speed
Image
PK ImageID
metadata
bounds
resolutions
scale
source
stage
created at
upload_at
edited at
image_file
tiles
calibration_params
Bounds
PK ImageID
x1_pixels
y1_pixels
x2_pixels
y2_pixels
x1_meters
y1_meters
x2_meters
y2_meters
DataSource
PK source
actions source_type shooting frequency
Resolution
PK ImageID
x1_pixels
y1_pixels
x2_pixels
y2_pixels
x1_meters
y1_meters
x2_meters
y2_meters
CheckResult
PK ImageID
start_time finish_time deviations
Рис. 2. ER-диаграмма модели данных Fig. 2. Data model ER-diagram
- edited_at - дата последнего изменения снимка;
- upload_at - дата загрузки снимка;
- image_file - файл снимка;
- tiles - ссылка на другие записи коллекции Images, являющиеся уменьшенными сжатыми фрагментами исходного снимка (результат этапа фрагментации);
- calibration_params - параметры калибровки снимка.
Описанная модель данных использует подход раздельного хранения сущностей, однако не является реляционной, так как, учитывая особенности поставленной задачи (гетерогенность данных и источников), возникает необходимость использования произвольных схем формирования структуры полей атрибутов отдельных коллекций. Поэтому рекомендуемой технологией для ее реализации выступают до-кументоориентированные системы управления базами данных (СУБД) как компромисс между возможностью раздельного хранения сущностей и гибкостью схемы данных.
Реализация системы. Предложенные в предыдущих разделах метод унификации данных, архитектура обработки снимков и модель данных были реализованы в формате микросервисного приложения, предоставляющего веб-интерфейс для пользователей.
Метод унификации данных и архитектура были реализованы с использованием технологии Docker [34] - логика многоэтапной обработки снимков воплощена в виде отдельных контейнеров, которые взаимодействуют между собой по внутренней изолированной сети, что позволяет обеспечить безопасность данных системы и реализовать горизонтальное масштабирование отдельных этапов и алгоритмов анализа.
Этап взаимодействия с репозиториями снимков реализован с помощью библиотеки Requests [35]. На данный момент реализовано взаимодействие с этапом пространственной разметки и фрагментации снимков путем создания обобщенной библиотеки преобразования формата Geotiff и вызова вспомогательных методов библиотек Gdal и Rasterio [36].
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
В качестве инструмента развертывания также использована технология Docker, так как она позволяет максимально абстрагироваться от особенностей среды сервера. Взаимодействие серверного компонента с веб-интерфейсом реализовано через фреймворк Flask [37].
Для реализации модели данных используется документоориентированная СУБД MongoDB [38], так как она имеет встроенное эффективное файловое хранилище gridFS, в котором можно размещать снимки, а также обладает другими необходимыми для модели преимуществами: гибкой схемой данных, поддержкой двух типов пространственных индексов (плоские и сферические координаты), возможностью обеспечить хранение данных в циклическом буфере. Последнее свойство является важным для эксплуатации системы, так как при регулярной загрузке новых снимков файловое хранилище может быстро заполниться.
Для наполнения разработанной программной системы реализациями этапов метода унификации и алгоритмами анализа и используются Python-модули. В качестве интерфейсов для подключения алгоритмов используется комбинация из двух методов:
1) processlmage (sourcelmage, params, callback): successFlag;
2) getAlgorithmMetadata(): algorithmMetada.
Аргумент sourcelmage соответствует ссылке на
файл исходного снимка; params задает индивидуальные настройки работы алгоритма (параметры, точность работы); callback - функция обратного вызова, задающая обработчик прогресса выполнения алгоритма анализа вида callback (sourcelmage, progress, estimate, logs, status), где:
1) sourcelmage - ссылка на файл исходного снимка;
2) progress - прогресс обработки в процентах;
3) estimate - ожидаемое время завершения работы алгоритма;
4) logs - ссылка на текущий массив журнала исполнения алгоритма;
5) status - бинарный статус завершения процедуры анализа.
Значение algorithmMetadata соответствует набору полей, характеризующих зависимости и особенности алгоритма (необходимо во внешних сервисах, наличие модулей машинного обучения).
Предложенная структура расширения программной системы экологического мониторинга в виде РуШоп-модулей, с одной стороны, обеспечивает максимальную гибкость архитектуры, а с другой - отсутствие привязки к конкретным библиотекам и технологиям, а также возможность контроля исполнения реализаций алгоритмов.
Заключение. В работе был проведен анализ открытых источников данных для решения актуальных проблем экологического мониторинга, показавший возможность проведения качественного исследования на основании открытых спутниковых данных. Сравнение подходов к выполнению экологического мониторинга показало, что существующие решения не приспособлены к обработке гетерогенных исходных данных из различных источников, а также имеют проблемы, связанные с гибкостью интеграции новых методов анализа. Для преодоления обнаруженных проблем был сформулирован обобщенный метод унификации данных. Метод позволяет поэтапно приводить гетерогенные RGB-снимки из различных источников к форме, пригодной для дальнейшего экологического анализа, путем применения методов пространственной разметки, фильтрации и сегментации данных. Для воплощения метода в виде программной системы была разработана архитектура и модель данных, позволяющие организовать одновременную масштабируемую работу с большим количеством источников гетерогенных данных. Метод, архитектура и модель были реализованы в виде программной системы с веб-интерфейсом и микросервисной организацией. Разработанная система позволяет вести согласованный экологический мониторинг для данных ДЗЗ и аэрофотосъемки БПЛА. При этом возможен как ручной импорт снимков, так и автоматическая загрузка из открытых репозиториев. Реализация системы на базе полностью открытых технологий делает ее использование доступным для большого числа пользователей, а использование современных технологий контейнеризации и СУБД позволяет проводить экологический мониторинг на различном по мощности аппаратном обеспечении. В качестве дальнейшей работы предполагается экспериментальное исследование производительности разработанной системы и оценка возможности ее внедрения для решения задачи экологического мониторинга.
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
Список литературы
1. Corwin D. L. Climate Change Impacts on Soil Salinity in Agricultural Areas // European J. of Soil Science. 2021. Vol. 72, iss. 2. P. 842-862. doi: 10.1111/ejss. 13010
2. Impacts of climate change on energy systems in global and regional scenarios / S. G. Yalew, M. T. H. van Vliet, D. E. H. J. Gernaat, F. Ludwig, A. Miara, C. Park, E. Byers, E. De Cian, F. Piontek,
G. Iyer, I. Mouratiadou, J. Glynn, M. Hejazi, O. Dessens, P. Rochedo, R. Pietzcker, R. Schaeffer, S. Fujimori, S. Dasgupta, S. Mima, S. R. Santos da Silva, V. Chaturvedi, R. Vautard, D. P. van Vuuren // Nature Energy. 2020. Vol. 5, № 10. P. 794-802. doi: 10.1038/s41560-020-0664-z
3. Assessment of climate change impacts on buildings, structures and infrastructure in the Russian regions on permafrost / D. A. Streletskiy, L. J. Suter, N. I. Shi-klomanov, B. N. Porfiriev, D. O. Eliseev // Environmental Research Letters. 2019. Vol. 14, № 2. P. 025003. doi: 10.1088/1748-9326/aaf5e6
4. Recent advances in Unmanned Aerial Vehicles forest remote sensing - A systematic review. Pt. II: Research applications / R. Dainelli, P. Toscano, S. F. Di Gennaro, A. Matese // Forests. 2021. Vol. 12, iss. 4. P. 397. doi: 10.3390/f12040397
5. Ahmad A., Gilani H., Ahmad S. R. Forest above-ground biomass estimation and mapping through highresolution optical satellite imagery - A literature review // Forests. 2021. Vol. 12, iss. 7. P. 914. doi: 10.3390/f12070914
6. Artificial intelligence meets citizen science to supercharge ecological monitoring / E. C. McClure, M. Sievers, C. J. Brown, C. A. Buelow, E. M. Ditria, M. A. Hayes, R. M. Pearson, V. J. D. Tulloch, R. K. F. Unsworth, R. M. Connolly // Patterns. 2020. Vol. 1, iss. 7. P. 100109. doi: 10.1016/j.patter.2020.100109
7. A systematic review on the integration of remote sensing and gis to forest and grassland ecosystem health attributes, indicators, and measures / I. Soubry, T. Doan, T. Chu, X. Guo // Remote Sensing. 2021. Vol. 13, iss. 16. P. 3262. doi: 10.3390/rs13163262
8. Toth C., Jozkow G. Remote sensing platforms and sensors: A survey // ISPRS J. of Photogrammetry and Remote Sensing. 2016. Vol. 115. P. 22-36. doi: 10.1016/J.ISPRSJPRS.2015.10.004
9. КА "Канопус-В" № 1 - первый российский малый космический аппарат высокодетального дистанционного зондирования Земли нового поколения / Л. А. Макриденко, С. Н. Волков, А. В. Горбунов, Р. С. Салихов, В. П. Ходненко // Вопр. электромеханики. Тр. ВНИИЭМ. 2017. Т. 156, № 1. С. 10-20.
10. Космическая система дистанционного зондирования Земли "Ресурс-П" / А. Н. Кирилин, Р. Н. Ахметов, Г. П. Аншаков, А. Д. Сторож,
H. Р. Стратилатов, В. А. Типухов // XL Академические чтения по космонавтике, Москва, 26-29 янв. 2016 г. М., 2016. С. 350.
11. Григорьев А. А., Баранов М. Е. Эксплуатация программной модели космического аппарата связи "Экспресс-АМ" // Актуальные проблемы авиации и космонавтики. 2018. Т. 2, № 14. С. 507-509.
12. Локшин Б. "Экспресс--РВ"-перспективная система связи со спутниками на высокоэллиптических орбитах // Технологии и средства связи. 2019. № S1. С. 62-71.
13. Irons J. R., Dwyer J. L., Barsi J. A. The next Landsat satellite: The Landsat data continuity mission // Remote sensing of environment. 2012. Vol. 122. P. 1121. doi: 10.1016/j.rse.2011.08.026
14. Sentinel-2: ESA's optical high-resolution mission for GMES operational services / M. Drusch, U. Del Bello, S. Carlier, O. Colin, V. Fernandez, F. Gascon, B. Hoersch, C. Isola, P. Laberinti, P. Mar-timort, A. Meygret, F. Spoto, O. Sy, F. Marchese, P. Bargellini // Remote sensing of Environment. 2012. Vol. 120. P. 25-36. doi: 10.1016/j.rse.2011.11.026
15. Fusing Landsat and MODIS data for vegetation monitoring / F. Gao, T. Hilker, X. Zhu, M. Anderson, J. Masek, P. Wang, Y. Yang // IEEE Geoscience and Remote Sensing Magazine. 2015. Vol. 3, iss. 3. P. 4760. doi: 10.1109/MGRS.2015.2434351
16. Landsat-8: Science and product vision for terrestrial global change research / D. P. Roy, M. A. Wul-der, T. R. Loveland et al. // Remote sensing of Environment. 2014. Vol. 145. P. 154-172. doi: 10.1016/j.rse.2014.02.001
17. The global monitoring for environment and security (GMES) sentinel-3 mission / C. Donlon, B. Berruti, A. Buongiorno, M.-H. Ferreira, P. Femenias, J. Frerick, P. Goryl, U. Klein, H. Laur, C. Mavrocordatos, J. Nieke, H. Rebhan, B. Seitz, J. Stroede, R. Sciarra // Remote sensing of Environment. 2012. Vol. 120. P. 3757. doi: 10.1016/j.rse.2011.07.024
18. Suomi NPP VIIRS sensor data record verification, validation, and long-term performance monitoring / C. Cao, J. Xiong, S. Blonski, Q. Liu, S. Uprety, X. Shao, Y. Bai, F. Weng // J. of Geophysical Research: Atmospheres. 2013. Vol. 118, iss. 20. P. 11664-11678. doi: 10.1002/2013j d020418
19. Morgan J. L., Gergel S. E., Coops N. C. Aerial photography: a rapidly evolving tool for ecological management // BioScience. 2010. Vol. 60, № 1. P. 4759. doi: 10.1525/bio.2010.60.1.9
20. Zhang Y. J. Camera calibration // 3-D Computer Vision: Principles, Algorithms and Applications. Singapore: Springer Nature Singapore, 2023. P. 37-65. doi: 10.1007/978-981-19-7580-6_2
21. Hein G. W. Status, perspectives and trends of satellite navigation // Satellite Navigation. 2020. Vol. 1, № 1. P. 22. doi: 10.1186/s43020-020-00023-x
22. Petritoli E., Leccese F., Leccisi M. Inertial navigation systems for UAV: Uncertainty and error measurements // 2019 IEEE 5th Intern. Workshop on Metrology for AeroSpace (MetroAeroSpace). Turin, Italy.
66 Разработка системы экологического мониторинга
на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
19-21 June 2019. IEEE, 2019. P. 1-5. doi: 10.1109/MetroAeroSpace.2019.8869618
23. A practical guide to selecting models for exploration, inference, and prediction in ecology / A. T. Tre-dennick, G. Hooker, S. P. Ellner, P. B. Adler // Ecology. 2021. Vol. 102, iss. 6. P. e03336. doi: 10.1002/ecy.3336
24. Machine learning in landscape ecological analysis: a review of recent approaches / M.-S. Stupariu, S. A. Cushman, A.-I. Ple§oianu, I. Pätru-Stupariu, C. Fürst // Landscape Ecology. 2022. Vol. 37, iss. 5. P. 1227-1250. doi: 10.1007/s10980-021-01366-9
25. A systematic review on the integration of remote sensing and gis to forest and grassland ecosystem health attributes, indicators, and measures / I. Soubry, T. Doan, T. Chu, X. Guo // Remote Sensing. 2021. Vol. 13, iss. 16. P. 3262. doi: 10.3390/rs13163262
26. Paramasivam C. R. Merits and demerits of GIS and geostatistical techniques // GIS and Geostatistical Techniques for Groundwater Science. 2019. P. 17-21. doi: 10.1016/B978-0-12-815413-7.00002-X
27. Merging GIS and Machine Learning Techniques: A Paper Review / C. V. Ekeanyanwu, I. F. Obi-sakin, P. Aduwenye, N. Dede-Bamfo // J. of Geoscience and Environment Protection. 2022. Vol. 10, № 9. P. 6183. doi: 10.4236/gep.2022.109004
28. Wong R. F., Rollins C. M., Minter C. F. Recent updates to the WGS 84 reference frame // Proc. of the 25th Intern. Technical Meeting of The Satellite Division of the Institute of Navigation (ION GNSS 2012). Nashville, TN. 17-21 Sept. 2012. P. 1164-1172.
29. Verma R., Ali J. A comparative study of various types of image noise and efficient noise removal techniques // Intern. J. of Advanced Research in Computer Science and Software Engineering. 2013. Vol. 3, iss. 10. P. 617-622.
30. Ochotorena C. N., Yamashita Y. Anisotropic guided filtering // IEEE Transactions on Image Pro-
cessing. 2019. Vol. 29. P. 1397-1412. doi: 10.1109/TIP.2019.2941326
31. A rapid monitoring of NDVI across the wheat growth cycle for grain yield prediction using a multi-spectral UAV platform / M. A. Hassan, M. Yang, A. Rasheed, G. Yang, M. Reynolds, X. Xia, Y. Xiao, Z. He // Plant science. 2019. Vol. 282. P. 95-103. doi: 10.1016/j.plantsci.2018.10.022
32. Copernicus Open Access Hub. URL: https://scihub.copernicus.eu (дата обращения: 10.07.2023).
33. Earthdata. URL: https://www.earthdata.nasa.gov (дата обращения: 10.07.2023).
34. Jaramillo D., Nguyen D. V, Smart R. Leveraging microservices architecture by using Docker technology. SoutheastCon 2016. IEEE, 2016. P. 1-5. doi: 10.1109/SEC0N.2016.7506647
35. Requests: HTTP for Humans™. URL: https://requests.readthedocs.io/ (дата обращения: 10.07.2023).
36. Qin C. Z., Zhan L. J., Zhu A. X. How to apply the geospatial data abstraction library (GDAL) properly to parallel geospatial raster I/O? // Transactions in GIS. 2014. Vol. 18, iss. 6. P. 950-957. doi: 10.1111/tgis.12068
37. pallets/flask: The Python micro framework for building web applications // GitHub. URL: https://github.com/pallets/flask (дата обращения: 10.07.2023).
38. Jose B., Abraham S. Exploring the merits of nosql: A study based on mongodb // 2017 Intern. Conf. on Networks & Advances in Computational Technologies (NetACT). Thiruvananthapuram, India. 20-22 July 2017. IEEE, 2017. P. 266-271. doi: 10.1109/NETACT .2017.8076778
Информация об авторах
Заславский Марк Маркович - кандидат технических наук (2019), заместитель заведующего кафедрой математического обеспечения и применения ЭВМ Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 15 научных работ. Сфера научных интересов - пространственная разметка; искусственный интеллект; машинное зрение; обработка аудио; автоматизация оценивания учебных работ.
Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: mark.zaslavskiy@gmail.com https://orcid.org/0000-0002-9084-3604
Крыжановский Кирилл Евгеньевич - магистрант по направлению "Программная инженерия", Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), младший разработчик программного обеспечения ООО "Яндекс". Сфера научных интересов - искусственный интеллект; компьютерное зрение; беспилотные летательные аппараты; алгоритмы ориентации и навигации. Адрес: ООО "Яндекс", ул. Льва Толстого, д. 16, Москва, 119021, Россия E-mail: kirill.liybk.rh@gmail.com https://orcid.org/0000-0002-2246-8929
Иванов Дмитрий Владимирович - аспирант по направлению "Компьютерные науки и информатика", ассистент кафедры математического обеспечения и применения ЭВМ Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор трех научных публикаций. Сфера научных интересов - рои дронов; пространственная разметка; искусственный интеллект; машинное зрение. Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия
Разработка системы экологического мониторинга 67
на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
E-mail: dmitry.ivanov@moevm.info https://orcid.org/0009-0005-8731-118X
References
1. Corwin D. L. Climate Change Impacts on Soil Salinity in Agricultural Areas. European J. of Soil Science. 2021, vol. 72, iss. 2, pp. 842-862. doi: 10.1111/ejss.13010
2. Yalew S. G., van Vliet M. T. H., Gernaat D. E. H. J., Ludwig F., Miara A., Park C., Byers E., De Cian E., Piontek F., Iyer G., Mouratiadou I., Glynn J., Hejazi M., Dessens O., Rochedo P., Pietzcker R., Schaeffer R., Fujimori S., Dasgupta S., Mima S., Santos da Silva S. R., Chaturvedi V., Vautard R., van Vuuren D. P. Impacts of Climate Change on Energy Systems in Global and Regional Scenarios. Nature Energy. 2020, vol. 5, no. 10, pp. 794-802. doi: 10.1038/s41560-020-0664-z
3. Streletskiy D. A., Suter L. J., Shiklomanov N. I., Porfiriev B. N., Eliseev D. O. Assessment of Climate Change Impacts on Buildings, Structures and Infrastructure in the Russian Regions on Permafrost. Environmental Research Letters. 2019, vol. 14, no. 2, p. 025003. doi: 10.1088/1748-9326/aaf5e6
4. Dainelli R., Toscano P., Gennaro S. F. Di, Matese A. Recent Advances in Unmanned Aerial Vehicles Forest Remote Sensing - A Systematic Review. Part II: Research Applications. Forests. 2021, vol. 12, iss. 4, p. 397. doi: 10.3390/f12040397
5. Ahmad A., Gilani H., Ahmad S. R. Forest Aboveground Biomass Estimation and Mapping Through High-Resolution Optical Satellite Imagery -A Literature Review. Forests. 2021, vol. 12, iss. 7, p. 914. doi: 10.3390/f12070914
6. McClure E. C., Sievers M., Brown C. J., Bue-low C. A., Ditria E. M., Hayes M. A., Pearson R. M., Tulloch V J. D., Unsworth R. K. F., Connolly R. M. Artificial Intelligence Meets Citizen Science to Supercharge Ecological Monitoring. Patterns. 2020, vol. 1, iss. 7, p. 100109. doi: 10.1016/j.patter.2020.100109
7. Soubry I., Doan T., Chu T., Guo X. A Systematic Review on the Integration of Remote Sensing and Gis to Forest and Grassland Ecosystem Health Attributes, Indicators, and Measures. Remote Sensing. 2021, vol. 13, iss. 16, p. 3262. doi: 10.3390/rs13163262
8. Toth C., Jozkow G. Remote Sensing Platforms and Sensors: A Survey. ISPRS J. of Photogrammetry and Remote Sensing. 2016, vol. 115, pp. 22-36. doi: 10.1016/J.ISPRSJPRS.2015.10.004
9. Makridenko L. A., Volkov S. N., Gor-bunov A. V., Salihov R. S., Hodnenko V P. The First Russian Next Generation High Resolution Earth Remote Sensing Small Satellite Canopus-V No. 1. Voprosy jelektromehaniki. Trudy VNIIJeM [Questions of elec-tromechanics. Proceedings of VNIIEM]. 2017, vol. 156, no. 1, pp. 10-20. (In Russ.)
10. Kirilin A. N., Akhmetov R. N., Anshakov G. P., Storozh A. D., Stratilatov N. R., Tipukhov V. A. Space System of Remote Sensing of the Earth "Resource-P". XL Akademicheskie chtenija po kosmonavtike [XL Ac-
68
ademic Readings in Astronautics]. Moscow, 26-29 January 2016, p. 350. (In Russ.)
11. Grigoryev A. A., Baranov M. E. Maintenance of the Software Models of the Spacecraft Communication "Express-AM". Current Problems of Aviation and Cosmonautics. 2018, vol. 2, no. 14, pp. 507-509. (In Russ.)
12. Lokshin B. Express-RV as a Forward-Looking Communications System with Satellites in Highly Elliptical Orbits. Communication Technologies & Equipment. 2019, no. S1, pp. 62-71. (In Russ.)
13. Irons J. R., Dwyer J. L., Barsi J. A. The Next Landsat Satellite: The Landsat Data Continuity Mission. Remote Sensing of Environment. 2012, vol. 122, pp. 11-21. doi: 10.1016/j.rse.2011.08.026
14. Drusch M., Del Bello U., Carlier S., Colin O., Fernandez V, Gascon F., Hoersch B., Isola C., Laber-inti P., Martimort P., Meygret A., Spoto F., Sy O., Marchese F., Bargellini P. Sentinel-2: ESA's Optical HighResolution Mission for GMES Operational Services. Remote Sensing of Environment. 2012, vol. 120, pp. 25-36. doi: 10.1016/j.rse.2011.11.026
15. Gao F., Hilker T., Zhu X., Anderson M., Ma-sek J., Wang P., Yang Y. Fusing Landsat and MODIS Data for Vegetation Monitoring. IEEE Geoscience and Remote Sensing Magazine. 2015, vol. 3, iss. 3, pp. 4760. doi: 10.1109/MGRS.2015.2434351
16. Roy D. P., Wulder M. A., Loveland T. R. et al. Landsat-8: Science and Product Vision for Terrestrial Global Change Research. Remote Sensing of Environment. 2014, vol. 145, pp. 154-172. doi: 10.1016/j.rse.2014.02.001
17. Donlon C., Berruti B., Buongiorno A., Ferreira M.-H., Femenias P., Frerick J., Goryl P., Klein U., Laur H., Mavrocordatos C., Nieke J., Rebhan H., Seitz B., Stroede J., Sciarra R.The Global Monitoring for Environment and Security (GMES) Sentinel-3 Mission. Remote Sensing of Environment. 2012, vol. 120, pp. 37-57. doi: 10.1016/j.rse.2011.07.024
18. Cao C., Xiong J., Blonski S., Liu Q., Uprety S., Shao X., Bai Y., Weng F. Suomi NPP VIIRS Sensor Data Record Verification, Validation, and Long-Term Performance Monitoring. J. of Geophysical Research: Atmospheres. 2013, vol. 118, iss. 20, pp. 11664-11678. doi: 10.1002/2013j d020418
19. Morgan J. L., Gergel S. E., Coops N. C. Aerial Photography: a Rapidly Evolving Tool for Ecological Management. BioScience. 2010, vol. 60, no. 1, pp. 4759. doi: 10.1525/bio.2010.60.1.9
20. Zhang Y. J. Camera Calibration. 3-D Computer Vision: Principles, Algorithms and Applications. Singapore, Springer Nature Singapore, 2023, pp. 37-65. doi: 10.1007/978-981-19-7580-6_2
21. Hein G. W. Status, Perspectives and Trends of Satellite Navigation. Satellite Navigation. 2020, vol. 1, no.1, p. 22. doi: 10.1186/s43020-020-00023-x
Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking
and Machine Vision Technologies
22. Petritoli E., Leccese F., Leccisi M. Inertial Navigation Systems for UAV: Uncertainty and Error Measurements. 2019 IEEE 5th Intern. Workshop on Metrology for AeroSpace (MetroAeroSpace). Turin, Italy. 1921 June 2019. IEEE, 2019, pp. 1-5. doi: 10.1109/MetroAeroSpace.2019.8869618
23. Tredennick A. T., Hooker G., Ellner S. P., Adler P. B. A Practical Guide to Selecting Models for Exploration, Inference, and Prediction in Ecology. Ecology. 2021, vol. 102, iss. 6, p. e03336. doi: 10.1002/ecy.3336
24. Stupariu M.-S., Cushman S. A., Ple§oianu A.-I., Pätru-Stupariu I., Fürst C. Machine Learning in Landscape Ecological Analysis: A Review of Recent Approaches. Landscape Ecology. 2022, vol. 37, iss. 5, pp. 1227-1250. doi: 10.1007/s10980-021-01366-9
25. Soubry I., Doan T., Chu T., Guo X. A Systematic Review on the Integration of Remote Sensing and Gis to Forest and Grassland Ecosystem Health Attributes, Indicators, and Measures. Remote Sensing. 2021, vol. 13, iss. 16, p. 3262. doi: 10.3390/rs13163262
26. Paramasivam C. R. Merits and Demerits of GIS and Geostatistical Techniques. GIS and Geostatistical Techniques for Groundwater Science. 2019, pp. 17-21. doi: 10.1016/B978-0-12-815413-7.00002-X
27. Ekeanyanwu C. V., Obisakin I. F., Aduwenye P., Dede-Bamfo N. Merging GIS and Machine Learning Techniques: A Paper Review. J. of Geoscience and Environment Protection. 2022, vol. 10, no. 9, pp. 61-83. doi: 10.4236/gep.2022.109004
28. Wong R. F., Rollins C. M., Minter C. F. Recent Updates to the WGS 84 Reference Frame. Proc. of the 25th Intern. Technical Meeting of the Satellite Division of the Institute of Navigation (ION GNSS 2012). Nashville, TN. 17-21 September 2012, pp. 1164-1172.
29. Verma R., Ali J. A Comparative Study of Various Types of Image Noise and Efficient Noise Removal
Techniques. Intern. J. of Advanced Research in Computer Science and Software Engineering. 2013, vol. 3, iss. 10, pp. 617-622.
30. Ochotorena C. N., Yamashita Y. Anisotropic Guided Filtering. IEEE Transactions on Image Processing. 2019, vol. 29, pp. 1397-1412. doi: 10.1109/TIP.2019.2941326
31. Hassan M. A., Yang M., Rasheed A., Yang G., Reynolds M., Xia X., Xiao Y., He Z. A Rapid Monitoring of NDVI across the Wheat Growth Cycle for Grain Yield Prediction Using a Multi-Spectral UAV Platform. Plant science. 2019, vol. 282, pp. 95-103. doi: 10.1016/j.plantsci.2018.10.022
32. Copernicus Open Access Hub. Available at: https://scihub.copernicus.eu (accessed 10.07.2023).
33. Earthdata. Available at: https://www.earthdata. nasa.gov (accessed 10.07.2023).
34. Jaramillo D., Nguyen D. V., Smart R. Leveraging Microservices Architecture by Using Docker Technology. SoutheastCon 2016. IEEE, 2016, pp. 1-5. doi: 10.1109/SEC0N.2016.7506647
35. Requests: HTTP for Humans™. Available at: https://requests.readthedocs.io/ (accessed 10.07.2023).
36. Qin C. Z., Zhan L. J., Zhu A. X. How to Apply the Geospatial Data Abstraction Library (GDAL) Properly to Parallel Geospatial Raster I/O? Transactions in GIS. 2014, vol. 18, iss. 6, pp. 950-957. doi: 10.1111/tgis. 12068
37. pallets/flask: The Python micro framework for building web applications. GitHub. Available at: https://github.com/pallets/flask (accessed 10.07.2023).
38. Jose B., Abraham S. Exploring the Merits of Nosql: A Study Based on Mongodb. 2017 Intern. Conf. on Networks & Advances in Computational Technologies (NetACT). Thir-uvananthapuram, India. 20-22 July 2017. IEEE, 2017, pp. 266-271. doi: 10.1109/NETACT.2017.8076778
Information about the authors
Mark M. Zaslavskiy - Cand. Sci. (2019), Deputy Head of the Department of Software Engineering and Computer Applications of Saint Petersburg Electrotechnical University. The author of more than 15 scientific publications. Area of expertise: spatial markup; artificial intelligence; machine vision; audio processing; automation of evaluation of educational works.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia
E-mail: mark.zaslavskiy@gmail.com
https://orcid.org/0000-0002-9084-3604
Kirill E. Kryzhanovskiy - Master in "Software engineering" of Saint Petersburg Electrotechnical University, Junior Software developer of Yandex. Area of expertise: artificial intelligence; computer vision; orientation and navigation algorithms; unmanned aerial vehicles.
Address: Yandex LLC, 16, Lev Tolstoy St., Moscow 119021, Russian Federation
E-mail: kirill.lfybk.rh@gmail.com
https://orcid.org/0000-0002-2246-8929
Dmitry V. Ivanov - Postgraduate student in "Computer Science and Informatics", assistant of the Department of Software Engineering and Computer Applications of Saint Petersburg Electrotechnical University. Author of 3 scientific publications. Area of expertise: drone swarms; spatial markup; artificial intelligence; machine vision. Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia E-mail: dmitry.ivanov@moevm.info https://orcid.org/0009-0005-8731-118X
Разработка системы экологического мониторинга 69
на базе технологий пространственной разметки и машинного зрения Development of an Environmental Monitoring System Based on Spatial Marking and Machine Vision Technologies
