CC BY
16
Малопараметрический метод оконтуривания сельскохозяйственных полей на спутниковых снимках с помощью исторических данных MSAVI2
М.А. Павлова1, В.А. Тимофеев1, Д.А. Бочаров1, Д.С. Сидорчук1, А.Л. Нурмухаметов1, А.В. Никоноров2,3, М.С. Ярыкина1, И.А. Кунина1, А.А. Смагина1, М.А. Загарев1
1 Институт проблем передачи информации им. А.А. Харкевича РАН;
127051, Москва, Большой Каретный пер., д. 19;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, ул. Молодогвардейская, д. 151; 3 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34
Аннотация
В данной работе рассматривается проблема оконтуривания сельскохозяйственных полей на спутниковых снимках. Для решения этой задачи применяется подход, основанный на анализе исторических данных. В работе показано, что на таких данных можно добиться высокого качества с помощью простого малопараметрического метода. Метод состоит из детектора полей и детектора границ. Детекция полей основана на определении порога Оцу, а для определения границ используется детектор краев Кэнни. В связи с нехваткой доступных наборов данных нами был подготовлен и опубликован собственный набор данных, состоящий из 18859 экспертно аннотированных полей на снимках Sentinel-2. Для сравнения оконтуривания на мгновенных и исторических данных был реализован один из наиболее современных методов, основанный на глубоком обучении. Эксперимент показал, что использование исторических данных позволяет получить более высокое качество с более низкими затратами. Предлагаемый малопараметрический метод требует значительно меньше обучающих данных по сравнению с методом на мгновенных данных. Подготовленный набор данных и реализация алгоритма на языке Python были выложены в открытый доступ.
Ключевые слова: оконтуривание сельскохозяйственных полей, малопараметрический алгоритм, компьютерное зрение, дистанционное зондирование Земли, исторические данные, открытый набор данных.
Цитирование: Павлова, М.А. Малопараметрический метод оконтуривания сельскохозяйственных полей на спутниковых снимках с помощью исторических данных MSAVI2 / М.А. Павлова, В. А. Тимофеев, Д. А. Бочаров, Д.С. Сидорчук, А. Л. Нурмухаметов, А.В. Никоноров, М.С. Ярыкина, И.А. Кунина, А.А. Смагина, М.А. Загарев // Компьютерная оптика. -2023. - Т. 47, № 3. - С. 451-463. - DOI: 10.18287/2412-6179-CO-1235.
Citation: Pavlova MA, Timofeev VA, Bocharov DA, Sidorchuk DS, Nurmukhametov AL, Nikonorov AV, Yarykina MS, Kunina IA, Smagina AA, Zagarev MA. Low-parameter method for delineation of agricultural fields in satellite images based on multi-temporal MSAVI2 data. Computer Optics 2023; 47(3): 451-463. DOI: 10.18287/-6179-CO-1235.
Введение
Развитие современного сельского хозяйства напрямую зависит от эффективного использования территории, для чего необходимы надежные и своевременные данные дистанционного зондирования Земли (ДЗЗ) [1, 2]. Системы спутникового зондирования предоставляют регулярные данные, охватывающие большие территории в течение длительного периода времени. Системы зондирования авиационными средствами, включая беспилотные аппараты, обладают большей точностью (до сантиметров на пиксель [3]), однако имеют меньший территориальный и временной охват.
Снимки ДЗЗ подвержены различного рода искажениям из-за влияния атмосферных явлений, сложных условий наблюдения (наличия затенений, дымки,
облачности и т.д.), а также несовершенства системы регистрации. Это значительно усложняет задачу их дальнейшего анализа [4, 5]. Активно разрабатываются методы компенсации искажений и устранения артефактов для повышения качества регистрируемых данных [6 - 10], включая методы коррекции атмосферных эффектов [11 - 13], обнаружения и компенсации облачности и теней [14 - 16], шумоподавления [17].
В данной статье рассматривается проблема окон-туривания сельскохозяйственных полей на изображениях ДЗЗ. В англоязычной литературе эту проблему обозначают терминами delineation или outlining of agricultural fields. Задача оконтуривания близка задаче сегментации, но обладает своей спецификой. Требуется детектировать любые возделываемые поля на фоне любых невозделываемых участков и как можно точнее определить границы возделываемых областей.
Одним из источников информации о землях сельскохозяйственного назначения являются кадастровые карты, фиксирующие границы полей. Эта информация нуждается в регулярном обновлении. Обычно используется ручная разметка полей с использованием спутниковых снимков, но этот подход имеет ряд недостатков. Ручная разметка очень трудоёмка и неэффективна для больших территорий, таких как округа и регионы [19]. Выполнение автоматической разметки является одной из областей применения алгоритмов оконтуривания полей. Другая область, где окон-туривание сельскохозяйственных полей является актуальной проблемой, - это предобработка данных для классификации сельскохозяйственных культур. Например, в работе [20] показано, что использование объектов, извлеченных из детектированных ранее контуров, позволяет улучшить результат по сравнению с анализом отдельных пикселей.
Среди работ по оконтуриванию сельскохозяйственных полей можно выделить несколько подходов. Методы на основе границ [20 - 23] обнаруживают границы полей путем анализа карт градиента. Такие методы обычно используют различные фильтры, например, операторы Шарра [24] или Кэнни [25]. Эти методы чувствительны к шуму, что приводит к детектированию ложноположительных границ полей [26]. Алгоритмы на основе областей [27, 29, 30] группируют поля из соседних пикселей, для которых выполняются некоторые критерии однородности. Такие алгоритмы часто основаны на методах сегментации или классификации. Проблемой этого подхода тоже являются ошибки чрезмерной сегментации [31]. Также применяются гибридные методы, сочетающие элементы алгоритмов на основе областей и на основе границ [26, 32 - 34]. Каждый из перечисленных подходов может быть реализован как в виде малопараметрического метода [32], так и в виде метода машинного обучения [27], включая глубокое обучение [22, 35, 36]. Существуют также методы, сочетающие нейронные сети и классические подходы компьютерного зрения [37, 38].
Поскольку сельскохозяйственные культуры сильно изменяют свой внешний вид в течение сезона, для оконтуривания полей имеет смысл использовать исторические данные. В статье [28] авторы исследовали влияние исторических данных на качество распознавания полей. В этой работе сравнивались результаты двух нейронных сетей которые использовали
одну и ту же пространственную область для обучения. Одна из сетей обучалась на одном ЯвВ-изображении; вторая - на трех ЯвВ-изображениях одной и той же местности, снятой в разные моменты времени. Результаты этой статьи показывают, что модель, использующая как пространственные, так и исторические данные, обеспечивает более высокую точность по сравнению с моделью, обученной только на пространственных данных.
В другом исследовании применения исторических данных [32] авторы предлагают гибридный метод автоматического оконтуривания сельскохозяйственных полей по временным рядам Web-Enabled Landsat Data (WELD). На вход алгоритму поступали каналы R, G, NIR, Mid-IR, а также индекс NDVI с еженедельным временным разрешением и диапазоном в 5 лет. На первом этапе строится карта границ полей, а также карта полей, получаемая специальной нормировкой NDVI. Далее к этим картам применялся метод сегментации VRGAC. Поскольку этот метод склонен к ошибкам недостаточной сегментации, следующим этапом применялся алгоритм водораздела для разложения сегментов, принадлежащих нескольким полям, на изолированные сегменты. Также применялась специальная обработка полей круглой формы и морфологическая фильтрация. Несмотря на малое число параметров и отсутствие необходимости в обучении, воспроизвести и применить данный метод на исторических данных другого типа представляется затруднительным.
В статье [24] авторы также используют исторические данные для оконтуривания полей. В качестве данных используются семь безоблачных снимков Sentinel-2 за вегетационный период 2016 - 2017 гг. Сначала для каждой даты были выделены границы полей по четырем каналам R, G, B, NIR; затем путем суммирования была получена агрегированная карта границ, двадцати восьми слоев границ (4 канала и 7 дат). Полученная агрегированная карта границ подавалась на вход алгоритма сегментации для вычисления карты потенциальных сельскохозяйственных зон. В дальнейшем эти зоны классифицировались на возделываемые и невозделываемые с использованием дерева классификации и регрессии (CART). В качестве признаков классификации были выбраны агрегированные за время наблюдения статистики NDVI: минимум, максимум, диапазон и стандартное отклонение для каждого пикселя. Авторы сравнили шесть комбинаций детектора границ (операторы Шарра или Кэнни) и алгоритма сегментации (watershed, multiresolution или multi-threshold). В результате наилучшее качество было показано в сочетании детекции Кэнни и сегментации водоразделом. Авторы также отметили, что применение исторических данных более эффективно, чем использование мгновенных данных.
Известные методы с использованием исторических данных либо включают отдельные компоненты, основанные на машинном обучении [24], либо представляют собой нейронные сети [28]. При этом наборы данных, использованные для обучения в этих работах, либо вообще не публиковались, либо уже недоступны. Мы предлагаем простой малопараметрический алгоритм, состоящий из трех частей. В первой части выполняется обнаружение потенциальных сельскохозяйственных полей по агрегированным данным вегетационного индекса. Вторая часть представляет собой расчет карты агрегированных границ.
Основываясь на результатах работы [24], мы используем для этой цели детектор Кэнни. В третьей части происходит уточнение границ полей с помощью полученной ранее карты границ. В отличие от [24, 32], вместо индекса NDVI мы предлагаем использовать MSAVI2 (Modified Soil-adjusted Vegetation Index 2) -вегетационный индекс с поправкой на почву.
Для оценки качества оконтуривания мы используем попиксельные метрики качества DICE и Overall accuracy. Также мы предлагаем объектную метрику, которая сначала сопоставляет поля с помощью коэффициента Жаккара, а затем вычисляет DICE не по-пиксельно, а на уровне объектов-полей. Найти данные для обучения и тестирования алгоритмов окон-туривания оказалось проблематично. Поэтому мы создали и опубликовали наш набор данных на основе снимков Sentinel-2. Набор данных включает разметку для 18859 полей нескольких сельскохозяйственных зон, расположенных в России и на Украине.
Сравнение оконтуривания по мгновенным данным с оконтуриванием по историческим данным уже проводилось в том или ином виде в работах [28, 32]. Было показано, что использование исторических данных позволяет повысить качество. В нашей работе мы дополнительно показываем, что, помимо повышения качества, использование исторических данных позволяет облегчить процесс настройки алгоритма. Предложенный алгоритм сравнивался с решением на основе глубокого обучения с мгновенными данными на вход [22]. Наш алгоритм показывает более высокий результат с точки зрения избыточной и недостаточной сегментации, при этом требуя в 7 раз меньше обучающих данных.
Работа имеет следующую структуру: параграф 1 знакомит с данными, используемыми для экспериментов; параграф 2 описывает предложенный алгоритм; в параграфе 3 представлена информация о проведенном эксперименте, в том числе сведения о реализации современного решения и описание показателей качества. В параграфе 4 представлены результаты эксперимента. Наконец, в заключении обобщаются результаты исследования.
1. Исторические данные
В работах, посвященных оконтуриванию полей, использовались данные различных спутников: SPOT [31, 39], LANDSAT [32], WorldWide-2/3 [21, 34], Sentinel-2 [20, 29, 35]. В нашем исследовании использовались данные программ дистанционного зондирования Sentinel-2A и Sentinel-2B, запущенных в 2015 и 2017 годах соответственно.
Данные Sentinel-2 имеют разрешение по времени в среднем 5 дней. Для каждой даты съемки предоставляется набор мгновенных данных, состоящий из 13 изображений в формате Jpeg2000, снятых в разных спектральных диапазонах и с пространственным разрешением от 60 м / пиксель до 10 м / пиксель с максимальным размером 10800 *10800 пикселей, см. табл. 1. Данные были геометрически скорректированы и приведены к системе координат Military Grid Reference System (MGRS), в которой площадь изображенной на них поверхности составила 100*100 км. Для обработки облачного покрова использовались маски облачности, предоставляемые вместе с муль-тиспектральными изображениями
Табл. 1. Спецификации спутникового диапазона Sentinel-2
Номер канала Канал Центральная длина волны, нм Разрешение, м/пиксель
0 B1 - Coastal aerosol 443 60
1 B2 - Blue 490 10
2 B3 - Green 560 10
3 B4 - Red 665 10
4 B5 - Vegetation Red Edge 705 20
5 B6 - Vegetation Red Edge 740 20
6 B7 - Vegetation Red Edge 783 20
7 B8 - NIR 842 10
8 B8a - Narrow NIR 865 20
9 B9 - Water Vapor 940 60
10 B10 - SWIR Cirrus 1375 60
11 B11 - SWIR 1610 20
12 B12 - SWIR 2190 20
Анализ экспериментальных разделов других работ показал, что точное сравнение подходов затруднено, в основном из-за недоступности выборок данных, используемых в этих работах. В работах [1, 27, 29, 32, 34, 35] разметка получена вручную и недоступна; в [33] не описано происхождение правильных ответов для оценки алгоритма; в [20, 21, 26, 35] нет ссылок на конкретные наборы данных. Мы выполнили собственную разметку полей для четырех регионов Украины и России (см. рис. 1). В данном исследовании мы использовали
фрагменты, равные 1/4 площади исходного спутникового снимка. Каждый из этих фрагментов представлял собой квадратное изображение размером 57300*57300 м с пространственным разрешением 10 м / пиксель. Участки выбирались таким образом, чтобы на каждом из них, помимо полей, были и другие типы объектов: городская местность, водная поверхность, болота и леса.
Разметка выполнялась экспертами на изображениях RGB, сделанных в безоблачные ясные дни. В табл. 2 приведены географические координаты рассматривае-
мых областей, а также даты тех снимков, на основе которых производилась разметка. В табл. 3 представлена статистика по количеству полей и их размерам.
Для экспериментов и проверки алгоритмов был выбран период наблюдения с 01 января 2016 г. по 31
декабря 2020 г. Из четырех фрагментов два использовались для настройки параметров, а два других - для тестирования. На рис. 1 показано расположение рассматриваемых фрагментов на карте, а также разделение на обучающую и тестовую выборки.
Табл. 2. Координаты фрагментов спутниковых снимков и даты тех снимков, на основе которых была произведена разметка
Код фрагмента Координаты фрагмента (широта, долгота) Дата размеченного изображения
36UWB [51, 44875; 33, 75522] [51,44054; 34,57954] [50,92548; 34,56203] [50, 93354; 33, 74684] 21 сентября 2020
37UDU [52, 77559; 38, 29526] [52,77759; 39,14469] [52,26246; 39,14301] [52, 26049; 38, 30345] 7 июня 2020
37UES [50, 97909; 38, 99972] [52,77759; 39,14469] [50,46100; 39,80700] [50, 46380; 38, 99972] 27 июня 2020
38ULB [51, 41588; 42, 12371] [51,43321; 42,94708] [50,91828; 42,96983] [50, 90127; 42, 15556] 7 октября 2020
Табл. 3. Количественные характеристики разметки
Код фрагмента Количество полей Средняя площадь полей, км2 Медианная площадь полей, км2
36UWB 6984 0,27 0,11
37UDU 4411 0,43 0,18
37UES 3957 0,44 0,31
38ULB 3507 0,61 0,39
Рис. 1. Относительное расположение фрагментов из подготовленного набора данных. Обучающая выборка обозначена
штриховкой, тестовая выборка обозначена точками
2. Малопараметрический метод оконтуривания сельскохозяйственных полей
Предлагаемый метод оконтуривания сельскохозяйственных полей состоит из следующих основных этапов:
1) вычисление маски полей;
2) вычисление маски границ;
3) уточнение маски полей с помощью маски границ.
В качестве входных данных алгоритм принимает набор мультиспектральных спутниковых снимков Sentinel-2 и соответствующих им масок облачности. По этим данным рассчитывается изображение индекса MSAVI2 для каждой из дат. На рис. 2
показана схема предлагаемого алгоритма. Каждому из трех этапов посвящен один из следующих под-параграфов.
Алгоритм был реализован на языке РуШоп3.8. Исходный код доступен по ссылке https://github.com/iitpvisionlab/fields-recognizer. Экспертная разметка полей для настройки (7918 контуров полей) и тестирования (10941 контуров полей), которая используется в экспериментальной части этого исследования, доступна по ссылке https://doi.org/10.5281/zenodo.5571868. Репозиторий разметки также включает предварительно вычисленные агрегированные изображения, использованные в качестве входных данных в настоящей работе.
исторические
мульти-сиектральныеА снимки 8епйпе1-2/
вычисление исторических индексов М8Л\12
вычисление ¡-маски полей '
I
п :
вычисление -миски границ!
III уточнение границ нолей
оконтуренные/ поля /
II
Ш
маска полей ' уточнение границ полей \
маска границ ! | оконтуренные
сегментированное компоненты контуры исправленные
изображение связности полей контуры
Рис. 2. Блок-схема предлагаемого алгоритма оконтуривания сельскохозяйственных полей
2.1. Вычисление маски полей
Поля на одном изображении могут находиться в различных стадиях вегетации и сельскохозяйственной обработки. Это приводит к значительной изменчивости наблюдаемых значений индекса М8АУ12 как между полями (низкая вегетация на ранних стадиях выращивания или высокая на стадиях пика), так и в пределах одного поля, например, из-за процесса уборки урожая. Усреднение исторических данных позволяет сгладить эту изменчивость как между полями, так и внутри полей. Итак, агрегирование производится путем вычисления выборочного среднего:
1 к-,1-1
I' = Т £Ъ, (!)
где I ^ - мгновенные данные индекса М8АУ12 (используются только те даты, для которых доля облачных пикселей не более 80 %), к, ' - количество безоблачных измерений, доступных для пикселя (/',/). На
рис. 3 проиллюстрирован процесс агрегации исторических индексов.
Далее для получения маски полей к агрегированному индексу применяется пороговое отсечение пикселей с низкими значениями вегетации. Такие значения соответствуют водным поверхностям, бетонным участкам и т.д. Для отсечения используется порог 4™,. После этого оставшиеся пиксели с помощью метода Оцу [41] разделяются на два класса: сельскохозяйственные культуры и дикорастущие растения. Порог, определяемый методом Оцу, обозначим как го. Предполагается, что пиксели из класса дикорастущих растений обладают более высокими значениями индекса вегетации. Пример гистограммы с описанными пороговыми разделениями приведен на рис. 4.
Обозначим маски потенциальных полей и областей низкой вегетации как М и Ь:
Маска потенциальных полей:
М =|1, если I' < го; (2)
'1 I 0, иначе.
Маска областей низкой вегетации: f1, если lj < thw;
Li, =
(3)
0, иначе.
Для повышения достоверности локализации водоемов и других участков местности с низкой средней вегетацией использовалась морфологическая дилата-ция маски Ь со структурным элементом я размера ж
L = L 0 s(w).
(4)
попиксельное суммирование индекса
накопление
Результирующая маска полей получается поэлементным вычитанием маски областей малой вегетации Ь из маски М:
Г,; = Ыг,; - Ь,; . (5)
Примеры масок М, Ь и Г приведены на рис. 5.
агрегированный индекс: попиксельное среднее индекса
ШшЯКИ
б 0,02
интенсивность агрегированного индекса
Рис. 4. Гистограмма интенсивностей агрегированного индекса МБАУП. Штрихпунктирная линия представляет пороговое значение и™; штриховая линия представляет пороговое значение Оцу №
Рис. 3. Схема агрегирования вегетационного индекса на основе критерия достоверности данных и агрегированный вегетационный индекс MSAVI2 с 2016 по 2020 год включительно
2.2. Вычисление маски границ
В соответствии с результатами работы [24] для получения карт границ мы используем детектор краев Кэнни [25]. Однако в отличие от вышеуказанного исследования мы извлекаем края из предварительно вычисленных изображений MSAVI2, а не из каналов RGB и NIR спутниковых изображений.
Агрегация границ производится следующим образом: карта границ вычисляется для каждого мгновенного изображения MSAVI2; полученные мгновенные карты границ усредняются; усредненная карта бинаризуется по методу Оцу. Для компенсации возможных сдвигов к результирующей бинарной карте применяется дилатация. Для уменьшения разрывов, а также для фильтрации шумовых границ применяется морфологическое замыкание.
Маска облаков, предоставляемая вместе со спутниковыми снимками, имеет ограниченную точность. Чтобы минимизировать искажения границ полей, вызванных присутствием на изображении границ облаков и их теней, мы использовали данные только за те даты, для которых облачность составила менее 1 %.
В отличие от этапа вычисления маски полей, где мгновенные данные сначала агрегируются, а затем обрабатываются, на данном этапе сначала границы выделяются на мгновенных данных, а затем агрегируются уже карты границ. Такой подход позволяет получить более точную итоговую карту по сравнению с локализацией границ на агрегированном изображении (см. рис. 6).
в) ,
Рис. 5. Иллюстрации поиска областей полей: агрегированный индекс М8АУ12 1ау§ (а), маска областей низкой вегетации Ь (б), маска потенциальных полей М (в), результирующая маска полей Г (г)
Рис. 6. Сравнение подходов к извлечению карты границ: агрегированный М8АУ12Iаг§ (а); границы Кэнни на агрегированном индексе Е(IаУё) (б); бинарная карта агрегированных границ Кэнни Ёъ (в)
2.3. Уточнение границ полей
Для уточнения границ полей маска границ вычитается из маски полей. Растровое изображение Я уточненных полей рассчитывается следующим образом:
Я,j = max F,j - ÈhKj ),
(6)
где Г - маска полей, а Ёъ - маска границ.
Далее на изображении Я выделяются восьмисвяз-ные компоненты. Для каждой компоненты определяется ее векторный контур. Ошибочные контуры (слишком маленькие или с самопересечением) исправляются или отфильтровываются. Чтобы избавиться от шума, вызванного избыточной сегментацией, ложными срабатываниями и маловероятными большими полями, векторные контуры фильтруются по площади с использованием порогов гтП и С? .
2.4. Настройка параметров алгоритма
Описанный алгоритм оконтуривания имеет следующие параметры:
• м - радиус кругового структурного элемента, используемого при морфологическом замыкании;
• иом - нижний порог вегетации;
• а - параметр оператора Кэнни, стандартное отклонение оператора Гаусса, применяемое к исходному изображению при предварительной обработке;
• г^ы и т? - минимальный и максимальный пороги площади возделываемых регионов. Значения этих параметров были подобраны экс-
пертно по результатам работы алгоритма на двух настроечных фрагментах (рис. 1): а = 1, м = 2 пикселя, гом = 0,1569, гтп? = 0,05 км2, гтпа = 103 км2.
3. Сравнение методов оконтуривания
Основной проведенный нами эксперимент посвящен сравнению качества двух подходов: оконтурива-ние с мгновенными данными на вход и оконтурива-ние с историческими данными на вход. В качестве метода на исторических данных выступает наш малопараметрический алгоритм, а в качестве метода с
мгновенными данными на вход выступает алгоритм оконтуривания полей на основе глубокого обучения, предложенный в работе [22].
3.1. Реализация метода оконтуривания по мгновенным данным
Чтобы сравнить наш метод с одним из современных решений, мы воспроизвели метод, описанный в работе [22]. В отличие от предлагаемого метода, в работе [22] в качестве входных данных используются мгновенные снимки. В рамках данного метода входное изображение разделяется на перекрывающиеся патчи, на каждом из которых вычисляются границы полей с помощью обученной нейронной сети. Затем по специальной схеме результаты на отдельных пат-чах объединяются в результирующее изображение. Контуры полей на каждом патче вычисляются с использованием сверточной нейронной сети на основе модели U-Net [42] с применением энкодера VGG-16 [43], предобученного на наборе данных ImageNet.
В исходной работе авторы обучали нейросеть на наборе данных SIGPAC Navarre, который на данный момент недоступен. Мы использовали наш собственный датасет примерно такого же размера. Для аугментации данных, как и в исходной работе, были применены групповые преобразования Dih4 и повороты на случайный угол. В отличие от исходной работы мы использовали при обучении только два класса: поле и не поле, в то время как в [22] был добавлен третий класс - буфер по границам сельскохозяйственных участков. Авторы ввели этот класс, чтобы компенсировать неточности разметки, поскольку их обучающий набор данных содержал не полностью размеченные изображения. Наши снимки были размечены более полно, поэтому мы использовали только два класса.
Сначала мы пытались использовать для обучения тот же обучающий набор данных, который был использован для настройки параметров нашего алгоритма (см. параграф 1). Этого количества данных оказалось недостаточно, и процесс обучения не сходился. Проблема была решена путем увеличения ко-
личества обучающих данных приблизительно в 7 раз. Мы обучали нейросеть в течение 88 эпох с помощью пакета PyTorch: в качестве оптимизатора был выбран алгоритм Adam с параметрами по умолчанию и шагом оптимизатора 1e-4. Как и в исходной работе, мы использовали функцию потерь LovaszSoftmax [44].
3.2. Оценка качества оконтуривания
Среди подходов к оценке выделения границ можно выделить пиксельный [28, 45 - 49] и объектный [50 - 52] в соответствии с типом анализируемых данных. К пиксельным метрикам относятся DICE, Overall accuracy (OA), Intersection over union (IoU). Основным их преимуществом является простота реализации и быстрота вычислений. Серьезным недостатком пиксельных метрик является низкая чувствительность к ошибкам избыточной и недостаточной сегментации (см. рис.7).
а) м б)
Рис. 7. Иллюстрация избыточной (а) и недостаточной (б) сегментации; серый полигон изображает эталонное поле; красные линии - результат алгоритма оконтуривания
Объектные метрики точнее оценивают ошибки избыточной и недостаточной сегментации. Вычисление этих метрик, как правило, состоит из двух этапов, на первом из которых выполняется сопоставление распознанных и эталонных объектов по некоторому критерию [50, 53]. Второй этап представляет собой оценку качества тех распознанных объектов, которых удалось успешно сопоставить с эталонными. На втором этапе могут вычисляться различные метрики, основанные на оценке соответствия как площадей объектов (Sunder, Sover [32, 50], AFI [54]), так и их границ (MAE [24], BDE [22], L [32]). Ложноположительные и ложноотрица-тельные ошибки при этом не учитываются. Для отдельной оценки ошибок такого рода в некоторых работах вводятся дополнительные показатели [32, 24].
3.2.1. DICEobj: объектно-ориентированная метрика для оценки качества определения границ
В этой статье мы предлагаем метрику DICEobj, которая, с одной стороны, обладает преимуществом объектных подходов, а именно чувствительна к ошибкам избыточной и недостаточной сегментации. С другой стороны, она позволяет получить единую оценку качества, учитывающую в том числе ложноположительные и ложноотрицательные срабатывания алгоритма.
Множества эталонных полей и полей, найденных алгоритмом, с мощностями Nref и Nexp обозначены как
Г =( /1 ГМ"Л и Г = { /1 fN^*P 1
ге/ \Jref>^^^>Jrefl'!ílexp §
соответственно. Сопоставление эталонных и распознанных полей выполняется на основе коэффициента Жаккара:
J (a, b ) =
S (a n b ) S (a u b )'
(7)
где S (х) - площадь полигона х.
Поля ff и /¿p считаются однозначно сопоставленными при выполнении следующего условия: J (f'„f, fjp )> 0,5 и не существует другого такого поля ff или fXp, для которого выполнялось бы J(frf,tixp)>0,5 или J(fr'ef,feXp)> 0,5 соответственно. Обозначим множество однозначно сопоставленных элементов из Fref и Fexp как Fone2one':
F0ne2one _ {{ P2,■■■, PNone2one } , Ру ~ (fref, fexp )
(8)
где Nопе2опе - количество сопоставленных полей. Результирующее значение качества распознавания полей вычисляется по следующей формуле:
DICEohi = 2-
No,
Nexp ^ Nref
-•100%.
(9)
Это значение составляет 100 %, если каждому полю из Гге/ можно однозначно сопоставить поле из Гехр.
4. Результаты экспериментов
Результирующие значения описанных метрик представлены в табл. 4. Предложенный малопараметрический алгоритм с историческими данными на вход обозначен как ЬР. Алгоритмом оконтуривания полей на основе глубокого обучения, предложенный в работе [22], принимающий на вход мгновенные данные, обозначен как БЬ. Метрики рассчитывались для двух фрагментов, выбранных для тестирования (см. рис. 1).
Табл. 4. Результаты оценки качества алгоритмов оконтуривания
Metric LP DL [22]
DICEobj 51,25 46,28
DICE 86,41 88,74
OA 0,86 0,87
Алгоритм ЬР показывает наилучший результат по метрике Б1СЕоЬ], то есть предлагаемый алгоритм лучше находит и разделяет поля. По пиксельным метрикам алгоритм БЬ немного опережает ЬР. Как упоминалось в предыдущем параграфе, пиксельные метрики имеют низкую чувствительность к ошибкам недостаточной и избыточной сегментации. Этот эффект может быть продемонстрирован на результатах работы сравниваемых алгоритмов. На рис. 8 приведен небольшой фрагмент одного из тестовых изображений и границы, полученные алгоритмами ЬР и БЬ, а
также разметка (черная линия). Результат алгоритма ВЬ (красная линия) содержит явные ошибки недостаточной сегментации, которых не наблюдается у ЬР (синяя линия). В то же время значения 01СЕ, рассчитанные для этого отдельного фрагмента, ошибочно показывают, что результат ВЬ лучше: 97 % для ВЬ и 94 % для ЬР. Значения метрики В1СЕоЪ1, напротив, позволяют правильно проранжировать результаты алгоритмов на этом отдельном фрагменте: 20 % для ВЬ и 49 % для ЬР.
Продолжим качественный анализ результатов, обратившись к рис. 9. На этом фрагменте также видно, что алгоритм ВЬ (красная штриховая линия) часто объединяет поля, тогда как ЬР (синяя штриховая линия) лучше разделяет поля, но иногда детектирует рваную границу там, где она должна быть прямой, как на верхнем правом и нижнем левом фрагментах рисунка. На рис. 10 также можно заметить неточ-
ность границ, найденных ЬР, а также множество ложноположительных полей, найденных алгоритмом ВЬ прямо посреди леса.
Рис. 8. Сравнение результатов DL и LP с эталонной разметкой (черная линия). Красная линия - ответ DL, синяя - ответ LP. Для приведенного фрагмента значение DICE составляет 97 % для DL и 94 % для LP, значение DICEobj - 20 % и 49 % соответственно
Рис. 9. Сравнение границ БЬ и ЬР. Красная штриховая линия - ответы ВЬ, синяя штриховая линия - ответы ЬР. Обе штриховые линии прозрачны, а разметка не приводится, чтобы лучше было видно, как результаты алгоритмов соответствуют реальным полям, различимым на изображении
Также мы провели эксперимент по сравнению предложенного алгоритм ЬР с тремя его модификациями, в каждой из которых изменена одна из частей алгоритма. В табл. 5 приведены описания этих модификаций и результаты оценки их качества. Как видно из таблицы, наибольшее влияние на общее качество как по метрике В1СЕоЪ1, так и по В1СЕ оказывает использование исторических данных вместо мгновенных (23,54 % для мгновенных данных и 51,25 % для исторических). Второй по важности особенностью Рис. 10. Сравнение результатов БЬ и ЬР с разметкой. полного алгори^ша ЬР оказьшаетс^ тот факт, что де-
Красная штриховая линия - ответы БЬ, синяя пунктирная тектир°вание границ, пр°в°дится на мгн°венных: дан-линия - ответы ЬР, сплошная черная линия - эталонная ных, после чего агрегируются уже карты границ разметка (29,63 % против 51,25 %). Это не соответствует ре-
зультатам по DICE, которая показывает близкие значения для всех модификаций с историческими дан-
В дальнейшем качество оконтуривания может быть улучшено за счет объединения глубокого обучения и предложенного метода, а именно за счет включения обученной нами U-Net модели в качестве модуля детектора полей в наш метод. С другой стороны, улучшение точности маски границ также позволит повысить качество. Такого улучшения можно ожидать, например, при замене обычного метода Оцу, использующегося при бинаризации агрегированных границ, на алгоритм, обобщенный для случая несбалансированных классов [55]. Еще одна возможность для развития связана с формой полей. Для разных стран и территорий характерны разные формы, но в пределах одного региона поля часто похожи, за счет чего можно ограничить пространство поиска решений, как это было сделано в исследовании по распознаванию дорожной разметки [56, 57]. Кроме того, поиск мгновенных границ можно выполнять на специальной проекции мультиспектрального изображения, полученной методом контраст-сохраняющей визуализации [58].
Заключение
В данной работе рассмотрена задача оконтурива-ния сельскохозяйственных полей по открытым спутниковым данным Sentinel-2. Предложен малопараметрический алгоритм, основанный на использовании классических инструментов обработки изображений и исторических данных индекса MSAVI2. Предлагаемый алгоритм относится к гибридному подходу, то есть обнаружение границ и потенциальных полей выполняется независимо. Для обнаружения границ мы предлагаем использовать детектор Кэнни, а для обнаружения полей — бинаризацию по методу Оцу.
Проведенный нами эксперимент подтвердил, что подход на исторических данных, представленный нашим малопараметрическим алгоритмом, даёт более точные результаты, чем оконтуривание по мгновенным данным, представленное современным нейросе-тевым решением. При этом для настройки параметров предложенного алгоритма требуется выборка в 7 раз меньше, чем для обучения метода на мгновенных данных. Предложенный алгоритм прост в реализации и не требует использования ресурсоёмких вычислительных машин, оснащенных GPU.
Мы предоставляем исходный код алгоритма и экспертную разметку полей. Репозиторий разметки
ными. Однако, как было показано выше (рис. 8), метрика DICE обладает существенными недостатками.
также содержит предварительно вычисленные примеры изображений, которые используются в качестве входных данных для алгоритма.
Благодарности
Исследование выполнено при поддержке Российского научного фонда (проект № 20-61-47089).
References
[1] Garcia-Pedrero A, et al. The outlining of agricultural plots based on spatiotemporal consensus segmentation. Remote Sens 2018; 10: 1991. DOI: 10.3390/rs10121991.
[2] Steven MD, Clark JA, eds. Applications of remote sensing in agriculture. Elsevier; 2013.
[3] Rokhmana CA. The potential of UAV-based remote sensing for supporting precision agriculture in Indonesia. Procedia Environ Sci 2015; 24: 245-253. DOI: 10.1016/j.proenv.2015.03.032.
[4] Campbell JB, Wynne RH. Introduction to remote sensing. Guilford Press; 2011.
[5] Cracknell AP. Introduction to remote sensing. CRC Press; 2007.
[6] Davis SM, et al. Remote sensing: the quantitative approach. McGraw-Hill College; 1978.
[7] Elachi C, Van Zyl JJ. Introduction to the physics and techniques of remote sensing. John Wiley & Sons; 2021.
[8] Camps-Valls G, et al. Remote sensing image processing. Morgan & Claypool Publishers; 2011. DOI: 10.2200/S00392ED1V01Y201107IVM012.
[9] Schowengerdt RA. Remote sensing: models and methods for image processing. Academic Press; 2006.
[10] Michishita R, et al. Empirical comparison of noise reduction techniques for NDVI time-series based on a new measure. ISPRS J Photogramm Remote Sens 2014; 91: 1728. DOI: 10.1016/j.isprsjprs.2014.01.003.
[11] Martins VS, et al. Assessment of atmospheric correction methods for Sentinel-2 MSI images applied to Amazon Floodplain Lakes. Remote Sens 2017; 9: 322. DOI: 10.3390/rs9040322.
[12] Lantzanakis G, Mitraka Z, Chrysoulakis N. Comparison of physically and image based atmospheric correction methods for Sentinel-2 satellite imagery. In Book: Karacostas T, Bais A, Nastos PT, eds. Perspectives on atmospheric sciences. Springer International Publishing Switzerland; 2017: 255-261. ISBN: 978-3-319-35095-0.
[13] Sola I, et al. Assessment of atmospheric correction methods for Sentinel-2 images in Mediterranean landscapes. Int J Appl Earth Obs Geoinf 2018; 73: 63-76. DOI: 10.1016/j.jag.2018.05.020.
[14] Silva GF, et al. Near real-time shadow detection and removal in aerial motion imagery application. ISPRS J Pho-
Табл. 5. Сравнение различных модификаций предложенного алгоритма для выделения наиболее существенных особенностей основной конфигурации алгоритма
Модификация алгоритма DICEobj DICE
Алгоритм ЬР без исторических данных (на вход поступают мгновенные снимки) 23,54 53,32
Алгоритм ЬР без агрегации детектированных границ (карта границ вычисляется по агрегированному индексу) 29,63 88,31
Алгоритм ЬР без дилатации детектированных границ 48,27 87,65
Основная конфигурация алгоритма ЬР 51,25 86,41
togramm Remote Sens 2018; 140: 104-121. DOI: 10.1016/j.isprsjprs.2017.11.005.
[15] Guo R, Dai Q, Hoiem D. Paired regions for shadow detection and removal. IEEE Trans Pattern Anal Mach Intell 2013; 35: 2956-2967. DOI: 10.1109/TPAMI.2012.214.
[16] Bocharov DA, et al. Cloud shadows detection and compensation algorithm on multispectral satellite images for agriculture regions. J Commun Technol Electron 2022; 67: 728-739. DOI: 10.1134/S1064226922060171.
[17] Deshpande AM, Patale SR, Roy S. Removal of line striping and shot noise from remote sensing imagery using a deep neural network with post-processing for improved restoration quality. Int J Remote Sens 2021; 42: 73577380. DOI: 10.1080/01431161.2021.1957512.
[18] Crommelinck S, et al. Review of automatic feature extraction from high-resolution optical sensor data for UAV-based cadastral mapping. Remote Sens 2016; 8: 689. DOI: 10.3390/rs8080689.
[19] Torre M, Radeva P. Agricultural-field extraction on aerial images by region competition algorithm. Proc 15th Int Conf on Pattern Recognition (ICPR-2000) 2000; 1: 313316. DOI: 10.1109/ICPR.2000.905337.
[20] Wagner MP, Oppelt N. Extracting agricultural fields from remote sensing imagery using graph-based growing contours. Remote Sens 2020; 12: 1205. DOI: 10.3390/rs12071205.
[21] Joel D. Semi-automatic detection of field boundaries from highresolution satellite imagery. PhD Thesis, Wageningen University 2015. DOI: 10.13140/RG.2.1.4931.8804.
[22] Garcia-Pedrero A, et al. Deep learning for automatic outlining agricultural parcels: Exploiting the land parcel identification system. IEEE Access 2019; 7: 158223-158236. DOI: 10.1109/ACCESS.2019.2950371.
[23] Ji CY. Delineating agricultural field boundaries from TM imagery using dyadic wavelet transforms. ISPRS J Photogramm Remote Sens 1996; 51(6): 268-283. DOI: 10.1016/0924-2716(95)00017-8.
[24] Watkins B, Van Niekerk A. A comparison of object-based image analysis approaches for field boundary delineation using multi-temporal Sentinel-2 imagery. Comput Electron Agric 2019; 158: 294-302. DOI: 10.1016/j.compag.2019.02.009.
[25] Canny J. A computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell 1986; PAMI-8: 679698. DOI: 10.1109/TPAMI.1986.4767851.
[26] Waldner F, Diakogiannis FI. Deep learning on edge: Extracting field boundaries from satellite images with a con-volutional neural network. Remote Sens Environ 2020; 245: 111741. DOI: 10.1016/j.rse.2020.111741.
[27] García-Pedrero A, Gonzalo-Martín C, Lillo-Saavedra M. A machine learning approach for agricultural parcel delineation through agglomerative segmentation. Int J Remote Sens 2017; 38: 1809-1819. DOI: 10.1080/01431161.2016.1278312.
[28] Aung HL, et al. Farm parcel delineation using spatiotemporal convolutional networks. Proc IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops (CVPRW-2020) 2020: 340-349. DOI: 10.1109/CVPRW50498.2020.00046.
[29] Belgiu M, Csillik O. Sentinel-2 cropland mapping using pixel-based and object-based time-weighted dynamic time warping analysis. Remote Sens Environ 2018; 204: 509523. DOI: 10.1016/j.rse.2017.10.005.
[30] Watkins B, Van Niekerk A. Automating field boundary delineation with multi-temporal Sentinel-2 imagery. Comput
Electron Agric 2019; 167: 105078. DOI: 10.1016/j.compag.2019.105078.
[31] North HC, Pairman D, Belliss SE. Boundary delineation of agricultural fields in multitemporal satellite imagery. IEEE J Sel Top Appl Earth Obs Remote Sens 2019; 12: 237-251. DOI: 10.1109/JSTARS.2018.2884513.
[32] Yan L, Roy DP. Automated crop field extraction from multi-temporal Web Enabled Landsat Data. Remote Sens Environ 2014; 144: 42-64. DOI: 10.1016/j.rse.2014.01.006.
[33] Singh S, Suresh M, Jain K. Land Information Extraction with Boundary Preservation for High Resolution Satellite Image. International Journal of Computer Applications 2015; 120: 39-43. DOI: 10.5120/21243-4014.
[34] Persello C, et al. Delineation of agricultural fields in smallholder farms from satellite images using fully convolutional networks and combinatorial grouping. Remote Sens Environ 2019; 231: 111253. DOI: 10.1016/j.rse.2019.111253.
[35] Wagner MP, Oppelt N. Deep learning and adaptive graph-based growing contours for agricultural field extraction. Remote Sens 2020; 12: 1990. DOI: 10.3390/rs12121990.
[36] Zhang H, et al. Automated delineation of agricultural field boundaries from Sentinel-2 images using recurrent residual U-Net. Int J Appl Earth Obs Geoinf 2021; 105: 102557. DOI: 10.1016/j.jag.2021.102557.
[37] Yerlygin LA, Teplyakov LM. Improvement of a line segment detector based on a neural network by adding engineering features [In Russian]. Sensory Systems 2021; 35: 50-54. DOI: 10.31857/S0235009221010042.
[38] Teplyakov L, et al. Line detection via a lightweight CNN with a Hough layer. Proc SPIE 2020; 11605, 116051B. DOI: 10.1117/12.2587167.
[39] North HC, Pairman D, Belliss SE. Paddock segmentation using multi-temporal satellite imagery. Proc IEEE Geosci-ence and Remote Sensing Symposium 2014: 1596-1599. DOI: 10.1109/IGARSS.2014.6945951.
[40] Qi J, et al. A modified soil adjusted vegetation index. Remote Sens Environ 1994; 48: 119-126. DOI: 10.1016/0034-4257(94)90134-1.
[41] Otsu N. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern Syst 1979; 9: 62-66.
[42] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. In Book: Medical image computing and computer-assisted intervention - MICCAI 2015. Cham, Switzerland: Springer; 2015: 234-241. DOI: 10.1007/978-3-319-24574-4_28.
[43] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale-image recognition. arXiv Preprint. 2014. Sorce: https://arxiv.org/abs/1409.1556. DOI: 0.48550/arXiv.1409.1556.
[44] Rakhlin A, Davydow A, Nikolenko S. Land cover classification from satellite imagery with U-net and lovasz-Softmax loss. Proc CVPR Workshops 2018: 262-266.
[45] Masoud KM, Persello C, Tolpekin VA. Delineation of agricultural field boundaries from Sentinel-2 images using a novel super-resolution contour detector based on fully convolutional networks. Remote Sens 2019; 12(1): 59. DOI: 10.3390/rs12010059.
[46] Yao J, et al. The classification method study of crops remote sensing with deep learning, machine learning, and Google Earth engine. Remote Sens 2022; 14(12): 2758. DOI: 10.3390/rs14122758.
[47] Zhang Z, et al. Cloudformer V2: Set prior prediction and binary mask weighted network for cloud detection. Mathematics 2022; 10(15): 2710.1.
[48] Kuang B, et al. Rock segmentation in the navigation vision of the planetary rovers. Mathematics 2021; 9(23): 3048. DOI: 10.3390/math9233048.
[49] Zhang Z, et al. HA-RoadFormer: Hybrid attention transformer with multi-branch for large-scale high-resolution dense road segmentation. Mathematics 2022; 10(11): 1915. DOI: 10.3390/math10111915.
[50] Clinton N, et al. Accuracy assessment measures for object-based image segmentation goodness. Photogramm Eng Remote Sens 2010; 76(3): 289-299.
[51] Long J, et al. Delineation of agricultural fields using multitask BsiNet from high-resolution satellite images. Int J Appl Earth Obs Geoinf 2022; 112: 102871. DOI: 10.1016/j.jag.2022.102871.
[52] Tetteh GO, Gocht A, Conrad C. Optimal parameters for delineating agricultural parcels from satellite images based on supervised Bayesian optimization. Comput Electron Agric 2020; 178: 105696. DOI: 10.1016/j.compag.2020.105696.
[53] Zhan Q, et al. Quality assessment for geo-spatial objects derived from remotely sensed data. Int J Remote Sens 2005; 26(14): 2953-2974. DOI: 10.1080/01431160500057764.
[54] Lucieer A, Stein A. Existential uncertainty of spatial objects segmented from satellite sensor imagery. IEEE Trans Geosci Remote Sens 2002; 40(11): 2518-2521. DOI: 10.1109/TGRS.2002.805072.
[55] Ershov EI, et al. A generalization of Otsu method for linear separation of two unbalanced classes in document image binarization. Computer Optics 2021; 45(1): 66-76. DOI: 10.18287/2412-6179-CO-752.
[56] Panfilova E, Shipitko OS, Kunina I. Fast Hough transform-based road markings detection for autonomous vehicle. Proc SPIE 2020; 11605: 116052B. DOI: 10.1117/12.2587615.
[57] Panfilova EI, Kunina IA. Using window hough transform for detecting elongated boundaries in an image [In Russian]. Sensory Systems 2020; 34: 340-353. DOI: 10.31857/S0235009220030075.
[58] Sidorchuk DS, Volkov VV, Nikonorov AV. Comparison of the nonlinear contrast-preserving visualization method for multispectral images with well-known decolorization algorithms [In Russian]. Information Processes 2020; 20: 41-54.
Сведения об авторах
Павлова Мария Александровна в 2018 году окончила бакалавриат Московского государственного технического университета им. Баумана и окончила магистратуру в 2020. С 2019 года работает в Лаборатории зрительных систем Института проблем передачи информации РАН. Область научных интересов: компьютерное зрение, обработка изображений. E-mail: pavlovamar96@smail.com .
Тимофеев Валерий Андреевич, учился в Московском инженерно-физическом институте, в 2020 году получил диплом специалиста. С 2020 года работает в Лаборатории зрительных систем Института проблем передачи информации РАН. Научные интересы: анализ изображений, компьютерное зрение, теория цвета. E-mail: timofeevval21@smail.com .
Бочаров Дмитрий Александрович в 2013 году окончил бакалавриат Московского государственного технического университета им. Баумана. В 2015 году окончил магистратуру Московского физико-технического института. С 2015 года - младший научный сотрудник Лаборатории зрительных систем Института проблем передачи информации РАН. Область научных интересов: компьютерное зрение, обработка изображений. E-mail: bocharov.mitry@gmail.com .
Сидорчук Дмитрий Сергеевич в 2013 году окончил бакалавриат Высшей школы экономики. В 2015 году окончил магистратуру Московского физико-технического института. С 2015 года - младший научный сотрудник Лаборатории зрительных систем Института проблем передачи информации РАН. Область научных интересов: компьютерное зрение, обработка изображений. E-mail: ds-sidorchuk@yandex.ru .
Нурмухаметов Альмир Линарович в настоящее время учится в Московском государственном университете и в 2025 году получит диплом специалиста. С 2021 года работает в Лаборатории зрительных систем Института проблем передачи информации РАН. Область научных интересов: компьютерное зрение, обработка изображений. E-mail: nurm. almir@gmail.com .
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета, с 2018 года заведующий лаборатории интеллектуального анализа видеоданных Института систем обработки изображений РАН. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распреде-лённые вычисления, вычисления с использованием графических процессоров. E-mail: artniko@gmail. com .
Ярыкина Мария Сергеевна. Училась в Московском государственном университете им. Ломоносова, в 2002 получила диплом специалиста. В 2008 году получила степень кандидата физико-математических наук (по
дискретной математике). С 2018 года является младшим научным сотрудником в Лаборатории зрительных систем Института проблем передачи информации РАН. E-mail: yarykina@yisillect.com .
Кунина Ирина Андреевна в 2015 году окончила магистратуру Московского физико-технического института. В 2020 году получила степень кандидата технических наук. С 2016 года работает младшим научным сотрудником Лаборатории зрительных систем Института проблем передачи информации РАН. Область научных интересов: анализ изображений, компьютерное зрение, робототехника, оптика. E-mail: kunina@iitp.ru .
Смагина Анна Александровна получила степень бакалавра по прикладной математике и физике Самарского государственного аэрокосмического университета в 2013, и степень магистра по специальности «Физика высоких энергий» в Московском физико-техническом институте в 2016. С 2017 работает научным сотрудником в Лаборатории зрительных систем Института проблем передачи информации РАН. Автор более 30 статей. Область научных интересов включает техническое цветовое зрение и трехмерное компьютерное зрение. E-mail: smagina1995@gmail.com .
Загарев Михаил Александрович изучал вычислительную математику и кибернетику в Московском государственном университете и изучал искусственный интеллект в Гарвардском университете. Работал директором по информационным технологиям в каршеринге Делимобиль и экспертом Московской школы управления СКОЛКОВО. Исследовательские интересы: в цифровом сельском хозяйстве, дистанционном зондировании, статистическом анализе, моделировании климата. E-mail: mzagarev@gmail.com .
ГРНТИ: 28.23.15
Поступила в редакцию 07 октября 2022 г. Окончательный вариант - 12 декабря 2022 г.
Low-parameter method for delineation of agricultural fields in satellite images based on multi-temporal MSAVI2 data
M.A. Pavlova1, V.A. Timofeev1, D.A. Bocharov1, D.S. Sidorchuk1, A.L. Nurmukhametov1, A.V. Nikonorov 2,3, M.S. Yarykina1, I.A. Kunina1, A.A. Smagina1, M.A. Zagarev1 1 Institute for Information Transmission Problems, RAS, 127051, Moscow, Russia, Bolshoy Karetny per. 19, build. 1;
2IPSI RAS - Branch of the FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
3 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34
Abstract
This paper considers an issue of delineating agricultural fields in satellite images. In this task we follow a multi-temporal data approach. We show that on such data, good quality can be achieved using a simple low-parameter method. The method consists of a combination of a field detector and an edge detector. The field detection is based on an Otsu thresholding technique and for the edge detection we use a Canny detector. Facing a lack of available datasets and aiming to estimate the proposed algorithm, we prepared and published our dataset consisting of 18,859 expertly annotated fields using Sentinel-2 data. We implement one of the state-of-the-art deep-learning approaches and compare it with the proposed method on our dataset. The experiment shows the proposed simple multi-temporal algorithm to outperform the state-of-the-art instant data approach. This result confirms the importance of using multi-temporal data and for the first time demonstrates that the delineation problem can be solved at a lower cost without loss of quality. Our approach requires a significantly less amount of training data when compared with the NN-based one. The dataset of agricultural fields used in the work and the proposed algorithm implementation in Python are published in open access.
Keywords: low-parameter algorithm, computer vision, fields delineation, remote sensing, multi-temporal data, open dataset.
Citation: Pavlova MA, Timofeev VA, Bocharov DA, Sidorchuk DS, Nurmukhametov AL, Ni-konorov AV, Yarykina MS, Kunina IA, Smagina AA, Zagarev MA. Low-parameter method for delineation of agricultural fields in satellite images based on multi-temporal MSAVI2 data. Computer Optics 2023; 47(3): 451-463. DOI: 10.18287/-6179-CO-1235.
Acknowledgements: This work was supported by the Russian Science Foundation (Project No. 20-61-47089).
Authors' information
Mariia Aleksandrovna Pavlova. She studied at the Bauman Moscow State Technical University, where she obtained her Bachelor degree in 2018. In 2020 she obtained Master degree at Bauman Moscow State Technical University. Since 2019 she works with the Vision Systems Lab at the Institute for Information Transmission Problems RAS. Her research interests are computer vision, image processing. E-mail: pavlovamar96@gmail. com .
Valerii Andreevich Timofeev. He studied at the National Research Nuclear University MEPHI, where he obtained his Specialist degree in 2020. Since 2020 he works with the Vision Systems Lab at the Institute for Information Transmission Problems RAS. His research interests are image analysis, computer vision, color science. E-mail: timofeevval21@gmail.com .
Dmitrii Aleksandrovich Bocharov. He studied at the Bauman Moscow State Technical University, where he obtained his Bachelor degree in 2013. In 2015 he obtained Master degree at Moscow Institute of Physics and Technology (State University). Since 2015 he is a Junior Researcher in the Vision Systems Lab at the Institute for Information Transmission Problems RAS. His research interests are computer vision, image processing. E-mail: bocharov.mitry@gmail.com .
Dmitrii Sergeevich Sidorchuk. He studied at the National Research University Higher School of Economics, where he obtained his Bachelor degree in 2013. In 2015 he obtained Master degree at Moscow Institute of Physics and Technology (State University). Since 2015 he is a Junior Researcher in the Vision Systems Lab at the Institute for Information Transmission Problems RAS. His research interests are computer vision, image processing. E-mail: ds-sidorchuk@yandex. ru .
Almir Linarovich Nurmukhametov. He is currently studying at Moscow State University and will receive a specialist degree by 2025. Since 2021 he works with the Vision Systems Lab at the Institute for Information Transmission Problems RAS. His research interests are computer vision, image processing. E-mail: nurm.almir@smail.com .
Artem Vladimirovi Nikonorov, (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as a professor at Supercomputing and Computer Science sub-department of Samara University, head of Video Intelligence Lab of Image Processing Institute of RAS. He has more than 70 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: artniko@smail.com .
Mariya Sergeevna Yarykina. She studied at the Moscow State University, where she obtained her Specialist degree in 2002. In 2008 she got a PhD degree in Discrete Mathematics. Since 2018 she is a Junior Researcher in the Vision Systems Lab at the Institute for Information Transmission Problems RAS. Her research interests are computer vision, image processing. E-mail: yarykina@yisillect.com .
Irina Andreevna Kunina. In 2015 she got a master's degree at Moscow Institute of Physics and Technology (State University). In 2020 she got a PhD degree in Theoretical Foundations of Computer Science. Since 2016 she has been working as a Junior Researcher in the Vision Systems Lab at the Institute for Information Transmission Problems RAS. The research interests are image analysis, computer vision, robotics, optics. E-mail: kunina@iitp.ru .
Anna Aleksandrovna Smagina. She received the B.S. degree in Applied Math and Physics from Samara State Aerospace University, Russia, in 2013, and the M.S. degree in High Energy Physics from Moscow Institute of Physics and Technology, Russia in 2016. From 2017, she has been working as researcher in the Vision Systems Laboratory, Institute for Information Transmission Problems, Russian Academy of Sciences (Kharkevich Institute), Moscow. Author of more than 30 articles. Research interests include technical color vision and 3D computer vision. E-mail: smagina1995@gmail.com .
Mikhail Aleksandrovich Zagarev. He studied Computational Mathematics and Cybernetics at the Moscow State University and studied Artificial Intelligence at the Harvard University. He worked as a CIO in Delimobil carsharing and as an expert in Moscow School of Management SKOLKOVO. His research interest consist in digital farming, remote sensing, statistical analysis, climate modeling. E-mail: mzagarey@gmail.com .
Received October 07, 2022. The final version - December 12, 2022.
