CC BY
31
Разработка глубокой нейронной сети для сегментации проблемных участков сельскохозяйственных полей
1 ту
И.С. Белоусов , А.Ф. Рогачев '
1 Волгоградский государственный аграрный университет Волгоградский государственный технический университет
Аннотация. Для решения проблем аграрного производства могут применяться методы искусственного интеллекта. Оценка состояния посевов сельскохозяйственных культур на значительных площадях, даже при задействовании беспилотных летательных аппаратов, является трудоемкой задачей. Особенностью задачи такой оценки является многофакторность анализируемых структур, требующих применения системного подхода на всех этапах исследования от формирования баз данных (БД) цветных изображений до интеллектуального решения задач их анализа. Представлены результаты анализа ^^ архитектуры искусственных нейронных сетей (ИНС) и ее ограниченности для задачи сегментации изображений. Целью исследования является обоснование архитектуры разработки сегментационной искусственной нейросети (ИНС) для выявления проблемных участков сельскохозяйственных полей. Проверка гипотезы преимущества сегментационной сети проводилась на архитектуре DeepLabV3 ResNet50. Численными экспериментами установлено, что повышение точности сегментации изображений участков сельскохозяйственных полей сдерживается ограниченным разрешением и точностью ручной разметки dataset. Построенные архитектуры могут использоваться в качестве алгоритмического ядра для создания SaaS-систем, при этом быстродействие используемой конфигурации ИНС может иметь решающее значение.
Ключевые слова: цветные изображения, задача сегментации, участки агрополей, глубокая нейронная сеть, архитектура нейронных сетей, сверточные слои.
Введение
В документах Правительства РФ (О государственной программе развития сельского хозяйства и регулирования рынков сельскохозяйственной продукции, сырья и продовольствия: Постановление Правительства Российской Федерации от 14 июля 2021 г. № 717) приведено, что «... обеспечения развития АПК посредством внедрения цифровых технологий ..., а также оцифровка всех циклов сельскохозяйственного производства» является актуальной задачей. Исследователями информатизации аграрного производства подчеркивается необходимость создавать «. информационную среду предприятия, состоящую из взаимосвязанных процедур слияния информации от ее составных функциональных систем:
системы автоматизированного мониторинга...» [1, стр. 2], включая системы «автоматизированного распознавания специфики состояния элементов растительной поверхности.». При этом весьма важной является оценка мелиоративного состояния полей и посевов сельскохозяйственных культур на протяжении всего периода их возделывания.
Оценка особенностей состояния элементов сельскохозяйственных растительных поверхностей на значительных по протяженности площадях, фиксируемая и анализируемая в различных частях спектра, является достаточно трудоемкой [2-4]. Компьютерная программа [3] позволяет обучать искусственные нейронные сети (ИНС) архитектуры U-Net и FCN для решения задач сегментации изображений растений с целью выявления фенотипических признаков растений.
Исходные информационные потоки данных дистанционного зондирования, спутникового мониторинга и других функциональных систем, включая применение беспилотных летательных аппаратов (БПЛА) - для автоматизации этих процессов можно применять такие элементы искусственного интеллекта, как машинное обучение и наиболее универсальные технологии на основе глубоких нейронных сетей, а также их гибридные сочетания. [5, 6].
Особенностью задачи оценки сельскохозяйственных земель различного назначения является многофакторность анализируемых структур, требующих применения системного подхода на всех этапах исследования от формирования БД цветных изображений до интеллектуального решения задач их анализа в целях управления агропроизводством [7-9].
Отдельные результаты решения задачи классификации состояния агрополей, представленные в работах [5, 10], характеризуют ограниченность функциональной постановки и решения задачи классификации (рис. 1), что обусловило переход к более сложной задаче сегментации [11], позволяющей
получать более значимые и востребованные сельским хозяйством результаты [12].
Рис. 1. - Формирование маски на основе классификации
Получено авторами
В то же время, ряд специфических вопросов размерности и формирования БД, обоснования архитектуры и гиперпараметров ИНС для задач интеллектуального обеспечения аграрного производства остается открытым и требует дополнительного решения.
Методы и материалы
С целью подготовки датасета для решения задачи 4-х классовой сегментации цветных изображений агрополей размерностью 200х200 пикселей, были размечены изображения по следующим классам: хорошее поле, поле с дефектами, прокультивированное поле (не засеянное), не поле (прочие объекты). Переход к сегментационной сети позволил перейти от распознавания фрагментов агрополей к попиксельной сегментации (распознаванию) классов изображения. При разметке датасета маску не накладывали на исходное изображение, а формировали в графическом редакторе.
В качестве фреймворка при разработке использовался РуТог^ с его встроенными библиотеками [13]. Варианты архитектуры сегментационной нейросети выбирались из доступных для PyTorch, поскольку данный
M
инструмент является основным в исследовании. Точность архитектуры оценивалась на основе датасета «COCO train2017».
Для проверки гипотезы преимущества сегментационной сети была выбрана сеть DeepLabV3 ResNet50, так как имеет схожую точность с DeepLabV3 ResNet101, но при этом быстрее. Архитектурно она представляет собой DeepLabV3 c backbone в виде ResNet50, которая содержит структуру из последовательности свёрточных слоёв, где каждый последующий результат объединяется с предыдущим [14, 15].
Использовались известные критерии качества сегментации «Dice coefficient» (1) и «Jaccard coefficient» (2)
J(A, В)
(1)
\АГ)В\
\AUB\ (2)
Обучение ИНС реализовывалось на графическом ускорителе с использованием технологии CUDA. Применялся графический процессор Nvidia RTX 2080ti, поддерживаемый библиотекой CUDA Toolkit 11.4. При обучении сети использовали различные виды аугментации, что позволило разнообразить датасет.
Результаты
Ранее выполненные исследования основывались на классификации заданных изображений 200x200 пикселей, что давало только общее понимание о проблеме, для случая, когда выявляемая проблема участка поля имела достаточно большие размеры. В качестве архитектуры использовалась DeepLabV3 ResNet50.
Сложность обработки изображений при таком подходе квадратично растёт при увеличении линейного размера изображений, что сильно
и
повышает требования к аппаратной части. Это обусловило применение нейросети на основе сегментационного подхода (рис. 2).
Рис. 2. - Сегментация изображений участков агрополей. Получено авторами
Архитектура DeepLabV3 ИНС использует блоки сверточных слоев «Conv» для выделения специфических «особенностей» изображений (рис. 3).
Рис. 3. - Архитектура ИНС DeepLabV3 [15] Выделенные специфические «особенности» изображений (рис. 3) могут быть использованы для решения задачи сегментации.
Затем нейросеть компонует «новое» изображение из различных стадий обработки исходного, и ещё раз конкатенирует с конечным результатом работы backbone.
В проведенных экспериментах обучение ИНС проводилось, как для сжатых изображениях, так и без него, при помощи дробления исходного изображения на изображения 500x500 пикселей.
В результате удалось получить более детализированные маски для исходных изображений (Рис. 4).
в)
Рис. 4. - Сегментация изображения участков агрополей: а) Исходное изображение; б) Обработка кластерами размером 500x500; в) Обротка изображения при масштабировании до 500x500. Получено авторами.
Показатели 1ои (пересечение по объединению), характеризующие качество распознавания на тестовой выборке для различных архитектур ИНС, представлены в Табл. 1.
Таблица 2. Сравнение качества распознавания различных архитектур ИНС
Архитектура Точность сети
FCN ResNet50 61 91
FCN ResNet101 64 92
DeepLabV3 ResNet50 66 92
DeepLabV3 ResNet101 67 92
Данные табл. 1 показывают, что архитектура DeepLabV3 ResNet50 и DeepLabV3 ResNet101 демонстрируют более высокое качество работы по сравнению с FCN ResNet101.
Заключение
Анализ результатов применения сегментирующей нейросети показал, что ИНС рассмотренных архитектур DeepLabV3 ResNet50 могут решать задачи сегментации и выявления мелиоративного состояния агрополей и развития растений, при этом последняя из упомянутых архитектур продемонстрировала преимущества.
Повышение точности сегментации изображений распознаваемых участков сельскохозяйственных полей сдерживается ограниченным разрешением и точностью ручной разметки dataset, используемой для обучения.
Построенные архитектуры могут использоваться в качестве алгоритмического ядра для создания SaaS-систем, при этом быстродействие используемой конфигурации ИНС может иметь решающее значение.
В качестве направления дальнейших исследований планируется совершенствование БД и разрабатываемой программы для обеспечения возможности анализа временных рядов ретроспективных изображений с
целью выявления характеристик и интеллектуальной оценки динамики развития растений с использованием нейросетевых технологий.
Исследование выполнено при финансовой поддержке РФФИ в рамках проекта №20-37-90142.
Литература
1. Вакуленко Д., Кравец А. Реинжиниринг бизнес-процессов агропромышленных предприятий в условиях сквозной цифровой трансформации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика . 2021. №. 3. С. 115-125. URL: doi.org/10.24143/2072-9502-2021-3-115-125 (дата обращения: 02.08.2022).
2. Melikhova E.V., Rogachev A.F. Computer simulation and optimization of parameters of configuration of the contour of moistening under drip irrigation of agricultures. Studies in Computational Intelligence. 2019. Т. 826. pp. 1193-1201.
3. Шадрин Д.Г. Программный комплекс для фенотипирования растений и оценки динамики их роста с помощью подходов искусственного интеллекта / Свидетельство о регистрации программы для ЭВМ №2022616632, 15.04.2022. URL: elibrary.ru/item.asp?id=43901985 (дата обращения: 01.08.2022).
4. Saiz-Rubio V. From Smart Farming towards Agriculture 5.0: A Review on CropDataManagement. URL: mdpi.com/2073-4395/10/2/207/htm (дата обращения: 08.12.2020).
5. Рогачев А.Ф., Е.В. Мелихова, Плещенко Т.В. Нейросетевая система управления программируемым аграрным производством с использованием ретроспективных данных и результатов дистанционного зондирования: монография. Волгоград : ФГБОУ ВО Волгоградский ГАУ, 2021. 172 с.
6. Комарова А. Ф., Журавлева И. В., Яблоков В. М. Открытые мультиспектральные данные и основные методы дистанционного
зондирования в изучении растительного покрова // Принципы экологии. 2016. № 1. С. 40-74.
7. Лила В.Б. Алгоритм и программная реализация адаптивного метода обучения искусственных нейронных сетей // Инженерный вестник Дона. 2012. №1. URL: ivdon.ru/magazine/archive/n1y2012/626.
8. Чурсин И. Н., Филиппов Д. В., Горохова И. Н. Распознавание сельскохозяйственных культур по мультиспектральным космическим снимкам высокого разрешения // Вестн. компьютер. и информац. технологий. 2018. № 11. С. 22-27.
9. Филиппов Д. В., Чурсин И. Н. Оценка качества цифровых аэрофотоснимков // Вестн. компьютер. и информац. технологий. 2018. № 1. С. 34-39.
10. Курганович К.А., Шаликовский А.В., Босов М.А., Кочев Д.В. Применение алгоритмов искусственного интеллекта для контроля паводкоопасных территорий // Водное хозяйство России: проблемы, технологии, управление. 2021. № 3. С. 6-24.
11. Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET. Инженерный вестник Дона, 2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4433.
12. Алексеев П. П., Квятковская И. Ю. Применение нейронных сетей в системе распознавания промысловых гидробионтов в условиях повышенной флуктуации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2022. № 2. С. 76-86. URL: doi.org/10.24143/2072-9502-2022-2-76-86.
13. Мелешко И.В., Прохоренко В.А. Разработка приложения для семантической сегментации изображений с использованием Python, PyTorch, OpenCV и Albumentations // Новые математические методы и компьютерные
технологии в проектировании, производстве и научных исследованиях. Материалы XXII Республиканской научной конференции студентов и аспирантов. Гомель, 2019. С. 142-143.
14. Tsang Sik-Ho. Review: DeepLabv3. Atrous Convolution (Semantic Segmentation). URL: towardsdatascience.com/review-deeplabv3-atrous-convolution-semantic-segmentation-6d818bfd1d74. (дата обращения: 22.07.2022)
15. Fezan. Review DeepLabv3 (Semantic Segmentation). 2020. URL: medium.com/swlh/review-deeplabv3-semantic-segmentation-52c00ddbf28d. (дата обращения: 22.07.2022)
References
1. Vakulenko D., Kravec A. Vestnik Astrahanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika i informatika. 2021. №. 3. pp. 115-125. URL: doi.org/10.24143/2072-9502-2021-3-115-125 (Data accessed 02.08.2022).
2. Melikhova E.V., Rogachev A.F. Computer simulation and optimization of parameters of configuration of the contour of moistening under drip irrigation of agricultures [Computer simulation and optimization of parameters of configuration of the contour of moistening under drip irrigation of agricultures]. Studies in Computational Intelligence. 2019. Т. 826. pp. 1193-1201.
3. Shadrin D.G. Programmnyj kompleks dlya fenotipirovaniya rastenij i ocenki dinamiki ih rosta s pomoshch'yu podhodov iskusstvennogo intellekta [Software package for plant phenotyping and evaluation of their growth dynamics using artificial intelligence approaches] / Svidetel'stvo o registracii programmy dlya EVM №2022616632, 15.04.2022. URL: elibrary.ru/item.asp?id=43901985.
4. Saiz-Rubio V. From Smart Farming towards Agriculture 5.0: A Review on CropDataManagement. URL: mdpi.com/2073-4395/10/2/207/htm (data accessed 08.12.2020).
5. Rogachev A.F., E.V. Melihova, Pleshchenko T.V. Nejrosetevaya sistema upravleniya programmiruemym agrarnym proizvodstvom s ispol'zovaniem retrospektivnyh dannyh i rezul'tatov distancionnogo zondirovaniya [Neural network control system for programmable agricultural production using retrospective data and remote sensing results]. Volgograd : FGBOU VO Volgogradskij GAU, 2021. 172 p.
6. Komarova A. F., ZHuravleva I. V., YAblokov V. M. Principy ekologii.
2016. № 1. pp. 40-74.
7. Lila V.B. Inzhenernyj vestnik Dona. 2012. №1. URL: ivdon.ru/magazine/archive/n 1y2012/626.
8. CHursin I. N., Filippov D. V., Gorohova I. N. Vestn. komp'yuter. i informac. tekhnologij. 2018. № 11. pp. 22-27.
9. Filippov D. V., CHursin I. N. Vestn. komp'yuter. i informac. tekhnologij. 2018. № 1. pp. 34-39.
10. Kurganovich K.A., Shalikovskij A.V., Bosov M.A., Kochev D.V. Vodnoe hozyajstvo Rossii: problemy, tekhnologii, upravlenie. 2021. № 3. pp. 6-24.
11. Solov'ev R.A., Tel'puhov D.V., Kustov A.G. Inzhenernyj vestnik Dona,
2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4433.
12. Alekseev P. P., Kvyatkovskaya I. YU. Vestnik Astrahanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika i informatika. 2022. № 2. pp. 76-86. URL: doi.org/10.24143/2072-9502-2022-2-76-86.
13. Meleshko I.V., Prohorenko V.A. Novye matematicheskie metody i komp'yuternye tekhnologii v proektirovanii, proizvodstve i nauchnyh
issledovaniyah [New mathematical methods and computer technologies in design, production and scientific research]. Gomel', 2019. pp. 142-143.
14. Tsang Sik-Ho. Review: DeepLabv3. Atrous Convolution (Semantic Segmentation). URL: towardsdatascience.com/review-deeplabv3-atrous-convolution-semantic-segmentation-6d818bfd1d74. (data accessed 22.07.2022).
15. Fezan (2020) Review DeepLabv3 (Semantic Segmentation). URL: medium.com/swlh/review-deeplabv3-semantic-segmentation-52c00ddbf28d. (data accessed 22.07.2022).
