CC BY
28
Нейросетевой анализ изображений в сельском хозяйстве с использованием SaaS-системы
И.С. Белоусов, А. Ф. Рогачев Волгоградский государственный аграрный университет
Аннотация: В ряде отраслей аграрного производства, включая земледелие, мелиорацию и др., существуют проблемы, решение которых требует использования искусственного интеллекта. В частности, оценка мелиоративного состояния сельскохозяйственных полей на значительных площадях, является весьма трудоемкой задачей, даже при задействовании беспилотных летательных аппаратов. Для автоматизации этих интеллектуальных подходов эффективно применять искусственные нейронные сети (ИНС), реализуемые в виде компьютерных программ. Использование программного обеспечения, как услуги (SaaS), является современным подходом к компьютерной поддержке различных интеллектуальных процессов производства, включая сельскохозяйственное. Сельское хозяйство является перспективной отраслью для внедрения таких технологий. Цель исследования - разработка методики и создание облачной SaaS-системы для выявления проблемных участков сельскохозяйственных полей с помощью ИНС. Развитие нейросетевых технологий и облачных сервисов позволяет обрабатывать большой объем информации в облаке и обеспечивать доступ пользователя к вычислительным мощностям. В статье описывается методология построения сервисной архитектуры для распознавания проблемных зон культивированных сельскохозяйственных полей, подготовки данных, обучения сети, разработки клиентской и серверной частей. Такая реализация возможна с применением таких технологий и инструментария, как CUDA, CNN, PyTorch. В результате решена задача распознавания RGB-изображений дефектных зон сельскохозяйственных полей. Установлено, что ИНС классификационного типа способны решать задачи распознавания мелиоративного состояния полей, а современные информационные технологии позволяют перенести вычисления в облако, при этом облачный сервис можно монетизировать в качестве модели SaaS.
Ключевые слова: сельское хозяйство, цветные изображения, SaaS-система, искусственная нейронная сеть, классификация изображений.
Оценка мелиоративного состояния сельскохозяйственных полей на значительных площадях, достигающих 10...50 га, является весьма трудоемкой задачей, даже при задействовании беспилотных летательных аппаратов (БПЛА). Для автоматизации этих процессов можно применять реализуемые в виде компьютерных программ искусственные нейронные сети (ИНС) различной архитектуры [1, 2].
Введение
Современным подходом к компьютерной поддержке различных процессов сельскохозяйственного производства является использование программного обеспечения, как услуги (SaaS). Различные методы, модели, инструменты и технологии оценки экономической эффективности SaaS и поддержки принятия решений по выбору способа его приобретения рассмотрены в монографии Митус К.Н. и др. [3]. В упомянутой монографии приведены методика оценки экономической эффективности использования SaaS, в сравнении с альтернативными вариантами его приобретения, а также система поддержки принятия решений (СППР), ориентированная на прикладные задачи выбора оптимального способа приобретения программного обеспечения.
В процессе обучения и использовании ИНС очень важным является сбор, формирование и разметка обучающей и проверочной выборок, в качестве входных данных [4]. Различные вопросы проектирования и использования предметно-ориентированных БД в отраслях аграрного производства, включая земледелие, рассматривали А. Гагарин, Зинченко Л.А., В. Курейчик [2], И. Михайличенко, С. Орлов, Е. Пучков [5], В. Редько, А. Созыкин [6], П. Терелянский, А. Хоперсков, М. Щербаков, Е. Мелихова [7] и другие ученые. Однако специфические вопросы формирования обучающей и проверочной выборок для конкретных задач сельскохозяйственного производства [1, 8, 9] представляют собой отдельную научно-методическую проблему, решаемую в рамках предварительно сформулированной постановки задачи распознавания цветных изображений.
Методы и материалы
В качестве цели исследования была принята разработка методики и облачного сервиса для классификации дефектных участков аграрных полей на основе глубоких ИНС.
Первоначальный набор данных состоял из 250 изображений (рис. 1). Такое количество для обучения глубокой нейросети является недостаточным даже для обучающей выборки.
а б
Рис. 1. - Типичные изображения анализируемых участков сельскохозяйственных полей:
а) эталонный участок; б) участок с дефектами развития
С целью увеличения объема входных данных использовались следующие методы аугментации:
1. Горизонтальное отображение исходных изображений;
2. Наклон изображения на 10.. .90° и 1800.
Дополнительным методом, обеспечивающим дополнение набора данных, использовалось добавление ошибочно распознанных изображений из числа тех, которые изначально не были включены в dataset. Общий размер окончательного набора данных составил 6500 изображений.
Обучение (параметризация) реализовывалось на графическом ускорителе с использованием технологии CUDA [10]. Применялся графический процессор Nvidia RTX 2080ti, поддерживаемый библиотекой
CUDA Toolkit 11.4. В качестве программной платформы применялся фреймворк Pytorch, который поддерживает такую библиотеку. В качестве базовой архитектуры была выбрана конфигурация ResNet101x16 [11]. Архитектуры ResNet использует конфигурацию параллельно соединенных сверточных слоев с различными гиперпараметрами, выходы которых объединяют между собой и с входом блока такого блока (Рис. 2).
I 256-d in
1
256,1x1,4 256, 1x1,4 total 32 256,1x1,4
+ paths
4,3x3,4 4, 3x3,4 4,3x3,4
+
4,1x1,256 4, 1x1,256 4,1x1,256
+
N-M--—^
256-d out
Рис. 2. - Базовая архитектура слоев ResNet нейросети [11]
Поисковые численные эксперименты проводились и на конфигурации ResNext101x8 и ResNext101x32. Эксперименты показали, что ИНС на основе ResNext101x8 обеспечивала меньшую точность, а использование конфигурации ResNext101x32 заметно замедлял процедуру обучения практически без прибавки точности.
Результаты
Обобщенная архитектура разработанного приложения показана на рис. 3.
'-' Client Г ч Server - CNN
Рис. 3. - Архитектура SaaS приложения
М Инженерный вестник Дона, №8 (2022) ivdon.ru/ru/magazine/arcliive/n8y2022/7863
При разработке SaaS системы использовался следующий инструментарий.
А) Серверная часть
1. REST (Representational State Transfer) и web-socket API для взаимодействия клиента с нейронной сетью
2. Предоставление статических файлов клиенту (макет, стили, а также и скрипты)
Архитектурный стиль REST представляет собой взаимодействия компонентов распределенного приложения. Интерфейс прикладного программирования (API) - включает описание способов взаимодействия компьютерных программ между собой.
Протокол связи Web-sockets по TCP-соединению обеспечивает оперативный обмен сообщениями между веб-сервером и клиентским браузером.
Для реализации SaaS применялись базовые ИТ:
1. ЯВУ Python - для организации информационного взаимодействия с сетью
2. Node.js, как среда JavaScript, построенная на Chrome V8.
3. Веб-сокеты, обеспечивающие обмен данными сервера с клиентом
Б). Клиентская часть разработанного SaaS
Клиент был реализован, как SPA (single page application) в React js + Redux. "Связь" с сервером реализована через веб-сокеты для Redux с целью оперативного отображением процесса обработки.
Технология SPA использует веб-сайт с единственным документом в качестве оболочки для всех веб-страниц (в формате HTML) и обеспечивает интерфейс пользователя посредством HTML, CSS, JavaScript, обычно через AJAX, загружаемых динамически.
М Инженерный вестник Дона, №8 (2022) ivdon.ru/ru/magazine/arcliive/n8y2022/7863
Библиотека React.js с открытым исходным кодом для разработки пользовательских интерфейсов на JavaScript, а библиотека Redux для управления приложениями, также имеет открытый исходный код.
Типичные значения показателей «loss» в процессе обучения ИНС, как результаты параметризации нейронов, представлены на рис.4.
о.о -
-1-1-1-1-1-г
О 5 10 15 20 25
Рис. 4. - Результаты обучения ИНС По графикам на рис. 4 видно, что обучение может быть остановлено на 20...25 эпохах.
Обсуждение результатов
На рис. 5 показан результат работы разработанного БааБ сервиса. На экране веб-сайта мы наблюдаем изображение, в виде исходного снимка поля с наложенной на него цветной маской. Красные зоны маски обозначают зоны незасеянных полей и не сельскохозяйственных полей вообще,
полупрозрачные красные зоны - проблемные зоны сельскохозяйственных полей.
Результаты интеллектуального распознавания и классификации могут использоваться, как для «ручного» анализа экспертом, так и для последующего использования каскадными ИНС или сторонними сервисами. Анализ результатов применения нейросети классификационного типа показал, что ИНС могут успешно решать задачи распознавания мелиоративного состояния полей и развития посевов.
Рис. 5. - Интерфейс: результат распознавания с наложенными слоями маски
Анализ результатов применения нейросети классификационного типа показал, что ИНС могут успешно решать задачи распознавания мелиоративного состояния полей и развития посевов. Сравнивая полученные результаты с предыдущими версиями, получилось добиться увеличения точности на 9...12%. При этом, повышение точности распознавания классифицируемых участков сельскохозяйственных полей ограничивается и
составом (качеством) и объемом dataset, а также его сбалансированностью [8,
9].
Однако при увеличении объема и разрешения изображений существует ряд проблем: линейно возрастающая нагрузка на процессор и низкая точность границ. Чтобы решить эти проблемы, мы планируем перейти на ИНС сегментационного типа.
Заключение
Проведенные теоретические исследования и численные эксперименты позволили получить следующие результаты и выводы.
1. Исследование ИНС классификационного типа подтвердило, что нейросети архитектуры ResNet со сверточными блоками способны достаточно качественно решать задачи определения мелиоративного состояния сельскохозяйственных полей, а также выявления несельскохозяйственных объектов (строения, машинно-тракторные и технологические агрегаты, особенности ландшафтов).
2. Современные информационные технологии позволяют перенести ресурсоемкие расчеты в вычислительное облако, в частности, с целью создания интеллектуальных SaaS сельскохозяйственного назначения для решения оперативных задач управления производством.
3. Вычисления в облаке обеспечивают более удобное масштабирование вычислительных мощностей при корректировке постановки задачи интеллектуальной классификации.
4. Разработанный облачный сервис для распознавания и классификации проблемных участков агрополей целесообразно экономически использовать, как SaaS-систему на различной организационно-экономической основе.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта№20-37-90142.
Литература
1. Алексеев П. П., Квятковская И. Ю. Применение нейронных сетей в системе распознавания промысловых гидробионтов в условиях повышенной флуктуации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2022. № 2. С. 76-86. URL: doi.org.10.24143/2072-9502-2022-2-76-86.
2. Зинченко Л.А., Курейчик В.М., Редько В.Г. Бионические информационные системы и их практические применения М.: Физматлит, 2011. 288 с.
3. Митус К.Н. Кацко И.А., Митус А.А. Программное обеспечение как услуга: модели и инструменты оценки экономической эффективности: монография. М. : РУСАЙНС, 2020. 204 с.
4. Ковалев А.В., Исаева А.С. Методика подготовки набора данных для обучения и тестирования нейронных сетей в среде MATLAB // Инженерный вестник Дона, 2021, №11. URL: ivdon.ru/ru/magazine/archive/n11y2021/7355.
5. Пучков Е.В. Сравнительный анализ алгоритмов обучения искусственной нейронной сети // Инженерный вестник Дона. 2013. № 4. URL: ivdon.ru/ru/magazine/archive/n4y2013/2135.
6. Рогачев А.Ф., Мелихова Е.В., Плещенко Т.В. Нейросетевая система управления программируемым аграрным производством с использованием ретроспективных данных и результатов дистанционного зондирования: монография. Волгоград : ФГБОУ ВО Волгоградский ГАУ, 2021. 172 с.
7. Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т. 6. № 3. С. 28-59.
8. Rogachev A.F., Melikhova E.V., Belousov I.S. A set of data on retrospective grain yield for neural network modeling. IOP Conference Series: Earth and Environmental Science, 2020, V. 577. № 1. P. 012006.
9. Sebastian Kujawa, Gniewko Niedbala Artificial Neural Networks in Agriculture. URL: https://www.mdpi.eom/2077-0472/11/6/497.
10. Matthew Nicely, Keith Kraus, Unifying the CUDA Python Ecosystem. URL: developer.nvidia.com/blog/unifying-the-cuda-python-ecosystem/
11. Review: ResNeXt - 1st Runner Up in ILSVRC 2016 (Image Classification). URL: towardsdatascience.com/review-resnext-1 st-runner-up-of-ilsvrc-2016-image-classification-15d7f17b42ac.
References
1. Alekseev P., Kviatkovskaia I., Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia Upravlenie vychislitelnaia tekhnika i informatika. 2022. 2. p. 76-86. URL: doi.org.10 24143 2072-9502-20222-76-86.
2. Zinchenko L., Kureichik V., Redko V. Bionicheskie informatsionnye sistemy i ikh prakticheskie primeneniia [Bionic information systems and their practical applications] Moscow, Fizmatlit. 2011. 288 p.
3. Mitus K., Katsko I., Mitus A. Programmnoe obespechenie kak usluga modeli i instrumenty otsenki ekonomicheskoi effektivnosti [Software as a service: models and tools for assessing economic efficiency]. Moskva, RUSAINS, 2020. 204 p.
4. Kovalev A., Isaeva A. Inzhenernyi vestnik Dona, 2021, № 11. URL: ivdon.ru/ru/magazine/archive/n 11y2021/7355.
5. Puchkov E. Inzhenernyi vestnik Dona, 2013. № 4. URL: ivdon.ru/ru/magazine/archive/n4y2013/2135.
6. Sozykin A. IUzhno-Uralskogo gosudarstvennogo universiteta. Seriia Vychislitelnaia matematika i informatika. 2017. T. 6(3). pp. 28-59.
7. Rogachev A., Melikhova E., Pleshchenko T. Neirosetevaia sistema upravleniia programmiruemym agrarnym proizvodstvom s ispolzovaniem
retrospektivnykh dannykh i rezultatov distantsionnogo zondirovaniia [Neural network control system for programmable agricultural production using retrospective data and remote sensing results]. Volgograd, FGBOU VO Volgogradskii GAU, 2021. 172 p.
8. Rogachev A., Melikhova E., Belousov I. IOP Conference Series: Earth and Environmental Science, 2020, V. 577. № 1. P. 012006.
9. Kujawa S., Niedbala G. Artificial Neural Networks in Agriculture. URL: mdpi.com/2077-0472/11/6/497.
10. Nicely M., Kraus K. Unifying the CUDA Python Ecosystem. URL: developer.nvidia.com/blog/unifying-the-cuda-python-ecosystem/.
11. Tsang Sik-Ho. Review: ResNeXt - 1st Runner Up in ILSVRC 2016 (Image Classification). URL: towardsdatascience.com/review-resnext-1st-runner-up-of-ilsvrc-2016-image-classification-15d7f17b42ac.
