CC BY
35
Вестник аграрной науки Дона. 2021. № 4 (56). С. 16-23. Don agrarian science bulletin. 2021; 4 (56): 16-23.
Научная статья УДК 632.08
АВТОМАТИЗИРОВАННЫЙ ТЕХНОЛОГИЧЕСКИЙ КОМПЛЕКС МОНИТОРИНГА И ДИАГНОСТИКИ ВИНОГРАДНИКОВ*
*Работа была выполнена при поддержке «Фонда содействия развитию малых форм предприятий в научно-технической сфере»
(Фонда содействия инновациям)
Павел Николаевич Кузнецов1, Дмитрий Юрьевич Котельников1
1 Севастопольский государственный университет, г. Севастополь, Россия, [email protected]
Аннотация. Сельское хозяйство является одним из важнейших секторов экономики различных стран. В настоящее время в этой отрасли наблюдается переход к массовой цифровизации бизнес-процессов, что позволяет эффективно внедрять элементы стратегического развития и проактивного управления. При этом применение инновационных технологий требует грамотной концептуально-методической обоснованности, учитывающей особенности выращивания отдельных культур, климатические и другие факторы. Решение этой задачи требует создания развитых систем мониторинга сельскохозяйственных объектов. Авторами предложена разработка, предлагающая осуществлять автоматизированный мониторинг и диагностику виноградников, основанная на использовании беспилотных летательных аппаратов (БПЛА) и специализированного программного обеспечения. Предложенное решение позволяет выполнять оценку фито-санитарного состояния виноградника при использовании процедур нейросетевой классификации болезней винограда на основе изображений листьев. Для выполнения процедур детектирования была использована нейронная сеть, основанная на архитектуре Fast R-CNN с алгоритмом обучения InceptionV2. Предварительные результаты тестирования эффективности технологии показали, что точность детектирования поражённых листьев составляет не менее 91%, при использовании обучающей выборки, состоящей из 2500 изображений здоровых и повреждённых листьев. В статье также приведена математическая модель, позволяющая оценить производительность функционирования комплекса с учетом топологических особенностей виноградника, типа используемого БПЛА, метеорологических параметров и производительности вычислительного оборудования. Результаты оценочных расчетов показали, что за световой день комплекс способен осуществлять мониторинг до 2,5 га виноградника. Внедрение комплекса в производственный процесс агропромышленных предприятий позволит эффективно выявлять и оперативно устранять заболевания на ранних стадиях, что увеличит урожайность производимой продукции, а также снизит возможные финансовые риски предприятия.
Ключевые слова: сельское хозяйство, мониторинг, диагностика, болезни, беспилотные летательные аппараты, техническое зрение, нейросетевая классификация
Для цитирования: Кузнецов П.Н., Котельников Д.Ю. Автоматизированный технологический комплекс мониторинга и диагностики виноградников // Вестник аграрной науки Дона. 2021. № 4 (56). С. 16-23.
Original article
AUTOMATED TECHNOLOGICAL COMPLEX FOR MONITORING AND DIAGNOSTIC VINEYARD*
*The paper was carried out with the support of the "Fund for Assistance to the Development of Small Forms of Enterprises in the Scientific and Technical Sphere" (Fund for the Promotion of Innovations)
Pavel Nikolaevich Kuznetsov1, Dmitry Yurievich Kotelnikov1
1Sevastopol State University, Sevastopol, Russia, [email protected]
Abstract. Agriculture is one of the most important sectors of the economy of various countries. Currently, there is a transition to mass digitalization of business processes in this industry, which makes it possible to effectively implement elements of strategic development and proactive management. At the same time, the use of innovative technologies requires competent conceptual and methodological validity, taking into account the peculiarities of growing individual crops, climatic and other factors. The solution of this problem requires the creation of advanced monitoring systems for agricultural facilities. The authors proposed a development offering automated monitoring and diagnostics of vineyards based on the use of unmanned aerial vehicles (UAVs) and specialized software. The proposed solution makes it possible to assess the phytosanitary condition of the vineyard using the procedures of neural network classification of grape roots based on images of leaves. To perform detection procedures, a neural network based on the Fast R-CNN architecture with the learning algorithm InceptionV2 was used. Preliminary results of testing the effectiveness of the technology showed that the accuracy of detecting affected leaves is at least
© Кузнецов П.Н., Котельников Д.Ю., 2021
91% when using a training sample consisting of 2500 images of healthy and damaged leaves. The article also presents a mathematical model that allows evaluating the performance of the complex, taking into account the topological features of the vineyard, the type of UAV used, meteorological parameters and the performance of computing equipment. The results of the evaluation calculations showed that the complex is capable of monitoring up to 2,5 hectares of vineyard during daylight hours. The introduction of the complex into the production process of agro-industrial enterprises will make it possible to effectively identify and promptly eliminate diseases at early stages, which will increase the yield of manufactured products, as well as reduce possible financial risks of the enterprise.
Keywords: agriculture, monitoring, diagnostics, diseases, unmanned aerial vehicles, technical vision, neural network classification
For citation: Kuznetsov P.N., Kotelnikov D.Yu. Automated technological complex for monitoring and diagnostic vineyard. Vestnik agrarnoy nauki Dona = Don agrarian science bulletin. 2021; 4 (56): 16-23. (In Russ.)
Введение. В связи с ежегодным увеличением спроса на сельскохозяйственную продукцию, происходящем на фоне глобальных кризисных процессов, возникает необходимость в поиске инновационных решений по модернизации сельскохозяйственной отрасли. Одним из ключевых направлений развития данной стратегически важной отрасли является масштабное использование цифровых технологий [1]. В основном данные технологии основаны на получении и обработке больших данных посредством распределенных мониторинговых систем, включающих комплексы стационарных распределенных и мобильных датчиков. Ключевой особенностью данных систем является автоматизация всех этапов жизненного цикла производства сельскохозяйственной продукции и минимизация человеческого труда [2].
При этом использование данных технологий требует грамотной концептуально-методической обоснованности, учитывающей особенности выращивания отдельных культур, климатические факторы и степень готовности сельскохозяйственных предприятий к цифровой трансформации [3]. Повсеместное несистемное внедрение подобных технологий не позволяет эффективно решать существующие проблемы и зачастую приводит лишь к увеличению стоимости производимой продукции [4].
Одним из наиболее перспективных методов, позволяющих осуществлять автоматизированный мониторинг и диагностику объектов сельского хозяйства, является метод, основанный на использовании беспилотных летательных аппаратов (БПЛА), оснащённых видео-, мультиспектральной или инфракрасной камерой, и развитых технологий машинного зрения при использовании нейросетевых алгоритмов [5]. Данный метод позволяет в автоматизированном режиме информировать о состоянии растений, выявлять наличие заболеваний, производить оценку биофизических характеристик
на основе геометрических параметров и расчета относительных вегетационных индексов (например, NDVI, EVI, GNDVI, CVI, Truecolor). При этом использование данного метода не требует фрагментарного подхода - использование одного комплекса позволяет производить качественный комплексный мониторинг на территории площадью более 10 га.
С целью оценки эффективности данного метода авторами был разработан автоматизированный технологический комплекс, состоящий из БПЛА коптерного типа и сервера, позволяющего реализовать технологию машинного зрения и выполнять процедуру нейросетевой классификации различных болезней винограда на основе изображений листьев, получаемых посредством видеокамеры.
На текущий момент БПЛА используются для решения различных задач сельского хозяйства. Однако самое распространённое применение они получили в земледелии и животноводстве.
БПЛА в сельском хозяйстве применяются для решения следующих задач.
1. Мониторинг полей. БПЛА используются для получения информации о проблемах орошения, изменения почвы, заражения посевов. Для этого осуществляется фото- и видеосъёмка интересующей территории с последующей ручной или нейросетевой обработкой отснятых материалов. В основном для решения данной проблемы используются дорогостоящие комплексы, базирующиеся на использовании БПЛА самолётного типа [6, 7].
2. Распыление химических веществ и пестицидов. Особенностью применения БПЛА для распыления специальных веществ является оценка осаждения капель различных веществ на опрыскиваемых сельскохозяйственных культурах для обеспечения однородности во время распыления. Также аналогичный подход может
использоваться для точечного распыления, эффективного при борьбе с сорняками [8].
3. Искусственное опыление. Комплексы, в которые входят оснащённые полезной нагрузкой БПЛА и прочее оборудование, могут быть использованы как роботизированные опылители ввиду сокращения популяции медоносных пчёл. Перенос пыльцы осуществляется с помощью шерсти животных, обработанной специальным гелем. Данное решение сопряжено с целым комплексом проблем, которые находятся в процессе решения [9, 10].
4. Животноводство. БПЛА могут быть использованы для охраны животных на выпасе, наблюдения и сбора скота в стадо. В редких случаях дроны могут быть использованы для оказания ветеринарной помощи (дистанционное введение антибиотиков и вакцин) [11].
Большинство решений по применению БПЛА в современном сельском хозяйстве сопряжено с использованием дорогостоящего специализированного оборудования и программного обеспечения. Кроме этого, они ори-
ентированы на мезо- и макромасштабный мониторинг сельскохозяйственных территорий. При этом существует большой спектр сельскохозяйственных задач, решение которых требует проведения более детализированной съёмки мониторируемых объектов. Одной из таких задач является диагностика некоторых заболеваний винограда, требующая получения изображений отдельных листьев. В статье предлагается решение данной задачи за счёт использования БПЛА, технологий машинного зрения и алгоритмов нейросетевой классификации.
Методика исследований. Инструментальным базисом автоматизированного технологического комплекса является БПЛА DJI Phanton 4 RTK с полезной нагрузкой в виде фото- и видеокамеры, сервер для проведения нейросетевой классификации и реализации технологии машинного зрения. На рисунке 1 приведена блок-схема алгоритма разработки автоматизированного комплекса.
Рисунок 1 - Алгоритм реализации автоматизированного технологического комплекса Figure 1 - Algorithm for the implementation of an automated technological complex
Начальным этапом разработки автоматизированного комплекса является выбор архитектуры нейронной сети и её настройка для выполнения процедуры детектирования болезней винограда на основе фото листьев. Для выполнения процедуры детектирования объектов на изображениях целесообразно использовать свёрточные нейронные сети глубокого обучения [12]. Их использование позволяет более точно классифицировать изображения по сравнению с нейросетями других типов. В настоящее время разработано довольно большое количество алгоритмов сверхточных нейронных сетей, среди которых, наиболее перспективными являются: SqueezeNet, ResNet, ImageNet, Inception, DenseNet, AlexNet и YOLO. В ходе исследования данные алгоритмы были проанализированы на предмет скорости и точности работы, а также
требуемых для этого аппаратных мощностей. В результате анализа удалось определить, что для решения задачи мониторинга виноградников на предмет болезней наиболее оптимальным является алгоритм InceptionV2, как наиболее точный и нересурсоёмкий среди прочих.
Нейроная сеть была обучена на фотографиях листьев винограда, поражённых болезнями. Размер обучающей выборки составил около 2500 фотографий. На рисунке 2 представлен пример фотографий из обучающей выборки. Разметка обучающей выборки на предмет болезней осуществлялась при использовании инструмента аннотирования - ЬаЬеНтд (https://github.com/tzutalin/labelImg). По окончании разметки фото, компиляции и валидации было проведено обучение нейронной сети.
Рисунок 2 - Пример фото из обучающей выборки Figure 2 - An example of a photo from a training sample
Следующим этапом разработки автоматизированного технологического комплекса является составление полётного маршрута БПЛА в рамках выбранного виноградника. Предварительные исследования показали, что для эффективной диагностики виноградников требуется выполнить не менее трёх облётов каждого ряда кустов с разных сторон (справа, сверху, слева). Составление полётного маршрута производилось посредством программного комплекса «ТеоЬох» (http://teodrone2.tilda.ws/ teobox). В данном программном комплексе задаются периметр исследуемой местности посредством указания характерных угловых точек исследуемой территории, а также требуемые высота и плотность перекрытия кадров. В зави-
симости от необходимой точности детектирования происходит подбор и регулировка высоты съемки, а также плотность перекрытия кадров. На основе произведённых настроек «ТеоЬох» автоматически рассчитывает время, требуемое для полета. После формирования полётного задания производится его загрузка в БПЛА. По выполнении полетного задания или при разрядке аккумулятора БПЛА производит посадку на оборудованной взлётной площадке, на которой производится замена аккумулятора и передача видеоматериалов для обработки алгоритмами технического зрения.
Результаты исследований и их обсуждение. Для процедуры детектирования заболеваний видеоданные подвергаются проце-
дуре раскадровки и нормализации. Результаты детектирования (рисунок 3) с временной меткой записываются в итоговый файл. При обработке итогового файла происходит совмещение временных меток срабатывания алгоритмов детек-
тирования и данных о геопространственном расположении БПЛА. На основании этих данных производится формирование тепловой интерактивной карты (рисунок 4).
Рисунок 3 - Пример результатов детектирования заболеваний винограда Figure 3 - An example of the results of detecting diseases of grapes
а b
Рисунок 4 - Тепловая интерактивная карта фитосанитарного состояния виноградника (а - 01.06.2021; b - 01.07.2021)
Figure 4 - Thermal interactive map of the phytosanitary state of the vineyard (а - 06/01/2021; b - 07/01/2021)
Тепловая интерактивная карта согласно расцветке свидетельствует о наличии заболеваний на характерном участке исследуемой территории, что позволяет точечно направлять специалистов в нужные места для изучения характеристик заболеваний в случае их выявления. Красный маркер на карте указывает, что нейросетевой алгоритм определил долю поражённых листьев в количестве более 10%. Красное облако указывает на сформированный очаг заражения. Кроме этого, тепловая карта позволяет производить наблюдения за динамикой развития ситуации. Данные, получаемые посредством интерактивной карты, позволяют в
наиболее короткие сроки получать информацию о фитосанитарном состоянии виноградных насаждений. Это способствует эффективному выявлению и своевременному устранению заболеваний винограда на ранних стадиях и, как следствие, увеличению урожайности производимой продукции.
С целью определения производительности предлагаемого комплекса авторами была разработана математическая модель, позволяющая рассчитывать мониторируемую площадь виноградника (5) за световой день (О). Модель учитывает топологические особенности виноградника, типа БПЛА, метеорологических пара-
метров и производительности вычислительного оборудования. На основе рассчитанных данных становится возможным производить расчёт необходимого количества автоматизированных комплексов для мониторинга любого виноградника. Значение мониторируемой площади можно вычислить по формуле (1).
Коэффициент 0,33 в уравнении (1) учитывает выполнение трёх облётов одного ряда. При необходимости повышения качества диагностики значение данного коэффициента следует уменьшить до требуемого.
S = 0,33аРекп /nDWdt - 2Юп, (1)
где Р»- производительность вычислительного оборудования;
Рг»- опорное значение производительности.
Частота вылетов БПЛА (п) показывает количество вылетов, необходимых для облёта территории виноградника за световой день (О). Данный параметр зависит от периодичности замены аккумуляторной батареи, ёмкость которой коррелирует с температурными параметрами окружающей среды. Таким образом, для расчёта частоты вылетов необходимо учитывать климатические условия, в которых производится эксплуатация комплекса. Вычисляется согласно выражению (3):
где а - расстояние между опорами рядов виноградника, м;
Ре - вычислительная мощность сервера с предустановленной нейронной сетью;
кп - коэффициент частоты вылетов БПЛА; й - длительность светового дня, с; Ш - скорость движения БПЛА с учётом влияния ветра, м/с;
I - значение среднего расстояния между посадочной платформой и мониторируемым рядом виноградника, м;
п - частота вылетов БПЛА.
Параметр (Ре), определяющий вычислительную мощность сервера, рассчитывается согласно выражению (2). Он описывает скорость обработки отснятых данных нейронной сетью и учитывает время, необходимое для передачи данных из памяти БПЛА на вычислительное устройство.
п = —(1-Рв),
=°'8Ы ■
(2)
(3)
где - стандартное время разряда аккумуляторной батареи БПЛА, с;
кп- коэффициент частоты вылетов БПЛА, учитывающий климатические условия.
Уравнение коэффициента частоты вылетов, в зависимости от температуры эксплуатации, было составлено в результате экспериментального исследования. В ходе исследования авторами были получены разрядные характеристики литийионного аккумулятора при различных температурах окружающей среды. Из полученных характеристик, методом регрессионного анализа, было получено соотношение
(4):
кп = 1 - ((1.06 • 10-2)Т - 3.329)2, (4)
где Т - температура окружающей среды, К.
Скорость движения БПЛА под воздействием ветровой нагрузки ( Ш) вычисляется согласно уравнению (5):
У\/-05к( V I срР5иа"С05(£)и3 ¡ у срр5иаусо5(£)у3
(5)
где к - аэродинамический коэффициент БПЛА; К- скорость полёта БПЛА, м/с; Ср - коэффициент аэродинамического сопротивления БПЛА;
р - плотность воздуха, кг/м3; 5иау- площадь БПЛА, находящаяся под воздействием ветра, м2;
е - направление ветра относительно вектора движения БПЛА, град.;
и - скорость ветра, м/с; ш - масса БПЛА, кг.
Значение скорости полёта БПЛА устанавливается в соответствии с требуемым качеством детектирования заболеваний винограда. Это значение можно вычислить согласно уравнению (6).
К = 16,2 ехр( - 2,5^Г°,°3), (6)
где ( - установленное качество детектирования (0...1).
Для получения численной оценки эффективности комплекса были проведены расчёты мониторируемой площади виноградника агрофирмы «Золотая балка». Расчёты показали, что использование комплекса с БПЛА йЛ Phanton 4 КТК и вычислительного устройства на базе СРиКТХ2080 позволит проводить мониторинг до 2,5 га виноградника за световой день.
Выводы. Разработанный автоматизированный технологический комплекс мониторинга и диагностики болезней винограда предназначен для оперативного получения данных о фи-тосанитарном состоянии виноградных насаждений. В качестве индикатора фитосанитарного состояния предлагается использовать видеосъёмку листьев кустов винограда. Внедрение комплекса в производственный процесс агропромышленных предприятий позволит эффективно выявлять и оперативно устранять заболевания на ранних стадиях. Это позволит увеличить урожайность производимой продукции, а также снизит возможные финансовые риски предприятия. Также предложенное решение является заделом для создания адаптивной системы защиты винограда от заболеваний.
Авторами была разработана и обучена нейронная сеть, позволяющая в автоматическом режиме детектировать поражённые виноградные листья. Предварительное тестирование эффективности функционирования нейронной сети показало, что точность детектирования составляет не менее 91%.
Для оценки производительности предлагаемого решения была разработана математическая модель, позволяющая вычислять мони-торируемую площадь виноградника одним комплексом в течение светового дня. Особенностью модели является учёт комплексного влияния параметров, таких как: скорость ветрового потока, температура окружающей среды, производительность сервера, аэродинамические характеристики БПЛА и другие параметры.
Численная оценка эффективности автоматизированного технологического комплекса была выполнена на винограднике агрофирмы «Золотая балка». Оценка показала, что комплекс позволит проводить мониторинг на 2,5 га виноградных насаждений за световой день.
Список источников
1. Basso B., Antle J. Digital agriculture to design sustainable agricultural systems // Nature Sustainability. 2020. Т. 3. № 4. Р. 254-256.
2. Tian H. et al. Computer vision technology in agricultural automation. A review // Information Processing in Agriculture. 2020. Т. 7. № 1. Р. 1-19.
3. Rao R. N., Sridhar B. loT based smart crop-field monitoring and automation irrigation system // 2nd International Conference on Inventive Systems and Control (ICISC). IEEE, 2018. Р. 478-483.
4. Jha K. et al. A comprehensive review on automation in agriculture using artificial intelligence // Artificial Intelligence in Agriculture. 2019. Т. 2. Р. 1-12.
5. Raeva P.L., Sedina J., Dlesk A. Monitoring of crop fields using multispectral and thermal imagery from UAV // European Journal of Remote Sensing. 2019. Т. 52. № sup 1. Р. 192-201.
6. Nadal A. et al. Urban planning and agriculture. Methodology for assessing rooftop greenhouse potential of non-residential areas using airborne sensors // Science of the total environment. 2017. Т. 601. Р. 493-507.
7. Radoglou-Grammatikis P. et al. A compilation of UAV applications for precision agriculture // Computer Networks. 2020. Т. 172. Р. 107-148.
8. Maddikunta P. K. R. et al. Unmanned aerial vehicles in smart agriculture: Applications, requirements, and challenges // IEEE Sensors Journal, 2021.
9. Chechetka S.A. et al. Materially engineered artificial pollinators // Chem. 2017. Т. 2. № 2. Р. 224-239.
10. Jiyu L. et al. Distribution law of rice pollen in the wind field of small UAV // International Journal of Agricultural and Biological Engineering. 2017. Т. 10. № 4. Р. 32-40.
11. Yongqiang C. et al. Application of intelligent technology in animal husbandry and aquaculture industry // 14th International Conference on Computer Science & Education (ICCSE). IEEE, 2019. Р. 335-339.
12. Russakovsky O. et al. Imagenet large scale visual recognition challenge // International journal of computer vision. 2015. Т. 115. № 3. Р. 211-252.
References
1. Basso B., Antle J. Digital agriculture to design sustainable agricultural systems. Nature Sustainability. 2020; 3 (4): 254-256.
2. Tian H. et al. Computer vision technology in agricultural automation. A review. Information Processing in Agriculture. 2020; 7 (1): 1-19.
3. Rao R.N., Sridhar B. IoT based smart crop-field monitoring and automation irrigation system. 2nd International Conference on Inventive Systems and Control (ICISC). IEEE, 2018, pp. 478-483.
4. Jha K. et al. A comprehensive review on automation in agriculture using artificial intelligence. Artificial Intelligence in Agriculture. 2019; 2: 1-12.
5. Raeva P.L., Sedina J., Dlesk A. Monitoring of crop fields using multispectral and thermal imagery from UAV. European Journal of Remote Sensing. 2019; 52 (1): 192-201.
6. Nadal A. et al. Urban planning and agriculture. Methodology for assessing rooftop greenhouse potential of
non-residential areas using airborne sensors. Science of the total environment. 2017; 601: 493-507.
7. Radoglou-Grammatikis P. et al. A compilation of UAV applications for precision agriculture. Computer Networks. 2020; 172: 107-148.
8. Maddikunta P. K. R. et al. Unmanned aerial vehicles in smart agriculture: Applications, requirements, and challenges. IEEE Sensors Journal, 2021.
9. Chechetka S.A. et al. Materially engineered artificial pollinators. Chem. 2017; 2 (2): 224-239.
10. Jiyu L. et al. Distribution law of rice pollen in the wind field of small UAV. International Journal of Agricultural and Biological Engineering. 2017; 10 (4): 32-40.
11. Yongqiang C. et al. Application of intelligent technology in animal husbandry and aquaculture industry // 14th International Conference on Computer Science & Education (ICCSE). IEEE, 2019, pp. 335-339.
12. Russakovsky O. et al. Imagenet large scale visual recognition challenge. International journal of computer vision. 2015; 115 (3): 211-252.
Информация об авторах
П.Н. Кузнецов - кандидат технических наук, доцент, Севастопольский государственный университет, г. Севастополь, Россия. Тел.: +7-978-020-99-84. E-mail: [email protected].
Д.Ю. Котельников - аспирант, Севастопольский государственный университет, г. Севастополь, Россия. Тел.: +7-978-073-95-70. E-mail: [email protected].
|Ч|»1 Дмитрий Юрьевич Котельников, e-mail: [email protected]
Information about the authors
P.N. Kuznetsov - Candidate of Technical Sciences, Associate Professor, Sevastopol State University, Sevastopol, Russia. Phone: +7-978-020-99-84. E-mail: [email protected].
D.Yu. Kotelnikov - postgraduate student, Sevastopol State University, Sevastopol, Russia. Phone: +7-978-073-95-70. E-mail: [email protected].
Dmitry Yuryevich Kotelnikov, e-mail: [email protected]
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflict of interests.
Статья поступила в редакцию 07.10.2021; одобрена после рецензирования 28.10.2021; принята к публикации 29.10.2021. The article was submitted 07.10.2021 ; approved after reviewing 28.10.2021; accepted for publication 29.10.2021.
