CC BY
36
V^W^VWW^V ТРГНЫП1 CifllFS МЛГШМРЯ AND FflIIIPMFNT WWW^^WW WVW^^WWV^^ FnR TUP ЛППП.1МПИЯТ1ИЛ I ГПМР1 rvV^^VWW^^WW
Научная статья УДК 631/635
DOI: 10.24412/2227-9407-2023-5-20-32
Математическая модель обработки изображений опасных и вредоносных растений с камеры БПЛА
Иван Александрович Сорокин1 Павел Николаевич Романов2, Александр Дмитриевич Чесноков3, Татьяна Евгеньевна Кондраненкова4
1 я 3 4 Нижегородский государственный инженерно-экономический университет, Княгинино, Россия 1 \уатогоЫп@Ък.ги[Я, https://orcid.org/0000-0003-0977-3563 2раув1.гошапоу011@ gmail.com, https://orcid.org/0000-0002-7656-8706 3alexandertchesnockoff@yandex.ти, https://orcid.org/0000-0002-2461 -0757 [email protected], https://orcid.org/0000-0003-3901-3389
Аннотация
Введение. Одним из успешных примеров внедрения технологий цифровизации сельского хозяйства является использование методов, базирующихся на применении беспилотных летательных аппаратов (БПЛА). Для качественного возделывания земель и угодий агропредприятиям необходимо точно локализовать объекты и границы произрастания различных сорняков. Одним из вредоносных сорняков является борщевик. Использование БПЛА позволит автоматизировать процессы выявления мест нахождения борщевика. Поэтому статья посвящена актуальной теме - разработке математической модели обработки изображений опасных и вредоносных растений с камеры БПЛА.
Материалы и методы. Для разработки математической модели исследована информационная технология автоматизированного нейросетевого мониторинга нахождения борщевика, которая основана на использовании автоматизированного комплекса мониторинга территории при использовании нейросетевых технологий детектирования объектов (Objectdetection). В работе приведено обучение нейронной сети. Для решения задачи определения борщевика в качестве исходных данных при формировании датасета используются фотографии листьев бощевика. Размеченный датасет позволяет реализовать процедуру первичного обучения нейронной сети - научиться распознавать и классифицировать объекты интереса на изображениях с заранее зафиксированными значениями.
Результаты. Для корректной работы автоматизированного комплекса выбрана сверточная нейронная сеть, которая позволяет наиболее точно детектировать листья борщевика. Получена система уравнений, позволяющая рассчитывать необходимое количество БПЛА и вычислительного оборудования для определения мест нахождения борщевика.
Обсуждение. Расчёты показали, что при использовании вычислительного оборудования на базе GPURTX2060 и БПЛА DJI mavicpro эффективная мониторируемая площадь борщевика на одном заряде аккумулятора составляет 3 км2. Результаты тестирования точности детектирования листьев обученной нейронной сетью показали, что величина mAP составляет на менее 97 %, что является достаточным для выявления проблемных областей.
Заключение. Разработанная математическая модель обработки изображений опасных и вредоносных растений с камеры БПЛА позволяет в оперативном режиме получать данные о наличии насаждений борщевика в зоне мониторинга. Внедрение предложенной технологии в процесс уничтожения вредоносных и опасных растений позволит не только повысить урожайность, но и снизить возможные финансовые риски за счёт повыше-
© Сорокин И. А., Романов П. Н., Чесноков А. Д., Кондраненкова Т. Е., 2023
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
ХХХХХХХХХХХ технологии, машины и оборудование ХХХХХХХХХХХ ХХХХХХХХХХХ для агропромышленного комплекса ХХХХХХХХХХХ
ния эффективности детектирования очагов произрастания борщевика на ранних стадиях. При необходимости увеличения площади мониторинга следует использовать большее количество БПЛА в комплексе либо использовать БПЛА с увеличенным временем полёта.
Ключевые слова: автоматизированные процессы, беспилотные летательные аппараты, математическая модель, нейронная сеть
Для цитирования: Сорокин И. А., Романов П. Н., Чесноков А. Д., Кондраненкова Т. Е. Математическая модель обработки изображений опасных и вредоносных растений с камеры БПЛА // Вестник НГИЭИ. 2023. № 5 (144). С. 20-32. DOI: 10.24412/2227-9407-2023-5-20-32
Mathematical model of image processing of dangerous and harmful plants from a UAV camera
Ivan A. Sorokin1B, Pavel N. Romanov2, Alexander D. Chesnokov3, Tatyana E. Kondranenkova4
12 3 4 Nizhny Novgorod State Engineering and Economic University, Knyaginino, Russia 1 ivansorokin@bk^.ru https://orcid.org/0000-0003-0977-3563 2pavel.romanov011@ gmail.com https://orcid.org/0000-0002-7656-8706 [email protected] https://orcid.org/0000-0002-2461 -0757 4 [email protected] https://orcid.org/0000-0003-3901-3389
Abstract
Introduction. One of the successful examples of the introduction of agricultural digitalization technologies is the use of methods based on the use of unmanned aerial vehicles (UAVs). For high-quality cultivation of land and agricultural enterprises, it is necessary to accurately localize the objects and boundaries of the growth of various weeds. One of the harmful weeds is hogweed. The use of UAVs will automate the processes of identifying the locations of the hogweed. Therefore, the article is devoted to an urgent topic - the development of a mathematical model for processing images of dangerous and harmful plants from a UAV camera.
Materials and methods. For the development of a mathematical model, the information technology of automated neural network monitoring of the location of the hogweed, which is based on the use of an automated complex for monitoring the territory using neural network technologies for detecting objects (Objectdetection), has been studied. The paper presents the training of a neural network. To solve the problem of determining the hogweed, photos of the leaves of the hogweed are used as initial data when forming the dataset. The marked-up dataset allows you to implement the procedure of primary training of a neural network - to learn how to recognize and classify objects of interest in images with pre-fixed values.
Results. For the correct operation of the automated complex, a convolutional neural network was selected, which allows the most accurate detection of hogweed leaves. A system of equations has been obtained that allows calculating the required number of UAVs and computing equipment to determine the locations of the hogweed. Discussion. Calculations have shown that when using GPURTX2060-based computing equipment and DJI mavicpro UAVs, the effective monitored area of hogweed on a single battery charge is 3 km2. The results of testing the accuracy of leaf detection by a trained neural network showed that the mAP value is less than 97 %, which is sufficient to identify problem areas.
Conclusion. The developed mathematical model of image processing of dangerous and harmful plants from the UAV camera allows you to receive data on the presence of hogweed plantations in the monitoring zone online. The introduction of the proposed technology into the process of destroying harmful and dangerous plants will not only increase yields, but also reduce possible financial risks by increasing the efficiency of detecting foci of borscht growth in the early stages. If it is necessary to increase the monitoring area, you should use a larger number of UAVs in the complex, or use UAVs with an extended flight time.
Keywords: automated processes, unmanned aerial vehicles, mathematical model, neural network
[ technologies, machines and equipment ; for the agro-industrial complex
For citation: Sorokin I. A., Romanov P. N., Chesnokov A. D., Kondranenkova T. E. Mathematical model of image processing of dangerous and harmful plants from a UAV camera // Bulletin NGIEI. 2023. № 5 (144). P. 20-32. DOI: 10.24412/2227-9407-2023-5-20-32
Введение
Одной из наиболее важных отраслей экономики является сельское хозяйство, и ему уделяется большое внимание. В настоящий момент наступает век цифровизации сельского хозяйства и внедрение цифровых технологий в сельскохозяйственную отрасль позволяет не только автоматизировать и систематизировать технологии мониторинга, сбора и производства сельскохозяйственной продукции, но и минимизировать и оптимизировать человеческий труд, что в конечном итоге комплексно отразится на всей отрасли.
Цифровизация сельского хозяйства тесно связана с получением и обработкой больших объёмов данных, получаемых посредством распределенных стационарных и мобильных мониторинговых систем. При проектировании данных систем необходимо особое внимание уделять грамотному концептуально-методическому обоснованию, учитывающему особенности выращивания целевых культур, климатические факторы, а также общий уровень готовности сельскохозяйственных предприятий к внедрению новых технологий.
Одним из успешных примеров внедрения технологий цифровизации сельского хозяйства является использование методов, базирующихся на применении беспилотных летательных аппаратов (БПЛА) [6].
Основными направлениями использования данных технологий является: автоматизированный мониторинг общего и фитосанитарного состояния сельскохозяйственных объектов, выпас скота, создание электронных карт сельскохозяйственных угодий, инвентаризация посевов, охрана урожая, опрыскивание. Для реализации процедур мониторинга БПЛА оснащают специализированной полезной нагрузкой: видео-, мультиспектральной или инфракрасной камерой, а также опционально вычислительным устройством, позволяющим непосредственно на борту выполнять высокопроизводительные расчеты (например, распознавание изображений в режиме реального времени).
Для качественного возделывания земель и угодий агропредприятиям необходимо точно локализовать объекты и границы произрастания различных сорняков. Одним из вредоносных сорняков является борщевик [22].
Борщевик на сегодняшний день в Нижегородской области заполонил множество полей, оврагов и заболоченных мест, вблизи возделываемых полей и пастбищ сельхозпредприятий. Борщевик пагубно влияет на человека и животных. Чтобы разработать методику борьбы с борщевиком, нужно знать точное местонахождение и площадь занимаемой территории. Борщевик колоссальными темпами осваивает необрабатываемые земли, обочины дорог и пробирается на приусадебные участки. Земли, на которых произрастал борщевик длительное время, сильно истощаются и становятся непригодными для выращивания других культур.
Большую опасность это растение представляет для жизни людей и животных при попадании сока борщевика на кожу и открытые участки тела, особенно в солнечную погоду, вызывает сильные фотохимические ожоги, очень болезненные и требующие лечения. Во многих областях Российской Федерации есть зафиксированные случаи летального исхода после ожогов данным сорняком. Чтобы увидеть данный сорняк, не обязательно ехать куда-то далеко по полевым дорогам, его много и около населенных пунктов, где раньше находились сельхозпредприятия.
Эффективно бороться с борщевиком можно несколькими способами: обрабатывать густо заросшие участки гербицидом сплошного действия, периодическая вспашка земель. Но существуют локации сорняка, где ни один из предложенных методов будет не допустим из-за непосредственной близости водоемов [22]. Для создания эффективного способа борьбы с сорняком необходима локализация вредоносных растений. Использование БПЛА позволит автоматизировать процессы выявления мест нахождения не только борщевика, но и других опасных растений.
Поэтому актуальным вопросом является разработка математической модели обработки изображений опасных и вредоносных растений с камеры БПЛА.
Материалы и методы
Объектом исследования является информационная технология автоматизированного нейросете-вого мониторинга нахождения борщевика. Данная технология основана на использовании автоматизи-
технологии, машины и оборудование ] для агропромышленного комплекса ]
рованного комплекса мониторинга территории при использовании нейросетевых технологий детектирования объектов (Object detection).
Для оценки качества выбранных моделей нейронных сетей и сравнения различных алгоритмов были использованы следующие метрики (критерии качества):
1. Complete Intersection over Union (CIoU) -функция потерь, оценивающая масштаб соотношения сторон ограничительного бокса, учитывающая площадь перекрытия боксов, расстояние между центральными точками и соотношение сторон. Вычисляется, используя выражение (1).
I2
lossCIoU = 1 — IOU + av,
(1)
где lоss с 10и IО U (Intersection over Union) - функция потерь, учитывающая область перекрытия детектированного объекта и целевого объекта; - евклидово расстояние между центрами боксов детектированного и целевого объектов; - длина диагонали детектированного бокса; - коэффициент балансировки (2); - коэффициент пропорциональной согласованности между боксами детектированного и целевого объектов (3),
о = -,-—г—, (2)
(1 -10 и) +v v '
t ^
v =—(ar ctan——— ar ctan — ) , (3) 7Г V h9v hj
где и - ширина и высота бокса целевого объекта; w и h - ширина и высота бокса детектированного объекта.
2. Precision (точность) - метрика, отражающая долю объектов, корректно детектированных классификатором. Вычисляется согласно выражению
(4):
Р=^-1 0 0 од (4)
где TP (True Positive) - количество объектов, верно детектированных классификатором; F P (False Positive) - ошибка классификации, характеризующая количество ошибочно детектированных объектов классификатором.
3. Recall (полнота) - метрика, отражающая долю объектов целевого класса, корректно детектированных классификатором из всех объектов этого класса, имеющихся на анализируемых изображениях. Другими словами, данная метрика показывает, на сколько хорошо нейросетевой алгоритм находит необходимые объекты. Вычисляется, используя выражение (5):
где (False Negative) - ошибка классификации, характеризующая количество ошибочно не детектированных объектов классификатором.
4. Average Precision (средняя точность) - метрика, вычисляющая среднее значение точности для метрики Recall в диапазоне от 0 до 1. Вычисляется согласно выражению (6):
A p = f!p(r)d r , (6)
где P(r) - функция зависимости Precision (точности) от Recall (полноты).
5. Mean Average Precision (средняя величина AP) - метрика, характеризующая среднее значение AP для каждого класса. Вычисляется из выражения
(7):
mAP=-J]>= 1AP1. (7)
6. F1 score - метрика, характеризующая среднее гармоническое значение между Precision и Recall. Вычисляется согласно выражению (8):
F 1 = 2-—. (8)
P+R v '
R =
TP
TP+FN
100 %,
(5)
Вышеуказанная метрика позволяет производить качественную оценку эффективности детектирования нейросетевым алгоритмом. Однако решение задачи детектирования пораженных листьев борщевика требует не только качественного выполнения процедур детектирования и классификации, но и их оперативной реализации. Вследствие этого, в рамках исследования, было предложено выражение (9), позволяющее выполнять оценку эффективности нейросетевых моделей, учитывая качественную и временную характеристики. Для решения задачи детектирования и классификации борщевика на основе экспертных мнений, а также результатов многочисленных экспериментов были подобраны весовые коэффициенты параметров времени и точности детектирования (0,5 и 1,35 соответственно).
S = 4.4 - 1 0 3t- 1kt + aka, (9)
где S - рейтинговый балл; t - среднее время обработки; - весовой коэффициент параметра времени; a - точность детектирования; -весовой коэффициент параметра точности детектирования.
Для определения борщевика недостаточно реализации процедуры Object Detection. Это связано с тем, что детектирование одних и тех же листьев будет производиться на нескольких кадрах видеоряда и будет зависеть от внешних факторов окружающей среды и режима полёта БПЛА. Таким образом, подсчёт будет не корректным. Решить данную пробле-
[ technologies, machines and equipment ; for the agro-industrial complex
му и, соответственно, повысить качество определения борщевика можно за счёт применения технологии отслеживания объектов (Object Tracking) [13]. Комплексное использование технологии Object Detection и Object Tracking позволяет повторно не учитывать уже детектированные объекты, что существенно уменьшает количество повторных и ложных срабатываний.
Технология Object Tracking базируется на алгоритмах SORT (Simple Online and Real time Tracking) или Deep SORT, которые и используются для отслеживания детектированных объектов [14]. В рамках исследования применяется алгоритм Deep SORT, поскольку он позволяет идентифицировать ранее детектированные объекты даже после того, как они были потеряны из кадра на продолжительное время. Данная особенность алгоритма Deep SORT достигается за счёт использования двух математических методов - расстояния Махалонобиса (10) и фильтра Калмана (11). Расстояние Махалоно-биса используется для определения сходств между
известными и неизвестными весовыми коэффициентами детектированных нейронной сетью объектов. Фильтр Калмана - для исключения шума и выбросов в определённых ранее весовых коэффициентах.
d(p, q) = V(Pi-4i)2 + (Р2-Ч2)2 + - + (Рп-Чп)2 =
= V^n=i (Рк-Чк)2. (10)
где d(p, q) - расстояние между точками p и q,
L = XDk + Da(l-X), (11)
где L - расстояние от определённого объекта до рассчитанного фильтром Калмана; Л - регуляриза-ционный коэффициент; Dk - расстояние Махалонобиса; Da - дистанция по внешней схожести.
При этом предполагаемая нами нейронная сеть должна быть способна определять границы распространения сорняковой культуры и сопоставлять ее с натурной картой местности. Где обозначенные ранее границы с размерами области поражения опасными культурами должны быть четко определены.
а б
Рис. 1. Борщевик при съемке: а - при съемке на свету; б - с высоты при съемке на свету Fig. 1. Hogweed when shooting: a - when shooting in the light; b - from a height when shooting in the light Источник: разработано авторами в результате исследований
Обучение нейронной сети. Для решения задачи определения борщевика в качестве исходных данных при формировании датасета целесообразно использовать фотографии и изображения листьев бощевика. Размеченный датасет позволяет реализовать процедуру первичного обучения нейронной сети - научиться распознавать и классифицировать
объекты интереса на изображениях с заранее зафиксированными значениями.
В рамках исследования была подготовлена обучающая, тестовая и валидационная выборки, состоящие из более 6000 изображений листьев борщевика (включая здоровые и поражённые). Примеры фото из обучающей выборки представлены на рисунке 2.
ХХХХХХХХХХХ технологии, машины и оборудование ХХХХХХХХХХХ ХХХХХХХХХХХ для агропромышленного комплекса ХХХХХХХХХХХ
в
Рис. 2. Крупное произрастание борщевика: а - колония растений борщевика; б - крупное произрастание борщевика вдоль дороги общего пользования; в - произрастание борщевика вдоль дорог
Fig. 2. Large growth of hogweed: а - а colony of hogweed plants; b - large growth of hogweed along the public road; c - the growth of hogweed along the roads Источник: разработано авторами в результате исследований
Ввиду того, что технология автоматизированного мониторинга базируется на использовании видеосъемки посредством БПЛА, в качестве набора данных для обучения нейронной сети также целесообразно использовать раскадрованные видеоматериалы облета рядов борщевика.
При этом практический опыт видеосъемки показал, что при создании датасета необходимо учитывать некоторые особенности, связанные с реальной эксплуатацией БПЛА, накладывающие определенные ограничения на использование автоматизированного комплекса:
1. При пролете в рядах необходимо, чтобы видеофиксация борщевика производилась камерой беспилотного летательного аппарата на расстоянии от одного до двух метров при угле установки камеры от 90 до 105° в горизонтальной плоскости.
2. При пролёте беспилотного летательного аппарата непосредственно над рядом видеофиксация борщевика должна производиться на высоте не
более трех метров под углом от 90 до 100° в вертикальной плоскости.
3. При видеофиксации в камере БПЛА необходимо выключить функцию автоматической экспозиции. Эта процедура необходима для сохранения деталей в светлых и темных областях изображения при различных параметрах освещённости. Видеофиксация борщевика должна производиться в ясный день при скорости ветра не более 4 м/с.
Обучение нейронной сети на сформированном датасете требует выполнения его предварительной подготовки, называемой разметкой, или аннотированием изображений. Данный процесс позволяет привязать к каждому изображению дата сета метаданные, несущие информацию о свойствах объектов (наименования класса, расположения объекта на изображении и пр.). Основная трудоемкость выполнения данной процедуры заключается в необходимости выполнения ручной разметки всех объектов на изображениях.
V^W^VWW^V ТРГНМП! nniFS МЛГШМРЯ ЛМП FflIIIPMFNT WWW^^WW
technologies, machines and equipment
WVW^^WWV^^ FOR THF ЛПРП.1МПИЯТР1Л I ГПМР1 rvV^^VWW^^WW
ror ihe agro lndusirlal complex
Разработчику необходимо выделить объекты детектирования (интереса) на фото. От качества выполненного аннотирования будет существенно зависеть корректность распознавания объектов нейронной сетью. Ввиду этого необходимо полностью выделять все объекты интереса на фото. Если периодически пропускать требуемые объекты или выделять их ошибочно, нейронная сеть не сможет выявить все требующиеся для работы закономерности либо выявит их неверно. При обработке нейронная сеть самостоятельно будет находить закономерности в интенсивности цветовых каналов пикселей, их чередовании и т. д.
Результаты и обсуждение
Анализ вариантов реализации программно-аппаратного комплекса показал, что наиболее перспективными решениями комплексного использования БПЛА и вычислительного устройства являются следующие:
1. Выполнение нейросетевого анализа данных непосредственно на бортовом программно-аппаратном комплексе БПЛА. Данный вариант позволяет обрабатывать видеопоток с камеры летательного аппарата в режиме реального времени и позволяет оператору быстрее и корректнее реагировать на возможные проблемы [15]. Однако реализация данного варианта сопряжена с увеличением весовой и энергетической нагрузки систем БПЛА, а также требует ограничения скорости полёта, что важно для корректной работы алгоритмов машинного зрения.
2. Выполнение нейросетевого анализа данных на дополнительном бортовом вычислительном устройстве, построенном на базе программируемых логических интегральных схем (ПЛИС). Подобная компоновка комплекса позволит увеличить скорость обработки данных [16], вследствие чего скорость БПЛА можно будет не ограничивать, однако является достаточно дорогой и статичной. Использование бортового вычислительного устройства на базе ПЛИС будет являться обоснованным только в том случае, если комплекс будет полностью отлажен, а его производство - поставлено на поток, в
противном случае использование ПЛИС является экономически не целесообразным.
3. Выполнение нейросетевого анализа данных на стационарном (наземном) сервере. В данном варианте БПЛА используется исключительно для сбора видеоданных и напрямую не участвует в обработке данных, а все вычислительные процессы выполняются на специально оборудованном сервере [17]. Подобный подход позволит существенно удешевить и ускорить сбор данных, поскольку БПЛА будет использоваться в штатном режиме и не будет нести дополнительной нагрузки, а алгоритмы машинного зрения и нейросетевой классификации могут быть реализованы на одном из имеющихся компьютеров.
Анализ описанных выше вариантов платформ для развёртывания комплекса показал, что для автоматизированной диагностики и мониторинга наиболее оптимальным является последний вариант, поскольку решение данной задачи не требует выполнения процедуры мониторинга в режиме реального времени.
Выбор архитектуры нейронной сети. Для корректной работы автоматизированного комплекса важно выбрать такую архитектуру нейронной сети, которая позволит наиболее точно детектировать листья борщевика. Для решения этой задачи в качестве архитектуры нейронной сети была выбрана свёрточная нейронная сеть. Данный выбор обусловлен тем, что нейронная сеть такой архитектуры демонстрирует наиболее высокие показатели эффективности распознавания объектов на изображениях по сравнению с другими архитектурами. В настоящее время на базе нейронных сетей, имеющих свер-точную архитектору, разработано большое количество моделей обучения: YOLO, EfficientDet, ResNet и многие другие. Авторами был проведен вариантный анализ, в результате которого были проанализированы наиболее популярные модели нейронных сетей на предмет скорости и точности детектирования листьев борщевика.
Результаты вариантного анализа представлены в таблице 1.
ХХХХХХХХХХХ технологии, машины и оборудование ХХХХХХХХХХХ ХХХХХХХХХХХ для агропромышленного комплекса ХХХХХХХХХХХ
Таблица 1. Результаты вариантного анализа моделей нейронных сетей Table 1. Results of variant analysis of neural network models
Наименование модели / Model name Время, мс / Time, ms Точность, % / Accuracy, % Рейтинг/ Rating mAP, % Recall, % F1 score, %
YOLOv7 112 97 158 97 99 97
EffitncientNet-D7 234 91 140 95 96 97
MobileNetv2_140 49 67 124 92 92 73
ConvNeXT_basw_in22k 218 73 106 94 92 86
RegNety_008 159 67 98 95 98 80
ViT_large_r50_s32_224 269 72 96 83 87 77
DenseNet-161 171 67 95 81 89 75
BAT_ResNext26ts 170 68 92 84 91 74
SPNASNet_100 120 64 90 81 86 69
Gluon_Xception65 262 67 83 86 88 71
Источник: составлено авторами в результате исследования
Вариантный анализ показал, что для детектирования и классификации листьев борщевика наиболее точным является алгоритм УОЬОу7.
Следующим этапом после успешного обучения и тестирования нейронной сети является её практическое использование для детектирования и классификации листьев борщевика. Обученная и протестированная нейронная сеть уже способна детектировать типовые заболевания растений, однако для большей наглядности и простоты интерпретации результатов авторами было принято решения о создании интерактивной карты борщевика.
Интерактивная карта позволяет выводить результаты детектирования в виде точек на карте (геометок), что поможет определить местоположение проблемной области и оптимальный путь к ней, также вывод фото с выявленной проблемой позволит на ранних этапах отсеять возможные ложные срабатывания. При необходимости итоговый файл с геометками загружается в навигатор для прокладки маршрута к проблемному месту.
Для реализации интерактивной карты в используемом БПЛА БЛтауюрго имеется встроенный ОР8-трекер. Лог с геометками записывается в памяти приложения БЛтауюап.
В процессе реализации процедуры нейросете-вой обработки видеоматериалов формируется лог, содержащий время кадра и количество обнаруженных листьев борщевика, детектированных нейронной сетью. Визуализация состояния будет производиться в виде карты с размеченными границами произрастания борщевика, входными данными для которой являются синхронизированные логи
нейросетевой обработки и GPS-трекера (с совмещенными временными метками).
Интерактивная карта позволяет обработчику гербицидами оперативно получать информацию о нахождении борщевика не только в статическом, но и в динамическом режиме. Наличие проблемных мест на исследуемом участке визуализируется посредством различной расцветки маркеров в соответствии с количеством детектированных листьев борщевика. Красные области на интерактивной карте указывают, что нейросетевой алгоритм определил границы места нахождение борщевика.
Оценка производительности автоматизированного комплекса. Для оценки производительности автоматизированного комплекса мониторинга нахождения борщевика была разработана система уравнений, позволяющая выполнять расчёт эффективной площади борщевика (5), которую комплекс способен мониторить за один световой день (D). При расчёте эффективной мониторируемой площади необходимо учитывать не только тип используемого БПЛА, а также метеорологические условия, но и вычислительную производительность используемого оборудования и топологические особенности рассматриваемого борщевика. Полученная система уравнений позволяет рассчитывать необходимое количество БПЛА и вычислительного оборудования для нахождения борщевика. Эффективная площадь, мониторируемая одним автоматизированным комплексом, характеризуется выражением (12).
S = 0 . 3 3 aPekn ^ W dt - 2 IGn, (12) где a - расстояние между точками облета; Pe- метрика, характеризующая относительную производи-
[ technologies, machines and equipment ; for the agro-industrial complex
тельность вычислительного оборудования; кп -температурная поправка, характеризующая разряд аккумулятора БПЛА; - продолжительность светового дня; - скорость полёта БПЛА; - расстояние между посадочной площадкой и исследуемой местностью; - значение частоты вылетов.
В связи с тем, что алгоритм облёта борщевика включает необходимость выполнения процедуры как минимум трёхкратной съёмки каждого ряда (слева, справа, сверху), в уравнение (12) включён коэффициент 0.33. В случае необходимости увеличения качества детектирования необходимо увеличить количество пролётов каждого ряда. В этом случае значение данного коэффициента следует уменьшить до необходимого.
Метрика (Ре), характеризующая относительную производительность вычислительного оборудования, вычисляется в соответствии с выражением (13). Данная метрика описывает длительность выполнения нейросетевой обработки видеоматериалов, полученных при использовании БПЛА, а также время, затрачиваемое на копирование видеоматериалов из флэш-памяти БПЛА в накопитель вычислительного оборудования.
Р. = 0 . 8(^г
ref.
0.91
(13)
где - коэффициент производительности вычислительного оборудования; Р^ - опорное значение коэффициента производительности вычислительного оборудования (Р^ = 1 при использовании оборудования на базе GPURTX2060).
Значение частоты вылетов (п) характеризует общее количество вылетов БПЛА за световой день (И). Этот параметр учитывает продолжительность процедуры замены аккумуляторной батареи БПЛА с учётом скорости её разряда в зависимости от температурных условий эксплуатации комплекса. Вычисляется из выражения (14):
п =
dtc кп
( )
(14)
где d stc - значение стандартного времени разряда аккумуляторной батареи БПЛА.
Определение зависимости значения температурной поправки частоты вылетов БПЛА ( ) от температуры окружающей среды производилось в ходе экспериментального исследования разрядных характеристик литий-ионного (Li-ion) аккумулятора. Методом регрессионного анализа разрядных характеристик было получено выражение (15):
кп = 1 — (( 1 . 0 6-10-2)Т — 3.3 2 9)2 , (15) где Т- температура окружающей среды.
Для расчёта скорости полёта БПЛА ( ) было составлено уравнение (16). Данное уравнение учитывает как аэродинамические характеристики БПЛА, так и некоторые метеорологические параметры окружающей среды: скорость и направление ветра:
И/ = 0.5к ■
Щ + СрРУуС О Е) и Зу + ^ _ £Ер£иауСО£(£)£3^2^ ^^
где - значение аэродинамического коэффициента БПЛА; - значение скорости полёта БПЛА; -значение коэффициента аэродинамического сопротивления БПЛА; р - значение плотности воздуха; \аУ - площадь БПЛА, подвергаемая ветровой нагрузке; - направление ветра относительно вектора движения БПЛА; - значение скорость ветра; т - масса БПЛА.
Необходимое значение скорости полёта БПЛА так же, как и количество пролётов над рядом, устанавливается в соответствии с требуемым качеством детектирования и вычисляется в соответствии с выражением (17):
У = 16.2 ехр( — 2.5 (}У0.0 3), (17) где - параметр, характеризующий необходимое качество детектирования (0.. .1).
Численная оценка производительности автоматизированного комплекса была проведена для борщевика, находящегося в Нижегородской области. Расчёты показали, что при использовании вычислительного оборудования на базе GPURTX2060 и БПЛА DJI mavicpro эффективная мониторируемая площадь борщевика на одном заряде аккумулятора составляет 3 км2.
Заключение
Таким образом, разработанная математическая модель обработки изображений опасных и вредоносных растений с камеры БПЛА позволяет в оперативном режиме получать данные о наличии насаждений борщевика в зоне мониторинга. Индикатором состояния являются изображения листьев борщевика, полученных при помощи БПЛА. Для автоматизированной классификации листьев предлагается использовать свёрточные нейронные сети глубокого обучения. Результаты тестирования точности детектирования листьев обученной нейронной сетью показали, что величина mAP составляет
технологии, машины и оборудование ] для агропромышленного комплекса ]
не менее 97 %, что является достаточным для выявления проблемных областей.
Внедрение предложенной технологии в процесс уничтожения вредоносных и опасных растений позволит не только повысить урожайность, но и снизить возможные финансовые риски за счёт повышения эффективности детектирования очагов произрастания борщевика на ранних стадиях. Численная оценка эффективной производительности предлагаемой технологии показала, что автомати-
зированный комплекс с одним БПЛА DJI тауюрго позволит проводить мониторинг до 3 км2 площади произрастаний борщевика за один заряд аккумулятора. При необходимости увеличения площади мониторинга следует использовать большее количество БПЛА в комплексе либо использовать БПЛА с увеличенным временем полёта. Однако необходимо учитывать, что с увеличением количества БПЛА возникает необходимость наращивания производительности вычислительного оборудования.
СПИСОК ИСТОЧНИКОВ
1. Ардентов А. А., Бесчастный И. Ю., Маштаков А. П., Попов А. Ю., Сачков Ю. Л., Сачкова Е. Ф. Алгоритмы вычисления положения и ориентации БПЛА // Программные системы: Теория и приложения. 2012. № 3 (12). C. 23-39.
2. Алексеев Н. Н., Терентьев С. А. Система автопилотирования БПЛА // Промышленная революция 4.0: взгляд молодежи. Тула, 2020. С. 3-4.
3. Борисенко В. В. Политика государственного регулирования правового статуса применения беспилотных летательных аппаратов // Актуальные проблемы авиации и космонавтики. Секция Актуальные политические проблемы космоса и космонавтики. Красноярск. Т. 3 (13). 2017. С. 1142-1143.
4. Биард Р. У., МакЛэйн Т. У. Малые беспилотные летательные аппараты: теория и практика. Москва, 2015. 312 с.
5. Вторый В.Ф., Вторый С. В. Перспективы экологического мониторинга сельскохозяйственных объектов с использованием беспилотных летательных аппаратов // Теоретический и научно-практический журнал ИАЭП. 2017. Вып. 92. С. 158-165.
6. Глазунова Н. П., Марынова Т. А., Бахтиев Р. Н. Беспилотные системы в АПК // Аграрные конференции. 2019. № 4 (16). С. 15-20.
7. Добрынин Д. А. Комплекс для локального мониторинга объектов окружающей среды на основе малых БПЛА // Робототехника и техническая кибернетика. 2014. № 3 (4). С. 69-72.
8. Дубовик Е. С., Соколова А. Ю. Возможности использования беспилотных летательных аппаратов при проведении осмотра места происшествия по делам о ДТП // Актуальные вопросы юридических наук в современных условиях. № 2. СПб. 2015. С. 139.
9. Косова А.Е., Кориков А. М. Применение видеокамер на борту беспилотных летательных аппаратов (БПЛА) для задач автоматического определения координат БПЛА // Электронные средства и системы управления. 2016. № 1-2. С. 32-34.
10. Ким Н. В., Кузнецов А. Г., Крылов И. Г. Применение систем технического зрения на беспилотных летательных аппаратах в задачах ориентации на местности // Вестник МАИ. 2010. Т. 17. № 3. С. 46-49.
11. Куличкова Е. М. Беспилотные летательные аппараты (БПЛА): Проблемы и направления в сельском хозяйстве // Экономико-математические методы анализа деятельности предприятий АПК. Под редакцией С. И. Ткачева. Саратов, 2021. С. 140-145.
12. Косенков А. А. Особенности организации воздушного пространства для использования БПЛА // Актуальные вопросы науки и хозяйства: новые вызовы и решения. 2020. С. 129-134.
13. Kapania S. et al. Multi object tracking with UAVs using deep SORT and YOLOv3 Retina Net detection framework // Proceedings of the 1st ACM Workshop on Autonomous and Intelligent Mobile Systems. 2020. P. 1-6.
14. Pereira R. et al. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics // Applied Sciences. 2022. № 12 (3). P. 1319.
15. Suzen A. A., Duman B., §en B. Benchmark analysis of jetson tx2, jetsonnano and raspberry pi using deep-cnn // IEEE. 2020. P. 1-5.
Вестник НГИЭИ. 2023. N S (144). C. 20-32. ISSN 2227-9407 (Print) Bulletin NGIEI. 2023. N S (144). P. 20-32. ISSN 2227-9407 (Print)
V^W^VWW^V ТРГНМП1 nniFS МДГШМРЯ ДМП РПIIIPMFNT WWW^^WW
WVW^^WWV^^ FHÜ THF ДППП.1МПИЯТтД I ГПМР1 rvV^^VWW^^WW ^y^y^yff^îiyi^^y^y^yyiyîiyi^ rur i ne пили íwuujinirtl, ъитгьсл
16. Zoev I. V., Markov N. G., Ryzhova S. E. Intelligent computer vision system for unmanned aerial vehicles for monitoring technological objects of oil and gas industry // Известия Томского политехнического университета. 2019. № 115 (3). P. 48.
17. Aposporis P. Object detection methods for improving UAV autonomy and remote sensing applications // IEEE. 2020. P. 845-853.
18. Меньщиков А. и др. Обнаружение борщевика в реальном времени: платформа БПЛA с поддержкой глубокого обучения // IEEE Transactions on Computers. 2021. DOI: 10.1109/TC.2021.3059819
19. Оськин С. В., Курченко H. Ю., Линь Ле Тхи Тхюи, Болотин А. Г. Aнализ возможности применения беспилотных летательных аппаратов в сельском хозяйстве // Чрезвычайные ситуации: промышленная и экологическая безопасность. 2018. № 2-3 (22-23). С. 97-103.
20. Обухова H. А., Мотыко А. А., Поздеев А. А. Идентификация и сопровождение БПЛA на основе анализа видеоданных // Цифровая обработка сигналов и ее применение. DSPA - 2020. Москва, 2020. С. 577-582.
21. Саленко С. Д., Обуховский А. Д. Динамика полета. Часть 1. Траектории летательных аппаратов : учебное пособие. Новосибирск : Новосибирский государственный технический университет, 2014. 140 с.
22. Сорокин И. А., Романов П. H., Чесноков А. Д., Кондраненкова Т. Е. Разработка аппаратно-программного комплекса на основе БПЛA для определения мест нахождения борщевика // Вестник НГИЭИ. 2021. № 11(126). С. 7-1б.
23. Степанов Д. H. Методы и алгоритмы определения положения и ориентации беспилотного летательного аппарата с применением бортовых видеокамер // Программные продукты и системы. 2014. № 1. С. 150-157.
24. Токарев Ю. П. Методы управления беспилотными летательными аппаратами в общем воздушном пространстве с использованием полетной информации при автоматически зависимом наблюдении. Дисс. канд. тех. наук. Спб., 2011. 156 с.
Статья поступила в редакцию 24.02.2023; одобрена после рецензирования 27.03.2023;
принята к публикации 29.03.2023.
Информация об авторах:
И. А. Сорокин - к.т.н., доцент, доцент кафедры «Инфокоммуникационные технологии и системы связи», Spin-код: 3941-б944;
П. Н. Романов - старший преподаватель кафедры «Инфокоммуникационные технологии и системы связи», Spin-код: б07б-3030;
А. Д. Чесноков - старший преподаватель кафедры «Инфокоммуникационные технологии и системы связи», Spin-код: 4004-131б;
Т. Е. Кондраненкова - старший преподаватель кафедры «Инфокоммуникационные технологии и системы связи», Spin-код: 7940-4292.
Заявленный вклад авторов: Сорокин И. А. - общее руководство проектом, анализ и дополнение текста статьи.
Романов П. Н. - проведение экспериментов, статистическая обработка полученных данных, визуализация/представление данных в тексте.
Чесноков А. Д. - сбор и обработка материалов, подготовка первоначального варианта текста. Кондраненкова Т. Е. - формулирование основной концепции исследования, подготовка окончательного варианта статьи, подготовка литературного обзора.
Авторы заявляют об отсутствии конфликта интересов.
ХХХХХХХХХХХ технологии, машины и оборудование ХХХХХХХХХХХ ХХХХХХХХХХХ для агропромышленного комплекса ХХХХХХХХХХХ
REFERENCES
1. Ardentov A. A., Beschastnyj I. Yu., Mashtakov A. P., Popov A. Yu., Sachkov Yu. L., Sachkova E. F. Algorit-my vychisleniya polozheniya i orientacii BPLA [Algorithms for calculating the position and orientation of the UAV], Programmnye sistemy: Teoriya i prilozheniya [Software systems: Theory and applications], 2012, No. 3 (12), pp. 23-39.
2. Alekseev N. N., Terent'ev S. A. Sistema avtopilotirovaniya BPLA [UAV autopilot system], Promyshlennaya revolyuciya 4.0: vzglyad molodezhi [Industrial Revolution 4.0: the view of youth], Tula, 2020, pp. 3-4.
3. Borisenko V. V. Politika gosudarstvennogo regulirovaniya pravovogo statusa primeneniya bespilotnyh le-tatel'nyh apparatov [The policy of state regulation of the legal status of the use of unmanned aerial vehicles], Ak-tual'nye problemy aviacii i kosmonavtiki. Sekciya Aktual'nye politicheskie problemy kosmosa i kosmonavtiki [Actual problems of aviation and cosmonautics. Section Actual political problems of space and cosmonautics], Krasnoyarsk, Vol. 3 (13), 2017, pp. 1142-1143.
4. Biard R. U., MakLejn T. U. Malye bespilotnye letatel'nye apparaty: teoriya i praktika [Small unmanned aerial vehicles: theory and practice], Moscow, 2015, 312 p.
5. Vtoryj V. F., Vtoryj S. V. Perspektivy ekologicheskogo monitoringa sel'skohozyajstvennyh ob"ektov s ispol'zovaniem bespilotnyh letatel'nyh apparatov [Prospects of ecological monitoring of agricultural objects using unmanned aerial vehicles], Teoreticheskij i nauchno-prakticheskij zhurnal IAEP [Theoretical and scientific-practical journal of IAEP], 2017, Iss. 92, pp. 158-165.
6. Glazunova N. P., Marynova T. A., Bahtiev R. N. Bespilotnye sistemy v APK [Unmanned systems in agriculture], Agrarnye konferencii [Agrarian conferences], 2019, No. 4 (16), pp. 15-20.
7. Dobrynin D. A. Kompleks dlya lokal'nogo monitoringa ob"ektov okruzhayushchej sredy na osnove malyh BPLA [Complex for local monitoring of environmental objects based on small UAVs], Robototekhnika i tekhnich-eskaya kibernetika [Robotics and technical cybernetics], 2014, No. 3 (4), pp. 69-72.
8. Dubovik E. S., Sokolova A. Yu. Vozmozhnosti ispol'zovaniya bespilotnyh letatel'nyh apparatov pri provedenii osmotre mesta proisshestviya po delam o DTP [The possibilities of using unmanned aerial vehicles during the inspection of the scene of an accident in cases of an accident], Aktual'nye voprosy yuridicheskih nauk v sovremen-nyh usloviyah [Topical issues of legal sciences in modern conditions], No. 2, Saint-Petersburg, 2015, pp. 139.
9. Kosova A.E., Korikov A. M. Primenenie videokamer na bortu bespilotnyh letatel'nyh apparatov (BPLA) dlya zadach avtomaticheskogo opredeleniya koordinat BPLA [The use of video cameras on board unmanned aerial vehicles (UAVs) for tasks of automatic determination of UAV coordinates], Elektronnye sredstva i sistemy upravleni-ya [Electronic means and control systems], 2016, No. 1-2, pp. 32-34.
10. Kim N. V., Kuznecov A. G., Krylov I. G. Primenenie sistem tekhnicheskogo zreniya na bespilotnyh letatel'nyh apparatah v zadachah orientacii na mestnosti [Application of vision systems on unmanned aerial vehicles in terrain orientation tasks], VestnikMAI [MAIBulletin], 2010, Vol. 17, No. 3, pp. 46-49.
11. Kulichkova E. M. Bespilotnye letatel'nye apparaty (BPLA): Problemy i napravleniya v sel'skom hozyajstve [Unmanned aerial vehicles (UAVs): Problems and trends in agriculture], Ekonomiko-matematicheskie metody analiza deyatel'nosti predpriyatij APK [Economic and mathematical methods of analyzing the activities of agricultural enterprises], In S. I. Tkachev (ed.), Saratov, 2021, pp. 140-145.
12. Kosenkov A. A. Osobennosti organizacii vozdushnogo prostranstva dlya ispol'zovaniya BPLA [Features of the organization of airspace for the use of UAVs], Aktual'nye voprosy nauk i hozyajstva: novye vyzovy i resheniya [Actual issues of science and economy: new challenges and solutions], 2020, pp. 129-134.
13. Kapania S. et al. Multi object tracking with UAVs using deep SORT and YOLOv3 Retina Net detection framework, Proceedings of the 1st ACM Workshop on Autonomous and Intelligent Mobile Systems, 2020, pp. 1-6.
14. Pereira R. et al. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics, Applied Sciences, 2022, No. 12 (3), pp. 1319.
15. Suzen A. A., Duman B., §en B. Benchmark analysis of jetson tx2, jetsonnano and raspberry pi using deep-cnn, IEEE, 2020, pp. 1-5.
16. Zoev I. V., Markov N. G., Ryzhova S. E. Intelligent computer vision system for unmanned aerial vehicles for monitoring technological objects of oil and gas industry, Izvestiya Tomskogo politekhnicheskogo universiteta [Proceedings of Tomsk Polytechnic University], 2019, No. 115 (3), pp. 48.
V^W^VWW^V ТРГНМП! nniFS МЛГШМРЯ ЛМП FflIIIPMFNT WWW^^WW
technologies, machines and equipment
WVW^^WWV^^ FOR THF ЛПРП.1МПИЯТР1Л I ГПМР1 rvV^^VWW^^WW
for the agro-industrial complex
17. Aposporis P. Object detection methods for improving UAV autonomy and remote sensing applications, IEEE, 2020, pp. 845-853.
18. Men'shchikov A. i dr. Obnaruzhenie borshchevika v real'nom vremeni: platforma BPLA s podderzhkoj glubokogo obucheniya, IEEE Transactions on Computers. 2021, DOI: 10.1109/TC.2021.3059819
19. Os'kin S. V., Kurchenko N. Yu., Lin' Le Thi Thyui, Bolotin A. G. Analiz vozmozhnosti primeneniya bespi-lotnyh letatel'nyh apparatov v sel'skom hozyajstve [Analysis of the possibility of using unmanned aerial vehicles in agriculture], Chrezvychajnye situacii: promyshlennaya i ekologicheskaya bezopasnost' [Emergencies: industrial and environmental safety], 2018, No. 2-3 (22-23), pp. 97-103.
20. Obuhova N. A., Motyko A. A., Pozdeev A. A. Identifikaciya i soprovozhdenie BPLA na osnove analiza videodannyh [Identification and tracking of UAVs based on video data analysis], Cifrovaya obrabotka signalov i ee primenenie. DSPA - 2020 [Digital signal processing and its application. DSPA - 2020], Moscow, 2020, pp. 577-582.
21. Salenko S. D., Obuhovskij A. D. Dinamika poleta. CHast' 1. Traektorii letatel'nyh apparatov [Flight dynamics. Part 1. Trajectories of aircraft], a textbook, Novosibirsk : Novosibirskij gosudarstvennyj tekhnicheskij univer-sitet, 2014, 140 p.
22. Sorokin I. A., Romanov P. N., Chesnokov A. D., Kondranenkova T. E. Razrabotka apparatno-programmnogo kompleksa na osnove BPLA dlya opredeleniya mest nahozhdeniya borshchevika [Development of a hardware and software complex based on UAVs to determine the locations of borscht], Vestnik NGIEI [Bulletin NGIEI], 2021, No. 11 (126), pp. 7-16.
23. Stepanov D. N. Metody i algoritmy opredeleniya polozheniya i orientacii bespilotnogo leta-tel'nogo appa-rata s primeneniem bortovyh videokamer [Methods and algorithms for determining the position and orientation of an unmanned aerial vehicle using onboard video cameras], Programmnye produkty i sistemy [Software products and systems], 2014, No. 1, pp. 150-157.
24. Tokarev Yu. P. Metody upravleniya bespilotnymi letatel'nymi apparatami v obshchem vozdushnom pros-transtve s ispol'zovaniem poletnoj informacii pri avtomaticheski zavisimom nablyudenii [Methods of controlling unmanned aerial vehicles in common airspace using flight information with automatically dependent observation. Ph. D. (Engineering) diss.], Saint-Petersburg, 2011, 156 p.
The article was submitted 24.02.2023; approved after reviewing 27.03.2023; accepted for publication 29.03.2023.
Information about the authors: I. A. Sorokin - Ph. D., Associate Professor of the Department of Information and Communication Technologies and Communication Systems, Spin-code: 3941-6944;
P. N. Romanov - Senior Lecturer at the department of «Infocommunication Technologies and Communication Systems», Spin-code: 6076-3030;
A. D. Chesnokov -Senior Lecturer at the department of «Infocommunication Technologies and Communication Systems», Spin-code: 4004-1316;
T. E. Kondranenkova - Senior Lecturer, Department of «Information and Communication Technologies and Communication Systems», Spin-code: 7940-4292.
Contribution of the authors: Sorokin I. A. - managed the research project, analyzing and supplementing the text.
Romanov P. N. - conducting experiments, statistical processing of the obtained data, visualization / presentation of data in the text.
Chesnokov A. D. - collection and processing of materials, preparation of the initial version of the text. Kondranenkova T. E. - formulation of the main concept of the study, preparation of the final version of the article, preparation of a literary review.
The authors declare no conflicts of interests.
