13Известия Кабардино-Балкарского научного центра РАН № 5 (109) 2022
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
УДК 004.8
DOI: 10.35330/1991-6639-2022-5-109-19-24
Обзорная статья
Высокопроизводительные системы фенотипирования сельскохозяйственных культур
М. И. Анчёков, К. Ч. Бжихатлов, А. М. Лешкенов
Кабардино-Балкарский научный центр Российской академии наук 360010, Россия, Нальчик, ул. Балкарова, 2
Аннотация. В работе произведен анализ систем высокопроизводительного фенотипирования сельскохозяйственных культур. Рассматриваются системы на основе мобильных роботов, беспилотных летательных аппаратов и программно-аппаратные комплексы. Показано, что несмотря на существование на рынке готовых решений, они не покрывают весь спектр задач.
Ключевые слова: фенотипирование, селекция, робототехника
Поступила 07.10.2022, одобрена после рецензирования 13.10.2022, принята к публикации 14.10.2022
Для цитирования. Анчёков М. И., Бжихатлов К. Ч., Лешкенов А. М. Высокопроизводительные системы фенотипирования сельскохозяйственных культур // Известия Кабардино-Балкарского научного центра РАН. 2022. № 5 (109). С. 19-24. Б01: 10.35330/1991-6639-2022-5-109-19-24
Annotation. In this paper, the analysis of systems of high-performance phenotyping of agricultural crops is carried out. Systems based on mobile robots, unmanned aerial vehicles and software and hardware systems were considered. It is shown that despite the fact that there are ready-made solutions on the market, they do not cover the entire range of tasks.
Key words: phenotyping, selection, robotics
Submitted 07.10.2022, approved after reviewing 13.10.2022, accepted for publication 14.10.2022
For citation. Anchekov M.I., Bzhikhatlov K.Ch., Leshkenov A.M. High throughput crop phenotyping systems. News of the Kabardino-Balkarian Scientific Center of RAS. 2022. No. 5 (109). Pp. 19-24. DOI: 10.35330/19916639-2022-5-109-19-24
Согласно данным ООН, численность населения земли к 2030 году может достигнуть 8,5 млрд человек, а к 2050-му - 9,7 млрд человек [1]. При этом число голодающих в 2021 году в мире достигло 828 млн. В таких условиях задача обеспечения населения продовольствием актуализируется с новой силой. Ситуация усугубляется тем, что глобальное потепление приводит к расширению ареала вредителей и опустыниванию сельхозугодий. Одним из
© Анчёков М. И., Бжихатлов К. Ч., Лешкенов А. М., 2022
MSC: 68T40
Review article
High throughput crop phenotyping systems M.I. Anchekov, K.Ch. Bzhikhatlov, A.M. Leshkenov
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street
Введение
способов решения данных проблем является увеличение объемов и экономической эффективности производства сельхозпродукции. Однако данное увеличение невозможно без вывода новых сортов и гибридов сельскохозяйственных культур.
На данный момент такие мировые лидеры, как Monsanto, Seminis, Syngenta Sinochem Holdings и др., способны выпускать новые гибриды каждые 2-3 года, в то время как для российских производителей этот период составляет 8-10 лет. На наш взгляд, существенное сокращение времени создания новых сортов и гибридов возможно только при условии интеллектуализации и роботизации данных процессов.
Фенотипирование растений является одним из важнейших и трудоемких процессов в селекции сельскохозяйственных культур. В данной статье рассматриваются системы феноти-пирования, которые можно отнести к высокопроизводительным. Это решения на основе робототехнических систем и систем автоматизации (программно-аппаратные комплексы). Подобный акцент связан с тем, что требования селекционного процесса и современные тенденции перехода к точному земледелию смещают фокус интереса с поля до конкретного растения. Только массовое внедрение интеллектуальных и роботизированных систем способно обеспечить экономическую эффективность подобного перехода.
Высокопроизводительные системы фенотипирования
В работе [2] представлена разработанная четырехколесная двухосная платформа с размерами (ШхГ*В) 0,56^1,34x1,83 м. Платформа оснащена штангой, на которой крепятся антенны, камеры и манипулятор, оснащенный пенетрометром. Обнаружение стеблей производится на основе данных камер, которые обрабатываются алгоритмом RANSAC [3]. Время обработки одного стебля составляет примерно 10 секунд. На полевых испытаниях алгоритм обнаружения успешно идентифицировал 25 из 26 стеблей. Траектория робота корректируется алгоритмом Pure Pursuits [4]. Разработанная авторами роботизированная платформа прошла предварительные испытания, в которых была продемонстрирована принципиальная исполнимость поставленных задач. Также отметим, что разработанная платформа может обработать только одно междурядье и что измерения степени спелости проводятся с использованием инвазивного метода. Это, с одной стороны, плохо сказывается на состоянии растения, а с другой - отрицательно влияет на производительность фенотипирования.
Потребность в высокой производительности вынуждает разработчиков использовать большее количество сенсоров и наращивать механическую мощность роботизированных платформ. Авторы [5, 6] пошли по пути увеличения массы платформы, что позволило им использовать большее количество сенсоров с высокими разрешающими характеристиками. Разрабатываемый ими робот был назван Phenomobile. В [5] представлена транспортная платформа на гусеничном ходу с установленной стрелой длиной 12 м, которая поднимается на высоту от 1 до 4 м. Стрела оснащена платформой с установленными на ней лидарами, камерами высокого разрешения и мультиспектральными камерами со вспышкой. Заявленная производительность составляет порядка 100-200 делянок в час. Столь высокая производительность отрицательно сказалась на массе платформы, которая составляет порядка 8 тонн, что предполагает специальное обустройство полей для прохождения данной платформы без повреждения растений.
Как показано выше, одной из важнейших составляющих систем высокопроизводительного фенотипирования является транспортная платформа. Успехи в развитии беспилотных летательных аппаратов (БЛА) и их доступность вызывают интерес у разработчиков, в связи с чем появляются проекты с применением БЛА в качестве транспортных платформ. В [7] применялись многомоторные БЛА и БЛА с фиксированным крылом для определения вы-
соты пшеницы. Для построения карты высот методом фотограмметрии использовалась программа Pix4D Mapper. Привязка полученной карты высот к реальным значениям производилась при помощи наземных контрольных точек. Авторы провели полевые испытания, в которых полученные с БЛА данные сравнивались с результатами ручного замера. Предложенный подход позволил получить статистически значимые результаты, которые свидетельствуют о возможности применения предложенного метода.
В [8] предлагается метод высокопроизводительного фенотипирования кукурузы с использованием БЛА с фиксированным крылом и пятью мультиспектральными камерами на борту. В качестве основных параметров были выбраны урожайность и прогноз вируса полосатости кукурузы (MSV). Анализ полученных результатов производился с помощью статистических методов обработки (модель множественной регрессии, древо решений, линейная регрессия с калибровкой). Приведены положительные и отрицательные стороны каждого из методов.
Отличительной чертой применения [7-10] БЛА для высокопроизводительного фенотипирования является оснащение их набором камер, работающих в разных спектрах, с последующей обработкой полученных данных. Хочется обратить внимание на две фундаментальные проблемы, возникающие в процессе применения БЛА: во-первых, при таком высокопроизводительном фенотипировании не происходит смещение фокуса внимания с поля к конкретному растению; во-вторых, отсутствует возможность фиксации таких хозяйственно-ценных признаков, которые остаются недосягаемыми для БЛА (например, длина и диаметр початка, высота прикрепления початка и т.д.).
Другим вектором развития высокопроизводительного фенотипирования являются программно-аппаратные комплексы. Мы понимаем, что провести четкую и однозначную линию между робототехническими системами и программно-аппаратными комплексами трудно, и поэтому будем считать программно-аппаратными комплексами системы автоматизации, которые не являются мобильными и функционируют в закрытых помещениях.
В [11] авторы проводят сравнение разрабатываемой ими системы цифрового фенотипирования на основе изображений (image-basedphenotype) с уже существующими системами PlantCV v2 [12], ImageJ2 [13], IAP [14], Rosette Tracker [15], Deep Plant Phenotyping [16], LeafJ [17], Phenotyping 4D [14]. Авторы обращают внимание, что существующие системы испытывают серьезные трудности при фенотипировании растений, которые перекрываются. В результате это приводит к тому, что системы идентифицируют два и более растения как одно, что приводит к неправильным выводам. В рассматриваемой работе разделение растений осуществляется алгоритмически с использованием библиотеки OpenCV. Для тестирования предложенной системы авторы разработали программно-аппаратный комплекс в форме стола, снабженного камерами с приводами, которые фиксируют состояние растения каждые 30 минут с разных ракурсов. Следует отметить, что авторы закономерно поднимают вопрос о роли больших данных в процессе фенотипирования, однако не предлагают решение. Несмотря на то, что предложенная авторами система позволяет выделять отдельные растения, система тестировалась только для растений высотой не более 35 см.
К системам в виде программно-аппаратного комплекса можно отнести и 3d-систему, предложенную в [18]. Авторы отмечают [19, 20], что существующие системы высокопроизводительного фенотипирования являются очень дорогими, и на рынке есть спрос на системы нижнего ценового сегмента. Они предложили систему в виде прямого параллелепипеда со сторонами (Ш*Г*В) 2,1*1,2x1,4 метра, которая снабжена подвижной платформой с мультиспектральной камерой и тепловизором. Полученные изображения обрабатывались в среде Matlab R2014a. Авторами проведен ряд экспериментов, которые показали, что предложенная схема работает быстрее, чем ручное фенотипирование.
В [21] проводится анализ кроны растений с использованием автоматизированного стенда, который представляет собой горизонтальную штангу с поворотным столиком и вертикальную штангу с механизмом наклона. Разработано программное обеспечение, которое управляет степенями свободы программно-аппаратного комплекса, производит замеры геометрической структуры растений.
Особый интерес представляют системы фенотипирования растений, которые реализованы в виде мобильных приложений [22, 23]. Особенностью данного подхода является то, что разработчики фокусируются больше на методах оценки полученных данных, так как мобильные устройства не всегда могут сделать очень качественные снимки. Такой подход нельзя назвать высокопроизводительным, но, на наш взгляд, является перспективным, так как предложенные методы показывают свою применимость, а разработанное программное обеспечение можно рассматривать как готовый модуль, которым можно дооснастить роботизированные платформы, установив эти приложения на бортовые вычислители (с учетом совместимости на уровне исходных кодов и/или исполнимых файлов).
Заключение
В статье проведен анализ систем высокопроизводительного фенотипирования, из которого можно сделать следующие выводы:
- задача высокопроизводительного фенотипирования не решена и является актуальной;
- предложенные методы можно условно разделить на две большие группы: наземные и надземные. Надземные методы, хоть и обладают большой производительностью, но не решают весь спектр задач;
- наиболее актуальными являются системы на основе автономных мобильных роботов, габаритные размеры которых позволяют проводить массовое неинвазивное фенотипирова-ние при их нахождении непосредственно рядом с растениями.
REFERENCES
1. URL: https://www.un.org/ru/global-issues/population (дата обращения 31.10.2022 г.)
2. Mueller-Sim T. The Robotanist: A ground-based agricultural robot for high-throughput crop phenotyping. IEEE International Conference on Robotics and Automation (ICRA). 2017. DOI: 10.1109/ICRA.2017.7989418.
3. Fischler M.A., Bolles R.C. Random sample consensus. Commun. ACM. 1981. Vol. 24. No. 6. Pp. 381-395.
4. Coulter R. Implementation of the pure pursuit path tracking algorithm. Carnegie Mellon University - Robotics Institute, Tech. Rep., January 1992.
5. Baret F., de Solan B., Thomas S. [et al]. Phenomobile: A fully automatic robot for high-throughput field phenotyping of a large range of crops with active measurements. April 2022, https://www.robopec.com/wp-content/uploads/2020/08/IAMPS_Phenomobile.pdf
6. Madec S., Baret F., de Solan B. [et al]. High-throughput phenotyping of plant height: comparing unmanned aerial vehicles and ground lidar estimates. Frontiers in Plant Science. 2017. No. 8. DOI: 10.3389/fpls.2017.02002.
7. Volpato L. [et al]. High Throughput Field Phenotyping for Plant Height Using UAV-Based RGB Imagery in Wheat Breeding Lines: Feasibility and Validation. Front. Plant Sci. 2021. Vol. 12. https://doi.org/10.3389/fpls.2021.591587
8. Chivasa W., Mutanga O., Burgueno J. UAV-based high-throughput phenotyping to increase prediction and selection accuracy in maize varieties under artificial MSV inoculation. Computers and Electronics in Agriculture. 2021. Vol. 184. DOI: 10.1016/j.compag.2021.106128.
9. Su W. [et al]. Phenotyping of Corn Plants Using Unmanned Aerial Vehicle (UAV) Images. Remote Sensing. 2019. Vol. 11. No. 17. https://doi.org/10.3390/rslll72021
10. Buchaillot Ma.L. [et al]. Evaluating Maize Genotype Performance under Low Nitrogen Conditions Using RGB UAV Phenotyping Techniques. Sensors. 2019. Vol. 19. No. 8. DOI: 10.3390/s19081815.
11. Arunachalam A., Andreasson H. Real-time plant phenomics under robotic farming setup: A vision-based platform for complex plant phenotyping tasks. Computers &Electrical Engineering. 2021. Vol. 92. DOI: 10.1016/j.compeleceng.2021.107098.
12. Gehan M. A. [et al]. PlantCV v2: Image analysis software for high-throughput plant phenotyping. PeerJ. 2017. Vol. 5. DOI: 10.7717/peerj.4088.
13. Rueden C. T. [etal]. ImageJ2: ImageJ for the next generation of scientific image data. BMC Bioinformatics. 2017. Vol. 18. No. 1. https://doi.org/10.1186/s12859-017-1934-z
14. Klukas C., ChenD., Pape J.-M. Integrated Analysis Platform: An Open-Source Information System for High-Throughput Plant Phenotyping. Plant Physiology. 2014. Vol. 165. No. 2. Pp. 506-518. https://doi.org/10.1104/pp.113.233932
15. De Vylder J. [etal]. Rosette Tracker: An Open Source Image Analysis Tool for Automatic Quantification of Genotype Effects. Plant Physiology. 2012. Vol. 160. No. 3. Pp. 1149-1159. https://www.jstor.org/stable/41693984
16. Ubbens J. R., Stavness I. Deep Plant Phenomics: A Deep Learning Platform for Complex Plant Phenotyping Tasks. Front. Plant Sci. 2017. Vol. 8. https://doi.org/10.3389/fpls.2017.01190
17. ApeltF. [etal]. Phytotyping 4D: a light-field imaging system for non-invasive and accurate monitoring of spatio-temporal plant growth. Plant J. 2015. Vol. 82. No. 4. Pp. 693-706. DOI: 10.1111/tpj.12833
18. Zhang C. [et al]. 3D Robotic System Development for High-throughput Crop Phenotyping. IFAC-PapersOnLine. 2016. Vol. 49. No. 16. Pp. 242-247. https://doi.org/10.1016/j.ifacol.2016.10.045
19. Mazis A. [et al]. Application of high-throughput plant phenotyping for assessing biophysical traits and drought response in two oak species under controlled environment. Forest Ecology and Management. 2020. Vol. 465. P. 118101. https://doi.org/10.1016/j.foreco.2020.118101
20. URL: https://phenospex.com/ (дата обращения 31.10.2022 г.)
21. Rakutko E.N. Determination of the crown structure of plants during their automated phenotyping. Tekhnologii i tekhnicheskiye sredstva mekhanizirovannogo proizvodstva produktsii ras-teniyevodstva i zhivotnovodstva [Technologies and technical means of mechanized production of crop and livestock products]. 2020. No. 2(103). Pp. 44-57. DOI: 10.24411/0131-5226-2020-10240. (In Russian)
Ракутько Е. Н. Определение структуры кроны растений при их автоматизированном фенотипировании // Технологии и технические средства механизированного производства продукции растениеводства и животноводства. 2020. № 2(103). С. 44-57. DOI: 10.24411/0131 -5226-2020-10240.
22. BraginskyM.Ya., TarakanovD.V. Plant phenotyping by an adaptive image processing system based on convolutional neural networks. Izdatel'skiy tsentr Sur-GU [Publishing Center of SurSU]. 2021. No. 2(42). Pp. 6-16. DOI: 10.34822/1999-7604-2021-2-6-16. (In Russian)
Брагинский М. Я., Тараканов Д. В. Фенотипирование растений адаптивной системой обработки изображений на базе сверточных нейронных сетей // Вестник кибернетики. 2021. № 2(42), С. 6-16. DOI: 10.34822/1999-7604-2021-2-6-16.
23. RöckelF. [etal]. PhenoApp: A mobile tool for plant phenotyping to record field and greenhouse observations. F1000Res. 2022. Vol. 11. P. 12.
Информация об авторах
Анчёков Мурат Инусович, науч. сотр. лаборатории «Молекулярная селекция и биотехнология», Кабардино-Балкарский научный центр РАН;
360000, Россия, Нальчик, ул. Кирова, 224;
murat.antchok@gmail.com, ORCID: https://orcid.org/0000-0002-8977-797X
Бжихатлов Кантемир Чамалович, канд. физ.-мат. наук, зав. лабораторией «Нейрокогнитивные автономные интеллектуальные системы», Кабардино-Балкарский научный центр РАН;
360002, Россия, Нальчик, ул. Балкарова, 2;
haosit13@mail.ru, ORCID: https://orcid.org/ 0000-0003-0924-0193
Лешкенов Аслан Мухамедович, зав. лабораторией «Сельскохозяйственная робототехника», Кабардино-Балкарский научный центр РАН;
360002, Россия, Нальчик, ул. Балкарова, 2;
aslan.leshckenov@yandex.ru, ORCID: https://orcid.org/0000-0001-9516-3213
Information about the authors
Anchekov Murat Inusovich, staff scientist of the laboratory «Molecular selection and biotechnology», Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, KBR, Nalchik, 224 Kirova street;
murat.antchok@gmail.com, ORCID: https://orcid.org/0000-0002-8977-797X
Bzhikhatlov Kantemir Chamalovich, Candidate of Physical and Mathematical Sciences, Head of the Laboratory «Neurocognitive autonomous intelligent systems», Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360002, Russia, Nalchik, 2 Balkarov street;
haosit13@mail.ru, ORCID: https://orcid.org/ 0000-0003-0924-0193
Leshckenov Aslan Muhamedovich, Head of the Laboratory «Agricultural robotics», Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360002, Russia, Nalchik, 2 Balkarov street;
aslan.leshckenov@yandex.ru, ORCID: https://orcid.org/0000-0001-9516-3213
