1СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.8 Научная статья
DOI: 10.35330/1991-6639-2023-6-116-125-131 EDN: HZNHCC
Система виртуального моделирования робототехнических систем сельскохозяйственного назначения
М. И. Анчёков, А. М. Лешкенов
Кабардино-Балкарский научный центр Российской академии наук 360010, Россия, г. Нальчик, ул. Балкарова, 2
Аннотация. В данной работе предложена система виртуального моделирования сельскохозяйственных роботов. Проведен анализ существующих систем моделирования. Сформулированы требования к системе виртуального моделирования, которая позволит решать задачи коллективной роботизированной борьбы с сорняками и задачи высокопроизводительного фенотипирования.
Ключевые слова: системы виртуального моделирования, робототехника, борьба с сорняками, фенотипирование
Поступила 30.11.2023, одобрена после рецензирования 07.12.2023, принята к публикации 10.12.2023
Для цитирования. Анчёков М. И., Лешкенов А. М. Система виртуального моделирования робототехнических систем сельскохозяйственного назначения // Известия Кабардино-Балкарского научного центра РАН. 2023. № 6(116). С. 125-131. DOI: 10.35330/1991-6639-2023-6-116-125-131
MSC: 68T40 Original article
System for virtual simulation of robotic systems for agricultural purposes
M.I. Anchekov, A.M. Leshkenov
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street
Abstract. This paper proposes a system for virtual simulation of agricultural robots. An analysis of existing simulation systems was carried out. Requirements for a virtual simulation system are formulated, which will allow solving problems of collective robotic weed control and high-throughput phenotyping.
Keywords: virtual simulation systems, robotics, weed control, phenotyping
Submitted 30.11.2023, approved after reviewing 07.12.2023, accepted for publication 10.12.2023
For citation. Anchekov M.I., Leshkenov A.M. System for virtual simulation of robotic systems for agricultural purposes. News of the Kabardino-Balkarian Scientific Center of RAS. 2023. No. 6(116). Pp. 125-131. DOI: 10.35330/1991-6639-2023-6-116-125-131
Введение
Виртуальное моделирование робототехнических систем является важным этапом их создания. Оно позволяет быстро проверять гипотезы, сравнивать разные подходы, рассчитывать экономическую эффективность и т.д. Отсутствие круглогодичной возможности натурных экспериментов при разработке сельскохозяйственных роботов, предназначен-
© Анчёков М. И., Лешкенов А. М., 2023
ных для высокопроизводительного фенотипироавния и борьбы с сорняками, актуализирует задачу разработки систем виртуального моделирования.
На данный момент существуют системы виртуального моделирования, которые можно условно разделить на два больших класса: специализированные системы и системы на основе графических (игровых) движков.
К специализированным можно отнести ROS/Gazebo, Isaac SDK, CoppeliaSim (бывшая V-REP). К системам, основанным на игровых движках, можно отнести системы на основе Unity3d, Unreal Engine.
ROS/Gazebo - программный комплекс, состоящий из взаимодействующих элементов, которые развиваются сообществом отдельно. ROS (Robot Operating System) предоставляет набор программ и библиотек, который позволяет решать широкий спектр задач (системы автоматического управления, алгоритмы поиска пути, реализация сенсорной и эффектор-ной системы роботов и т.д.). Gazebo - это 3D физический симулятор робототехнических систем, который основывается на физическом движке ODE [1, 2]. Моделирование на основе предложенного программного комплекса позволяет создавать симуляции с высокой степенью физической корректности, пользоваться большим количеством готовых решений и де-факто является стандартом в области моделирования роботов.
В случае, если есть необходимость решать высокопроизводительные задачи как на этапе моделирования, так и на этапе внедрения, можно воспользоваться дополнениями к ROS, реализованными компанией NVIDIA в программном комплексе NVIDIA Isaac ROS1. Данное решение можно назвать инфраструктурным, так как оно позволяет уже на этапе моделирования сориентироваться на высокопроизводительном вычислителе, который будет установлен на реальном роботе, и начать его использовать.
CoppeliaSim является программой, которую разрабатывает Coppelia Robotics AG. При установке CoppeliaSim [3] мы получаем готовую среду моделирования, в которой уже имеется некоторое количество готовых примеров, документация.
Виртуальное моделирование на основе игровых движков Unity3D [4, 5], Unreal Engine [6] позволяет создавать достаточно детализированные симуляции. Однако изначально они создавались для других целей, и процесс разработки виртуальной модели может занять много времени.
Постановка задачи
На наш взгляд, все вышеуказанные системы обладают своими положительными характеристиками, однако у них есть один достаточно большой минус - высокий порог вхождения. Так, некоторые системы (ROS/Gazebo, Isaac SDK, CoppeliaSim) способны моделировать физическое взаимодействие между роботами и роботами и средой. Данная возможность очень полезна на том этапе разработки, когда уже есть чертежи и макеты проектируемого изделия, известные массогабаритные характеристики основных узлов, силомо-ментные характеристики приводов и т.д. Однако на этапе создания систем распознавания, принятия решений и управления решение этих проблем может занять достаточно много времени и, что еще хуже, потребовать постоянного пересмотра полученных решений в процессе дальнейших исследований.
Другие системы (Unity3D, Unreal Engine) являются полноценными игровыми движками (game engine), которые открывают практически неограниченные возможности для визуализации и моделирования роботототехнических систем, однако требуют значительного вклада труда программистов.
1 https://developer.nvidia.com/isaac-ros
Таким образом, к основным требованиям разрабатываемой системы можно отнести: низкий порог вхождения, открытость системы для расширения, гибкую настройку функциональности, возможность сетевого взаимодействия, отсутствие привязки к конкретному языку программирования.
Описание среды
Основными структурными элементами разрабатываемой системы являются: виртуальное поле, роботы (летающие и наземные), растения (культурные и сорные). Виртуальное поле представляет собой клеточный мир. Каждая клетка поделена на ярусы (рис. 1).
Fig. 1. Virtual field
Каждый из ярусов содержит информацию, которая необходима для моделирования. Так, первый ярус содержит информацию о дронах, которые в данный момент времени находятся в воздухе. Второй ярус содержит информацию о культурных или сорных растениях. В общем случае информация представляет собой структурированное описание растений (биологические и/или хозяйственно полезные признаки) и графическое представление растений.
Третий ярус предназначен для хранения информации о роботах. В каждой клетке находится информация о роботе, который ее занимает.
Четвертый ярус отвечает за хранение информации о свойствах почвенного слоя. Данная информация нужна для последующего моделирования конкуренции растений и моделирования роботов для анализа почвы.
Для настройки виртуальной среды необходимо указать размеры виртуальной среды в клетках. Для начального этапа моделирования целесообразным является выбор масштаба 1 клетка = 1 м2. Для детального моделирования следует выбирать масштаб 1 клетка = 1/16 м2.
Вид и месторасположение культурных растений задаются файлом конфигурации, который описывает, какое культурное растение находится в конкретной клетке.
Расположение сорных растений может определяться как файлом конфигурации, в котором указано месторасположение, так и генерироваться на основе статистической информации, которая есть у пользователя.
Описание роботов
С точки зрения программирования роботы представляют собой класс (рис. 2), у которого обязательно должны быть определены сенсоры окружающей среды, сенсор сообщений от других роботов, эффекторы движения, отправки сообщений и воздействия на окружающую среду. Также роботы должны иметь систему управления. Здесь под системой управления понимается система управления в широком смысле, которая включает в себя систему распознавания, принятия решений и, собственно, систему управления.
Рис. 2. UML диаграмма класса Robot Fig. 2. UML diagram of the Robot class
ОПИСАНИЕ РАСТЕНИЙ
В общем случае описание растений можно осуществлять тремя способами:
- статистическим, когда задаются законы пространственного распределения растения и интервалы характеристик, из которых случайным образом выбираются значения конкретного растения;
- детерминированным, когда каждое растение описывается в общем случае кортежем из двух элементов: структурированным описанием и графическим представлением.
- комбинированным, который сочетает в себе первые два способа, например, конкретные положения описываются детерминированным способом, а значения в структурированном описании задаются статистическим.
Такой подход позволит в дальнейшем решать задачи моделирования фенотипирования с помощью роботов.
Далее представлен пример структурного описания кукурузы на основе формата JSON.
{
"id":1000,
"pos":{"x":5, "y":7},
"name":"maize",
"height":2.2,
"cob":{
"1":{"mounting height":0.9, "size":0.15},
"2":{"mounting height":1.3, "size":0.17 }
}
"number of leaves": 5
}
где: id - уникальный номер растения; pos - координаты растения; name - название растения; height - высота растения;
cob - секция описывает початки, высоту их крепления (mounting height), размер (size); number of leaves - количество листьев.
В случае необходимости описание можно расширить информацией о фазе роста и времени достижения конкретной фазы роста.
Описание взаимодействия
Важным аспектом создания среды моделирования являются механизмы взаимодействия составных элементов.
Взаимодействие робот-растение. Как воздушные, так и наземные роботы могут получать информацию только из области видимости, т.е. находятся в частично наблюдаемой среде. Предполагается, что у воздушных роботов область видимости шире, чем у наземных. Конкретные значения задаются на этапе настройки системы моделирования перед запуском. Для систем управления, которые готовы работать с информацией от реальных датчиков, возможно применить процедуру рандомизации, которая изменяет заранее заданные показания сенсорной системы на величину погрешности измерения с заданным законом распределения. Данная процедура позволит решить проблему переобучения, когда система распознавания не строит закономерности, а запоминает конкретные значения. Для решения задач моделирования процесса борьбы с сорняками необходимо реализовать механизм воздействия робота на растение. Для этого в описание как культурных, так и сорных растений добавляется параметр health, который является безразмерным и описывает интегральное состояние «здоровья» растения и принимает значение от 0 до 100, где 0 - растение мертвое, 100 - растение абсолютно здорово. Если растение находится в области воздействия робота, робот может изменить значение health растения, тем самым имитировать процесс воздействия на растение. Если учесть, что информация о сорных и культурных растениях поступает по одному каналу, роботу необходимо принимать решение о том, как он будет взаимодействовать с каждым растением.
Взаимодействие робот-робот. Для моделирования коллективных эффектов роботам необходимо предоставить возможность обмениваться сообщениями. В зависимости от целей моделирования возможна гибкая настройка среды обмена сообщениями. Так, возможно реализовать обмен сообщениями всех со всеми или ограничить радиус отправки/ приема сообщений конкретными значениями, за пределами которых невозможно получить или отправить сообщение.
Взаимодействие робот-среда. Параметры, которые описывают данное взаимодействие, позволяют гибко управлять степенью физической корректности среды. Так, можно задать «стоимость» передвижения роботов и таким образом моделировать процесс выбора оптимального пути. Например, наземные роботы имеют возможность передвигаться только вдоль рядов кукурузы и, соответственно, должны в принятии решений это учитывать, а воздушные роботы не имеют таких ограничений, однако должны учитывать более высокую стоимость (или энергозатратность) своего перемещения. Таким образом, подобный поход позволяет моделировать процесс борьбы с сорными растениями и оценивать экономическую эффективность полученных результатов.
Сетевое взаимодействие и обеспечение
БЕСПЕРЕБОЙНОСТИ ПРОЦЕССА МОДЕЛИРОВАНИЯ Предлагаемая система виртуального моделирования не привязывается к определенным формализмам, с помощью которых разрабатывается система управления робота. Для подключения системы управления к роботу можно воспользоваться двумя механизмами. Первый механизм основан на системе модулей языка Python, когда система управления реализована на языке Python или есть программный интерфейс, позволяющий обратиться к ней с помощью языка Python. Второй механизм основан на так называемой клиентсерверной архитектуре. Система управления конкретного робота может физически находиться на другом компьютере, но при этом обмениваться с сервером по протоколу http. Данный подход обладает большей универсальностью, так как снимает ограничение на совместимость с языком Python.
Задача обеспечения бесперебойности процесса моделирования особо актуальна в случае, если моделирование занимает достаточно продолжительный период времени. В предлагаемой системе она решается за счет периодического сохранения промежуточных этапов в базу данных, к которым можно будет вернуться в случае, если произошел сбой.
Заключение
В статье описаны основные существующие системы виртуального моделирования сельскохозяйственных роботов. Показана актуальность разработки системы моделирования, которая обладает новыми свойствами и лишена недостатков предыдущих систем. Дальнейшее развитие предложенной системы моделирования необходимо расширить, добавив возможность моделирования вредителей и болезней растений.
REFERENCES
1. Zhao S., Hwang S.-H. Complete coverage path planning scheme for autonomous navigation ROS-based robots. ICTExpress. 2023.
2. Albonico M. et al. Software engineering research on the Robot Operating System: A systematic mapping study. Journal of Systems and Software. 2023. Vol. 197. P. 111574.
3. Ribeiro J.P.L. и др. Computational Simulation of an Agricultural Robotic Rover for Weed Control and Fallen Fruit Collection-Algorithms for Image Detection and Recognition and Systems Control, Regulation, and Command. Electronics. 2022. Vol. 11. No. 5. P. 790.
4. Wang C. и др. Virtual Simulation of Fruit Picking Robot Based on Unity3D. J. Phys.: Conf. Ser. 2020. Vol. 1631. No. 1. P. 012033.
5. Аверкин А. Н. и др. Разработка моделей и алгоритмов для беспилотного управления сельскохозяйственной техникой с применением технологий виртуальной и дополненной реальности // Вестник ТГТУ. 2020. № 4.
Averkin A.N. et al. Development of models and algorithms for unmanned control of agricultural machinery using virtual and augmented reality technologies. Vestnik TGTU. 2020. No. 4. (In Russian)
6. Jiang C. et al. Co-simulation of the Unreal Engine and MATLAB/Simulink for Automated Grain Offoading. IFAC-PapersOnLine. 2022. Vol. 55. No. 24. Pp. 379-384.
Информация об авторах
Анчёков Мурат Инусович, науч. сотр. лаборатории «Молекулярная селекция и биотехнология», Кабардино-Балкарский научный центр РАН;
360000, Россия, г. Нальчик, ул. Кирова, 224;
murat.antchok@gmail.com, ORCID: https://orcid.org/0000-0002-8977-797X
Лешкенов Аслан Мухамедович, зав. лабораторией «Сельскохозяйственная робототехника», Кабардино-Балкарский научный центр РАН;
360002, Россия, г. Нальчик, ул. Балкарова, 2;
aslan.leshckenov@yandex.ru, ORCID: https://orcid.org/0000-0001-9516-3213
Information about the authors
Anchekov Murat Inusovich, Researcher of the Laboratory “Molecular selection and biotechnology”, Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 224 Kirov street;
murat.antchok@gmail.com, ORCID: https://orcid.org/0000-0002-8977-797X
Leshckenov Aslan Muhamedovich, Head of the Laboratory “Agricultural robotics”, Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360002, Russia, Nalchik, 2 Balkarov street;
aslan.leshckenov@yandex.ru, ORCID: https://orcid.org/0000-0001-9516-3213
