CC BY
53
УДК 577.353:004.8
Применение технологий искусственного интеллекта и компьютерного зрения при решении задач автоматизации обработки и распознавания биологических объектов*
Р.Н. Панарин1, А.А. Соловьев2, Л.А. Хворова1
'Алтайский государственный университет (Барнаул, Россия) 2ООО Integra Sources (Барнаул, Россия)
Application of Artificial Intelligence and Computer Vision Technologies in Solving Problems of Automation of Processing and Recognition of Biological Objects
R.N. Panarin1, А.А. Soloviev2, L.A. Khvorova1
'Altai State University (Barnaul, Russia) 2LLC Integra Sources (Barnaul, Russia)
Рассматривается применение технологий искусственного интеллекта и компьютерного зрения при решении следующих задач: автоматизация обработки и анализа ботанических микро- и макрообъектов, в качестве которых выступают изображения спор папоротников, и разработка программного обеспечения цифрового двойника агроробота. Первая задача представляет собой междисциплинарное исследование, направленное на решение прикладных и фундаментальных задач в биосистематике ботанических объектов и исследовании микроэволюционных процессов с помощью технологий компьютерного зрения, методами интеллектуального анализа изображений, машинного обучения и искусственного интеллекта. В статье представлен инструмент для решения прямой задачи — выполнение замеров по изображениям, получаемых методом сканирующей электронной микроскопии, по изображениям виртуальных гербариев, энтомологических коллекций или выполненным в природной обстановке фотографиям — программный модуль FAST (FunctionalAutomatedSystemTool).
Вторая задача — разработка программного обеспечения цифрового двойника агроробота, предназначенного для точечной механической обработки растений и почвы. В статье представлены: блок управления — вычислительный модуль NVIDIA Jetson NANO; исполнительный механизм — 6-осевая роботизированная рука; блок машинного зрения, состоящий из камеры Intel Real Sense; блок шасси — в виде гусеничных траков с драйверами для их управления. Цифровой двойник робота учитывает условия окружающей среды, ландшафт местности, в которой будет работать прототип робота.
The article considers the application of artificial intelligence and computer vision technologies to solve the automation of processing and analysis of botanical micro and macro objects (images of fern spores). Also, there is a problem of developing software for a digital twin of an agrobot. The first problem is an interdisciplinary research aimed at solving applied and fundamental problems in botanical objects' biosystematics and studying microevolutionary processes using computer vision technologies, methods of intelligent image analysis, machine learning, and artificial intelligence. The article presents the developed software module FAST (Functional Automated System Tool) for solving the direct problem — performing measurements from images obtained by scanning electron microscopy, virtual herbaria image library, entomological collections, or images taken in a natural environment.
The second problem is software development for the digital twin of the agrorobot, designed for precise mechanical processing of plants and soil. The proposed solution includes several components: the control unit — NVIDIA Jetson NANO computing module; the actuator — 6-axis robotic arm; the machine vision unit based on an Intel RealSense camera; the chassis unit — tracked tracks and software drivers and components for their control. The digital twin of the robot considers the environmental conditions and the landscape of the operation area.
The use of ROS (Robot Operating System) allows minimal effort to transfer a digital model to a physical one (prototype and serial robot) without changing the source code. Furthermore, consideration of the environmental conditions during the programming stage provides opportunities for further development and testing of reallife mathematical models for device control.
* Данный проект выполнен в рамках сотрудничества с компанией Интегра Сорсес (Integra Sources) и Программы поддержки научно-педагогических работников ФГБОУ ВО «Алтайский государственный университет», проект «Комплексное решение задач автоматизации обработки, распознавания и поиска ботанических микро- и макрообъектов с помощью технологий компьютерного зрения».
Использование ROS (Robot Operating System) при разработке программного обеспечения позволит с минимальными усилиями осуществить перенос цифровой модели на физическую (прототип и серийного робота), не изменяя исходный код.
Учет физических условий среды при программировании цифрового двойника робота позволил строить приближенные к реальности математические модели управления устройством, заниматься их отладкой и тестированием.
Ключевые слова: программное обеспечение, искусственный интеллект, компьютерное зрение, язык программирования Python, изображения спор папоротников, агроробот, алгоритм управления агророботом.
DOI: 10.14258/izvasu(2022)1-16
Keywords: software, artificial intelligence, computer vision, Python programming language, fern spore images, agrorobot, algorithm, robot movement control.
Введение
Направление исследования: применение технологий искусственного интеллекта и компьютерного зрения при решении задач автоматизации обработки и распознавания биологических объектов — междисциплинарное и направлено на решение следующих прикладных и фундаментальных задач в биосистематике ботанических объектов и исследовании микроэволюционных процессов:
1. Разработка ^-модели для обработки, анализа и проведения полуавтоматических замеров изображений биологических микро- и макрообъектов [1].
2. Разработка базы данных изображений и замеров изображений ботанических объектов для проведения сравнительного анализа в части решения проблем в биосистематике ботанических объектов и исследовании микроэволюционных процессов [1].
3. Разработка цифровой модели и проектирование процесса распознавания ботанических микро-и макрообъектов с помощью технологий компьютерного зрения, методами интеллектуального анализа изображений, машинного обучения и искусственного интеллекта.
4. Получение принципиально новых знаний, которые позволят дополнить естественную классификацию (на примере семейства Pteridaceae), выдвинуть гипотезы о связи ряда таксонов, представленных на континентах Евразия и Африка, в целях объективной реконструкции событий прошлых геологических эпох.
Объектом данного исследования выступают изображения спор папоротников семейства Pteridaceae — одного из самых разнообразных и сложных в таксономическом плане семейств папоротников. К настоящему времени осуществлен значительный задел по трем подсемействам семейства Pteridaceae: накоплены оригинальные
снимки по морфологии спор, полученные методом сканирующей электронной микроскопии, произведен сравнительный анализ признаков для решения вопросов систематики семейства. Для информационного обеспечения исследования были задействованы различные ресурсы: научные статьи [2, 3], глобальные базы данных [4] и личные архивы данных [2].
1. Разработка IT-модели для обработки, анализа и проведения полуавтоматических замеров изображений биологических микро- и макрообъектов
В настоящее время решены первая и вторая прикладные задачи, которые связаны с разработкой инструмента для выполнения замеров по изображениям, получаемым методом сканирующей электронной микроскопии, по изображениям виртуальных гербариев, энтомологических коллекций или выполненным в природной обстановке фотографиям микро- и макрообъектов биологического мира. Разработка IT-модели (модель FAST — Functional Automated System Tool) и программно-алгоритмического обеспечения осуществлена на языке программирования Python с использованием интегрированной среды PyCharm. Графический интерфейс программы разработан с помощью набора Python-библиотек PyQt5 и инструмента для проектирования и создания GUI — QtDesigner (рис. 1).
Задачи 1 и 3, помимо их прямого предназначения, могут быть востребованы в сферах агробио-индустрии, криминалистики, палеонтологии и археологии: это контроль качества зерновых культур, биологическая защита сельскохозяйственных растений, проведение биолого-почвенных экспертиз методом спорово-пыльцевого анализа, реконструкции растительного покрова и исторических событий прошлого.
Длина: 20.0862 ткт Калибровка текущего замера: Первая
Масштаб: + 100% Цвет линии: Желтый ~ Толщина линии: з
Открыть изображение Сохранить Калибровка Замеры Помощь
Рис. 1. Программа FAST: осуществление замера с заданной калибровкой
Разработанное программное обеспечение активно используется в учебном процессе и научных исследованиях Института биологии и биотехнологии (АлтГУ, Барнаул), Пермского государственного университета и Центра сельскохозяйственных исследований (Институт почвоведения, Будапешт, Венгрия). С помощью программного модуля FAST род Schizotergitius Verhoeff, 1930, подсемейство Lithobiinae, кратко переописан, повторно диагностирован и включает только два вида: Schizotergitius longiventris Verhoeff, 1930 (типовой вид из Таджикистана) и S. altajicus Loksa, 1978 (Монголия). S. altajicus переописан на основе типа и свежего материала обоих полов и нанесен на карту его распространения. Представлен идентификационный ключ ко всем восьми родам Lithobiidae, встречающимся в Средней Азии [5].
2. Разработка программного обеспечения
цифрового двойника агроробота
Данное направление проекта «Применение технологий искусственного интеллекта при разработке программного обеспечения цифрового двойника агроробота» предназначено для точечной обработки сельскохозяйственных культур. Технологии искусственного интеллекта реализованы в программном обеспечении четырех высокоуровневых узлов аграрного робота: блоке управления, представляющем собой вычислительный модуль NVIDIA Jetson NANO; исполнительном механизме, которым является 6-осевая настольная роботизированная рука; блоке машинного зрения, состоящем из камеры Intel Real Sense; блоке шасси, представленном в виде гусенич-
ных траков и драйверами для их управления. Данному направлению посвящена основная часть статьи.
Актуальность и практическая значимость данного направления исследования обусловлены необходимостью развития новых технологий в сельском хозяйстве — небольших роботов для точечной механической обработки почвы и растений, управление которыми осуществляется посредством программного обеспечения (ПО), использующего технологии искусственного интеллекта и компьютерного зрения. ПО предназначено для управления агророботом в условиях неопределенной внешней среды.
Основная решаемая оптимизационная задача — максимизировать производительность робота в части экономии используемых ресурсов — удобрений и гербицидов, минимального времени обработки растений и отсутствие вмешательства в процесс обработки человека.
Среда, в которой предстоит работать агроробо-ту, представляет собой сельскохозяйственное угодье со сложным ландшафтом, на котором расположены гряды с саженцами культур. Гряды покрыты перфорированной полиэтиленовой пленкой черного цвета.
Формализация среды. Для описания окружающей среды достаточно определить: положения гряд, возникающие в момент работы препятствия, а также отдельные кусты саженцев, которые необходимо обработать. В качестве универсального подхода для описания препятствий и определения единичных кустов саженцев используются параллелепипеды и связанная с ними скорость агроробота. С мате-
матической точки зрения данное представление является вектором (х\,у\,,V), где х,у,2 е Я , 1 е [0,65535] — номер отслеживаемого объекта. Данный интервал обусловлен ограничением ресурсов вычислительного модуля; } е [0,7] — номер вершины в параллелепипеде; v — скорость объекта.
Гряда представляет собой набор трехмерных контрольных точек, описывающих ее границы. Расстояние, которое описывается в конкретный момент времени, равняется 5 метрам впереди относительно положения камеры робота. Схема формализованной среды приведена на рисунке 2.
Рис. 2. Схема формализованной среды
Центр камеры аграрного робота находится в начале системы координат ХУ7. Все координаты вводятся относительно нее.
Динамическая модель гусеничного робота. Подвижная часть робота представляет собой гусеничное шасси с рамой, на которую крепятся испол-
нительный механизм, камера и модуль управления. Динамическая модель гусеничного робота описывается системой (1) и лежит в основе оптимизационной задачи управления, вокруг которой разрабатывается программное обеспечение:
= р + р _р 51па -Я! _я
йг 2
й 2 у
йа
т~Г = РсеШсг С0*а_ ЯМ1, 4 — = Мс _М
йг
Мс = 2[(р _Я1)_(Р2 _Я2)],
те1и, а21 Мг = & т , а = агсгя-
Г 3 *
йг
(1)
Я\ =
^ а ИтУ2 х ^
Я2 =
2 ЬЯ
/
а ИтУ22 х 2 ЬЯ
М.г
М.г
где m — масса робота; x, у — координаты робота по оси абсцисс и ординат соответственно; F , F2 — тяга на правой и левой гусеницах соответственно; Fcenter — центробежная сила, действующая на объект при повороте; а — угол скольжения; R1, R2— продольные силы сопротивления; g — ускорение свободного падения; — коэффициент бокового сопротивления; — момент инерции относительно
вертикальной оси 7; ш — угловая скорость поворота относительно центра масс; M — момент относительно центра масс; M — момент сопротивления повороту; W — вес робота; H — высота центра инерции; Ь — ширина колеи; V1, V — скорость левой и правой гусеницы соответственно; Я — коэффициент продольного сопротивления; l — длина гусеницы.
Концепция агроробота. В качестве исполнительного механизма выступает манипулятор, в котором используются только вращательные сочленения; во всех сочленениях находятся моторы. Для описания состояния манипулятора задается вектор обобщенных ко-
ординат q = q2, qЪ, q4, д5], каждая компонента которого обозначает поворот в соответствующем сочленении, и вектор обобщенных сил й = [й, й2, йъ, й4, й5 ], задающий силу либо момент в соответствующем сочленении.
Рис. 3. Функциональная схема узлов робота
Камера представляет собой обособленное и8Б-устройство, соединяющееся с блоком управления. Выходной информацией из камеры служит ЯСБ-изображение и облако точек (карта глу-
бины). На рисунке 3 приведена функциональная схема узлов робота, согласно которой разработана функциональная схема программного обеспечения (рис. 4).
Рис. 4. Функциональная схема ПО робота
Поскольку реализация ПО происходит независимо от изготовления робота, то для разработчика возникают задачи по минимизации риска внедрения программного обеспечения в изготовленного робота. Исходя из анализа функциональной схемы ПО, в качестве основной архитектуры выбрана микросервисная,
которую реализует в некоторой степени ROS (Robot Operating System) [6].
Основные решаемые задачи. Решение задачи управления подвижным составом осуществляется в рамках классической теории робототехники (рис. 5) [7].
Локализация
Распознавание
Планирование
Управление
Рис. 5. Схема задачи беспилотного управления
Модуль локализации отвечает за то, чтобы агро-робот понимал, где он находится; модуль распознавания — за то, что находится вокруг робота; модуль планирования строит маршрут, основываясь на информации о том, что находится вокруг и куда необходимо приехать; модуль управления указывает, каким образом ехать по маршруту, чтобы достичь конечной точки маршрута.
Для решения задачи локализации используется RGB-D SLAM [8, 9], поставляемый c пакетом ROS.
Задача распознавания решается двумя сетями. Первая — YOLO4 [10] — для детектирования объектов. Расстояние до них можно определить, обратившись к DistanceMap[i][j] — карте глубины, определяющей расстояние до объекта, который имеет координаты (i, j). Вторая нейронная сеть — Detectron2 решает задачу семантической сегментации окружающего мира. Используется для извлечения рельефа гряды и других поверхностей.
Задача планирования — классическая задача корректировки траектории, которая состоит в удерживании габаритов робота в поле гряды. При отклонении от гряды происходит корректировка движения — поворот в необходимую сторону. При корректировке
движения производится пересчет центроидов, находящихся в очереди объектов, в новых координатах.
Задача управления решается классическим инструментарием на нечеткой логике. Для решения задачи управления манипулятором известны следующие переменные:
• актуальные углы поворота для каждого из 6 шарниров: q^.q
• актуальные параметры Денавита-Хартенберга;
• координаты, крен, тангаж и рыскание конечной точки устройства в URDF формате относительно базовой системы координат устройства: px, py, pz, r, p, y.
В качестве выходных управляющих параметров получаем новые углы поворотов шарниров qj,..,q6. Решатель задачи инверсной кинематики реализован как пакет ROS.
Для отладки работы манипулятора был разработан графический интерфейс (рис. 6, 7) с отладочной информацией и интерфейсом управления.
Сбор и подготовка данных для обучения. Для сбора информации использовали штатив, камеру Intel Real Sence и ноутбук с установленным специализированным программным обеспечением Intel Real Sence Viewer.
Рис. 6. Скриншот модуля задания параметров трех звеньев манипулятора и точки в пространстве
Рис. 7. Скриншот модуля визуализации математической модели манипулятора
Основными собираемыми данными послужили: RGB изображения, карты глубины и облака точек [11]. Фотографирование гряд происходило непосредственно на полях, где предстоит работать роботу. В качестве средств разметки использовали специализированное программное обеспечение CVAT (Computer Vision Annotation Tool). Для разметки областей, содержащих гряды, использовали инструмент Polygon, для аннотации саженцев — инструмент Cuboid.
Заключение
В ходе реализации проекта разработано программное обеспечение цифрового двойника агроро-бота, соответствующее требованиям заказчика. Учет физических условий среды при разработке ПО робота позволил строить приближенные к реальности математические модели управления устройством, заниматься их отладкой и тестированием.
Библиографический список
1. Ваганов А.В., Фаст О.В., Хворова Л.А. Разработка программного модуля для анализа изображений биологических микро- и макрообъектов // МАК: «Математики — Алтайскому краю» : сб. трудов Всерос. конф. по математике с межд. участием. Барнаул, 2020.
2. Barrington D.S., Patel N.R., Southgate M.W. Inferring the impacts of evolutionary history and ecological constraints on spore size and shape in the ferns. Applications in Plant Sciences. 2020. № 8 (4).
3. Yu J, Wang Q-X, Bao W-M. Spore morphology of Pteridophytes from China II. Sinopteridaceae // Acta Phytotaxonomica Sinica. 2001, № 39( 3).
4. Глобальная база данных по биоразнообразию — GBIF: http://gis-lab.info/.
5. Dyachkov Yu.V, Farzalieva G.Sh., Danyi L. On the centipede genus Schizotergitius Verhoeff, 1930, with a redescription of Schizotergitiusaltajicus Loksa, 1978 and a key to the genera of the family Lithobiidae in central asia (Chilopoda: Litho-biomorpha) // Russian Etmological Journal. 2021, № 30 (3).
6. Lentin J. Mastering ROS for Robotics Programming. Packt, Birmingham - Mumbai. 2015.
7. SzikoraP., Madarasz N. Self-driving cars — the human side.In: IEEE 14th International Scientific Conference on Informatics: November 14-16, 2017. Poprad, Slovakia. 2017.
8. Kim P., Coltin B., KimH.J. Linear RGB-D SLAM for Planar Environments // Proceedings of the European Conference on Computer Vision (ECCV): September 8-14, 2018, Munich, Germany.2018.
9. Bruno M.F. da Silva, Rodrigo S. Xavier, Tiago P. do Nas-cimento and Luiz M. G. Gon^alves. Experimental Evaluation of ROS Compatible SLAM Algorithms for RGB-D Sensors // Proceedings of the European Conference on Computer Vision (ECCV). 2018.
10. Bochkovskiy A., Chien-Yao Wang and Hong-Yuan Mark Liao. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv preprint arXiv: 2004. 10934, 23 Apr 2020.
11. Панарин Р.Н., Попов В.Н., Соловьев А.А., Хворова Л.А. Разработка системы сбора и визуализации данных для отладки автономной роботизированной системы // МАК: «Математики — Алтайскому краю» : сб. трудов Всерос. конф. по математике с межд. участием. Барнаул, 2021.
