ПРЕДЛОЖЕНИЯ ПО ОРГАНИЗАЦИИ ВИРТУАЛЬНЫХ ИСПЫТАНИЙ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБЪЕКТОВ В СИСТЕМАХ УПРАВЛЕНИЯ МОБИЛЬНЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ

Максим Евгеньевич Данилин; Андрей Владимирович Заяра; Вячеслав Дмитриевич Федулов

ДИАГНОСТИЧЕСКИЕ МЕТОДЫ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА СЛОЖНЫХ СИСТЕМ

DIAGNOSTIC METHODS FOR ENSURING RELIABILITY AND QUALITY OF COMPLEX SYSTEMS

УДК 004.896

doi: 10.21685/2307-4205-2023-3-12

ПРЕДЛОЖЕНИЯ ПО ОРГАНИЗАЦИИ ВИРТУАЛЬНЫХ ИСПЫТАНИЙ

АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБЪЕКТОВ В СИСТЕМАХ УПРАВЛЕНИЯ МОБИЛЬНЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ

М. Е. Данилин1, А. В. Заяра2, В. Д. Федулов3

1 2' 3 Военный инновационный технополис «ЭРА», Анапа, Россия 1 2 zaw1966@mail.ru, 3 vdf21@yandex.ru

Аннотация. Актуальность и цели. Алгоритмы искусственного интеллекта для систем управления робо-тотехнических комплексов также являются продукцией, качество которой необходимо подтверждать результатами испытаний. Материалы и методы. Разработаны предложения в методику проведения виртуальных испытаний алгоритмов распознавания реперных маркеров ArUco, которые широко используются в робототехнике. Результаты и выводы. Определены показатели надежности, по которым предлагается оценивать качество технологий искусственного интеллекта.

Ключевые слова: робототехнические комплексы, искусственный интеллект, алгоритм распознавания, виртуальные испытания

Для цитирования: Данилин М. Е., Заяра А. В., Федулов В. Д. Предложения по организации виртуальных испытаний алгоритмов распознавания объектов в системах управления мобильных робототехнических комплексов // Надежность и качество сложных систем. 2023. № 3. С. 100-106. doi: 10.21685/2307-4205-2023-3-12

PROPOSALS FOR ORGANIZING VIRTUAL TESTS OF OBJECT RECOGNITION ALGORITHMS IN CONTROL SYSTEMS OF MOBILE ROBOTIC COMPLEXES

M.E. Danilin1, A.V. Zayara2, V.D. Fedulov3

1 2' 3 Military innovative technopolis "ERA", Anapa, Russia 1 2 zaw1966@mail.ru, 3 vdf21@yandex.ru

Abstract. Background. Artificial intelligence algorithms for control systems of robotic complexes are also products, the quality of which must be confirmed by test results. Materials and methods. Proposals have been developed for the methodology for conducting virtual tests of ArUco fiducial marker recognition algorithms, which are widely used in robotics. Results and conclusions. Reliability indicators are determined, according to which it is proposed to evaluate the quality of artificial intelligence technologies.

Keywords: robotic systems, artificial intelligence, recognition algorithm, virtual tests

For citation: Danilin M.E., Zayara A.V., Fedulov V.D. Proposais for organizing virtual tests of object récognition algorithms in control systems of mobile robotic complexes. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2023;(3):100-106. (In Russ.). doi: 10.21685/2307-4205-2023-3-12

На сегодняшний день мобильные робототехнические комплексы (РТК) применяются практически во всех областях человеческой деятельности, включая производство, логистику, сельское хозяйство, строительство и т.д. Если при работе в помещении с неизменной внутренней конфигурацией, например, внутри склада, задача автономной доставки грузов решена, то проблема управления комплексом при перемещении по пересеченной местности в незнакомых условиях остается открытой. По этой причине производители не прекращают работы по интеграции в систему управления мобильных РТК таких технологий искусственного интеллекта (ИИ), как «Следуй за мной», визуальная навигация и голосовое управление. Подтвердить качество этих технологий возможно только путем проведения испытаний. На основании этого разработка предложений в проекты типовых программ испытаний мобильных РТК в части проверки требований, реализованных с помощью технологий ИИ, является актуальным научным направлением.

По результатам анализа информации официального сайта Федерального агентства по техническому регулированию и метрологии можно сделать вывод о том, что разработкой методического аппарата, регламентирующего содержание испытаний РТК, должен заниматься технический комитет по стандартизации ТК 164 «Робототехника». Несмотря на то, что в составе нового комплекса стандартов Р60 этого комитета из 49 документов 26 имеют в наименовании слово «испытания», отдельные предложения по организации тестирования именно технологий ИИ возможно найти только в ГОСТ1. Они применяются:

- для оценки погрешности отработки комплексом пространственного расположения;

- для автономного обнаружения и обхода препятствий.

Все остальные методики применяются в основном для подтверждения ходовых характеристик мобильных роботов.

Вместе с этим другой технический комитет ТК 141 «Искусственный интеллект» рекомендует методические инструменты для оценки качества систем ИИ, которые применяются в транспортной отрасли. В целях повышения доверия к технологиям ИИ национальный стандарт устанавливает состав функциональных подсистем высокоавтоматизированного транспортного средства2. Под функциональной подсистемой понимается программный модуль транспортного средства, в котором используются частные алгоритмы ИИ для решения конкретных практических задач. Подобный структурный подход можно применить к системе управления РТК. Если сравнить структуры подсистемы интерпретации входных данных в транспортном средстве и технологию ИИ «Следуй за мной» в РТК, то алгоритму распознавания дорожных знаков можно сопоставить алгоритм распознавания реперных маркеров ArUco. Эти алгоритмы широко используются в робототехнике для позиционирования роботов, и реализуются с помощью библиотеки OpenCV [1, 2].

Планируется, что в составе технологии ИИ «Следуй за мной» алгоритм распознавания ArUco метки будет участвовать в обеспечении автономного движения мобильного РТК следующим образом. Маркер располагается на жилете испытателя, выступающего в роли ведущего. Алгоритм должен его распознать и определить положение (рис. 1).

Для комплексной оценки качества функционирования алгоритма предлагается применить сле-

„ 3

дующие типы испытаний с учетом рекомендаций национального стандарта :

- виртуальные;

- испытания на полигоне, под которым понимается территория (помещение) и испытательные

„4

сооружения, оснащенные средствами испытаний ;

- испытания на пересеченной местности.

1 ГОСТ Р 60.6.3.15-2021. Роботы и робототехнические устройства. Рабочие характеристики и соответствующие методы испытаний сервисных мобильных роботов. Навигация.

2 ГОСТ Р 70250-2022. Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта.

3 ГОСТ Р 70250-2022. Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта.

4 ГОСТ 16504-81. Система государственных испытаний продукции. Испытания и контроль качества продукции. Основные термины и определения.

Рис. 1. Движение мобильного РТК за оператором с Агисо маркером

Процедуру аудита и оценки, а также мониторинг, которые стандарт включает в обязательный перечень испытаний, рекомендуется признать нецелесообразными для проведения по следующим причинам. Результаты аудита зависят от субъективности экспертов и не гарантируют достоверной оценки безопасности и функциональности, а процедура мониторинга относится уже к стадии эксплуатации.

Таким образом, комплекс обязательных мероприятий по подтверждению качества алгоритмов ИИ должен начинаться с этапа виртуальных испытаний, которые представляют собой компьютерное моделирование процесса управления движением РТК. Для обеспечения их практической реализации необходимо:

- создать среду симуляции, которая идентична обстановке, в которой предполагается применение комплекса;

- провести моделирование движения РТК по пересеченной местности, по возможности изменяя погодные и дорожные условия.

Этап виртуальных испытаний на основе имитационных моделей играет важную роль в обеспечении комплексной оценки систем ИИ. Этот вид тестирования можно использовать для проверки конкретного алгоритма ИИ в широком диапазоне сценариев полевых ситуаций при различных условиях применения с минимальными затратами. Цель виртуализации испытаний заключается в том, чтобы с достаточной степенью адекватности воспроизвести функционирование мобильного комплекса, а также имитировать воздействие на него окружающей среды и других физических объектов в процессе применения по назначению.

В ходе виртуальных испытаний могут использоваться различные типы инструментальных средств для оценки соответствия алгоритмов в составе системы управления требованиям функциональности в широком диапазоне ландшафтных театров, включая те из них, на которых организовать проведение полигонных испытаний весьма сложно.

В зависимости от состава оборудования, которое задействуется для создания реальных условий функционирования системы ИИ, применяются различные подходы, сущность которых поясняется схемой на рис. 2.

Для организации виртуальных испытаний алгоритма распознавания Агисо метки наиболее адекватным видится подход проведения имитационного моделирования полностью на компьютере. Такую модель можно «проиграть» во времени, как для одного испытания, так и для нескольких. При этом случайным характером можно изменять условия моделирования. По результатам можно получить адекватные показатели качества функционирования алгоритмов.

Рис. 2. Схема, поясняющая сущность организации имитационных и виртуальных испытаний

Экспериментирование с моделью называется имитацией [3], для ее реализации необходимо иметь:

- персональный компьютер с техническими характеристиками, полностью удовлетворяющими требованиям к аппаратному обеспечению алгоритмов в составе системы ИИ, и для запуска испытательной системы, копирующей среду функционирования алгоритма распознавания ArUco метки;

- программное обеспечение самого алгоритма с интерфейсом, позволяющим воздействовать на него с помощью тестирующей выборки и оценивать результаты обработки синтетического видео алгоритмом;

- видеоролик, представляющий собой имитационную модель движения ArUco метки на спине оператора в различных вариантах условий окружающей среды.

Тестирующее видео создавалось с использованием программы на языке Python в редакторе исходного кода Visual Studio Code на основе анализа изменения формы и искажения рисунка реперного маркера. С целью улучшения репрезентативности тестирующей выборки использовались приемы, перечисленные в табл. 1. Параметры, характеризующие перемещение метки, указаны как в абсолютных величинах, с учетом того, как бы перемещение проецировалось в поле зрения камеры, так и в пикселях (воспроизведение на экране монитора).

Модель воспроизводила перемещение ArUco метки в поле зрения фронтальной камеры РТК. Имитировалось движение маркера на спине человека, который движется по пересеченной местности. В процессе моделирования были воспроизведены условия удаления РТК от ведущего приблизительно на 3,5 м. Продольные перемещения в поле зрения камеры, соответствующие изменению направления идущим оператором, воспроизводились движением маркера по синусоиде. Дополнительные колебания с меньшей амплитудой воспроизводили естественную походку человека. Возможные искажения метки при наклонах и поворотах корпуса ведущего имитировались последовательным вращением ArUco маркера вокруг трех осей: абсцисс, ординат и аппликат. Предельные значения углов поворота указаны в табл. 1. Также для повышения обобщающей способности модели были применены такие методы аугментации, как размытие маркера и периодическая смена фона окружающей среды.

Тестирующий видеоролик (рис. 3) в качестве входного воздействия был загружен в качестве исходных данных для обработки алгоритмом распознавания. Имитационное моделирование проводилось на ЭВМ с центральным процессором Intel Core i7-10510U 2,3 ГГц, графическим процессором Intel UHD и оперативной памятью 16 ГБ.

Таблица 1

Характеристики имитационных движений человека

Декомпозиция реального движения метки на спине оператора и условий окружающей среды Имитация движения оператора (окружающих условий) Величина перемещения

в абсолютных величинах в относительных, пиксели

Перемещение в горизонтальной плоскости Движение по кочкам Amax = 0,2 м Уб = 0,2 м/с Amax = 75 пкс Уб = 0,2 м/с

Перемещение в вертикальной плоскости Походка человека Ап max = 0,05 м Ап max = 18 пкс

Т = 1,3 с

Перемещение в радиальном направлении Удаление (приближение) D = ±1 м D = ±20 пкс

Повороты метки относительно ее центра (оси ОХ) Раскачивание корпуса человека влево-вправо za = 0 ± 5° -

Повороты метки относительно горизонтальной оси, проходящей через ее центр (оси ОТ) Наклоны корпуса вперед и отклонения назад zp = 0 ± 20° -

Повороты метки относительно вертикальной оси, проходящей через ее центр (оси ОТ) Боковые повороты корпуса zy = 0 ± 50° -

Изменение времени суток (затемнение), погодные условия (туман), запыление Размытие - -

Рис. 3. Скриншот тестирующего видео с численными результатами виртуальных испытаний

Основным критерием для оценки качества алгоритма распознавания Агисо метки выбирается такая существенная характеристика, как надежность, которая характеризует свойство объекта сохранять во времени способность выполнять требуемые функции в заданных режимах и условиях применения [4]1. Прежде всего, основной функцией алгоритма является распознавание Агисо маркера, пока тот находится в поле зрения камеры РТК. По результатам проведения виртуальных испытаний, проведенных в течение 6 мин 25 с (385 0) с учетом существенных факторов, влияющих на эксплуатацию комплекса, оценивались два показателя:

- максимальная продолжительность непрерывного периода, в течение которого метка не распознавалась (4,0 с);

- суммарная продолжительность времени, в течение которого метка не распознавалась (62,04 с).

При условии отсутствия в поле камеры РТК оператора априори комплекс должен остановиться,

учитывая обстоятельство, что средняя скорость пешехода по пресеченной местности 4,5 км/ч, что составляет Ус? ~ 1,25 м/с. Таким образом, в случае исчезновения ведущего из поля зрения робота,

1 ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения.

дистанция между ним и человеком может увеличиться на отрезок длиной до 5 м, что вполне допустимо. Относительная общая продолжительность времени, когда система управления комплекса «не видела» Агисо метку, составляет 16,1 % [5, 6].

Разумеется, что для подтверждения доверия к алгоритму ИИ проведения одних виртуальных тестирований недостаточно. Тем не менее положительной стороной виртуальных испытаний являются масштабируемость, рентабельность, безопасность и эффективность по сравнению с полигонным или реальным испытанием, что позволяет создавать широкий спектр сценариев использования по назначению и прогнозировать численные оценки характеристик технологий ИИ.

1. Локализация по Aruco маркерам. URL: https://habr.com/ru/articles/482220 (дата обращения 15.06.2023).

2. OpenCV - открытая библиотека компьютерного зрения. URL: https://docs. opencv.org/4.x/d5/dae/tuto-rial_aruco_detection.html (дата обращения: 15.06.2023).

3. Норкин И. И. Системы эмуляции и симуляции сети // Инжиниринг и технологии. 2018. № 3. С. 1-3.

4. Иванов С. В., Зайченко А. В., Хорольский Е. М., Колесников А. А. Методика оценки состояния робототех-ничеких комплексов двойного назначения на основе применения трехуровневой архитектуры СУБД // Надежность и качество сложных систем. 2022. № 1. С. 46-54. doi: 10.21685/2307-4205-2022-1-6

5. Березнев В. А. Система безаварийного управления группой роботов // Надежность и качество сложных систем. 2020. № 4. С. 73-78. doi: 10.21685/2307-4205-2020-4-8

6. Дивеев А. И., Шмалько Е. Ю. Метод синтезированного оптимального управления для группы роботов // Надежность и качество сложных систем. 2018. № 4. С. 40-47. doi: 10.21685/2307-4205-2018-4-4

1. Lokalizatsiyapo Aruco markeram = Localization by Aruco markers. (In Russ.). Available at: https://habr.com/ru/ar-ticles/482220 (accessed 15.06.2023).

2. OpenCV - otkrytaya biblioteka komp'yuternogo zreniya = OpenCV is an open library of computer vision. (In Russ.). Available at: https://docs. opencv.org/4.x/d5/dae/tutorial_aruco_detection.html (accessed 15.06.2023).

3. Norkin I.I. Network emulation and simulation systems. Inzhiniring i tekhnologii = Engineering and technology. 2018;(3):1-3. (In Russ.)

4. Ivanov S.V., Zaychenko A.V., Khorol'skiy E.M., Kolesnikov A.A. Methodology for assessing the state of dualpurpose robotics complexes based on the use of a three-level DBMS architecture. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022;(1):46-54. (In Russ.). doi: 10.21685/2307-4205-2022-1-6

5. Bereznev V.A. System of trouble-free control of a group of robots. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2020;(4):73-78. (In Russ.). doi: 10.21685/2307-4205-2020-4-8

6. Diveev A.I., Shmal'ko E.Yu. Method of synthesized optimal control for a group of robots. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2018;(4):40-47. (In Russ.). doi: 10.21685/23074205-2018-4-4

Список литературы

References

Информация об авторах / Information about the authors

Максим Евгеньевич Данилин

научный сотрудник,

Военный инновационный технополис «ЭРА» (Россия, г. Анапа, Пионерский пр-т, 41) E-mail: zaw1966@mail.ru

Maksim E. Danilin

Researcher,

Military innovative technopolis "ERA" (41 Pionersky avenue, Anapa, Russia)

Андрей Владимирович Заяра

кандидат технических наук, старший научный сотрудник научно-исследовательского отдела, Военный инновационный технополис «ЭРА» (Россия, г. Анапа, Пионерский пр-т, 41)

Andrey V. Zayara

Candidate of technical sciences,

senior research fellow of the research department,

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Military innovative technopolis "ERA"

(41 Pionersky avenue, Anapa, Russia)

E-mail: zaw1966@mail.ru

Вячеслав Дмитриевич Федулов

старший оператор,

Военный инновационный технополис «ЭРА» (Россия, г. Анапа, Пионерский пр-т, 41) E-mail: vdf21@yandex.ru

Vyacheslav D. Fedulov

Senior operator,

Military innovative technopolis "ERA" (41 Pionersky avenue, Anapa, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию/Received 14.06.2023 Поступила после рецензирования/Revised 10.07.2023 Принята к публикации/Accepted 11.08.2023