CC BY
17
16. Khludenev A. V.Pofidernyy kontrol soprotivleniya izolyatsii izolirovannykh setey postoyannogo toka [Feeder insulation monitoring of unearthed DC distribution networks], Mater. II Mezhdunarodnoy nauchno-tekhnicheskoy konferentsii «Problemy polucheniya, obrabotki i peredachi izmeritel'noy informatsii» [Materials of the II International Scientific and Technical Conference "Problems of Receiving, Processing and Transmitting Measurement Information"]. Ufa: USATU, 2019, pp. 213-217.
17. Khludenev A. Insulation Monitoring Impact on Relay Protection Malfunction, In Proceedings of the 2020 International Conference on Electrotechnical Complexes and Systems (ICOECS), Ufa, Russian Federation, 2020, pp. 58-61. DOI: 10.1109/ ICOECS50468.2020.9278485.
18. Fitzpatrick D. Analog Design and Simulation using OrCAD Capture and PSpice, 2nd ed., Newnes, 2018, 438 p.
19. Yow-Chyi Liu, En-Chih Chang, Yong-Lin Lee, Yu-Zhong Lin. Detection of Ground Insulation Faults in Ungrounded DC Power Supply Systems by Using a DC Current Injection Method // In Proceedings of the 5th International Conference on Power and Energy Systems Engineering (CPESE 2018), Nagoya, Japan, 2018, pp. 349-355. D0I:10.1016/j.egypro.2018.11.154.
20. Wen C., Chen M. Research on DC grounding finder to effectively prevent microcomputer protection malfunction caused by one-point grounding of secondary circuit, IOP Conference Series: Earth and Environmental Science, 2020, vol. 512: 4th International Workshop on Advances in Energy Science and Environment Engineering (AESEE 2020), Hangzhou, China, 2020, p. 012152. DOI: 10.1088/1755-1315/ 512/1/012152.
Статью рекомендовал к опубликованию д.т.н. Г.М. Тутаев.
Хлуденев Александр Владимирович - Оренбургский государственный университет;
e-mail: avhludenev@yandex.ru; г. Оренбург, Россия, тел.: +73532372874; кафедра промышленной электроники и информационно-измерительной техники; к.т.н.; доцент.
Khludenev Alexander Vladimirovich - Orenburg State University; e-mail: avhludenev@yandex.ru;
Orenburg, Russia; phone: +73532372874; industrial electronics and information measuring engineering department; сand. of eng. sc.; associate professor.
УДК 681.786, 62-529 DOI 10.18522/2311-3103-2022-3-289-299
Т.Г. Цой
ОЦЕНКА СИСТЕМ КООРДИНАТНЫХ МЕТОК С ИСПОЛЬЗОВАНИЕМ БОРТОВОЙ КАМЕРЫ МОБИЛЬНОГО РОБОТА «СЕРВОСИЛА ИНЖЕНЕР» В УСЛОВИЯХ ЗАКРЫТЫХ ПОМЕЩЕНИЙ
Современные задачи специальных областей робототехники, включая поисково-спасательные операции в городских населенных пунктах, ставят ряд вызовов перед мобильной робототехникой. Одним из важных требований к алгоритмическому и программному обеспечению робота являются возможности автономного принятия решений и автоматического выполнения роботом различных функции как низкого, так и высокого уровня на основе заложенных алгоритмов и информации, получаемой с бортовых датчиков робота. На сегодняшний день самыми распространенными бортовыми датчиками робота являются камеры различных типов, что обусловлено их техническими возможностями и более низкой стоимостью относительно лидаров и других датчиков, предоставляющих визуальную информацию в виде цифровых изображений. Калибровка камер является необходимым процессом для извлечения точной информации из цифровых изображений. Данный процесс необходим для получения точного соответствия между трехмерным объектным пространством и пиксельным пространством изображения, для возможности последующего использования алгоритмов компьютерного зрения, комплексирования и обработки информации. Калибровка цифровых камер является неотъемлемой частью целого ряда практических задач машинного зрения: навигация мобильных робототехнических систем, медицина, реконструкция плотных и разреженных трехмерных карт окружения, видео-
наблюдение и визуальная инспекция, визуальная одновременная локализация и картографирование и др. Актуальность проблемы калибровки камер обусловлена наличием множества различных методов калибровки и калибровочных шаблонов. В большинстве случаев каждый метод калибровки использует определенный калибровочный шаблон. Каждое отдельное решение подходит лишь под особые условия - недостаток освещения, плохие погодные условия, наличие перекрывающих видимость сторонних объектов. Калибровка камер обычно ассоциируется с использованием специальных калибровочных шаблонов. Они позволяют достичь наиболее точных результатов за счет заранее известной геометрической структуры. В настоящее время процедура калибровки камер робототехнических систем проводится в лабораторных условиях с использованием классического метода «шахматной доски». Помимо него существует всего лишь несколько альтернативных подходов, которые находятся в зачаточном состоянии как в России, так и за рубежом. С другой стороны, исследования в области методов калибровки камеры продолжаются и появляются новые альтернативные варианты калибровки камер. Одно из новых направлений - это использование систем координатных меток в качестве эталонного объекта. Разнообразие параметров - размер калибровочного шаблона, размерность набора калибровочных данных, распределениерасстояний от камеры до объектов на сцене и т.д. - создает объемную базу для экспериментального тестирования оптимальных параметров калибровки камер. В данной статье представлено исследование вопроса автоматической калибровки камеры с использованием систем координатных меток (СКМ), которые располагаются на поверхности робота. По результатам виртуальных экспериментов с СКМ в симуляционной среде Gazebo робототехнической операционной системы ROS были выбраны два разных типов СКМ, оптимальных относительно прочих типов меток, охваченных нашими предыдущими исследованиями, с точки зрения устойчивости СКМ к систематическому перекрытию поверхности метки и влияния размера метки на качество ее распознания. Выбранные СКМ были протестированы с использованием бортовой камеры российского мобильного робота «Сервосила Инженер» в условиях закрытых помещений с целью оценки корреляции результатов в виртуальной и реальной средах.
Калибровка камеры; системы координатных меток; мобильный робот.
T.G. Tsoy
FIDUCIAL MARKERS EVALUATION USING ONBOARD CAMERA OF SERVOSILA ENGINEER MOBILE ROBOT IN INDOOR SETTINGS
Modern tasks of special areas of robotics, including search and rescue operations in urban areas, face a number of obstacles to mobile robotics, where the automatic performance of various functions by mobile robots remains a key task. One of the important requirements for the algorithms and software of the robot is the possibility of autonomous decision-making and automatic performance by the robot of various functions, both low and high levels based on the embedded algorithms and information receivedfrom the on-board sensors of the robot. To date, the most common on-board robot sensors are cameras of various types, due to their technical capabilities and lower cost relative to lidars and other sensors that provide visual information in the form of digital images. Camera calibration is a necessary process for extracting accurate information from digital images. This process is necessary to obtain an exact correspondence between the three-dimensional object space and the pixel space of the image, for the possibility of subsequent use of computer vision algorithms, aggregation, and information processing. Calibration of digital cameras is an integral part of a number ofpractical tasks of machine vision such as navigation of mobile robotic systems, medicine, reconstruction ofdense and sparse three-dimensional maps of the environment, video surveillance and visual inspection, visual simultaneous localization and mapping, etc. The urgency of the problem of camera calibration is defined by the presence of many different methods of calibration and calibration templates. Each individual solution is suitable only for special conditions, e.g., lack of lighting, bad weather conditions, the presence of third-party objects blocking visibility, etc. In most cases, each calibration method uses a specific calibration pattern. Camera calibration is usually associated with the use of special calibration templates. They allow to achieve the most accurate results due to a previously known geometric structure. Currently, the procedure for camera calibrating of robotic systems is carried out in laboratory conditions using the classic "chessboard" method. In addition, there are only a few alternative approaches that are in their
infancy state both in Russia and abroad. On the other hand, research into camera calibration methods continues and new alternatives for camera calibration are emerging. One of the new directions is the use of fiducial marker systems as a reference object. A variety ofparameters such as the size of the calibration template, the dimension of the calibration data set, the distribution ofdistances from the camera to objects on the stage, etc. creates a vast area for experimental testing of optimal camera calibration parameters. This paper presents a research of automatic camera calibration using fiducial marker systems (FMS), which are located on the surface of the robot. Based on the results of virtual experiments with FMS in the Gazebo simulation environment of the robotic operating system ROS, two different types of FMS were selected that are optimal relative to other types of FMS covered by our previous studies in terms of the resistance of FMS to systematic occlusion of the marker area and the effect of marker size on quality of its recognition. The selected FMS were tested using the onboard camera of the Russian mobile robot Servosila Engineer in indoor settings to assess the correlation of results in virtual and real environments.
Camera calibration; fiducial marker systems; mobile robot.
1. Введение. Наряду со стихийными бедствиями человечество сталкивается с техногенными катастрофами, которые могут возникнуть в результате террористических угроз, гражданских войн и других факторов, вызванных деятельностью человека, которая бросает вызовы для роботизированных поисково-спасательных операций, осуществляемых в городских условиях [1]. Роботизированная поисково-спасательная операция предполагает замену человека поисково-спасательным роботом из соображений повышения безопасности персонала и эффективности процессов. Как следствие, автономность робота становится жизненно важным элементом для обеспечения эффективной работы робота.
Городская среда после катастрофы представляет собой сложные условия работы для автономных роботов из-за непредсказуемости реальной миссии и возможных сценариев [2]. Поэтому за последнее десятилетие подавляющее большинство поисково-спасательных роботов использовалось в реальных полевых условиях в режиме телеуправления, то есть удаленного режима управления. Команда спасателей принимает решения, которые, среди прочего, основаны также и на данных, собранных при помощи бортовых датчиков роботов. На сегодняшний день самыми распространенными бортовыми датчиками робота являются камеры различных типов, что обусловлено их техническими возможностями и более низкой стоимостью относительно лидаров и других датчиков, предоставляющих визуальную информацию в виде цифровых изображений.
Камеры позволяют осуществлять исследования окружающей среды вокруг робота. При этом, чтобы собрать точные визуальные данные, требуется калибровка камеры после каждого аппаратно-программного изменения, которое может быть вызвано как внешними негативными воздействиями (например, падение робота или падение какого-либо объекта на корпус робота в месте расположения камеры, которые вызывают смещение или повреждение аппаратной составляющей) так и целенаправленно вмешательства, инициированного самим пользователем-оператором (например, перемещение датчика или замена линзы). Это стало нетривиальной задачей для исследователей, принимая во внимание тот факт, что обычно реальные поисково-спасательные операции проходят в условиях большого количества обломков конструкций зданий и располагавшихся внутри объектов, пыли, задымления, повышенной влажности и других условий, которые оказывают негативное влияние на дальность видимости предметов и окружающей среды, качество изображения и угол обзора камеры. Такие условия требуют периодического осуществления процедуры калибровки во время работ в реальных, полевых условиях в зоне осуществления поисково-спасательной операции. В то же время мы должны подчеркнуть, что использование точного промышленного оборудования для калибровки стоит дорого и его использование в полевых условиях крайне за-
труднительно, практически невозможно. Однако в большинстве случаев возможно применение методов компьютерного зрения для калибровки камеры с использованием только специального программного обеспечения, бортового компьютера и дополнительного бортового (навесного) оборудования робота.
Калибровка камеры поисково-спасательного робота требует от робота определенного уровня автономности, который мог бы позволить исключить помощь человека, чтобы избежать потенциальных дополнительных человеческих жертв в ходе поисково-спасательной операции. Кроме того, в полевых условиях, как правило, небольшой размер робота ограничивает использование досок большого размера для классической калибровки камеры (т. е. узор в виде шахматной доски), которые широко используются в лабораторных условиях, где обеспечиваются близкие к идеальным условия освещения и непосредственное участие человека в процессе калибровки.
В данной работе представлены экспериментальные исследования по сравнению систем координатных меток (СКМ) с учетом количества внешних критериев и валидации поведения двух разных типов СКМ в лабораторных условиях. Цель экспериментальных исследований состоит в сравнении уровня устойчивости различных СКМ к систематическому перекрытию поверхности метки и влияния размера метки, т. е. расстоянию от камеры до метки, на качество ее распознания. Экспериментальная валидация выполнена с помощью бортовой камеры российского мобильный гусеничного робота «Сервосила Инженер» (рис. 1).
Рис. 1. Слева - Мобильный робот «Сервосила Инженер».
Справа - Экспериментальная валидация на роботе «Сервосила Инженер» в лабораторных условиях с использованием камеры и нанесенной на поверхность робота координатной метки: эксперимент по оценке устойчивости метки
к перекрытию
2 Обзор литературы. Tsai [3] и [4] представили успешные и точные
методы калибровки камеры, ставшие популярными благодаря гибкому дизайну и калибровочному инвентарю в виде планарного шахматного узора, который можно легко распечатать на обычном принтере. Однако современные методы учитывают новые функции, включенные в базовый метод с использованием дизайна координатных меток с рисунком шахматной доски. Эти особенности были классифицированы в [5] и включают устойчивость к условиям освещения, устойчивость к ошибке первого рода (ложноположительное заключение) или ошибке второго рода (ложноотрицательное заключение), размер метки, устойчивость к перекрытиям и максимальное расстояние до метки.
Использование калибровочного шаблона шахматной доски - это метод надежной калибровки камеры только для хорошо контролируемых и близких к идеальным лабораторным условиям. Однако, шаблон не может быть обнаружен в случаях его перекрытия выше определенного допустимого предела или малого размера рисунка. Несмотря на то, что исследователи предлагали различные вариации с геометрией шаблона, например, круговые шаблоны [22], геометрия шахматной доски остается наилучшей для калибровки. По этой причине некоторые исследовательские группы создали свои улучшенные калибровочные доски, которые основаны именно на геометрии шахматной доски [6-9].
СКМ активно применяются при решении различных задачах для робототех-нических систем, включая, например, такие задачи как локализация и навигация [10, 11], зрительно-моторные задачи [12, 13], обнаружение меток под водой [14] [15]. СКМ применялись в различных условиях окружающей среды, где обычно, благодаря алгоритмам распознавания, они использовались без участия человека. Последний фактор позволяет автоматизировать внешнюю калибровку камеры [16] и может потенциально использоваться для более сложного процесса внутренней калибровки камеры. Все же, это требует соответствующего исследования СКМ, чтобы определить лучшее семейство координатных меток для конкретной цели. В рамках сравнительного анализа необходимо провести большое количество экспериментов, чтобы получить статистически значимые результаты, позволяющие объективно оценить опциональность конкретного СКМ для конкретной задачи и с точки зрения конкретных критериев.
Долгосрочной целью проекта является автоматизация процессов калибровки камеры с использованием меток, расположенных на собственной поверхности робота. На первом этапе исследования была проведена серия пилотных экспериментов в ручном режиме [17] с использованием камер с разным разрешением, включая отдельные камеры и бортовые камеры российского антропоморфного робота AR-601M [23]. Поскольку каждое СКМ имеет разные сильные и слабые стороны, в начале проект был сосредоточен на экспериментах, которые учитывают устойчивость меток к перекрытию и вращению метки относительно осей системы координат. На этом первом этапе было выбрано три потенциальные СКМ: АМ^, AprilTag и CALTag. Выбор основывался на популярности СКМ среди исследователей в области компьютерного зрения и робототехники, а также наличие открытого исходного кода и удобства использования.
Был создан единый дизайн экспериментов для камер с разными параметрами: FaceCam 1000Х и Basler acA640-90gc. Дизайн учитывал такие свойства СКМ, как устойчивость метки к систематическим перекрытиям, произвольным перекрытиям и вращению метки [18]. Эксперименты проводились в лабораторной среде с постоянными условиями освещения и идеальным фоном каждой координатной метки. После серии экспериментов были сделаны выводы, что ARTag и AprilTag обладают высокой чувствительностью к перекрытию границ метки, в то время как CALTag показал лучший результат - CALTag был успешно обнаружен даже при 50% области перекрытия другим объектом. В экспериментах произвольного перекрытия и вращения метки, все три СКМ были одинаково успешны.
Затем были разработаны эксперименты для тестирования меток в псевдополевой среде с использованием робота АР-601М [18]. Здесь под псевдополевой средой подразумевается, что, в то время как эксперименты проводились в тех же лабораторных помещениях, не уделялось особого внимания условиям освещения и фона каждой координатной метки, во время экспериментов метка намеренно перекрывалась различными предметами и изображениями. Эта же процедура экспериментов использовалась для проверки устойчивости метки к перекрытиям, но также
был добавлен дополнительный фактор изменения размера метки, чтобы проанализировать влияние обоих факторов на распознавание координатной метки. Анализ результатов продемонстрировал, что размер метки (или расстояние до камеры) играет критическую роль для успешной идентификации метки. СКМ AptilTag показала лучшие результаты, а показатели СКМ ARTag и CALTag были значительно ниже. Псевдополевые эксперименты в области автономной самокалибровки камеры роботом продемонстрировали прямую зависимость вероятность успеха распознавания от размера метки, который всегда должен быть максимизирован в доступных пределах размера места ее размещения на поверхности робота. Таким образом, можно сделать вывод, что необходимо сосредоточиться не только на экспериментах по перекрытию, но также и на размере метки.
Эксперименты, выполняемые в ручном режиме, имеют значительные и неизбежное недостатки, которые существенно снижают ценность получаемых экспериментальных результатов. Такие эксперименты трудно масштабировать для выполнения большого количество экспериментов, следуя такому же дизайну экспериментов с несколькими координатными метками, потому что положение и ориентация метки, условия света/тени и многие другие фактор должны быть точно проконтролированы и воспроизведены множество раз. Кроме того, реальный выбор оборудования зачастую ограничен и производит зашумленные сенсорные данные, препятствующие точному воспроизведению экспериментов ручного режима на практике.
Чтобы нивелировать отмеченные недостатки, была разработана виртуальная экспериментальная среда в робототехнической операционной системе ROS (англ. «Robot Operating System») с использованием симулятора Gazebo [19]. Виртуальная среда устраняет вариации в позиционировании камеры и метки и позволяет управлять виртуальными внешними условиями во время экспериментов. Данные виртуальные эксперименты были автоматизированы для получения данных о каждой метке для каждого типа СКМ. Анализ результатов виртуальных экспериментов показал, что метки ArUco 16h3 и ChiliTag оказались наименее чувствительны к уменьшению углового размера, поэтому эти СКМ были отобраны для дальнейшей проверки в лабораторных экспериментах с использованием бортовой камеры мобильного робота, которые представлены в данной статье.
3. Дизайн экспериментов. Все эксперименты были разработаны с использованием метода «один фактор за раз». (англ. «One-factor-at-a-time», OFAT). В подходе OFAT во время эксперимента исследуемый фактор, который представляет интерес, варьируется, в то время как все другие факторы, которые могут повлиять на результаты эксперимента, сохраняются постоянными [20]. Таким образом исключается влияние других факторов и оценивается влияние единственного фактора на результаты. Дизайн экспериментов построен по следующей схеме: процедура валидации, постоянные факторы, переменный фактор, процедура эксперимента, ожидаемые результаты.
Были предложены четыре конкретных идентификатора СКМ, которые ранее в различных экспериментах продемонстрировали более высокое качество распознания по сравнению с другими СКМ. Далее была проведена валидация процедуры для выбранных меток, чтобы определить, какой идентификатор метки СКМ демонстрируют наилучшую производительность. Установка и дизайн экспериментов для каждого типа экспериментов описаны в следующих трех подразделах.
3.1. Аппаратное и программное обеспечение. Были проведены эксперименты с мобильным роботом «Сервосила Инженера» (рис. 1), который имеет манипулятор с четырьмя степенями свободы (англ. «degrees of freedom», DoF) [21]. Четыре бортовые камеры расположены в голове робота, которая установленная над конечным звеном манипулятора. Захват изображения метки был выполнен бортовой камерой TWIGACam с разрешением 1280x720 при 50 кадрах в секунду. По результатам виртуальных экспериментов в симуляторе Gazebo, которые были описаны в разделе 2, четыре координатные метки были выбраны для дальнейших реальных
экспериментов: ArUco 16h3 с идентификаторами ID 53 и ID 198; Chilitag с идентификаторами ID 815 и ID 1015. Для обнаружения и распознавания меток мы использовали неформальные ROS-пакетыArUcol и ChiliTag2.
3.2. Общие экспериментальные настройки. Для обоих типов экспериментов ряд внешних условий окружающей среды оставался неизменным. Постоянные факторы включали условия освещения, расстояние до метки, положение и ориентация метки, параметры камеры, ее положение и ориентация.
Условия освещения: равномерное искусственное освещение помещения с отсутствием избытка или недостатка освещения.
Расстояние до метки: постоянное расстояние от камеры до метки 0.7 метра.
Положение и ориентация метки: все метки крепились к плоской гладкой поверхности корпуса робота без наклона. Все метки располагались перед камерой робота. Метка крепилась к мобильной базе робота «Сервосила Инженер» между основных гусениц (рис. 1, справа).
Параметры камеры: следующие внутренние параметры камеры были зафиксированы в ходе экспериментов: разрешение камеры, модель дисторсии, масштабирование. Использована камера TWIGACam с разрешением 1280 x 720, модель бочкообразной дисторсии, без масштабирования, кадровая частота 50 кадров в секунду. Фокусное расстояние также оставалось постоянным соответственно выбору масштаба.
Положение и ориентация камеры: для всех экспериментов камера была расположена строго напротив метки. Процесс достижение необходимого положения и ориентации камер осуществлялся с учетом кинематической модели манипулятора.
Вариативные факторы и процедуры описаны в разделах 3.3. и 3.4.
Ожидаемые результаты. В каждом эксперименте необходимо получить процент успешных распознаваний каждой выбранной метки на каждом шаге. Результаты должны быть сведены в единую таблицу, что позволит сделать вывод об успешности СКМ с точки зрения критерия устойчивости к систематическим перекрытиям (раздел 3.3.) и критерия физического размера метки (раздел 3.4.).
3.3. Эксперимент 1 - Эксперименты с систематическими перекрытиями. В этом разделе описывается дизайн эксперимента систематических перекрытий метки. Дополнительно к постоянным факторам, которые были подробно описаны в разделе 3.2, был добавлен фактор постоянного размера метки. Изменялся процент перекрытой (наложением другого объекта) области метки. Был использован определенный размер метки, который не может существенно повлиять на результаты эксперимента перекрытия метки. Оптимальный размер метки был выбран экспериментально; его верхний предел зависит от доступного места на поверхности базы мобильного робота, где потенциально может быть размещена метка. Мы использовали размеры меток размером от 1 см х 1 см до 12 см х 12 см.
Переменным фактором был процент перекрытия площади метки. Процент перекрытия увеличивался с постоянным шагом в 15 процентов и принимал значения 0%, 15%, 30%, 45%, 60%, 75%. На основании наших предыдущих виртуальных экспериментов, а также пилотных экспериментов в ручном режиме, мы предполагали, что перекрытие более 10-15% площади метки может оказать существенное негативное влияние на распознавание метки.
Экспериментальная процедура. Каждая метка была покрыта прямоугольным шаблоном из белой непрозрачной бумаги. Размер шаблона постепенно увеличивался начиная с нижней части метки к верхней, чтобы скрыть последовательно 0%, 15%, 30%, 45%, 60% и 75% площади метки соответственно, в т.ч. границы метки. В ходе эксперимента на каждом шаге камерой робота было получено десять изображений. После шести шагов с увеличением размера площади перекрытия эксперимент был запускался заново с новым идентификатором метки. Рис. 2 демонстрирует пример экспериментов систематических перекрытий.
ш
Рис. 2. Перекрытие координатных меток ChiliTag ID 815 (верхний ряд) и ArUco 16h3 ID 198 (нижний ряд) на 15%, 45%, 75% (слева направо)
Ожидаемые результаты. Ожидается получить конкретный процент успешных распознаваний каждой из выбранных меток на каждом этапе перекрытия. Результаты будут приведены в одной таблице, что позволит выбрать СКМ с наилучшими показателями устойчивости к систематическим перекрытиям.
3.4. Эксперимент 2 - Размер метки. В этом разделе описывается дизайн эксперимента с варьирующимся размером метки. Постоянные факторы, упомянутые в разделе 3.2, оставались фиксированными при изменении размера метки. Важно отметить, что метка всегда оставалась полностью видимой и без перекрытий внутреннего рисунка или границ.
Переменным фактором был размер квадратной метки. Его ширина и высота равнозначно уменьшались с постоянным шагом в 2 см (и на 1 см на последнем шаге), пока метка не достигала размера в 1 см х 1 см. Таким образом, сторона метки последовательно принимала значения 12, 10, 8, 6, 4, 2 и 1 см.
Экспериментальная валидация. Процедура началась с использования максимального размер метки; на каждом шаге размер метки был уменьшен на 2 см одновременно по ширине и высоте (1 см на последнем шаге, с 2 см до 1 см размера стороны метки). В ходе эксперимента на каждом шаге камера робота получала десять изображений. Когда был достигнут минимальный размер метки, эксперимент был перезапущен с новым идентификатором метки.
4. Экспериментальная валидация. В экспериментах типа Эксперимент 1 (раздел 3.3) мобильный робот верифицировал поведение координатных меток на устойчивость к перекрытию с сохранением условий окружающей среды и постоянного положения робота на протяжении всех экспериментов. Рисунок 1 (правое изображение) демонстрирует робота «Сервосила Инженер» во время экспериментов устойчивости к перекрытиям. Изображения каждой координатной метки были получены бортовой камерой робота TWIGACam, а человек вручную заменял идентификаторы СКМ и организовал соответствующее перекрытие для каждой метки.
В Эксперименте 2 (раздел 3.4) робот проверил координатные метки с разными размерами меток в одинаковых условиях окружающей среды и фиксированном положении робота, как оно было установлено для Эксперимента 1 (рис. 1, правое изображение).
5. Результаты. В табл. 1 представлены результаты Эксперимента 1. Все СКМ показали одинаково высокую чувствительность к перекрытию границ; ChiliTag ID1015 показал себя немного лучше других меток. Эти результаты показывают, что не все выбранные СКМ применимы для практических задач, если окклюзия метки превышает 15%.
Таблица 1
Процент успешного распознавания (%) при систематическом перекрытии СКМ ArUco ^3 (ГО 53 и 198) и СЫ!^ (ГО 815 и 1015)
Процент перекрытия (%)
Идентификатор координатной метки 0 15 30 45 60 75
ArUco 16h3, ID53 100 0 0 0 0 0
ArUco 16h3, ID198 100 0 0 0 0 0
Chilitag, ID815 100 0 0 0 0 0
Chilitag, ID1015 100 100 0 0 0 0
Высокие показатели успешного распознавания были получены во время Эксперимента 2 (табл. 2). Из этого следует вывод о том, что все семейства координатных меток имели одинаковую устойчивость к изменению размера метки в диапазоне размера краев метки [12 см; 2 см] на зафиксированном расстоянии до камеры в 0.7 м при относительно высоком разрешении и качестве камеры. Следовательно СКМ должны быть выбраны случайным образом для задач с похожими условиями окружающей среды. Однако, если рассматривать качество распознавания наименьшего размера метки (1x1 см), то лучшие результаты продемонстрировали семейства Chilitag и ArUco 16h3, ID198.
Согласно полученным результатам экспериментов фиксированного размера метки и устойчивости к перекрытию СКМ Chilitag (табл. 1), процент успешного распознавания падает до 0%, начиная с 15 и 30 процентов перекрытия площади для Chilitag ID815 и ID1015 соответственно. Chilitag ID1015 показал лучшие результаты по сравнению с Chilitag ID815, поскольку он был распознан на перекрытии в 15%. Причина этой разницы заключается в особенности процесса идентификации метки, в основе создания которых лежит определенное установленное расстояние Хэмминга для разных меток, где значение расстояния Хэмминга равно количеству позиций, при котором соответствующие символы в двух равных последовательностях отличаются. Каждый идентификатор метки кодирует определенную двоичную последовательность, и если метка частично перекрывается, то часть закодированных данных теряется [18]. Интересно отметить, что результаты экспериментов были полностью бинарными: метки были идеально распознаны или не распознаны совсем. Этот факт может означать, что необходимо рассмотреть возможность повторения экспериментов в диапазоне [0%, 15%] для ArUco и Chilitag ID 815, а также в диапазоне [15 %, 30 %] для Chilitag ID 1015.
Что касается результатов эксперимента с разным размером метки (табл. 2), процент успешности распознавания показывает те же результаты для обоих представителей СКМ Chilitag, что составляет 100% для каждого размера метки, и очень близкие к ним результаты представителей СКМ ArUco.
Таблица 2
Процент успешного распознавания (%) в экспериментах по изменению
размера метки
Размер квадратной метки (см)
Идентификатор 12х12 10х10 8х8 6х6 4х4 2х2 1х1
координатной метки
ArUco 16h3, ID53 100 100 100 100 100 100 90
ArUco 16h3, ID198 100 100 100 100 100 100 100
Chilitag, ID815 100 100 100 100 100 100 100
Chilitag, ID1015 100 100 100 100 100 100 100
Заключение. Данная статья посвящена исследованию вопроса автоматической калибровки камеры с использованием систем координатных меток (СКМ), которые располагаются на поверхности робота. По результатам виртуальных экспериментов с СКМ в симуляционной среде Gazebo робототехнической операционной системы ROS были выбраны два разных типов СКМ (два идентификатора СКМ Chilitag и два идентификатора СКМ ArUco), оптимальных относительно прочих типов меток, охваченных нашими предыдущими исследованиями, с точки зрения устойчивости СКМ к систематическому перекрытию поверхности метки и влияния размера метки на качество ее распознания. Был спроектирован дизайн экспериментов и выбранные СКМ были протестированы с использованием бортовой камеры российского мобильного робота «Сервосила Инженер» в условиях закрытых помещений с целью оценки корреляции результатов в виртуальной и реальной средах.
В экспериментах все координатные метки показали низкий результат по перекрытию области метки, т. к. при перекрытии 15% площади метки они не были распознаны. Chilitag ID1015 показал несколько лучшие результат по сравнению с другими выбранными метками, поскольку он был распознан при 15% перекрытия, но не был распознан уже при 30 %. Эксперименты по выбору размера метки показали отличные результаты при распознавании координатных меток размеров от 12 x 12 см до 2 x 2 см. Процент распознавания меток размера 1 x 1 см был очень высоким для все меток-кандидатов, за исключением ArUco 16h3 ID53.
В рамках дальнейшего развития проекта планируется установить более точный процент устойчивости к перекрытию метки в пределах диапазона от 0 до 30 процентов при экспериментах систематического перекрытия, а также планируется проводить эксперименты с метками малого размера.
Благодарность. Работа выполнена при поддержке Российского фонда фундаментальных исследований (РФФИ), номер проекта 20-38-90257.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Alishev N., Lavrenov R., Hsia K. H., Su K. L., and Magid, E. Network failure detection and autonomous return algorithms for a crawler mobile robot navigation, 2018 11th International Conference on Developments in eSystems Engineering (DeSE). IEEE, 2018, pp. 169-174.
2. Safin R., Lavrenov R., & Martínez-García E. A. Evaluation of visual slam methods in usar applications using ros/gazebo simulation, Proceedings of 15th International Conference on Electromechanics and Robotics" Zavalishin's Readings". Springer, Singapore, 2021, pp. 371-382.
3. Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, IEEE Journal on Robotics and Automation, 1987, Vol. 3, pp. 323-344.
4. Zhang Z. A flexible new technique for camera calibration, IEEE Transactions on patttern analysis and machine intelligence, 2000, Vol. 22, pp. 1330-1334.
5. Fiala M. Comparing ARTag and ARToolkit Plus fiducial marker systems, IEEE International Workshop on Haptic Audio Visual Environments and their Applications. IEEE, 2005, p. 6.
6. Rojtberg P., and Kuijper A. Efficient pose selection for interactive camera calibration, 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2018, pp. 31-36.
7. Romero-Ramirez F.J., Muñoz-Salinas R., Medina-Carnicer R. Speeded up detection of squared fiducial markers, Image and Vision Computing, 2018, Vol. 76, pp. 38-47.
8. Atcheson B., Heide F., Heidrich W. CALTag: High Precision Fiducial Markers for Camera Calibration, VMV. Citeseer, 2010, Vol. 10, pp. 41-48.
9. Hu D., DeTone D., and Malisiewicz T. Deep charuco: Dark charuco marker pose estimation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 8436-8444.
10. Mantha B.R.K., and Garcia de Soto B. Designing a reliable fiducial marker network for autonomous indoor robot navigation, Proceedings of the 36th International Symposium on Automation and Robotics in Construction (ISARC), 2019, pp. 74-81.
11. Annusewicz A., and Zwierzchowski J. Marker detection algorithm for the navigation of a mobile robot, 2020 27th International Conference on Mixed Design of Integrated Circuits and System (MIXDES). IEEE, 2020, pp. 223-226.
12. Liu X., Madhusudanan H., Chen W., Li D., Ge J., Ru C., and Sun Y. Fast eye-in-hand 3-d scanner-robot calibration for low stitching errors, IEEE Transactions on Industrial Electronics. IEEE, 2020, Vol. 68 (9), pp. 8422-8432.
13. Lee T.E., Tremblay J., To T., Cheng J., Mosier T., Kroemer O., and Birchfield S. Camera-to-robot pose estimation from a single image, 2020 IEEE International Conference on Robotics andAutomation (ICRA). IEEE, 2020, pp. 9426-9432.
14. dos Santos Cesar D.B., Gaudig C., Fritsche M., dos Reis M.A., & Kirchner F. An evaluation of artificial fiducial markers in underwater environments, OCEANS 2015-Genova. IEEE, 2015, pp. 1-6.
15. Westman E., and Kaess M. Underwater AprilTag SLAM and calibration for high precision robot localization. Tech. rep. Carnegie Mellon University, 2018.
16. Korthals T., Wolf D., Rudolph D., Hesse M., and Ruckert U. Fiducial Marker based Extrinsic Camera Calibration for a Robot Benchmarking Platform, 2019 European Conference on Mobile Robots (ECMR). IEEE, 2019, pp. 1-6.
17. Shabalina K., Sagitov A., Svinin M. and Magid E. Comparing Fiducial Markers Performance for a Task of a Humanoid Robot Self-calibration of Manipulators: A Pilot Experimental Study, International Conference on Interactive Collaborative Robotics. Springer, Cham, 2018, pp. 249-258.
18. Shabalina K., Sagitov A., Sabirova L., Li H., MagidE. ARTag, AprilTag and CALTag fiducial systems comparison in a presence of partial rotation: Manual and automated approaches, Lecture Notes in Electrical Engineering, 2020, Vol. 495, pp. 536-558.
19. Zakiev A., Shabalina K., MagidE. Pilot Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance, International Conference on Artificial Life and Robotics. ICAROB, 2019, Vol. 495, pp. 132-135.
20. Wahid Z. and Nadir N. Improvement of one factor at a time through design of experiments, World Applied Sciences Journal, 2013, Vol. 21 (1), pp. 56-61.
21. Moskvin I., Lavrenov R., Magid E., Svinin M. Modelling a Crawler Robot Using Wheels as Pseudo-Tracks: Model Complexity vs Performance, IEEE 7th International Conference on Industrial Engineering and Applications (ICIEA 2020), 2020, pp. 235-239.
22. Safin R., Lavrenov R., Saha S. K., and Magid E. Experiments on mobile robot stereo vision system calibration under hardware imperfection, MATEC Web of Conferences. EDP Sciences, 2018. Vol. 161, pp. 03020.
23. Magid E., and Sagitov A. Towards robot fall detection and management for russian humanoid AR-601, KES International Symposium on Agent and Multi-Agent Systems: Technologies and Applications. Springer, Cham, 2017, pp. 200-209.
Статью рекомендовал к опубликованию профессор Мичинори Хатаяма.
Цой Татьяна Григорьевна - Казанский (приволжский) федеральный университет, Институт информационных технологий и интеллектуальных систем; e-mail: tt@it.kfu.ru; г. Казань, Россия; тел.: 88432065233 (доб. 35-22); Лаборатория интеллектуальных робототехнических систем; кафедра интеллектуальной робототехники; аспирант; ассистент.
Tsoy Tatyana Grigorievna - Kazan Federal University, Institute of Informtion Technology and Information Systems; e-mail: tt@it.kfu.ru; Kazan, Russia; phone: +78432065233 (ext. 35-22); Laboratory of intelligent robotic systems; the department of intelligent robotics; postgraduate student; research associate.
