CC BY
31
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
11
УДК 007.51; 007.52; 681.518 doi: 10.18698/0536-1044-2019-7-11-24
Архитектура и алгоритмы функционирования системы технического зрения радиационно стойких манипуляторов
М.В. Носиков
Филиал Южно-Уральского государственного университета в г. Миассе
Architecture and Functional Algorithms of the Computer Vision System for Radiation-Proof Manipulators
M.V. Nosikov
Research and Educational Centre for Rocket Building, Miass Branch, South Ural State University
Основной особенностью радиационно стойких манипуляторов, эксплуатируемых на предприятиях атомной отрасли, является присутствие человека в контуре управления, что обусловлено разнообразием осуществляемых операций и недетерминированностью рабочей среды. Относительная удаленность пультов управления и задающих органов, неидеальные условия обзора внутреннего пространства герметичной камеры с места установки пульта управления формируют необходимость использования систем технического зрения, выполняющих функции как общего обзора камеры, так и локального пространства у рабочей зоны схвата манипулятора. Высокие уровни ионизирующих излучений накладывают ряд ограничений на первичные видеосенсоры в части радиационной стойкости и срока службы, что требует решения вопросов дополнительной защиты, конструктивных и алгоритмических способов минимизации влияния агрессивных факторов. Современные тенденции к построению цифровых производств основаны на системе уникальных идентификаторов материалов, тары и т. д. Одними из наиболее технически доступных средств являются оптические метки, содержащие штрихкод, идентифицируемый вычислительными алгоритмами. В работе предложена концепция построения, структура, функциональные возможности, результаты экспериментальной программы варианта системы технического зрения, предназначенной для эксплуатации совместно с радиационно стойкими роботизированными электромеханическими манипуляторами, устанавливаемыми в герметичных камерах предприятий атомной отрасли.
Ключевые слова: робототехнический комплекс, манипулятор, система технического зрения, Robotic Operating System, QR-код
The key aspect of radiation-proof manipulators used in nuclear industry is human presence in the manipulator control loop due to a wide variety of performed operations and the nondeterministic nature of the working environment. Relatively large distances between the control stations and the manipulators, imperfect visibility of the sealed chamber's inner space from the control station necessitate the use of computer vision systems. They serve both for general chamber observation as well as local observation of the manipulator end-effector working area. High levels of radiation impose certain limitations on the primary video sensors with regard to radiation resistance and service life. This requires special technical solutions to ensure additional radiation protection as well as design and algorithmic ways of minimizing the influence of hazardous environment. Modern trends in
12
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
digital manufacturing design are based on a system of unique identification of materials, package, etc. One of the technically viable ways is applying optical labels containing barcodes that are identified by algorithms. The article covers the design, structure, functional possibilities and experimental results of one of the radiation-proof manipulator vision systems. This system is designed for working together with radiation-proof robotic electromechanical manipulators installed in sealed chambers of nuclear plants.
Keywords: robotic system, manipulator, vision system, Robotic Operating System, QR Code
Системы технического зрения (СТЗ) являются одними из главных средств развития систем управления (СУ) движением в условиях, когда априорной информации недостаточно для принятия решения о дальнейших действиях и необходим анализ внешней обстановки в режиме реального времени.
СТЗ применяют в современной робототехнике, космических, авиационных, наземных, надводных и подводных мобильных объектах. Благодаря высоким уровням пространственного и цветового разрешения современные матричные приемники оптического излучения СТЗ могут быть использованы как единственный источник информации при дистанционном автоматизированном и автоматическом решении задач анализа обстановки, навигации или наведения [1, 2]. К общим задачам СТЗ относятся:
1) организация информационного канала передачи видеоинформации оператору (или операторам) технологического оборудования; несмотря на простой функционал такого варианта СТЗ, ее структура может быть достаточно сложной и включать в себя несколько источников видеосигнала — видеосенсоров и видеокамер (ВК), расположенных в разных точках исследуемого пространства, приводы ориентации оптической оси ВК по одной или нескольким угловым или линейным координатам, фокусирующие устройства, каналы мультиплексирования и передачи данных, устройства формирования изображения и т. д.;
2) формирование дополнительного информационного канала передачи данных, базирующегося на алгоритмах как первичной, так и последующей обработки изображения с целью выявления ключевой информации, необходимой СУ, операторскому и диспетчерскому персоналу; к этой задаче СТЗ можно отнести функции поиска и распознавания отдельных объектов, синтеза сообщений о характере взаимного расположения объектов, параметрах их движения; данные задачи, как правило, требуют решения в режиме реального времени;
3) регистрация информационных потоков, приведенных в п. 1, 2 на накопители данных, для дальнейшей передачи информации потребителю, ее воспроизведения и анализа в режиме отложенного времени.
Широкому распространению СТЗ в технических системах иногда препятствуют объективные трудности внедрения зрительного информационного канала в контуры СУ техническими объектами. Указанные трудности вызваны следующими проблемами:
• преобразования визуальной информации в данные результатов распознавания, навигационной привязки или определения параметров движения объектов в режиме реального времени;
• синтеза алгоритмов преобразований; эта проблема обусловлена отсутствием универсальных алгоритмов решения задач зрительного слежения, навигации, распознавания и наведения в общем случае движения управляемого объекта или объекта зрительного слежения; для каждой задачи СТЗ в конкретной ситуации фотометрических и траекторных условий оптимален лишь некоторый конкретный алгоритм, причем даже слабое изменение обрабатываемой зрительной сцены может потребовать смены используемого алгоритма преобразования фотометрического сигнала; это вызывает необходимость обеспечения алгоритмической полноты и структурной устойчивости решения задач технического зрения на множестве возможных ситуаций и траекторий движения;
• конструктивных недостатков технической реализации СТЗ, связанных с ограничениями динамических диапазонов свето- и цветопередачи, дискретностью фотоприемников, несовершенством оптического канала, ошибками калибровочных характеристик и временных привязок потока видеоданных;
• условиями эксплуатации; эта проблема обусловлена как диапазоном климатических факторов, так и сопряженными факторами, например, влиянием химически агрессивных
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
13
сред, ионизирующих излучений на оптическую систему и фоточувствительные материалы первичных видеопреобразователей.
Перечисленные проблемы требуют развития как аппаратных компонентов СТЗ, так и математических методов и алгоритмов преобразований в процессе решения конкретных и общих задач использования СТЗ при управлении мобильными объектами.
СТЗ робототехнических комплексов (РТК) имеют определенную специфику и функциональное назначение в зависимости от типа РТК (мобильного или стационарного). Функциональные задачи СТЗ, характерные для робототехнических приложений, можно условно разделить по уровню относительной сложности.
К элементарным задачам СТЗ РТК относятся: обнаружение наличия объекта; измерение расстояния до него, его линейных или угловых перемещений и скоростей и геометрических параметров (линейных и угловых размеров, площади); определение физических характеристик излучения от объекта (интенсивности, спектрального состава); подсчет числа объектов и др.
Более сложные задачи выполняет СТЗ, снабжающая СУ манипуляционного робота информацией, необходимой для захвата неупорядоченных объектов, их сортировки, позиционирования и ориентации с требуемой точностью.
Цель работы — оценка возможности применения оборудования СТЗ в условиях герметичных камер для решения задач идентификации объектов, маркированных двумерными кодами,
Рис. 1. Схема расположения компонентов СТЗ в герметичной камере (вид сверху): 1 — транспортное оборудование для межкамерных операций; 2 — технологическая зона (транспортный коридор) для осуществления межкамерных транспортных операций; 3 — технологическое окно между камерой и транспортным коридором (приемная зона камеры); 4 — внутрикамерные технологические приспособления, измерительные устройства; 5 — герметичный объем камеры; 6 — рабочее пространство технологического оборудования и манипуляторов при выполнении типовых внутрикамерных операций; 7 — передняя стенка камеры; 8 — толстостенное защитное стекло; 9 — внутрикамерный манипулятор, установленный на потолке герметичной камеры; 10 — операторская зона; 11 — ВК общего обзора внутреннего объема, установленная на поворотном основании; 12 — ВК обзора рабочего пространства в зоне
действия схвата манипулятора; 13 — основные и вспомогательные рабочие поверхности для размещения оборудования и материалов; 14 — технологическая посуда (тара) в контейнере
определения их положения и ориентации, а также последующего подведения манипулятора к выбранному оператором объекту.
Архитектура и функциональные возможности СТЗ радиационно стойких РТК. Условия эксплуатации (высокие уровни ионизирующих излучений, химически агрессивная среда) стационарных радиационно стойких манипуляторов, описанных в работах [3-5], функционирующих в условиях герметичных камер, накладывают ряд ограничений на аппаратный состав СТЗ, ее пространственную конфигурацию и технические средства защиты от внешних воздействий.
Пример расположения компонентов СТЗ в герметичной камере приведен на рис. 1.
При прочих равных параметрах и характеристиках СТЗ одной из основных технических проблем является обеспечение требуемого ресурса работы такой системы и ее компонентов в условиях радиационных полей. На сегодняшний день первичные преобразователи изображения для СТЗ РТК, функционирующих в ионизирующих полях, строят на передающих телевизионных трубках с накоплением заряда (видиконах) либо на полупроводниковых светочувствительных матрицах.
Известно [6], что наиболее подверженными ионизирующим излучениям компонентами электронных узлов СУ и измерения являются полупроводниковые элементы и системы, выполненные на МОП-структурах. Математические модели, в частности модель Митчелла [6], уточненная
14
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
Манипулятор
СУРТК
Каналы связи с системой управления РТК
Средства защиты
Осветительная система
Оптическая система и преобразователь свет-сигнал
Блоки аналоговых преобразований видеосигнала
Запись и хранение изображения
Блоки оцифровки изображения
Дисплей
Пульт
оператора
Вычислительная система
Средства синхронизации, контроля и диагностирования
Камера и осветительная система в защитном кожухе, установленные на манипуляторе
Рис. 2. Структурная схема системы технического зрения в составе радиационно стойкого РТК,
работающего в герметичной камере
и подтвержденная многочисленными экспериментальными исследованиями, выражает ряд зависимостей полупроводниковых структур от типа и мощности ионизирующего излучения, интегральной дозы облучения и других параметров.
Эксплуатация ВК в условиях радиационных полей с чувствительными матрицами, построенными на МОП-структурах, приводит к постепенной необратимой деградации изображения, появлению эффекта снега и с течением времени к полной потере фоточувствительности матрицы. Оптические свойства объективов ВК при нахождении в зоне действия ионизирующих излучений также постепенно ухудшаются.
Общеизвестные способы уменьшения влияния радиационных излучений заключаются в снижении поглощаемой дозы (путем экранирования), времени нахождения объекта в радиационном поле и в увеличении расстояния от источника излучения. Особенностью эксплуатации оборудования в условиях герметичной камеры является постоянное влияние ее среды на неизвлекаемые из ее рабочей зоны элементы и системы, что делает невозможным защиту расстоянием и временем.
Таким образом, единственным способом уменьшения влияния радиационных излучений является защита экранированием, что отражено на рис. 2 в виде блока «Средства защиты». Следует отметить, что электронные узлы и блоки СУ и СТЗ должны быть вынесены в радиа-ционно-безопасную зону.
В зависимости от задач, решаемых РТК, возможны следующие варианты реализации СТЗ:
системы без обзорных ВК с одной или двумя видеокамерами в зоне схвата манипулятора и системы с дополнительными одной или несколькими ВК общего обзора, закрепленными на стационарном или поворотном основании. Оптические оси рабочих камер ближнего радиуса действия зоны схвата манипулятора могут быть как соосными с геометрической осью схвата, так и разнесенными (рис. 3).
В качестве одного из вариантов дополнительной защиты оптической системы, фоточувствительной матрицы и электронных узлов ВК предлагается способ экранирования входного отверстия дополнительным поворотным экраном с электроприводом (рис. 4), а также позиционирование манипулятора в зону «парковки» в кинематической конфигурации, минимизирующей влияние локальных источников ионизирующего излучения.
При выполнении операций, не требующих использования СТЗ, дополнительный поворотный экран 1 перекрывает входное отверстие ВК, защищая оптическую систему и электронные узлы. При необходимости по команде от СУ манипулятором экран с помощью электропривода 4 отводится (поворачивается) вокруг оси привода (рис. 4, б).
При выборе типа и модели видеокамеры СТЗ радиационно стойкого РТК необходимо руководствоваться следующими критериями: ее оптическими характеристиками (разрешающей способностью, фокусным расстоянием, полем зрения, выходным разрешением аналогового или цифрового сигнала), степенью радиацион-
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
15
Рис. 3. Соосное (а) и вынесенное (б) расположение ВК в зоне действия схвата манипулятора:
1 — схват манипулятора с интегрированной видеокамерой «Диаконт»; 2 — стереокамера схвата РТК «Богомол-ЗМ»
Работа с оцифрованным изображением (кадром видеопотока) включает в себя следующие этапы: его сегментацию, анализ (вычис-
ной стойкости, массогабаритными характеристиками, наличием дополнительных функциональных возможностей (таких как изменение фокусного расстояния, угловое ориентирование оптической оси).
В качестве примера приведена техническая характеристика двух распространенных радиаци-онно стойких видеокамер — D40 (Группа компаний «Диаконт», Россия) и HI-RAD XS (Ahlberg Electronics AB, Швеция), которые можно применять в стационарных и мобильных РТК.
Техническая характеристика радиационно стойких видеокамер D40 HI-RAD XS
Тип сенсора Видикон CCD
Тип видеосигнала Аналоговый Аналоговый/Цифровой
Разрешение, твл (пикс)........... 600 720 (1280x720)
Поле зрения, град..................... ~20 5...36
Трансфокация........................... Нет x10 (оптическая)
Угловое переориентирование, град:
вращение.............................. - 360
наклон................................... - ±140
Радиационная стойкость:
мощность дозы, рад/ч....... 106
интегральная доза, рад...... 2-108
Габаритные размеры, мм
диаметр................................. 40
длина..................................... 240 346
Масса, кг..................................... 1,1 3,8
5-104 1,2-105
88
Этап первичного преобразования и подготовки изображения в цифровой форме позволяет выполнять его дальнейшие преобразования вычислительными средствами СТЗ, осуществлять анализ изображения и формировать ключевые информационные признаки в режиме реального времени.
ление качественных и количественных признаков) и описание внутренними структурами и полями данных алгоритмов СТЗ. Завершающим этапом функционирования СТЗ служит передача пакетов данных основной и вспомогательной информации к СУ РТК, которая в зависимости от режима использует ее при формировании управляющих воздействий для основных приводов РТК.
Использование двумерных матричных кодов для идентификации объектов и наведения на них РТК. Чтобы повысить технико-экономические показатели современных производственных (технологических) процессов, необходимо решить задачу их оптимального информационного сопровождения. Интеграция технологических, производственных данных в единую информационную среду предприятия в большинстве случаев позволяет оценить текущее состояние производственного цикла, соотнести его с планом, сформировать промежуточные и итоговые отчеты, выявить узкие места производственной цепочки и реализовать аналитические и прогнозные функции.
Для осуществления этих задач следует идентифицировать исходные, промежуточные и итоговые объекты (предметы) и средства производства, учесть время выполнения операций, межоперационных интервалов и т. д. Используемые с начала 1970-х годов системы идентификации на основе наносимой на предмет графической информации определенного типа (штрих-кодов) позволяют частично или полностью решить эти задачи.
16
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
12 '3 5
а б
Рис. 4. Схемы экранирования входного отверстия видеокамеры в закрытом (а) и открытом (б) состояниях:
1 — дополнительный поворотный защитный экран; 2 — щетка (материал) очистки защитного стекла ВК; 3 — оптическая система ВК; 4 — электропривод поворота защитного экрана; 5 — корпус ВК; 6 — внешний защитный кожух; 7 — кабель питания и информационного обмена
На сегодняшний день для локализации, идентификации положения и планирования движения (траектории) подвижных объектов и мобильных роботов используют одномерные и двумерные штрихкоды [7, 8].
Одним из широко применяемых вариантов штрих-кода является двумерный Quick Response Code (QR-код), пример которого приведен на рис. 5.
QR-код содержит следующую информацию: зону данных с блоками коррекции, поисковые и выравнивающие узоры, полосы оптической синхронизации, коды версии, маски и уровня коррекции, обязательный отступ вокруг кода
Рис. 5. Внешний вид QR-кода:
1 — поисковый узор; 2 — системная информация; 3 — зона данных с кодами коррекции
шириной, равной четырем модулям. Для уменьшения времени поиска QR-кодов на изображениях большого размера делают дополнительную окантовку различной ширины.
Использование в штрих-кодах, выполненных по стандарту ГОСТ Р ИСО/МЭК 180042015 циклических кодов Рида-Соломона (кодов коррекции), позволяет осуществлять гарантированное декодирование первичной информации при потере до 30 % визуальной информации из зоны данных [9]. Минимальный геометрический размер такого кода (21x21 модуль (версия 1)) при наивысшем уровне коррекции обеспечивает хранение 17 десятичных цифр, либо строки из 10 символов, либо до 7 байт информации. С увеличением номера версии (размера кода в модулях) количество хранимой информации возрастает, и для версии 40 (177х х177 модулей) может доходить до 4 кБ.
На сегодняшний день использование QR-кодов размером 21x21 модуль (версия 1) рассматривается как оптимальное по информационной емкости и степени сложности оптического распознавания (больший относительный размер модуля QR-кода).
Алгоритм поиска и анализа QR-кодов на изображении, поступающем от видеокамер СТЗ, включает в себя следующие шаги:
1) выделение зон возможного нахождения QR-кода по таким признакам, как цвет фона и размер зоны;
2) обнаружение в каждой из выявленных зон характерных поисковых узоров с использо-
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
17
граммном обеспечении (фрэймворке) Robotic Operating System (ROS) [10, 11], создан программный модуль QR_TRACKER (С++), реализующий интерфейс взаимодействия с ядром ROS, подсистемой Video4Linux API v2, библиотекой распознавания изображений ZBar и осуществляющий режим выделения и «сопровождения» нескольких QR-кодов.
Применение СТЗ и системы идентификации QR-кодами позволяет решить задачу наведения схвата манипулятора на идентифицированный объект в автоматическом (полуавтоматическом) режиме, т. е. за определенный интервал времени сформировать кинематическую конфигурацию манипулятора так, чтобы система координат (СК) OcXcYcZc, связанная с видеосенсором (и, соответственно, с СК схвата), была определенным образом позиционирована и ориентирована относительно СК, связанной с объектом (рис. 8, а и б), где X¡, Y¡ и R¡ — координаты и радиус-вектор СК ¡¡-го объекта.
С учетом априорной или полученной в ходе анализа QR-кода информации о типе объекта (а следовательно, и о его геометрических характеристиках) задачей подсистемы наведения является вывод полюса схвата манипулятора (с учетом габаритных размеров используемого инструмента) в заданную точку пространства S, координаты которой сформированы в СК объекта OiM¡X¡MiYiM¡Z¡M¡. В частном случае точка S может иметь нулевые координаты Xm¡, Ym¡ и некоторую положительную координату Zm¡.
Рис. 7. Изображение, сформированное СТЗ после этапа проверки наличия QR-кодов в поле зрения ВК
1:1:3:1:1
Рис. 6. Соотношения в поисковом узоре QR-кода
ванием априорной информации об их геометрических соотношениях (рис. 6); неизменное соотношение геометрии поискового узора при произвольной ориентации позволяет анализировать зону изображения «построчно» или «по столбцам» независимо от угловой ориентации кода; результатом выполнения этого этапа являются массивы координат поисковых узоров;
3) вычисление взаимного положения QR-кода и видеокамеры на основе информации, полученной на шаге 2; осуществляется «привязка» системы координат QR-кода к его центру, формирование информации о положении и ориентации кода относительно системы координат и поля зрения ВК (рис. 7);
4) анализ зоны данных, расчет и выдача итоговой информации, содержащейся в QR-коде.
В составе программных модулей системы управления манипуляторами МР-48, построенной на базе модифицированной (с использованием ядра реального времени) операционной системы ЦЬипШ и инфраструктурном про-
18
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
X,
та
Х„
-11
1
14ГЛ
[¡П
И
ЧМ1
X,
1М1
Рис. 8. Идентифицированный объект до (а) и после (б) наведения манипулятора:
1 — поле зрения ВК СТЗ; 2 и 5 — допуски позиционирования объекта относительно центра поля зрения ВК по оси X (АХ) и У (АУ); 3 — идентифицированный объект; 4 — СК, связанная с объектом; 5 — целевая точка позиционирования (наведения) схвата манипулятора
Циклограмма работы оператора, СТЗ и СУ РТК на этапе наведения схвата приведена на рис. 9, где обозначены следующие события и действия: А0 — ведение схвата манипулятора в ручном режиме; А1 — анализ изображения, идентификация зон расположения объектов, вычисление их положения и ориентации, чтение и коррекция идентификационного кода; 1 — попадание в поле зрения видеокамеры СТЗ объектов с QR-кодом; 2 — формирование системного сообщения об идентификации объектов и их характеристиках; А2 — этап принятия решения о выборе объекта и необходимости включения режима наведения; 3 — включение режима наведения; А3 — этап наведения схвата манипулятора на объект; 4 — формирование системного сообщения о готовности подсистемы наведения (схват РТК подведен к объекту); 5 — захват объекта схватом манипулятора; А4 — этап захвата объекта в ручном режиме (движение в СК схвата). Действия А0 и А2 выполняет СУ (СТЗ), а действия А1, А3 и А5 — оператор.
Существуют два подхода, позволяющие реализовать алгоритм позиционирования и ориен-
2 3
§
к о>
и й
Н и « &
о Я
и 1
АО А1 А2 АЗ А4
Время
Рис. 9. Циклограмма действий при наведении схвата на объект
тирования схвата манипулятора. Первый заключается в наведении схвата с помощью вычисления и формирования необходимых управляющих воздействий на исполнительные приводы на каждом такте (кадре) поступления информации от СТЗ. Этот подход предпочтителен для наведения схвата на объекты, имеющие высокую вероятность перемещения во время этого процесса, причем для его реализации нужны повышенные вычислительные ресурсы.
Второй подход состоит в наведении схвата путем однократного вычисления требуемых позиции и ориентации с дальнейшим автоматическим построением траектории наведения и ее исполнения. Алгоритмы, реализующие такой подход, менее ресурсоемки, так как целевая точка позиционирования вычисляется однократно по команде оператора и при выполнении этапа наведения изображение от СТЗ не анализируется. Следует учитывать, что в ряде случаев требуются безударное начало и останов движения, интенсивность набора скорости и ее ограничения. Особенно актуальной эта подзадача становится для манипуляторов с конфигурацией, близкой к вырожденной.
В целом алгоритм позиционирования можно реализовать несколькими способами в зависимости от структуры СУ РТК и формируемых ею управляющих параметров. При разработанном в статье [4] и реализованном в опытном образце манипулятора способе ручного управления по скорости схвата (при пропорциональном отклонении джойстиков) алгоритм автоматического позиционирования
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
19
предложено задавать в виде управления по вектору скорости:
X = /(И,, Лг) = /(ЯХ1
хХ = [ Х у г ср у (3 ]Т ; 4 = Гх,
где X — производная вектора состояния схвата; И — радиус-вектор СК г-го объекта (объекта наведения); Л¡ — кватернион, описывающий ориентацию СК г-го объекта по отношению к СК схвата (ВК); ЯХ), Яуг, и \ц, Х2г, Х3г — компоненты радиуса-вектора И и кватерниона Л¡; Х, у, г: и ср, у, (3 — линейные и угловые скорости движения в СК, связанной со схватом; 4 — угловые скорости вращательных сочленений манипулятора, вычисленные с помощью обратной матрицы Якоби Г1.
В качестве примера на рис. 10 показаны варианты фазовых траекторий линейной скорости движения схвата Х для компоненты Яхг — линейной ошибки позиционирования координаты х
Информационное взаимодействие между аппаратными и программными компонентами СТЗ при идентификации объектов показано на рис. 11.
Предлагается следующий состав информационных сообщений между программными компонентами СТЗ, СУ и оператором в части функционирования СТЗ:
• статус режима функционирования СТЗ;
• статус режима распознавания QR-кодов;
• количество находящихся в поле зрения объектов с идентификационными метками;
• идентификационная информация по каждому объекту (уникальный семнадцатизначный десятичный номер);
• информация о пространственном положении по каждому объекту (линейные координаты);
Рис. 10. Варианты реализации фазовых траекторий при выполнении наведения:
1-3 — варианты функциональных зависимостей
скорости схвата манипулятора от ошибки позиционирования; 4 — зона снижения скорости приближения; 5 — допуск на позиционирование схвата; Ху_1ош — граница начала зоны снижения скорости наведения схвата; хро$_х — ошибка допуска позиционирования схвата
Цифровой Информационные сообщения
видеопоток, об идентифицированных объектах
640x480, (положение и ориентация,
25 кадров/с идентификаторы)
Воздействия на исполнительные приводы
Рабочее пространство
Видеосенсор схвата РТК
Аппаратный (программный) модуль первичной обработки
Программный модуль анализа изображения
(дя-талскЕЯ)
Априорная информация
Воздействия оператора
Программные модули СУ РТК
Дисплей
РТК
Программные
модули Накопитель
регистрации данных
данных
Оператор
Визуализация идентификационной информации
Рис. 11. Взаимодействие подсистем СТЗ, СУ РТК и оператора комплекса
20
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
Рис. 12. Лабораторная тара в поле зрения СТЗ РТК с выводом сопровождающей информации:
1 — детектированный семнадцатизначный идентификационный код; 2 — виала
• данные о пространственной ориентации по каждому объекту (углы Эйлера, кватернионы);
• номер выбранного оператором объекта при сопровождении (наведении);
• статус режима сопровождения (наведения);
• кинематические характеристики движения схвата при сопровождении (наведении).
Часть указанных информационных сообщений визуализируется на пульте управления оператора в текстовой или графической форме. Пример изображения, поступающего от камеры схвата РТК с находящейся в поле зрения виалой (транспортной пробиркой), маркированной QR-кодом, сопровождающей код системой координат, детектированным и расшифрованным семнадцатизначным кодом, приведен на рис. 12.
С учетом таких специфических факторов технологического цикла работы с пробами (таких как межкамерная транспортировка и определен-
ные классы химических материалов) предлагается система формирования/декомпозиции идентификационных кодов, показанная на рис. 13.
При сохранении уникальности номера и некоторой начальной избыточности (1017 вариантов) данный способ позволяет ввести ряд дополнительных и резервных категорий классификации объекта.
Экспериментальные данные. Целью экспериментальной программы являлась оценка возможности применения оборудования СТЗ для идентификации объектов, вычисления времени детектирования QR-кода, определения точности измерения геометрического положения и ориентации QR-кода в зависимости от размера идентификационного кода, степени освещенности объекта и его положения в пространстве.
Для проведения экспериментальных исследований по оценке работы прототипа СТЗ в герметичных камерах применено следующее оборудование:
• робототехнический комплекс — манипулятор UR10, близкий к манипулятору МР-48 по кинематическим, динамическим характеристикам и параметрам грузоподъемности;
• мультиспектральная ВК оптического диапазона с разрешением матрицы 640x480 пикселей, частотой обновления кадров, равной 15 кадров/с, и коммуникационным интерфейсом Ethernet. Видеокамера установлена на манипуляторе, причем ее оптическая ось совпадает с осью вращения его схвата (как и на рис. 3, а);
• СУ в составе штатного блока управления манипулятором UR10 (силовая часть) и блока управления на базе промышленного персонального компьютера (Intel Pentium 4x3200 МГц, 8 ГБ ОЗУ), задающий орган — многокоординатный джойстик с шестью пропорциональными и двенадцатью дискретными каналами управления; такт решения задачи управления (полу
17 десятичных цифр
t t т т т Ъ Ъ Ъ г г п п п п п п п
-Уникальный идентификатор объекта (тары)
-Резервное поле
-Место постоянного хранения объекта
-Класс материалов, используемый с данным объектом (тарой)
-Тип объекта (тары)
Рис. 13. Предлагаемая структура семнадцатиразрядного идентификационного кода объекта
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
21
Таблица 1
Оценка времени захвата QR-кода
Типоразмер (ширина х высота) QR-кода, мм Дистанция, м Время захвата, с
40х40 0,3 0,70
30х30 0,70
20х20 0,85
15х15 0,90
Таблица 2
Оценка дистанций захвата, сопровождения QR-кода и угла пространственной ориентации на максимальной дистанции Z2max
Типоразмер (ширинахвысота) QR-кода, мм Дистанция, м Угол х, град
Z1max Z2max
40х40 0,40 1,60 72
30х30 0,30 1,40 76
20х20 0,25 1,15 71
15х15 0,20 1,00 69
чение входных сигналов датчиков, расчет и формирование управляющих воздействий) — 120 Гц;
• люксметр SEW 2330 LX с верхним пределом диапазона измерения 40000 лк;
• одноосевое поворотное устройство с вертикальной осью вращения.
Для оценки положения и ориентации QR-кода оптическая ВК была предварительно откалибро-вана стандартным способом с использованием тестового изображения «шахматной доски» с заданным количеством и размером ячейки изображения. Многократное автоматическое измерение положения тестового изображения в различных зонах и ориентациях позволяет вычислить компоненты матриц геометрических преобразований
для получения координат и ориентаций объектов в трехмерном пространстве по их проекциям на двумерное поле зрения ВК.
Экспериментальные исследования состояли из пяти этапов.
1. Оценка времени захвата (времени распознавания и анализа) изображения ОЯ-кода нескольких типовых размеров. Объект с нанесенным QR-кодом помещали в поле зрения ВК в геометрической зоне гарантированного распознавания кода, при этом регистрировали момент времени выдачи сообщения об идентификационных признаках объекта (QR-кода). Осредненные значения времени захвата по результатам десяти измерений для каждого типоразмера QR-кода приведены в табл. 1.
2. Оценка дистанций гарантированного захвата и сопровождения изображения ОЯ-кода нескольких типовых размеров. Этот этап исследований предполагал оценку максимальной дистанции гарантированного захвата QR-кода ^1шах (рис. 14) для каждого из типоразмеров.
Следует отметить, что при удалении от зоны захвата изображения ДZs алгоритмы модуля QR_TRACKER обеспечивают дальнейшее сопровождение QR-кода при его удалении от ВК вдоль ее оптической оси. При некотором предельном удалении объекта система полностью теряла QR-код на изображении. Эту максимальную дистанцию сопровождения QR-кода 22шах также фиксировали. На предельной дистанции выполняли перемещение QR-кода по осям X, У и переориентирование по углу пространственной ориентации ф (рис. 14, 15) для оценки предельных значений до «потери» QR-кода. Полученные данные приведены в табл. 2.
При выполнении смещения QR-кода на максимальной дистанции ^2шах по осям X и У до начала выхода за поле зрения ВК потери QR-кода не наблюдалось.
Рис. 14. Схема эксперимента по оценке дистанций гарантированного захвата и сопровождения QR-кода:
1 — оценка максимального отклонения в ХУ-плоскости на дистанции максимального сопровождения; 2 — оценка максимального угла поворота при сопровождении QR-кода на максимальных линейных отклонениях;
3 — изображение (QR-код) в поле зрения ВК; 4 — ВК; 5 — максимальная дистанция гарантированного захвата QR-кода; 6 — максимальная дистанция сопровождения QR-кода при движении от ВК
22
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
Рис. 15. QR-код типоразмера 20x20 мм при выполнении эксперимента переориентации по углу
3. Оценка точности определения линейного положения и угловой ориентации изображения QR-кода нескольких типовых размеров. На этом
Таблица 3
Оценка точности вычисления координат пространственного положения объекта
Типоразмер QR-кода (ширина, высота), мм Координаты X, Y, Z, м Максимальная погрешность вычисления координат X; У; Z с помощью СТЗ, мм
20x20 0; 0; 0,5 1,4; 1,5; 3
0; 0; 0,7 2; 2,5; 2
0,25; -0,2; 0,7 2,2; 2,6; 3,5
0,05; 0,05; 0,2 0,8; 0,92; 1,8
Таблица 4
Оценка точности вычисления угла пространственной ориентации
Типоразмер (ширинах х высота) QR-кода, мм Координаты X; Y; Z, м Угол ф*, град Максимальная погрешность вычисления угла ф с помощью СТЗ, град
20 x 20 0; 0,1; 0,3 0 0,2
10 0,5
45 1,0
60 2,5
75 3,7
0; 0; 0,6 0 0,2
10 1,5
45 2,9
60 3,4
75 4,6
* X = 0; Y = 0,1 м; Z = 0,3 м.
этапе программы испытаний объект с нанесенным QR-кодом помещали в поле зрения ВК в геометрической зоне гарантированного распознавания кода в нескольких последовательных пространственных положениях, координаты которых заранее известны. При этом регистрировали информацию о положении объекта, поступающую от СТЗ.
В табл. 3 и 4 приведена выборка результатов измерения для QR-кода типоразмера 20x20 мм при его некоторых фиксированных положениях и ориентациях. По результатам эксперимента можно сделать вывод, что абсолютная погрешность вычисления положения объекта программными средствами СТЗ не превышает 4 мм на расстояниях, больших 0,5 м, и составляет не более 1,5 мм в их диапазоне 0...0,5 м. Этого, как правило, достаточно для выполнения операций захвата и последующего позиционирования технологической тары.
4. Оценка минимального уровня освещенности, необходимого для гарантированного «захвата» изображения. Основная задача этого эксперимента — подтверждение функционирования и сохранения точности алгоритмов детектирования QR-кода при различных уровнях освещенности объекта. В случае необходимости дополнительной системы освещения рабочих зон герметичных камер существует вероятность возникновения режимов работы с пониженной освещенностью. Экспериментально подтверждена функциональная/точностная работоспособность алгоритмов СТЗ при уровне освещенности объектов более 20 лк.
5. Оценка максимальной линейной скорости движения схвата манипулятора ^10 для гарантированного (без потерь информации) сопровождения изображения QR-кода. При осуществлении эволюций полюса схвата манипулятора изменение положения идентифицируемых объектов в поле зрения видеокамеры от кадра к кадру может существенно влиять на работоспособность СТЗ. Значение допустимой скорости схвата зависит от расположения объектов, характера движения манипулятора и других факторов.
В табл. 5 приведены сводные экспериментальные данные по допустимым значениям линейных скоростей схвата. Следует отметить, что реальные эксплуатационные скорости движения схвата как в ручном, так и в автоматиче-
#7(712) 2019
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
23
Таблица 5
Значения допустимой скорости движения схвата манипулятора
Типоразмер (ширинах хвысота) QR-кода, мм Удаленность объекта от ВК (координата Z), м Характер движения схвата Допустимая скорость движения схвата, м/с
20x20 0,3 В плоскость ХУ 0,18
Вдоль оси 2 0,23
0,6 В плоскость ХУ 0,26
Вдоль оси 2 0,35
40x40 0,3 В плоскость ХУ 0,14
Вдоль оси 2 0,21
0,6 В плоскость ХУ 0,29
Вдоль оси 2 0,40
ском режиме управления меньше предельных скоростей гарантированной работы СТЗ.
Выводы
1. Предложен вариант построения СТЗ для обеспечения ряда эксплуатационных режимов внутрикамерных многозвенных радиационно стойких манипуляторов. Разработанная система позволяет повысить эффективность работы операторского персонала при осуществлении операций, требующих визуального контроля с ближней дистанции, выполнения их в автоматическом режиме (захват, позиционирование). Использование свободно распространяемых программных продуктов (в том числе с открытым исходным
Литература
кодом) позволяет наращивать функциональные возможности системы, например, осуществлять мониторинг действий нескольких внутрикамер-ных или объединенных в технологическую цепочку манипуляторов с регистрацией хода выполнения этапов технологического процесса.
2. Созданы аппаратно-программная архитектура СТЗ, способ дополнительной защиты видеокамеры схвата манипулятора, информационная структура сообщений и идентификаторов при взаимодействии СУ радиационно стойким манипулятором и СТЗ. Разработка, отладка и тестирование системы выполнены в лабораториях «Робототехника» и «Моделирование динамики движения ЛА» филиала Южно-Уральского государственного университета в г. Миассе.
[1] Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход. Москва, Вильямс,
2004. 928 с.
[2] Носиков В.П. Техническое зрение в автономной системе управления мобильного ро-
бота. Техническое зрение в системах управления. Сб. тр. науч.-техн. конф., Москва, 14-16 марта 2012, Москва, ИРИ РАН, с. 35-37.
[3] Войнов И.В., Круглов И.Ф., Морозов Б.А., Казанцев А.М., Носиков М.В. Манипулятор
МР-48 для атомной промышленности. Пат. № 172431 U1 РФ, 07.07.2017, бюл. № 19.
[4] Войнов И.В., Казанцев А.М., Морозов Б.А., Носиков М.В. Система управления робо-
том-манипулятором с использованием нейросетевых алгоритмов ограничения рабочей области схвата. Вестник ЮУрГУ. Сер. Компьютерные технологии, управление, радиоэлектроника, 2017, т. 17, № 4, с. 29-36, doi: 10.14529/ctcr170404
[5] Voinov I.V., Nosikov M.V. Automatic and Manual Control Algorithms of Radiation-Proof
Manipulators. Proceedings — 2018 Global Smart Industry Conference, 7 December 2018, art. no. 8570161, doi: 10.1109/GloSIC.2018.8570161
[6] Вологдин Э.Н., Лысенко А.П. Радиационные эффекты в некоторых классах полупро-
водниковых приборов. Москва, Изд-во Московского государственного института электроники и математики, 2001. 70 с.
[7] Ким Н.В. Обработка и анализ изображений в системах технического зрения. Москва,
Изд-во МАИ, 2001. 164 с.
[8] Юревич Е.И. Основы робототехники. Санкт-Петербург, БХВ-Петербург, 2005. 416 с.
[9] Hicham Tribak, Youssef Zaz. QR Code Patterns Localization based on Hu Invariant Mo-
ments. International Journal of Advanced Computer Science and Applications, 2017, vol. 8, no. 9, pp. 162-172.
24
ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ. МАШИНОСТРОЕНИЕ
#7(712) 2019
[10] Koubaa A. Robot Operating System (ROS). Springer, 2019, vol. 3, 605 p., doi: 10.1007/978-3319-91590-6
[11] Lentin J. Mastering ROS for Robotics Programming. Packt Publishing, 2015. 481 p.
References
[1] Forsayt D.A., Pons Zh. Komp'yuternoe zrenie. Sovremennyy podkhod [Computer vision.
Modern approach]. Moscow, Vil'yams publ., 2004. 928 p.
[2] Nosikov V.P. Technical vision in the autonomous control system of a mobile robot.
Tekhnicheskoye zreniye v sistemakh upravleniya. Sb. tr. nauch.-tekhn. konf. [Technical vision in control systems. Collection of papers of the scientific and technical conference]. Moscow, 2012, pp. 35-37.
[3] Voynov I.V., Kruglov I.F., Morozov B.A., Kazantsev A.M., Nosikov M.V. Manipulyator MR-
48 dlya atomnoy promyshlennosti [Manipulator MR-48 for the nuclear industry]. Patent RF no. 172431 U1, 2016.
[4] Voynov I.V., Kazantsev A.M., Morozov B.A., Nosikov M.V. Control system of the robotma-
nipulator with use of neural network algorithms of restriction of work area of the gripper. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control & Radioelectronics, 2017, vol. 17, no. 4, pp. 29-36 (in Russ.), doi: 10.14529/ctcr170404
[5] Voinov I.V., Nosikov M.V. Automatic and Manual Control Algorithms of Radiation-Proof
Manipulators. Proceedings — 2018 Global Smart Industry Conference, 7 December 2018, art. no. 8570161, doi: 10.1109/GloSIC.2018.8570161
[6] Vologdin Eh.N., Lysenko A.P. Radiatsionnye ehffekty v nekotorykh klassakh poluprovodni-
kovykh priborov [Radiation effects in some classes of semiconductor devices]. Moscow, MIEM HSE publ., 2001. 70 p.
[7] Kim N.V. Obrabotka i analiz izobrazheniy v sistemakh tekhnicheskogo zreniya [Image pro-
cessing and analysis in vision systems]. Moscow, MAI publ., 2001. 164 p.
[8] Yurevich E.I. Osnovy robototekhniki [Robotics Basics]. Sankt-Petersburg, BKHV-Peterburg
publ., 2005. 416 p.
[9] Hicham Tribak, Youssef Zaz. QR Code Patterns Localization based on Hu Invariant Mo-
ments. International Journal of Advanced Computer Science and Applications, 2017, vol. 8, no. 9, pp. 162-172.
[10] Anis Koubaa. Robot Operating System (ROS). Springer, 2019, vol. 3, 605 p., doi: 10.1007/978-3-319-91590-6
[11] Lentin J. Mastering ROS for Robotics Programming. Packt Publishing, 2015. 481 p.
Информация об авторах
НОСИКОВ Максим Владимирович — старший преподаватель кафедры «Автоматика», заведующий лабораторией «Моделирование динамики движения» НОЦ «Ракетостроение». Филиал Южно-Уральского государственного университета в г. Миассе (456318, Миасс, Российская Федерация, пр-т Октября, д. 16, e-mail: nosikovmv@susu.ru).
Статья поступила в редакцию 12.03.2019 Information about the authors
NOSIKOV Maksim Vladimirovich — Senior Lecturer, Automation Department, Head of Motion Modeling Laboratory. Research and Educational Centre for Rocket Building, Miass Branch, South Ural State University (456318, Miass, October Ave., Bldg. 16, e-mail: nosikovmv@susu.ru).
Просьба ссылаться на эту статью следующим образом: Носиков М.В. Архитектура и алгоритмы функционирования системы технического зрения радиационно стойких манипуляторов. Известия высших учебных заведений. Машиностроение, 2019, № 7, с. 11-24, doi: 10.18698/0536-1044-2019-7-11-24
Please cite this article in English as: Nosikov M.V. Architecture and Functional Algorithms of the Computer Vision System for Radiation-Proof Manipulators. Proceedings of Higher Educational Institutions. Machine Building, 2019, no. 7, pp. 11-24, doi: 10.18698/05361044-2019-7-11-24
