CC BY
45
ТЕХНОЛОГИЯ ПРИБОРОСТРОЕНИЯ
УДК 004.75.924 DOI: 10.17586/0021-3454-2020-63-9-830-839
ПРИМЕНЕНИЕ МАШИННОГО ЗРЕНИЯ В ЗАДАЧАХ АВТОМАТИЧЕСКОГО ПОЗИЦИОНИРОВАНИЯ ИНСТРУМЕНТА
МОДУЛЬНОГО ОБОРУДОВАНИЯ
М. Я. Афанасьев, Ю. В. Федосов, А. А. Крылова, С. А. Шорохов
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: amax@niuitmo.ru
Модульное оборудование отличается универсальностью и может выполнять производственные операции разных типов, как обрабатывающие, так и вспомогательные. Очевидно, что модули могут различаться по размерам и по расположению оси инструмента, что затрудняет установку и настройку в ручном режиме. Предложена методика автоматизированного позиционирования съемных модулей для трехкоординатной платформы, основанная на применении системы технического зрения. Разработан алгоритм, совмещающий обзорную камеру, располагаемую над рабочим полем, с инкрементальными энкодерами сервоприводов установки. Для определения конфигурации рабочего пространства и размеров модуля применяется библиотека оптических меток. Данная методика позволяет избежать ошибки установки модулей вручную, сопоставив координатные системы модуля и платформы, а также повысить уровень автоматизации рабочего процесса производства изделия.
Ключевые слова: машинное зрение, оборудование с ЧПУ, камера, трехкоорди-натная платформа, модульное оборудование
Введение. Современные тенденции развития промышленного производства требуют все более частой смены номенклатуры изделий, а также постепенного перехода к персонификации, когда даже изделия широкого потребления конфигурируются под конкретного пользователя. Все это приводит к тому, что на первый план выходят опытно-конструкторские работы, появляется все больше частных конструкторских бюро и проектных организаций, занимающихся разработкой высокотехнологичных продуктов и технологий на заказ. Наиболее перспективным решением для таких производств представляется концепция создания модульного оборудования „офисного" класса, отличающегося худшими, по сравнению со станками промышленного назначения, параметрами точности и производительности. При этом модульное оборудование занимает гораздо меньше производственных площадей и легко может быть передислоцировано.
В настоящей статье описана платформа [1], представляющая собой совокупность шасси, позиционирующих рабочую каретку в трехмерном декартовом пространстве. На подвесе каретки размещаются различные модули, обеспечивающие работу оборудования. Путем замены модулей можно проводить различные операции обработки: сверлильные и фрезерные, гравирование, 3D-печать, лазерная резка, селективное отверждение фотополимера, сортировка и т.д.
В основу разрабатываемой платформы положены принципы унификации и гибридизации. Под унификацией понимается открытая программно-аппаратная архитектура, позво-
ляющая создавать новые типы оборудования и программного обеспечения по принципу „интеллектуального конструктора". Унификация достигается за счет разбиения цельного изделия на крупные взаимозаменяемые модули с четким описанием входных и выходных параметров каждого из них. Таким образом, для различных видов оборудования создается линейка шасси разных габаритных размеров и жесткости. При этом принципы построения электронной, электрической, механической и программной частей каждого вида оборудования остаются неизменными, а переход к новому виду достигается за счет смены модулей.
Очевидно, что габариты модуля зависят от решаемой задачи. В соответствии с принципом унификации система управления должна самостоятельно определять положение подключенного модуля без необходимости ручной настройки или калибровки. Известно, что точность обработки зависит от правильного взаимного расположения всех компонентов промышленного оборудования. Последнего крайне сложно добиться при использовании модульного подхода, так как заранее неизвестно положение модуля относительно системы координат шасси.
Получить более высокую точность позиционирования можно за счет изменения способа установки модулей на подвесе каретки, например, используя крепления типа „ласточкин хвост" с клиновым зажимом, который используется в кассетных резцедержателях металлообрабатывающих станков. Подобный подход обеспечивает высокие точность и повторяемость при переустановке модулей в ручном режиме. Однако при этом сильно усложняется общая конструкция подвеса, за счет необходимости очень точной обработки сопрягаемых деталей, а также возрастает общая масса подвижной части системы перемещения. Более того, все модули должны иметь одинаковую ответную часть соединения „ласточкин хвост", зависящую не от размера самого модуля, а от габаритов шасси, т.е. нарушается принцип универсальности, когда нельзя установить небольшой по размеру модуль на большое шасси.
Также стоит отметить, что одним из вариантов применения модульного оборудования является включение его в состав гибких производственных линий, где потребуется автоматическая смена модулей с помощью промышленного робота-манипулятора. Анализ современного оборудования показал, что достаточное усилие фиксации клинового зажима может быть достигнуто только с использованием пневматических зажимов. Это приведет к необходимости прокладывать дополнительную воздушную магистраль, что усложнит предлагаемый подход [1]. Вместо этого предлагается использовать систему магнитного крепления на плоскости с дополнительным направляющим пазом, позиционирующим сменный модуль в плоскости, параллельной направлению движения каретки.
При такой системе крепления возможно использовать модули любого размера, но возникает задача совмещения системы координат модуля и основной системы координат шасси. В настоящей работе рассматривается комбинированная система автоматического позиционирования модуля на подвесе каретки в процессе смены модулей, использующая машинное зрение. Эта система определяет расположение специализированных оптических меток на шасси и автоматически изменяет параметры геометрии, используемые в системе управления.
Машинное зрение — это неотъемлемая часть индустриальной робототехники, которая позволяет производителям выполнять операции захвата и размещения различных деталей [2], обеспечивать контроль качества [3, 4] и технику безопасности [5] и т.д. Кроме того, машинное зрение находит применение в станках с числовым программным управлением (ЧПУ).
Обзор аналогов. Исследователи из Орхусского университета [6] разрабатывают систему ЧПУ для лазерного резака на основе комбинирования маркеров и дополненной реально*
сти. Система основана на подходе WYSIWYG , где проектор используется для отображения текущих контуров, а маркеры используются для установки его положения в рабочей области.
* What You See Is What You Get (англ.) — что видите, то и получаете
Наряду с этим специалисты университета Кейо [7] расширяют функциональность фиду-циальных* маркеров для лазерного резака. Чтобы установить параметры резки, они размещают набор маркеров опорных точек рядом с заготовкой, в том числе метки, связанные с материалом, порядком операций и командами.
В работе [8] описан способ обнаружения ошибок контура на основе машинного зрения. Разработан специальный измерительный прибор с нанесенными на него маркерами, который позволяет измерять погрешность контура без сетчатого датчика.
В работе [9] предлагается метод прямой симуляции обрабатывающего инструмента станка. Здесь маркеры используются для определения положения инструмента и заготовки; дополненная реальность — для моделирования траектории инструмента при обработке.
Описание работы модульной технологической установки. В предлагаемой системе автоматического позиционирования модулей усовершенствована производственная модульная архитектура [1, 10, 11]. Модуль машинного зрения устанавливается на шасси таким же способом, как и другие модули, используемые для обработки. В частности, с его помощью была решена задача определения позиции заготовки по расположенным на ней реперным точкам [12].
Магнитные пластины
В настоящее время разработана новая конструкция, позволяющая упростить и автоматизировать переустановку модулей с помощью магнитного крепления на плоскости с дополнительным пазом (рис. 1). В первоначальной архитектуре не реализован способ быстрой смены модулей, устанавливаемых на подвесе каретки. Модули крепятся на винтовых соединениях, при этом после установки каждого модуля требуется вручную выставлять значение смещения оптической оси модуля машинного зрения по отношению к оси инструмента, т.е. задача определения точного положения модуля на подвесе трехкоординатной платформы требует дополнительных действий от оператора.
В изначальной конфигурации, когда камера находится на подвижном подвесе, невозможно точно позиционировать модули относительно базовой системы координат трехкоор-динатной платформы. Модули могут быть разного размера, вследствие этого точное местоположение исполнительного органа (оси шпинделя, объектива лазерной головки и т.д.) на этапе подключения модуля остается неизвестным. Кроме того, расположение модуля с камерой на подвесе каретки не позволяет увидеть рабочее поле целиком. Для нахождения меток и опре-
От англ. fidicial — опорный.
деления их точного положения каретку нужно перемещать, что занимает дополнительное время при инициализации модуля. Поэтому в новой конструкции установлена вторая камера над рабочим полем. Больший угол обзора камеры позволяет определять положение модулей по отношению к каретке и углам рабочего поля. Камера, расположенная непосредственно на подвесе каретки, отвечает за автоматическое позиционирование станочного приспособления относительно системы координат трехкоординатной платформы и заготовки — относительно станочного приспособления.
Метки изготавливаются из шлифованных пластин нержавеющей стали, закрепленных при помощи клея на деталях трехкоординатной платформы и станочной оснастки, и располагаются по углам рабочей области платформы, на направляющих, на подвесе каретки и на самих модулях (рис. 2). Помимо ультрафиолетовой печати используется также способ нанесения меток лазерным гравированием.
Малый модуль Рабочая зона
Рис. 2
Обзор используемых методов. Позиционирование по оптическим меткам относится к задачам дополненной реальности. На сегодняшний день существует достаточно большое количество готовых программных библиотек, обеспечивающих решение данной задачи. Основной из них является открытая библиотека машинного зрения OpenCV [13]. Она предоставляет удобный набор инструментов, позволяющих упростить такие рутинные процедуры систем машинного зрения, как получение видеопотока с различных внешних источников, калибровка камеры, фильтрация изображения и т.д. В частности, эта библиотека использовалась для поиска координат заготовки на рабочем столе с применением детектора границ Кэнни [14].
Авторами сформулированы следующие требования к программной библиотеке распознавания оптических меток:
1) библиотека должна основываться на базе OpenCV;
2) библиотека должна распознавать метки по словарю;
3) библиотека должна учитывать оптические характеристики камеры (искажения, дис-торсия, наклон оптической оси и т.д.);
4) используемые метки должны быть достаточно простыми для изготовления, предпочтение отдается черно-белым маркерам с простой геометрией, которые можно изготовить методами УФ-печати, лазерного гравирования или электрохимического чернения.
Несколько программных библиотек, удовлетворяющих заданным критериям, используются для распознавания маркеров, хранящих данные в бинарном виде (Data Matrix, Maxicode, Quick Response Code). Подобные маркеры удобны для создания произвольного словаря, когда
каждая метка описывает сама себя. Но для рассматриваемой задачи данная возможность является избыточной, потому что для полного описания геометрии трехмерного шасси потребуется не более 50 меток. Поэтому целесообразнее использовать маркеры, кодируемые по словарю. В случае использования подобных маркеров сперва происходит генерация массива, содержащего однотипные маркеры. Также должны выполняться условия максимальной непохожести одного маркера на другой с целью упростить задачу распознавания.
Все маркеры с кодированием по словарю условно можно разделить на следующие категории [15]:
— состоящие из квадратных и прямоугольных компонентов (ARTag, Cybercode, Matrix, ArUco, AprilTag, VisualCode);
— состоящие из элементов окружностей (TRIP, RUNE-Tag, CCTag, Intersense, BinARylD);
— комбинированные, в том числе сложной формы (ARToolkit, STag, ReacTIVision, SCR, SVMS).
У каждого из вышеперечисленных типов маркеров есть свои достоинства. В частности, круглые маркеры лучше подходят для определения точек (например, в системах трехмерного сканирования), прямоугольные — для определения плоскостей в трехмерном пространстве, а комбинированные — для более точного распознавания в сложных условиях (плохая освещенность, перекрытие маркеров и т.д.). Очевидно, для рассматриваемой системы автоматического позиционирования модулей наиболее подходят прямоугольные маркеры.
Поэтому после анализа литературы и проведения ряда экспериментов, в качестве основной программной библиотеки для распознавания была выбрана ArUco [16], позволяющая реализовать программу оценки положения, основанную на бинарных квадратных фидуциаль-ных маркерах. Основным преимуществом этих маркеров является то, что наличие всего одного маркера в области видимости камеры позволяет точно определить положение камеры относительно плоскости, на которой расположен маркер. Более того, гарантированная несимметричность каждого маркера дает возможность определять не только координату центра маркера, но и угол, на который он повернут. Таким образом, с помощью ArUco-маркеров можно получать точное расположение и направление осей координат в декартовом пространстве, что крайне важно для рассматриваемой задачи.
Для наиболее точного оптического распознавания меток целесообразно размещать камеру непосредственно над рабочей областью, а оптическая ось должна совпадать с ортом нормали к ее поверхности. Подобная конфигурация позволит минимизировать перекрытия меток компонентами трехкоординатного шасси, а также упростит процедуру калибровки камеры.
Исходя из геометрических размеров трехкоординатного шасси необходимо подобрать параметры объектива камеры, позволяющие видеть в кадре все рабочее поле целиком. Основным параметром при этом является высота размещения камеры. Зная ее, можно определить поле зрения объектива:
S
av = 2arctan—, (1)
v 2h
где S — размер рабочего поля, h — расстояние от объектива до рабочего поля.
Определив место размещения камеры и параметры оптической системы, можно переходить к операции калибровки. Библиотека ArUco включает все необходимые инструменты для данного процесса. Калибровка камера состоит из следующих этапов. Вначале необходимо выбрать размеры метки и словаря. Минимальный размер метки 4*4 бита, в словаре может быть минимум 50 различных меток. Затем в соответствии с выбранным типом меток и словарем генерируется соответствующая калибровочная таблица, представляющая собой поле известного размера, на котором размещены метки. Количество меток определяется эксперимен-
тально, их размер может быть произвольным и отличаться от финального, который будет использоваться непосредственно для распознавания. Последнее обусловлено тем, что эта калибровочная таблица нужна только для определения параметров оптической системы камеры. В библиотеке ArUco реализовано два основных вида калибровочных таблиц: 1) состоящая только из меток ArUco и 2) представляющая собой паттерн „шахматная доска", в белых клетках которой размещены маркеры ArUco (такой метод калибровки называется ChArUco). После изготовления калибровочной таблицы необходимо создать массив ее изображений с разных ракурсов. Все изображения должны быть максимально непохожими друг на друга, чем больше изображений, тем более точна калибровка. При этом достоинством метода калибровки с использованием ChArUco является то, что в процессе получения набора снимков для калибровки допускаются перекрытия и частичное попадание маркера, когда таблица не находится полностью в кадре.
Точность позиционирования зависит от разрешения камеры. Для расчета теоретической разрешающей способности камеры (в мм), которая напрямую влияет на точность определения положения оптической метки, используется следующее выражение:
С, = NS, (2)
Cs
где Cs — разрешающая способность камеры (в пикселах), S — размер рабочего поля (в мм), N — фактор Найквиста, значение которого, в соответствии с теоремой Найквиста—Шеннона (или теоремой Котельникова), должно быть 2 или более. Однако это утверждение справедливо, только если машинное зрение является единственным способом определения размера объектов в кадре, а в предложенной архитектуре используется дополнительный метод измерения. Оптические метки расположены на подвижной каретке трехкоординатного шасси, управляемой шаговыми сервоприводами. Каждый такой привод снабжен инкрементальным энкодером, способным определять значение относительного перемещения с заданной точностью. Таким образом, зная физическую точность камеры и разрешающую способность инкрементального энкодера Er (в мм) , можно получить максимальный коэффициент интерполяции:
C
к = . (3)
Er
Подобный подход позволит определять размеры объектов в кадре с субпиксельной точностью за счет применения бикубической интерполяции. Условно можно установить, что один пиксел увеличенного изображения соответствует разрешающей способности энкодера, а ошибки определения точного положения определяются точностью алгоритма интерполяции.
Полученные результаты. В рассматриваемой экспериментальной установке камера размещается на высоте 400 мм, размер рабочего поля 500*500 мм, поэтому согласно формуле (1) поле зрения по горизонтали и вертикали должно составлять 65°. Для экспериментов использовалась камера Withrobot oCam-5CRO-U-M (сенсор изображения OmniVision 0V5640 CMOS, максимальное разрешение 2592*1944) и объектив Withrobot 3018PL002 (длина фокуса 3,0 мм±5 %, относительная апертура 1,8 ±5 %, поле зрения 65° (по вертикали) на 111° (по горизонтали) с размером сенсора 0,33 дюйма) [17].
Для тестов использовался компьютер следующей конфигурации: 6-core AMD Ryzen 5 2600 3.3 GHz, 16 Gb RAM DDR4 3000 MHz, Gigabyte GeForce GTX 1070 Ti, Windows 10 Pro x64. Разработка велась на языке программирования Python 3.8.1, библиотека OpenCV 4.1.2. В соответствии с рекомендациями разработчиков калибровка производилась с помощью шаблона типа „шахматная доска" с метками 5*5. Размер калибровочной таблицы 200*300 мм, 6 столбцов, 8 строк. Таблица была изготовлена методом УФ-печати на пенокартоне белого
цвета. В экспериментальной установке используются сервоприводы Leadshine CS-D1008, обладающие разрешающей способностью 0,0125 мм по всем осям трехкоординатного шасси.
После калибровки по формулам (2) и (3) рассчитаны разрешающая способность камеры (Сг = 0,51) и максимальный коэффициент интерполяции (к = 40,8). Однако стоит отметить,
что расположенная над рабочим полем система, определяющая положение модуля, может обладать меньшей точностью позиционирования, чем система, расположенная на самом подвесе (точность которой априори должна быть равна или больше разрешающей способности эн-кодеров сервоприводов). Это обусловлено тем, что процедуры определения максимального рабочего поля обработки и координаты начальной точки инструмента до этого производились с помощью ручного инструмента, погрешность которого была в пределах 0,1 мм. При этом очевидно, что подобной точности более чем достаточно для решения поставленных задач. На основании сказанного коэффициент интерполяции был принят равным 4, что дало разрешение после интерполяции 10368*7776 пикселов, а Сг = 0,1275 мм. На тестовом компьютере с применением вышеуказанных библиотек скорость обработки одного кадра изображения с камеры (вместе с интерполяцией) занимает 130±10 мс, что можно считать хорошим результатом для задачи распознавания, решаемой в статике.
Таким образом, на основании проведенных экспериментов разработан следующий алгоритм инициализации нового модуля.
1. Оператор устанавливает модуль на подвесе каретки, включает магнитное крепление, подключает электропитание и линию безопасности [9], а также общее питание установки.
2. Система управления обращается к модулю машинного зрения для получения предварительной конфигурации рабочей области.
3. Модуль машинного зрения делает снимок с камеры в разрешении без интерполяции, по полученному снимку определяются габариты рабочей зоны, зоны безопасности, координата подвеса, габариты и расположение модуля (на левом или правом креплении), положение точки, которая будет принята за предварительный машинный нуль. Все эти данные передаются системе управления. Погрешность на данном этапе ±1 мм.
4. Система управления начинает перемещение каретки в нулевую позицию с учетом ее расположения и погрешности позиционирования на этом этапе (±1 мм).
5. Достигнув нулевой позиции по осям, система управления обнуляет координаты, получаемые с инкрементальных энкодеров, и перемещает каретку в максимальную координату.
6. Система управления запоминает значения, полученные с энкодеров — это будет максимальным габаритом рабочего поля с точностью, равной точности энкодера — 12,5 мкм в рассматриваемом случае. (На этом процедура первоначальной инициализации считается завершенной.)
7. Система управления возвращает каретку на центр рабочего поля и передает управление модулю машинного зрения.
8. Модуль машинного зрения делает серию снимков, смещая каретку по осям и запоминая точные значения координат, полученные с энкодеров.
9. На основании данной серии снимков получается интерполированное изображение с метками, по которому определяется точная координата оси инструмента по отношению к машинной системе координат, машинный нуль смещается в эту координату.
10. Геометрические параметры шасси и установленного модуля считаются полностью определенными, и система управления переходит к выполнению основного цикла программы.
Заключение. В работе предложена методика установки сменных модулей на подвес трехкоординатной платформы с последующей регистрацией и калибровкой головки с помощью системы машинного зрения. В качестве входных данных для системы используется набор меток, расположенных как непосредственно на сменном модуле и головке, так и на рабо-
чем столе, что позволит вычислять относительные положения модуля, каретки и рабочего поля друг относительно друга. Для крепления используются электромагниты, расположенные на подвесе платформы и обеспечивающие прижимное усилие, достаточное для выполнения модулем своих прямых функций без изменения местоположения.
Предложенный алгоритм существенно снижает вероятность появления ошибки вследствие ручного выставления оси инструмента. Согласно полученным результатам, достигаемая скорость обработки входного изображения является достаточной для использования в оборудовании данного класса и может быть применена для получения информации о конфигурации рабочей области и положения заготовки. Применение инкрементальных энкодеров совместно с системой машинного зрения позволяет повысить итоговую точность.
Стоит также отметить, что были проведены эксперименты с камерой Intel RealSense D435 (максимальное разрешение 1920*1080 пикселов, поле зрения 90°). Данная камера обладает встроенным сенсором глубины изображения с погрешностью измерения расстояний до 1 мм в интервале 0,2—10 м. Карта глубин, получаемая с этой камеры, может быть использована для совершенствования алгоритма и сбора более подробной информации об оборудовании, приспособлениях и зоне обработки.
Работа выполнена в рамках проекта 619296 „Разработка методов создания и внедрения киберфизических систем".
СПИСОК ЛИТЕРАТУРЫ
1. Afanasiev M. Y., Fedosov Y. V., Krylova A. A., andShorokhov S. A. Modular industrial equipment in cyber-physical production system: Architecture and integration // Proc. of the 21th Conf. of Open Innovations Association FRUCT. 2017. November. P. 3—9.
2. Domel A., Kriegel S., Brucker M., and Suppa M. Autonomous pick and place operations in industrial production // 12th Intern. Conf. on Ubiquitous Robots and Ambient Intelligence (URAi). 2015. October. P. 356—356.
3. Zhong Y., Fengyu X., and Yue W. Analysis and experiment of workpiece quality detection based on industrial robot // 23rd Intern. Conf. on Mechatronics and Machine Vision in Practice (M2VIP). 2016. November. P. 1—6.
4. Zuxiang W., Lei Z., and Junpeng F. Design of safety capacitors quality inspection robot based on machine vision // 1st Intern. Conf. on Electronics Instrumentation Information Systems (EIIS). 2017. June. P. 1—4.
5. Stankov S., Ivanov S., and Todorov T. An application of deep neural networks in industrial robotics for detection of humans // IEEE XXVIII Intern. Sci. Conf. Electronics (ET). 2019. September. P. 1—3.
6. Winge K., Haugaard R., and Merritt T. Val: Visually augmented laser cutting to enhance and support creativity // IEEE Intern. Symp. on Mixed and Augmented Reality — Media, Art, Social Science, Humanities and Design (ISMAR-MASH'D). 2014. September. P. 31—34.
7. Kikuchi T., Hiroi Y., Smith R., Thomas B., and Sugimoto M. Marcut: Marker-based laser cutting for personal fabrication on existing objects // TEI 2016 — Proc. of the 10th Anniversary Conf. on Tangible Embedded and Embodied Interaction. Association for Computing Machinery. 2016. P. 468—474.
8. Li X., Liu W., Pan Y., Li H., Ma X., and Jia Z. A monocular-vision based contouring error detection method for CNC machine tools // IEEE Intern. Instrumentation and Measurement Technology Conf. (I2MTC). 2018. May. P. 1—6.
9. Kiswanto G. and Ariansyah D. Development of augmented reality (ar) for machining simulation of 3-axis cnc milling // Intern. Conf. on Advanced Computer Science and Information Systems (ICACSIS). 2013. September. P. 143—148.
10. Afanasiev M. Y., Fedosov Y. V., Krylova A. A., and Shorokhov S. A. An application of microservices architecture pattern to create a modular computer numerical control system // Proc. of the 20th Conf. of Open Innovations Association FRUCT. 2017. April. P. 10—19.
11. Afanasiev M. Y., Fedosov Y. V., Krylova A. A., and Shorokhov S. A. Problems of trajectory building during laser CNC processing // Proc. of the 20th Conf. of Open Innovations Association FRUCT. 2017. April. P. 585—591.
12. Afanasiev M. Y., Fedosov Y. V., Krylova A. A., and Shorokhov S. A. Machine vision for selective polymer curing devices: Challenges and solutions // Proc. of the 21th Conf. of Open Innovations Association FRUCT. 2017. November. P. 391—397.
13. OpenCV official site [Электронный ресурс]: <https://opencv.org>.
14. Bradski G. The OpenCV Library // Dr. Dobb's Journal of Software Tools. 2000.
15. Yu G., Hu Y., and Dai J. Topotag: A robust and scalable topological fiducial marker system. arXiv preprint arXiv:1908.01450, 2019.
16. Garrido-Jurado S., Munoz-Salinas R., Madrid-Cuevas F. J., and Martin-Jimenez M. J. Automatic generation and detection of highly reliable fiducial markers under occlusion // Pattern Recognition. 2014. Vol. 47, N 6. P. 2280—2292.
17. Withrobot official site [Электронный ресурс]: <http://withrobot.com/en/camera/ocam-5cro-u-m>.
Сведения об авторах
Максим Яковлевич Афанасьев — канд. техн. наук, доцент; Университет ИТМО; факультет систем
управления и робототехники; преподаватель; E-mail: amax@niuitmo.ru Юрий Валерьевич Федосов — канд. техн. наук, доцент; Университет ИТМО; факультет систем
управления и робототехники; преподаватель; E-mail: yf01@yandex.ru Анастасия Андреевна Крылова — аспирант; Университет ИТМО; факультет систем управления и робототехники; инженер; E-mail: ananasn94@gmail.com Сергей Александрович Шорохов — аспирант; Университет ИТМО; факультет систем управления и робототехники; инженер; E-mail: stratumxspb@gmail.com
Поступила в редакцию 08.06.2020 г.
Ссылка для цитирования: Афанасьев М. Я., Федосов Ю. В., Крылова А. А., Шорохов С. А. Применение машинного зрения в задачах автоматического позиционирования инструмента модульного оборудования // Изв. вузов. Приборостроение. 2020. Т. 63, № 9. С. 830—839.
APPLICATION OF MACHINE VISION IN THE TASKS OF AUTOMATIC POSITIONING OF MODULAR EQUIPMENT TOOL
M. Ya. Afanasev, Yu. V. Fedosov, A. A. Krylova, S. A. Shorokhov
ITMO University, 197101, St. Petersburg, Russia E-mail: amax@niuitmo.ru
Modular equipment is characterized by versatility in use and can perform processing operations as well as supporting ones. It is obvious that modules can vary in size and in the tool axis position, which makes it difficult to install and configure in manual mode. A technique for automated positioning of removable modules for a three-coordinate platform based on the use of a computer vision system is proposed. An algorithm is developed that combines an observing camera located above the working area with incremental encoders of the platform servo drives. A library of optical labels is used to determine the configuration of the workspace and the dimensions of the module. This technique allows to avoid the error of manually installing modules by comparing the coordinate systems of the module and the platform, as well as to increase the level of automation of the product workflow.
Keywords: machine vision, CNC equipment, camera, 3-axis platform, modular equipment
REFERENCES
1. Afanasiev M.Y., Fedosov Y.V., Krylova A.A., and Shorokhov S.A. Proceedings of the 21th Conference of Open Innovations Association FRUCT, 2017, November, pp. 3-9.
2. Domel A., Kriegel S., Brucker M., and Suppa M. 12th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), October 2015, pp. 356-356.
3. Zhong Y., Fengyu X., and Yue W. 23rd International Conference on Mechatronics and Machine Vision in Practice (M2VIP), November 2016, pp. 1-6.
4. Zuxiang W., Lei Z., and Junpeng F. First International Conference on Electronics Instrumentation Information Systems (EIIS), June 2017, pp. 1-4.
5. Stankov S., Ivanov S., and Todorov T. IEEE XXVIII International Scientific Conference Electronics (ET), September 2019, pp. 1-3.
6. Winge K., Haugaard R., and Merritt T. IEEE International Symposium on Mixed and Augmented Reality - Media, Art, Social Science, Humanities and Design (ISMAR-MASH'D), September 2014, pp. 31-34.
7. Kikuchi T., Hiroi Y., Smith R., Thomas B., and Sugimoto M. TEI 2016 - Proceedings of the 10th Anniversary Conference on Tangible Embedded and Embodied Interaction, Association for Computing Machinery. 2016, pp. 468-474.
8. Li X., Liu W., Pan Y., Li H., Ma X., and Jia Z. IEEE International Instrumentation and Measurement Technology Conference (I2MTC), 2018, May, pp. 1-6.
9. Kiswanto G. and Ariansyah D. International Conference on Advanced Computer Science and Information Systems (ICACSIS), 2013, September, pp. 143-148.
10. Afanasiev M.Y., Fedosov Y.V., Krylova A.A., and Shorokhov S.A. Proceedings of the 20th Conference of Open Innovations Association FRUCT, 2017, April, pp. 10-19.
11. Afanasiev M.Y., Fedosov Y.V., Krylova A.A., and Shorokhov S.A. Proceedings of the 20th Conference of Open Innovations Association FRUCT, 2017, April, pp. 585-591.
12. Afanasiev M.Y., Fedosov Y.V., Krylova A.A., and Shorokhov S.A. Proceedings of the 21th Conference of Open Innovations Association FRUCT, 2017, November, pp. 391-397.
13. OpenCV official site, https://opencv.org.
14. Bradski G. Dr. Dobb's Journal of Software Tools, 2000.
15. Yu G., Hu Y., and Dai J., arXiv preprint arXiv:1908.01450, 2019.
16. Garrido-Jurado S., Munoz-Salinas R., Madrid-Cuevas F.J., and Martin-Jimenez M.J. Pattern Recognition, 2014, no. 6(47), pp. 2280-2292.
17. Withrobot official site, http://withrobot.com/en/camera/ocam-5cro-u-m.
Data on authors
PhD, Associate Professor; ITMO University, Faculty of Control Systems and Robotics; Lecturer; E-mail: amax@niuitmo.ru PhD, Associate Professor; ITMO University, Faculty of Control Systems and Robotics; Lecturer; E-mail: yf01@yandex.ru Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics; Engineer; E-mail: ananasn94@gmail.com Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics; Engineer; E-mail: stratumxspb@gmail.com
Maxim Ya. Afanasiev Yury V. Fedosov Anastasiya A. Krylova Sergey A. Shorokhov
For citation: Afanasiev M. Ya., Fedosov Yu. V., Krylova A. A., Shorokhov S. A. Application of machine vision in the tasks of automatic positioning of modular equipment tool. Journal of Instrument Engineering. 2020. Vol. 63, N 9. P. 830—839 (in Russian).
DOI: 10.17586/0021-3454-2020-63-9-830-839
