Алгоритмы обработки информации в системах технического зрения промышленных роботов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 531.715.2, 681.3

Алгоритмы обработки информации в системах технического зрения промышленных роботов

© В.Я. Колючкин, К М. Нгуен, Т.Х. Чан МГТУ им. Н.Э. Баумана, Москва, 105005, Россия

Выполнен анализ методов и алгоритмов обработки изображений в системах технического зрения промышленных роботов. В первой части работы на основе численного эксперимента по распознаванию образов деталей на основе анализа контуров их изображений показано, что предложенный комбинированный алгоритм сегментации обеспечивает более высокую эффективность, чем алгоритм Канни. Вторая часть работы посвящена методам измерения размеров и перемещений объектов, а также алгоритмам оценки размеров и перемещений. Выявлены достоинства и недостатки оптимального алгоритма и алгоритма «Центр масс» и проведены экспериментальные исследования. Полученные результаты могут быть применены для решения задач, возникающих при разработке систем технического зрения промышленных роботов, таких как сортировка, а также определение ориентации объектов в рабочей зоне при механической обработке и оперативном контроле размеров обрабатываемых деталей.

Ключевые слова: система технического зрения, методы, алгоритмы, распознавание, измерения, сортировка деталей, механическая обработка.

Введение. Разработка роботизированных комплексов — одна из важнейших задач внедрения в промышленность систем гибкого автоматизированного производства. В состав роботизированных комплексов, кроме технологического оборудования и систем управления, входят системы технического зрения (СТЗ), предназначенные для получения информации об изделиях. Например, при выполнении технологических операций на конвейерах СТЗ позволяет осуществлять операции сортировки деталей, определять их положение и ориентацию [1]. При разработке алгоритмов обработки данных в СТЗ сортировка деталей формулируется как задача распознавания образов, регистрируемых аппаратными средствами СТЗ, а определение положения и ориентации — как задача оценки соответствующих параметров изображений этих деталей. Кроме того, важной задачей является оперативный контроль размеров обрабатываемых деталей в процессе их обработки, а также контроль положения режущего инструмента относительно детали.

Целью данной работы является создание алгоритмов обработки изображений, регистрируемых СТЗ, для решения задач распознава-

ния образов деталей, а также оценки параметров, характеризующих их размеры и положение.

Функциональные возможности, эффективность промышленных роботов существенно зависят от алгоритмического обеспечения СТЗ. Продуманный выбор совокупности алгоритмов выполнения операций ввода, обработки и анализа видеоинформации так же важен, как и использование совершенных устройств регистрации изображений и вычислительных средств СТЗ [2]. Общие этапы обработки изображений в СТЗ представлены на рис. 1. Алгоритмы обработки изображений на каждом из этапов могут существенно отличаться в зависимости от решаемых задач на конечном этапе анализа.

Изображение объекта

Предварительная обработка

—э

Сегментация изображения

—э

Представление и описание

—э

Анализ изображения

Рис. 1. Блок-схема операций обработки изображений в системе технического зрения

Методы и алгоритмы распознавания образов объектов в СТЗ. Для выполнения операции сортировки деталей на конвейере предлагается использовать в СТЗ алгоритм распознавания на основе анализа контуров — границ, изображений объектов. В этих алгоритмах в этапе представления и описания границы объектов используется метод Фурье [3]. Для вычисления фурье-дескрипторов контур границы объекта представляется в виде массива комплексных чисел /(к) = х(к) + ¡у(к), к = 0,1,..., N -1. Выражение дискретного преобразования Фурье для массива / (к) задается выражением [3]

р () 1 V1 , (к) (■ 2пик р(и) = — V /(к) ехр I -1 ——

N к=0 ^ N

и = 0,1,...,N -1.

(1)

Комплексные коэффициенты р(и) = р, определяемые выражением (1), называются фурье-дескрипторами границы. При формировании вектора признаков используют модули фурье-дескрипторов с положительными и отрицательными индексами и = ±1, ± 2,..., ± £/2, причем / < N -1. Для обеспечения инвариантности признаков к сдвигу, повороту и изменению масштаба выполняют нормировку дескрипторов на модуль дескриптора с индексом и = 1. Вектор признаков X имеет вид

X

\Р- //2| |Р-2| N М - иг иг- И1.

(2)

Значение параметра Ь определяет размерность признакового пространства К = Ь — 2.

На этапе распознавания выбран простейший классификатор, основанный на минимизации евклидова расстояния между вектором Хг признаков распознаваемого объекта юг и векторами Хт, т = 1, М, признаков эталонных объектов, образующих алфавит классов [3]. В данном случае число классов равно М. Евклидово расстояние определяется по формуле ргт = ||хг -Хт|| = ^==(Х[ — Хт)2. Решение о принадлежности объекта юг к некоторому классу принимается на основе решающего правила, которое можно представить соотношением ргт* = шт{ргт } ^ юг С йт*.

т

Проведен сравнительный анализ двух алгоритмов распознавания образов, которые различаются методами выделения контуров регистрируемых изображений деталей. В первом алгоритме для выделения контуров используется метод Канни [3], широко известный в практике цифровой обработки как один из лучших методов, а во втором алгоритме — предлагаемый в данной работе комбинированный метод.

Алгоритм сегментации по методу Канни включает следующие процедуры [3]:

1) сглаживание полутонового изображения низкочастотным фильтром с импульсным откликом, описываемым законом Гаусса;

2) вычисление градиентов изменения яркости в каждой точке изображения и нахождение точек локального максимума градиентов;

3) подавление немаксимумов и выделение границ как локальных максимумов градиентов;

4) определение потенциальных границ на основе сравнения с двумя пороговыми уровнями Т1 и Т2, причем Т1 < Т2;

5) трассировку областей неоднозначности и определение итоговых границ путем подавления всех краев, не связанных с определенными (сильными) границами.

На рис. 2, б приведены результаты применения этого алгоритма для выделения контуров деталей, изображенных на рис. 2, а. Изображения контуров, полученных методом Канни, кроме внешних границ содержат внутренние контурные линии, наличие которых определено условиями освещения объектов при регистрации изображений. Этот эффект может приводить к неинвариантности признаков распознавания, определяемых путем анализа контуров изображений объектов.

а бе

Рис. 2. Результаты выделения контуров изображений группы объектов: а — исходное изображение; б — контуры, выделенные методом Канни; в — контуры, выделенные комбинированным методом

Предлагаемый комбинированный метод сегментации является модификацией метода Канни. Кроме описанных выше процедур используются процедуры морфологической обработки. Алгоритм сегментации, основанный на комбинированном методе, включает следующие процедуры:

1) выделение контуров по методу Канни;

2) дилатацию выделенных границ;

3) заполнение области в пределах границ, полученных на втором шаге алгоритма;

4) эрозию изображения, полученного на третьем шаге алгоритма;

5) вычитание массивов, полученных на третьем и четвертом шагах алгоритма.

На рис. 2, в приведены изображения контуров объектов, выделенных по предложенному комбинированному методу. Даже сравнительный визуальный анализ позволяет сделать вывод о том, что комбинированный метод дает четкие контуры только внешних границ изображений объектов.

Для сравнительной количественной оценки эффективности метода Канни и комбинированного метода выделения контуров в алгоритме распознавания образов деталей проведен численный эксперимент. В эксперименте использовалась тестовая выборка изображений, подготовленная из эталонных 40 изображений (всего 440 изображений). В качестве примера на рис. 3 представлены 12 эталонных изображений объектов, включенных в базу данных. Все эталонные объекты регистрировались на равномерном фоне при числе градаций, равном 256. Состав тестовой выборки:

• 160 изображений, полученных поворотом эталонных изображений на углы а, равные 20, 30, 60 и 80°;

• 80 изображений, полученных масштабированием эталонных изображений с коэффициентом масштабирования к, равным 0,75 и 0,5;

• 200 изображений, полученных добавлением к эталонным изображениям аддитивного шума с нормальным законом распределения и среднеквадратическим отклонением (СКО), равным 0,036, 0,062, 0,073, 0,086 и 0,101 (СКО выражено в относительных единицах от числа градаций изображения).

Рис. 3. База данных 40 эталонных изображений

При проведении экспериментов по распознаванию объектов использовалось 98 признаков и ставилась задача сравнительной оценки вероятности правильного распознавания при выделении контуров на основе метода Канни и комбинированного метода.

В таблице приведены значения вероятностей правильного распознавания объектов при предъявлении тестовых изображений при варьировании масштаба объектов, ориентации, а также СКО аддитивного шума.

Влияние масштаба и значения СКО на вероятность распознавания

Параметр Вероятность распознавания, %, для алгоритма

Канни комбинированного

Масштаб:

к = 0,75 82,5 95

к = 0,5 50 70

СКО шума: 0,036 85 90

0,062 52,5 87,5

0,073 35 85

0,086 32,5 80

0,101 25 67,5

Примечание. При повороте изображения на углы а, равные 20, 30, 60 и

80°, вероятность распознавания составляет 90 % для обоих алгоритмов.

Из анализа результатов, представленных в таблице, следует:

• алгоритм распознавания, в котором для выделения границ используется комбинированный метод, является более устойчивым к изменению масштаба изображения;

• поворот изображения в одинаковой степени влияет на вероятность распознавания обоих алгоритмов;

• алгоритм распознавания, в котором для выделения границ используется комбинированный метод, является более устойчивым к аддитивному шуму.

Алгоритмы измерения размеров деталей и взаимного положения режущего инструмента и детали. Как отмечалось выше, одной из задач СТЗ в составе роботизированных комплексов является оперативный контроль размеров деталей в процессе их механической обработки. Получение данных о взаимном положении обрабатываемой поверхности детали и режущего инструмента или рабочих органов оборудования позволяет принимать адекватные решения для управления процессом механической обработки. Кроме того, такой контроль позволяет получить косвенную информацию о размерах в тех случаях, когда проведение оперативного контроля размеров обрабатываемых деталей затруднено такими факторами, как наличие стружки или охлаждающей жидкости.

Достоинствами оптических методов контроля является бесконтактность и высокая точность. Для того чтобы сформулировать задачи, связанные с алгоритмами обработки изображений в СТЗ, рассмотрим некоторые методы для контроля размеров деталей или взаимного положения деталей и режущего инструмента.

Для контроля относительного положения поверхностей объектов широко применяются датчики, основанные на триангуляционном методе. Принцип действия триангуляционных датчиков иллюстрирует рис. 4 [4]. В датчике пучок излучения от лазера формируется конденсором и создает световую метку на поверхности объекта. Изображение световой метки проецируется оптической системой с фокусным расстояниемна поверхность фотоприемника, который представляет собой матрицу или линейку ПЗС-приемников. Ь и а являются базовыми расстояниями системы. При изменении расстояния от датчика до объекта к происходит смещение изображения световой метки в плоскости фотоприемника на значение А/. Данные в виде массива изображения поступают в компьютер, где проводится вычисление координат изображения. Приближенная формула, определяющая зависимость координат поверхности от координат изображения в плоскости фотоприемника, имеет вид

А/ = ^ша. (3)

Ь У ;

Поверхность

ЭВМ

Рис. 4. Функциональная схема триангуляционного датчика

Из формулы (3) следует, что при увеличении угла а чувствительность датчика возрастает, но при этом уменьшается диапазон измеряемых перемещений. Пороговая чувствительность триангуляционного датчика зависит от размеров чувствительных элементов ПЗС-приемника, размеров регистрируемого изображения, а также алгоритма, применяемого для оценки координат изображения световой метки.

На рис. 5 представлена функциональная схема прибора, который может быть использован для контроля поперечных перемещений объекта, например режущего инструмента, относительно оси вращения детали при обработке на токарном станке [5].

В состав передающей части прибора входят полупроводниковый лазер 1 с блоком питания и драйвером, объектив 2, транспарант 3 и афокальная репродукционная оптическая система (ОС) 4. Приемная часть включает в себя интерференционный фильтр 5, телевизионную

Рис. 5. Функциональная схема прибора: 1 — полупроводниковый лазер; 2 — объектив; 3 — транспарант; 4 — афокальная репродукционная ОС; 5 — интерференционный фильтр; 6 — телевизионная камера; 7 — компьютер

камеру 6 с приемником в виде ПЗС-матрицы и компьютер 7. Объектив формирует параллельный пучок лазерного излучения, подсвечивающий транспарант. Направление лазерного пучка на выходе передающей части прибора должно быть параллельно оси вращения детали. Апертурная диафрагма афокальной репродукционной ОС, ограничивающая пучки лучей, которые дифрагируют на транспаранте, располагается в плоскости, проходящей через совмещенные фокусы первой и второй компонент.

Передающая часть прибора устанавливается неподвижно на некоторой базе станочного оборудования, а приемная часть крепится на контролируемом объекте — рабочем органе, связанном с режущим инструментом. Значения поперечных перемещений объекта относительно базы оцениваются по перемещениям изображения транспаранта, которое регистрируется телевизионной камерой приемной части. В работе [5] показано, что можно подобрать сочетание параметров афо-кальной оптической системы и транспаранта, при которых распределение интенсивности в изображении является практически постоянным в определенном диапазоне продольных перемещений объекта.

Погрешность измерений данного прибора, как и триангуляционного датчика, определяется алгоритмами для оценки положения регистрируемого изображения. Для оценки положения (координат) изображений объектов можно использовать различные алгоритмы, основанные на методах обработки изображений. В данной статье рассмотрены два алгоритма: «Центр масс» и «Оптимальный алгоритм».

Алгоритм «Центр масс». Координаты хц и уц «центра масс» регистрируемого изображения I (х, у) вычисляют по формулам

т т

X Xil (Xi, yj) X yj1 (xi, yj)

i, j=1 i, j=1 гл\

Хц = —-; Уц = —-. (4)

ц m ' sц m v '

X 1 (xi, yj) X 1 (xi, yj)

i ,j=1 i ,j=1

Для определения перемещения объекта А/ следует вычислить разность между координатами центров масс изображений при двух положениях изображения:

Ах = Хц2 - Хц1, Ay = Уц2 - Уц1;

А/ = ^ Ах2 + Ay2. (5)

Алгоритм «Центр масс» можно применять для измерения как продольного, так и поперечного перемещений. Наличие априорной информации о пространственном распределении облученности в регистрируемом изображении не требуется, что является достоинством этого метода.

Оптимальный алгоритм. Возможность реализации оптимального алгоритма предполагает априорное знание вида регистрируемого сигнала. Если предположить, что при возможных перемещениях объекта распределение облученности в плоскости изображения без учета помех остается неизменным, то можно использовать «Оптимальный алгоритм», обеспечивающий минимальную погрешность измерения.

Если принять допущение о том, что шум является «белым», то в соответствии с оптимальным алгоритмом оценка координат Х0, У0 находится как положение экстремума функции R(xm, yn) взаимной корреляции регистрируемого g(xi, yj ) и эталонного f (xi, yj ) изображений от дискретных координат xm, yn:

(0,y0) = arg max {R(xm,yn)}, (6)

xm, yn

где

M ,N

R (xm, Уп )= X g ( xi, yj ) f ( xi - xm, yj - Уп ). (7)

i ,j=1

Для ускорения процессов вычисления функции взаимной корреляции следует использовать алгоритм быстрой свертки, основанный на использовании алгоритма быстрого преобразования Фурье (БПФ). Если использовать для алгоритма БПФ обозначение З{-}, то функцию взаимной корреляции можно вычислить по формуле

R(xm, Уп) = З"1 {3{ f (xm, Уп )} З{g( xm, Уп)}}. (8)

Для сравнительной оценки эффективности «Оптимального алгоритма» и алгоритма «Центра масс» были проведены экспериментальные исследования по измерению поперечных перемещений объекта на макете прибора, схема которого представлена на рис. 5. В макете прибора использовался Не-Ые-лазер, освещавший транспарант в виде периодических штрихов размером 1 мм с периодом 0,1 мм. Транспарант проецировался афокальной репродукционной ОС с увеличением 5/3х в плоскость, где расположены чувствительные элементы приемника излучения телевизионной цифровой камеры. В камере, которая жестко связана с объектом, используется матричный приемник излучения, содержащий 1280 х 720 пикселов размером 3,75 х 3,75 мкм2. Изображения транспаранта, регистрируемые цифровой камерой при ее поперечных перемещениях, передавались в ПЭВМ для обработки с целью оценки координат по алгоритму «Центра масс» и «Оптимальному алгоритму». Поперечное перемещение осуществлялось микрометрическим винтом с погрешностью перемещения 2 мкм.

В процессе проведения экспериментов объект и связанная с ним камера располагались вдоль оптической оси прибора в диапазоне 100...1000 мм. В каждом из этих положений задавались поперечные перемещения в диапазоне от нуля до 0,6 мм и регистрировалось 60 изображений транспаранта при каждом поперечном перемещении. Результаты измерений, обработанные по обоим указанным алгоритмам, представлены на рис. 6. По оси ординат отложено значение СКО погрешности измерения, а по оси абсцисс — положение объекта вдоль оси прибора.

с?

<-> 6,0 «

ё 5,5

10 20 30 40 50 60 70 80 90

Расстояние, см

Рис. 6. СКО погрешности измерения

Из графиков следует, что даже при изменении распределения облученности в изображении транспаранта вдоль оси прибора среднее значение СКО погрешности оценки координат по оптимальному алгоритму практически совпадает с погрешностью микрометрического винта, составляющей 2 мкм. Среднее значение СКО погрешности оценки по алгоритму «Центр масс» примерно в 2 раза превышает СКО погрешности оценки координат по «Оптимальному алгоритму». На основании этих результатов можно сделать вывод, что «Оптимальный алгоритм» более предпочтителен для реализации в СТЗ по сравнению с алгоритмом «Центр масс».

Заключение. На основании проведенных исследований алгоритмов обработки изображений в СТЗ роботизированных комплексов установлено следующее:

• алгоритм распознавания образов по контурам деталей на основе фурье-дескрипторов с выделением границ предложенным комбинированным методом обеспечивает более высокую эффективность, чем алгоритм с выделением границ методом Канни;

• при измерении размеров и координат объектов более предпочтительным является «Оптимальный алгоритм».

ЛИТЕРАТУРА

[1] Генкин В.Л., Ерош И.Л., Москалев Э.С. Системы распознавания автоматизированных производств. Москва, Машиностроение, 1988, 242 с.

[2] Мошкин В.И., Петров А.А., Титов В.С., Якушенков Ю.Г. Техническое зрение роботов. Москва, Машиностроение, 1990, 272 с.

[3] Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. Москва, Техносфера, 2006, 616 с.

[4] Котюк А.Ф. Датчики в современных измерениях. Москва, Радио и связь, 2006, с. 96.

[5] Колючкин В.Я., Чан Т.Х. Исследование характеристик репродукционной афокальной оптической системы в устройствах для измерения перемещений объектов. Наука и образование, 2013, № 2. URL: http://technomag.edu.ru/doc/531036.html (дата обращения 23.09.2013).

Статья поступила в редакцию 03.07.2013

Ссылку на эту статью просим оформлять следующим образом:

Колючкин В.Я., Нгуен К.М., Чан Т.Х. Алгоритмы обработки информации в системах технического зрения промышленных роботов. Инженерный журнал: наука и инновации, 2013, вып. 9.

URL: http://engjournal.ru/catalog/pribor/optica/920.html

Колючкин Василий Яковлевич родился в 1948 г., окончил МВТУ им. Н.Э. Баумана в 1972 г. и МИФИ в 1986 г. Д-р техн. наук, профессор кафедры «Лазерные и оптико-электронные системы» МГТУ им. Н.Э. Баумана. Автор более 100 научных работ в области системного проектирования оптико-электронных приборов.

Нгуен Конг Минь родился в 1980 г., окончил МГТУ им. Н.Э. Баумана в 2007 г. Аспирант кафедры «Лазерные и оптико-электронные системы» МГТУ им. Н.Э. Баумана.

Чан Тиен Хай родился в 1983 г., окончил МГТУ им. Н.Э. Баумана в 2009 г. Аспирант кафедры «Лазерные и оптико-электронные системы» МГТУ им. Н.Э. Баумана.