CC BY
78
УДК 62-503.57
И.Н. Егоров, д-р техн. наук, проф., (915) 7983083, [email protected] (Россия, Владимир, ВлГУ),
М.М. Матлуб, асп., (961) 2554833,
[email protected] (Россия, Владимир, ВлГУ)
УПРАВЛЕНИЕ РОБОТАМИ НА ОСНОВЕ ПОЗИЦИОННО-СИЛОВЫХ И НЕЧЕТКИХ ВИЗУАЛЬНЫХ АЛГОРИТМОВ
Рассмотрено использование алгоритмов обработки изображения подвижных объектов в сборочных роботах с силомоментным очувствлением, и исследовано влияние линейных помех движения на распознавание цилиндрических объектов, разработана Simulink модель и программа моделирования системы визуального слежения сборочным роботом в условиях нестационарности и неопределенности параметров размытости изображения объекта.
Ключевые слова: управление, роботы, обработка изображения, зрение роботов, нечеткий регулятор, силомоментное очувствление.
Обнаружение подвижного объекта
Обнаружение объекта на конвейере осуществляется с помощью алгоритма, основанного на методе фонового вычитания. На первом этапе 1-й кадр, фиксирующий изображение конвейера без объекта, принимается в качестве фона. Полученный фон сравнивается с видеосигналом, передающимся в реальном времени с видеокамеры, находящейся над конвейером в компьютерную программу в среде БтпИпк ЫайаЬ. На основе вычитания фона из каждого кадра видеосигнала мы получаем нулевой результат, который свидетельствует об отсутствии объекта в области. Если результат превышает определенную пороговую величину, то это означает появление объекта в интересуемой нас области.
Визуальные измерения скорости и положения объекта
Метод определения скорости перемещения и положения объекта основан на применении пассивной видеокамеры и алгоритмов обработки единичного изображения подвижного объекта. Вследствие перемещения объекта относительно неподвижной камеры во время экспонирования, в активной зоне изображения возникают помехи движения. Это обеспечивает визуальный ключ для измерения скорости движущегося объекта. Первоначально сегментируется приблизительная интересуемая область, и определяются параметры размытости изображения вследствие помех движения. На следующем этапе размытость устраняется, и полученное изображение используется для определения других параметров. В итоге по геометрии изображения, положению видеокамеры и величине размытости вычисляется скорость объекта и его положение.
Модель ухудшения изображения
В модели ухудшения изображения рассматриваемое изображение g(x,y) является результатом моделирования двухмерной линейной системы и может быть охарактеризовано функцией рассеяния точки (PSF) h(x,y), называемой также функцией деградации [1]. PSF описывает отклик систем формирования изображений на точечный источник света или точечный объект. Помеха п(х,у) предположительно является белой помехой Гаусса с нулевым значением средней величины.
Если функция деградации h(x,y) линейна, а пространственная функция постоянна, то наблюдаемое расплывчатое изображение с добавочными помехами в пространственной области может быть представлено следующим образом:
Ы-1N-1
g(х, у) = ^х, у) ® /(х, у) + п(х, у) = X X КX -1, У - У)/(X, у) + п(х, у), (1)
1=0 j=0
где ® - двухмерная свертка, g, h, / и п - соответственно, наблюдаемое изображение, функция деградация, первоначальное изображение и помехи.
Примеры изображений и их спектров интенсивности преобразования Фурье для двух вариантов длин расплывчатости представлены на рис. 1.
а б в г
Рис. 1. Примеры изображений и спектров:
а, б - первоначальное изображение и его спектр; в, г - изображение с длиной расплывчатости 20 и его спектр
Так как свертка в пространственной области равна умножению в частотной области, то выражение (1) может быть записано в виде
в(к, I) = Н (к, I) F (к, I) + N (к, I), где к, I - пространственные координаты частоты; О, Н, F и N - преобразования Фурье наблюдаемого изображения g, функции деградации h, первоначального изображения / и помехи п.
Расплывчатость изображениями связана с однородным линейным движением изображения относительно видеокамеры во время получения информации. Если сцену, которую необходимо записать, перемещать относительно видеокамеры с постоянной скоростью V под углом ф градусов к горизонтальной оси, то во время интервала экспозиции [0, Т] движение расплывчатости PSF ^х, у) при «длине расплывчатости» Ь^Т представляется следующим образом [2, 3]
h( x, y ) =
1 если 0 < Ixl < L cos ф; y = L sin ф,
L , (2)
0 в противном случае,
H(k, l) = sin c(nLf); где f = k cosф +1 sinф.
Идентификация длины расплывчатости
Если пренебречь помехами, то преобразование Фурье рассматриваемого изображения будет равно произведению преобразования Фурье PSF и первоначального изображения.
Величина частотного отклика движения расплывчатости PSF (2) характеризуется периодическими нулями по оси k, которые могут возникнуть при следующем условии
1 2 3
к = ±— ,± — ,± —,...
LLL
Нулевые значения функций H(k, l) или G(k, l) встречаются периодически вдоль линий, перпендикулярных направлению движения. Таким образом, длина расплывчатости может быть получена при идентификации достижения функцией G(k, l) нулевого значения.
Процедура идентификации длины расплывчатости представлена в виде следующего алгоритма: вычислите преобразование Фурье G(k ,l) расплывчатого изображения g(x, y); определите спектр логарифма G(k, l) и переведите его в двоичный формат; переведите двухмерную информацию в одномерную, принимая среднеарифметическое значение вдоль столбцов матрицы преобразования Фурье; найдите обратное преобразование Фурье от одномерной информации, полученной в предыдущем пункте и подставьте первое отрицательное значение в вещественную часть, которая соответствует длине расплывчатости.
При наличии помех движения типа Г аусса применяется этот же алгоритм и среднеарифметическая фильтрация расплывчатого изображения [4] перед вычислением соответствующего преобразования Фурье.
Фильтр Винера
Фильтр Винера, называемый также минимальной среднеквадратичной оценочной функцией, облегчает некоторые трудности инверсионного фильтрования при моделировании ошибки в восстановленном изображении с помощью статистических методов. При определении минимума средней погрешности уравнение фильтра Винера имеет следующий вид [5]:
*
H (u, v)
Rw (м, v)
|H (u, v)|2 +
Sn (M v) S f (u, v)
* I |2
где Н (и,V) - комплексное сопряжение Н(иу);Бп(и,V) = \Ы(и,V) - энергетический спектр помех; Б/ (и, V) = (и, V))2 - энергетический спектр ис-
ходного изображения. При рассмотрении первоначального, неизвестного изображения, отношение энергетических спектров заменяется параметром К и оптимальное значение определяется экспериментально [5]:
*
Н (и, V)
ЯЖ(u, ^ = ;-----^2-----•
\Н (и, V))2 + К
Фильтр Винера применяется при определении обратного преобразования Фурье 3-1[ ^ Л (и, V)]
/ Л (и, V) = 3-1[ ^ Л (и, V)] = 3-1[ЯЖ (и, v)G(u, V)]
Идентификация цилиндрических объектов и координат центров отверстий
Идентификация цилиндрических объектов осуществляется на основе оценки отклонений круглости в поперечном сечении как наибольшего расстояния от точек реального профиля до прилегающей окружности с помощью подпрограммы «ге^1опргор8» МайаЬ7, отслеживающей границы объекта и вычисляющей черно-белый вариант его изображения. К цилиндрическим объектам с площадью Б и радиусом Я относятся объекты с коБ
эффициентом круглости 1 ^ 8> 0.94, где 8 = 4п——. Матрица, опреде-
Я 2
ляющая номер объекта и величину коэффициента круглости, может быть получена с помощью подпрограмм «ЬwЬoundaries» и «ге^юпргоръ» МайаЬ7. Эксперимент проводился на цветном изображении реального объекта с искусственными помехами движения и различными величинами длины расплывчатости. Точность определения координат центра отверстия, как показали экспериментальные исследования, не превышает 5%.
Отдельные результаты экспериментальных исследований приведены на рис. 2.
а б в г д е
Рис. 2. Результаты экспериментальных исследований:
а, в - изображения с линейными помехами 7 и 20 пикселей; д - восстановленное изображение объекта; в) - с помощью приближенного алгоритма;
б, г, е - распознавание контуров цилиндрических объектов а, в, д
Из представленных результатов видно, что увеличение помех движения приводит к невозможности определения формы объектов. После восстановления изображения возможно определение формы объектов даже при большой величине длины расплывчатости, до 20 пикселей. Определение координат местоположения подвижного объекта на конвейере в пикселях, осуществляется на основе коэффициента круглости.
Визуальное слежение робота за перемещением подвижного объекта
Решение задачи визуального отслеживания технологическим роботом перемещения объекта обеспечивает определение правильного положения схвата, которое, в частности необходимо для выполнения операции сопряжения цилиндрического вала, находящегося в схвате с центральным отверстием объекта. Автономное слежение за подвижным объектом осуществляется с помощью визуального сервоуправления (рис.3) основанного на применении изображения, полученного с помощью системы технического зрения (СТЗ), расположенной на запястье робота и системы нечеткого моделирования и управления [6, 7].
Рис. 3. Simulink модель и программа моделирования системы визуального слежения
Нечеткое моделирование в среде robotics toolbox и fuzzy logic toolbox Matlab7 применяется для получения обратной модели отображения между ошибками элементов изображения и скоростями звеньев манипулятора без необходимости инвертирования определителя Якоби. В работе
162
было доказано, что применение в системе управления вместо ПИД-регулятора нечеткого регулятора позволяет получить лучшие результаты по совмещению цилиндрического вала, находящегося в схвате робота с центральным отверстием подвижного объекта даже при отсутствии калибровки СТЗ.
После измерения или наблюдения составляющих вектора сил и моментов Рх, РУ„ Мс,, возникающих при контакте соединяемых объектов определяются признаки сборочной ситуации и формируется один из алгоритмов позиционно-силового управления процессом сопряжения [8].
Наиболее эффективен алгоритм управления на основе информации о знаке проекций вектора силы (рис. 4), применение которого позволяет избежать необходимости применения устройств точных перемещений при реализации алгоритма сборки по методу усреднения и усложнения приводов при реализации алгоритмов контурного управления с использованием информации о реакциях связи.
Рис. 4. Алгоритм управления ЭП сборочного робота по методу измерения знака проекции вектора силы
Работа алгоритма начинается после передачи сборочному роботу с СТЗ данных о расположении цилиндрического объекта радиусом Я вдоль осей X, У (см. рис. 3). На первом этапе формируется скорость У2 перемещения вала вдоль вертикальной координаты 2 до соприкосновения собирае-
163
мых объектов. В момент, когда вертикальная сила Fz достигает требуемой (дозированной) величины F3z, движение прекращается, и электропривод (ЭП) вертикального перемещения обеспечивает давление вала на подвижный объект с постоянной силой Fk< Fg сборки. Начиная с этого момента времени ЭП горизонтальных координат робота осуществляют произвольное перемещение в направлении свободного хода с одновременным движением вдоль оси Z.
Если при движении вдоль координаты X или Y значение соответствующей силы Fx, Fy достигает предельного значения Fg,, то осуществляется реверс ЭП данной координаты. Электропривод другой координаты, при этом, продолжает перемещение. Следовательно, ЭП координат X и Y независимо друг от друга совершают возвратно-поступательные движения с постоянными, в общем случае, неравными друг другу скоростями Vx и Vy. Поисковые движения производятся до тех пор, пока образующая торца одного объекта не «соскользнет» с фаски другого объекта. Силовое воздействие объекта уменьшится ввиду отсутствия прямого контакта и ЭП координаты Z движением со скоростью Vz произведет окончательное сопряжение объектов.
Структура системы управления, реализующей рассмотренные алгоритмы, содержит контуры визуального распознавания, слежения, позиционного и позиционно-силового управления.
Список литературы
1. Fabian R., Malah D. Robust identification of motion and out-of-focus blur parameters from blurred and noisy images. CVGIP: Graphical, Models and Image Processing, 1991. P. 227-233.
2. Lagendijk R. L., Biemond J. Hand Book of Image and Video Processing, chapter Basic Methods for Image Restoration and Identification. -Academic Press, 2000. P. 305-317.
3. Rekleitis I. Visual motion estimation based on motion blur interpretation. Master's thesis. School of Computer Science: McGill University, 1995. 50 с.
4. Lokhande R., Arya K. V. and Gupta P. Identification of Parameters and Restoration of Motion Blurred Images, SAC'06 April 23-27, Dijon, France, 2006. 3P.
5. Scott E. Umbaugh. Computer Vision and Image Processing. Prentice-Hall, Upper Saddle River, New Jersy, 1998. P. 210-215.
6. Goncalves Paulo J. Sequeira, Mendonca L.F., Sousa J.M.C., Pinto Caldas J.R. Image Recognition Applied to Robot Control Using Fuzzy Modeling. // Springer-Verlag Berlin Heidelberg 2004. P. 253-260.
7. Kim Ch. S., Seol W. H., Han S. H., Oussama Khatib Fuzzy Logic Control of a Robot Manipulator Based on Visual Servoing // IEEE ISIE, Pusan, Korea, 2001. P. 1597-1602.
8. Егоров И.Н., Матлуб Муханад М. Система управления процессом сборки с использованием алгоритмов идентификации параметров помех движения и распознавания сборочных ситуаций // сборник научных трудов Ковров: ГОУ ВПО КГТА им. В.А. Дегтярева, 2008. С. 300-309.
I. Egorov, M. Matloob
СоПго1 of assembling robots based on position-force algorithms in conditions of uncertainties andfuzzy visual tracking of object
The use of algorithms for vision processing of mobile coupling object in assembling robots with force-torque sensing and linear motion noise are reviewed, and its influence on identification of cylindrical objects is investigated, a Simulink model is developed for vision tracking of assembling robot in conditions of nonstationarity and uncertainties ofparameters object’s blurred image.
Keywords: control, robots, image proccessing, robot vision, Fuzzy controller, force-torque sensing.
Получено 31.03.10
УДК 681.513
Д.В. Козлов, асп., (4872)-34-58-50, +7-910-162-08-70,
МгКо21руРУ@гашЬ1ег.ги (Россия, Тула, ТулГУ),
B.В. Крючков, асп., (4872)-33-51-08, +7-919-078-21-78, Ь1аскрксЬ@гатЬ1ег.щ (Россия, Тула, ТулГУ),
C.А. Шопин, асп., (4872)-40-27-25, +7-953-423-83-72, [email protected] (Россия, Тула, ТулГУ)
ПОСТРОЕНИЕ МОДЕЛИ ОБЪЕКТА С ПОМОЩЬЮ РАДИАЛЬНО-БАЗИСНЫХ НЕЙРОННЫХ СЕТЕЙ
Предложен новый способ построения модели линейного объекта, основанный на знании его порядка и применении нейросетей для аппроксимации функциональных зависимостей между его координатами. Приводится пример построения модели исполнительного двигателя постоянного тока следящей системы.
Ключевые слова: идентификация объекта, математическая модель, нейронная сеть, аппроксимация функций.
1. Введение, постановка задачи
Изучение свойств и особенностей объектов с помощью современных методов обработки информации основывается на идентификации исследуемого объекта - построении модели изучаемого объекта по наблюдаемым данным: входным и выходным сигналам [5, 7].
Задача идентификации решается в несколько этапов. На первом этапе производится структурная идентификация объекта - выбирается структура модели на основании физических или эмпирических предпосы-
