CC BY
30
О преподавании курса «Компьютерное зрение в задачах управления»
М.В. Сотникова, старший преподаватель кафедры компьютерных технологий и систем факультета ПМ-ПУ СПбГУ, [email protected]
В данной работе представлены базовые принципы, положенные в основу нового курса «Компьютерное зрение в задачах управления» для студентов, обучающихся в магистратуре по направлению «Фундаментальная математика и информационные технологии» на Факультете прикладной математики-процессов управления Санкт-Петербургского государственного университета. Этот курс отражает комплекс вопросов, связанных с обработкой цифровых изображений и сигналов, математическим моделированием и синтезом управления, реализацией цифровых законов управления в режиме реального времени. Основной задачей курса является изучение методов использования визуальной информации в контуре обратной связи для управления движением роботов. 1. Компьютерное зрение и роботы
Управление роботами может осуществляться одним из следующих способов: дистанционное управление (телеуправление), программное и автономное с обработкой связью. В первом случае фактическое управление реализуется оператором, который наблюдает за роботом посредством установленной на нем видеокамеры. Во втором случае движение робота определяется заранее заданной программой, то есть представляет собой некоторую фиксированную последовательность действий. Наибольший интерес представляет третий случай, когда робот работает автономно с использованием информации, поступающей с видеокамеры, лазерных дальномеров и др. датчиков, в контуре обратной связи.
В рамках курса рассматриваются вопросы применения компьютерного зрения для обеспечения автономной навигации мобильных роботов и автоматического управления роботами-манипуляторами. При проведении экспериментов в качестве конкретных робототехнических устройств используются следующие роботы лаборатории Моделирования информационных систем факультета ПМ-ПУ СПбГУ: робот-гуманоид БиТЛБЛ ИБТ-1 (рис. 1); промышленный робот-манипулятор БЛМиС М-20 (рис. 2). Роботом РЦТЛБЛ можно управлять с пульта, а также программировать его различные движения на компьютере, а затем реализовывать их на роботе. Кроме того, этот робот имеет 20 сервомоторов, на которые можно подавать управляющие сигналы с компьютера для реализации обратной связи. Целью работы с данным роботом является обеспечение
его автономной навигации с использованием установленной на нем видеокамеры.
Рис. 1. Робот-гуманоид Рис. 2. Робот-манипулятор
FUTABA RBT-1 FANUC M-20
Робот-манипулятор FANUC используется на производстве, в частности в автомобильной промышленности. Робот оснащен пневматическим захватом. Управление роботом можно осуществлять с пульта и в программном режиме. В курсе рассматриваются задачи автоматического функционирования робота с использованием информации с видеокамеры, установленной на руке-манипуляторе или в фиксированной точке окружающей среды.
2. Задачи навигации мобильных роботов
В курсе рассматривается задача навигации мобильного робота в следующей постановке. Робот должен попасть в заданную точку на плос-
(* * \
x , У ). При этом необходимо обнаруживать и обходить встречающиеся на пути препятствия, а также определять свое
положение (x,y) в текущий момент и расположение других предметов окружающего пространства.
Одним из возможных подходов к решению поставленной задачи является вариант метода SLAM (Simultaneous Localization and Mapping), базирующийся на использовании расширенного фильтра Калмана [1]. Рассмотрим основные положения данного подхода.
Математическая модель мобильного робота может быть представлена системой разностных уравнений
(1)
x
k+1
f (xk,Uk )>
где хк = (хк,ук, Е3 - вектор состояния, (хк > У к ) - координаты робота на плоскости, фк - направление движения робота на текущем такте к дискретного времени. Вектор Щ = (Ук,Ук)е Е2 представляет управляющее воздействие, где ^к - величина и У к -направление вектора скорости робота соответственно. Вид вектор-
функции f определяется динамикой движения конкретного робота. Отметим, что модель робота FUTABA RBT-1 также может быть представлена в виде (1). Наиболее простую форму эта модель принимает для мобильных колесных роботов.
Для того чтобы определить свое местоположение на плоскости робот должен ориентироваться на окружающие его предметы. При этом возникают следующие задачи:
• поиск характерных точек, особенностей на изображениях;
• вычисление расстояния до найденных особых точек.
Первая задача состоит в том, чтобы выделить на изображениях, получаемых с видеокамеры робота, некоторые характерные особые точки. Эти точки отличаются тем, что в их окрестности существует изменение яркости или контрастности, не характерное для общего монотонного фона изображения. Традиционными подходами к выделению на изображениях таких точек являются методы SIFT и SURF [2]. Результатом применения этих методов к изображению является множество особых точек и дескрипторов, описывающих окрестность этих точек.
Отметим, что в простейшем варианте вместо задачи поиска особых точек может рассматриваться задача нахождения на изображениях предметов, заданных изначально шаблонным изображением. При этом роботу заранее известен набор дескрипторов, представляющих данный предмет, и задача поиска предмета на изображении сводится к поиску соответствующего набора дескрипторов.
Следует отметить, что робот в процессе своего движения непрерывно получает изображения одних и тех же предметов, но на разном расстоянии от них и с изменяющимся углом обзора. При этом SIFT и SURF-дескрипторы представляют инвариантное по отношению к масштабу и повороту описание предмета.
Вторая задача заключается в измерении расстояния до найденных особых точек или предметов на изображении. Отметим, что решение этой задачи зависит от набора датчиков, используемых роботом. В частности, при наличии двух камер задача решается на базе алгоритмов стерео-зрения. Другой вариант состоит в использовании лазерных дальномеров или комплексировании данных с видеокамеры и дальномера.
В рассматриваемом курсе будем считать, что на роботе установлена только одна видеокамера. При этом, для того чтобы измерить расстояние до некоторого предмета на изображении необходимо заранее знать некоторые геометрические характеристики этого предмета, например, его длину и ширину.
Предположим, что выбран некоторый способ измерения расстояния до объектов. Тогда на такте k +1 оценка вектора состояния
x к+i|£+i, согласно методу SLAM, вычисляется в два этапа. На первом шаге вычисляется прогнозируемое значение состояния x к+1|к в соответствии с уравнениями (1) на базе оценки состояния Хщ для предыдущего такта к :
xk+1\k=f {ХЦк'ик ) • (2)
На втором этапе эта оценка корректируется. Для этого измеряется фактическое расстояние до каждого из опорных предметов (маяков). Отметим, что координаты маяков также в общем случае являются неизвестными и подлежат восстановлению. В простейшем варианте будем полагать, что положение маяков на плоскости известно и определяется
векторами щ, i = 1,...,N. Тогда на такте к + 1 дискретного времени
имеем следующие измерения
y = g ixk+i,щX (3)
где g (°) - вектор-функция, вид которой определяется способом вычисления расстояния. В результате, оценка (2) уточняется на основе расхождения между фактическими результатами измерений (3) и прогнозируемыми значениями этих измерений, полученными в предположении, что вектор состояния совпадает с оценкой xк+i|k . Таким образом,
xk+i]k+i = Хк+1\к + Wk (У " g (Хк+1]к, щ)) • (4)
Здесь матрица Wk формируется в результате решения задачи синтеза фильтра Калмана.
Итак, метод SLAM позволяет получить оценку вектора состояния и построить карту расположения окружающих предметов. Другой важнейшей задачей при автономной навигации мобильных роботов является обнаружение и обход препятствий. В предлагаемом курсе рассматриваются элементарные методы обнаружения препятствий, основанные на поиске на изображениях их границ и обходе вдоль этих границ.
Таким образом, в предлагаемом курсе рассматриваются следующие вопросы, связанные с автономной навигацией мобильных роботов.
а) Построение математической модели движения робота вида (1).
б) Поиск предметов на изображениях, с использованием заранее заданных шаблонных изображений, с использованием методов SIFT и SURF.
в) Разработка методов вычисления расстояний до найденных предметов на изображении с помощью одной видеокамеры.
г) Изучение метода SLAM в двух вариантах. Первый наиболее простой вариант предполагает, что координаты маяков заранее известны и
оценивается только текущее состояния робота. Во втором варианте полагается, что положение маяков также не известно и рассматривается совместная задача оценивания вектора состояния и построения карты окружающих предметов.
д) Изучение методов обнаружения препятствий и способов их обхода.
Помимо отмеченных задач, отдельно рассматриваются вопросы синтеза управления, краткое обсуждение которых представлено ниже.
3. Задачи управления роботами-манипуляторами
В рамках курса рассматривается следующая задача управления роботом-манипулятором. Требуется с помощью захвата, установленного на руке-манипуляторе, взять требуемый предмет и перенести его в заданную точку. При этом предполагается два различных варианта расположения камеры - на руке-манипуляторе или в некоторой точке окружающего пространства. Рассматриваются следующие базовые вопросы.
а) Кинематика движений руки-манипулятора и построение соответствующей математической модели. Специфика этой модели заключается в том, что звенья руки-манипулятора связаны между собой, и изменение положения одного из звеньев влечет перемещение всех последующих звеньев, в том числе захвата. В связи с этим возникает задача о построении такого управления звеньями руки-манипулятора, которое бы обеспечивало перемещение захвата манипулятора из начальной точки в заданную конечную точку.
б) Определение взаимного расположения захвата манипулятора и целевого объекта с использованием видеокамеры. При этом значение имеет не только расстояние между захватом и предметом, но и их взаимная ориентация в пространстве. Для решения этой задачи на каждом такте дискретного времени осуществляется обработка изображения, полученного камерой [3]. Результатом такой обработки является выделение некоторых характеристик изображения, таких как контуры объектов и особые точки. Полученная визуальная информация, а также имеющиеся математическая модель движения робота-манипулятора и модель камеры используются для определения положения в пространстве захвата и целевого объекта.
Важными аспектами управления роботами-манипуляторами являются требования к точности регулирования, а также ограниченность допустимого воздействия на объект при его захвате манипулятором.
4. Модели и синтез управлений движением
Основную сложность в рассматриваемых задачах управления представляют вопросы, связанные с обработкой изображений и использованием полученной информации для оценивания вектора состояния мобильного робота или положения в пространстве руки-манипулятора.
Тем не менее, для каждой конкретной задачи необходимо отдельно решать вопрос синтеза законов управления с обратной связью, обеспечивающих желаемые характеристики процессов в замкнутой системе.
Рассмотрим задачу синтеза управления с обратной связью по вектору состояния для мобильного робота с математической моделью (1).
Целью управления является переход в заданную точку с координатами
(* * \
x , У ), при этом управляющим воздействием является направление
ук и величина Vk вектора скорости робота. В качестве функционала качества может выступать, например, длительность перехода.
Простейший вариант формирования управления заключается в стабилизации направления движения на заданную точку со скоростью пропорциональной расстоянию до цели. При этом необходимо учитывать наличие препятствий и переключать режим стабилизации на соответствующие алгоритмы для их обхода.
В общем случае, формализованный подход состоит в постановке и решении оптимизационной задачи о синтезе управления с обратной связью, обеспечивающего минимум заданного функционала качества.
Отметим, что с учетом уравнений (1) - (4), может быть сформирована система уравнений, представляющая замкнутую систему управления. На ее основе в рамках курса рассматривается вопрос анализа устойчивости движений замкнутой системы.
Во втором случае в качестве управления выступает командный сигнал, определяющий точку и ориентацию в пространстве для захвата робота-манипулятора. Решается задача о синтезе оптимального управления, обеспечивающего перевод манипулятора из одного положения в другое. Анализируются вопросы устойчивости замкнутой системы.
В рамках курса моделирование всех процессов управления осуществляется на базе системы MATLAB/Simulink.
5. Заключение
Рассмотрены основные аспекты задач автономной навигации мобильных роботов и автоматического управления роботами-манипуляторами для преподавания курса «Компьютерное зрение в задачах управления».
Литература
1. Durrant-Whyte H., Bailey T. Simultaneous Localization and Mapping (SLAM): Part I The Essential Algorithms // Robotics and Automation Magazine, 13 (2), pp. 99-110, 2006.
2. Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision, 60 (2), pp. 91-110, 2004.
3. Chaumette F., Hutchinson S. Visual Servo Control, Part I: Basic Approaches // IEEE Robotics and Automation Magazine, 13(4), pp. 82-90, 2006.
