Многоцелевой закон управления подвижным объектом с использованием визуальной информации в контуре обратной связи Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Веремей Е.И. \ Сотникова М.В. 2

^анкт-Петербургский государственный университет, г. Санкт-Петербург, д.ф.-м.н., профессор, заведующий кафедрой компьютерных технологий и систем,

е . [email protected]

2 Санкт-Петербургский государственный университет, г. Санкт-Петербург, к.ф.-м.н., доцент кафедры компьютерных технологий и систем, т . [email protected]

Многоцелевой закон управления подвижным объектом с использованием визуальной информации в контуре

обратной связи

КЛЮЧЕВЫЕ СЛОВА

Многоцелевая структура, визуальная информация, подвижный объект.

АННОТАЦИЯ

В статье рассматривается задача управления подвижным объектом с использованием в обратной связи визуальной информации, получаемой с бортовой видеокамеры. Целью управления является обеспечение желаемого положения объекта трехмерной сцены в плоскости изображения. В качестве объекта управления принято полноприводное морское судно. Закон управления формируется при помощи многоцелевой структуры, позволяющей выполнять поэтапную настройку базового закона, асимптотического наблюдателя и динамического корректора. При этом командные сигналы в рамках этой структуры вычисляются на основе визуальной информации. Полученные результаты иллюстрируются примерами моделирования в среде MATLAB/Simulmk

Введение

В настоящее время широкое распространение получают автономные подвижные объекты, которые способны решать практически важные задачи без участия человека. К ним относятся подводные и надводные автономные подвижные аппараты, воздушные объекты, например, квадрокоптеры, наземные колесные или гусеничные роботы. Автономное функционирование подвижного объекта возможно только при наличии автоматической системы управления, получающей информацию об окружающей среде при помощи датчиков, установленных на борту объекта. При этом многие прикладные задачи невозможно или неэффективно решать без использования визуальной информации, получаемой при помощи малогабаритных бортовых видеокамер.

В данной работе в качестве объекта управления принято

полноприводное морское судно, оборудованное бортовой камерой. Целью управления является обеспечение желаемого положения наблюдаемого объекта в плоскости изображения. Данную задачу можно рассматривать как одну из вариаций известной задачи динамического позиционирования [1].

В работе описана совместная математическая модель динамики объекта управления, а также относительного движения камеры и наблюдаемой цели. Закон управления формируется на основе многоцелевого структуры [2], которая позволяет использовать оптимизационный подход для поиска ее настраиваемых параметров с учетом ограничений на качество динамических процессов. Настраиваемыми параметрами являются коэффициенты базового закона, асимптотического наблюдателя и динамического корректора. При этом визуальная информация, поступающая с камеры, используется для вычисления командного сигнала по угловой и линейной скорости объекта управления на основе ошибки расхождения между желаемым и действительным положением наблюдаемого объекта в плоскости изображения [3].

Полученные результаты иллюстрируются примерами имитационного моделирования процессов управления в среде МА^АВ^тиИпк.

Постановка задачи

Математическая модель динамики рассматриваемого морского надводного подвижного объекта представляется системой дифференциальных уравнений [4]:

Му = -Б + т + ),

т! = (1)

где компоненты вектора V = (и V р )г являются проекциями линейной и угловой скорости на оси связанной системы координат, компоненты вектора ц = (х у у)г определяют положение центра масс (х, у) и курсовой угол 0 по отношению к неподвижной системе координат. Вектор т е R3 представляет управляющее воздействие, а вектор d е R3 - внешние воздействия любой природы. Матрицы М и Б с постоянными элементами положительно определены, причем первая из них является симметрической. Отметим, что оси связанной с объектом системы координат направлены следующим образом: ось Охь лежит в горизонтальной плоскости и направлена в нос судна, ось Оуь находится в горизонтальной плоскости и направлена на правый борт перпендикулярно оси Охь, ось OZb направлена вертикально вниз.

Система (1) содержит единственную нелинейность, определяемую ортогональной матрицей

R(n)= R(0 =

^cos 0 - sin 0 0Л sin 0 cos 0 0 (2)

0 0 1

поворота на угол 0.

На подвижном объекте (1) установлена видеокамера, которая может перемещаться и вращаться только вместе с корпусом объекта, то есть не имеет дополнительных степеней свободы. В поле зрения камеры в каждый момент времени находится объект наблюдения, имеющий определенные геометрические характеристики и положение в пространстве. В зависимости от задачи объектом наблюдения может быть некоторое твердое тело или, например, полоса дороги.

С камерой связана система координат OcXYZ, для которой оси OcZ, OX и OcY сонаправлены соответственно с осями Охь, Оуь и Ozb. Отметим, что начала координат у этих двух систем не совпадают: точка O обычно выбирается как центр масс объекта, а точка Oc совпадает с оптическим центром камеры.

Пусть s - вектор, характеризующий проекцию объекта наблюдения на плоскость изображения. В качестве компонент этого вектора примем координаты (xt, yi) особых точек в плоскости изображения, соответствующих некоторым точкам объекта наблюдения в пространстве. Особые точки (interest points) извлекаются из текущего изображения, например, при помощи SIFT- или SURF-алгоритма [5].

Обозначим (X ,Y, Z) пространственные координаты произвольной точки сцены в системе координат камеры. Тогда соответствующие ей координаты в нормированной плоскости изображения [6] равны

X Y

x = у y = Z' <3)

Ясно, что изменение вектора s в плоскости изображения связано с линейной и угловой скоростью перемещения камеры в пространстве, что в общем виде представляется следующей моделью [3]:

S = L, v с. (4)

Здесь вектор vс = (vс юс )T определяет линейную и угловую скорость

камеры, матрица характеризует связь между пространственным перемещением камеры и перемещением проекции наблюдаемого объекта в плоскости изображения. Выражения для компонент матрицы Ls выводятся на основе законов теоретической механики и модели перспективного преобразования.

Компоненты вектора vc совпадают с линейными и угловыми скоростями самого объекта, которые контролируются при помощи вектора

т управляющих воздействий, то есть Vс = V = {иу р)т . При этом модель (4) принимает вид:

, У )

- х 1

2 2

У 0

, 2

■ху

и

, Р )

(5)

Заметим, что уравнения (5) являются нелинейными, причем для вычисления матрицы Lж необходимо знать глубину 2 точки пространства. Каждой точке (х{, ул), / = 1,N соответствует два уравнения вида (5). Для обеспечения желаемого положения камеры относительно наблюдаемой цели обычно используется не менее трех таких точек.

Итак, уравнения (1), (2), (5) составляют полную систему нелинейных дифференциальных уравнений, представляющих математическую модель объекта. Эти уравнения необходимо рассматривать совместно, так как фактически система (1) является дополнительной связью по отношению к модели (5).

Дополним математическую модель уравнениями измерений. Будем считать, что измерению доступны компоненты вектора ц = (х у и

проекции особых точек в плоскость изображения в соответствии с уравнениями (3). Отметим, что описанная математическая модель не включает динамику движения объекта управления и установленной на нем камеры по крену, дифференту и глубине. В связи с этим приведенные уравнения наиболее адекватно представляют реальные динамические процессы в условиях незначительного волнения моря.

Целью управления является достижение желаемого вектора s*, то есть желаемой проекции наблюдаемого объекта в плоскость изображения. Формально это можно представить следующим образом:

Нт ^) - ^

= 0

(6)

Поставим задачу о поиске управления с обратной связью, обеспечивающего достижение цели управления (6). При этом положение равновесия V = 0, s = s* должно быть асимптотически устойчивым. Кроме основного требования, обратная связь должна обеспечивать астатизм замкнутой системы по отклонениям от положения равновесия, то есть гарантировать интегрирующее действие системы по отношению к возмущениям смещающего типа (волновой снос, течение, ветер), которые медленно изменяются во времени. И, наконец, обратная связь должна обеспечивать желаемое поведение замкнутой системы при воздействии на нее морского волнения. Здесь необходимо предусмотреть различные варианты поведения: полное отсутствие реакции на волнение, работа в

2

V

экономичном режиме с фильтрацией волнения в управляющем сигнале, работа в точном режиме с компенсацией волнения.

Многоцелевой закон управления с использованием видеоинформации

Рассмотрим многоцелевую структуру закона управления:

Мг„ = „ + т + Rг (п)К (п - г л),

г л= К.(п)г У + К 2(П - г 1X (7)

т = -К, (г у - К„ V *) + F(р)(п - г л), р = d / сЪ,

где г2 е R3, гл е R3 - векторы состояния наблюдателя, V* е R3 - командный

сигнал, задающий желаемую линейную и угловую скорость движения объекта. Неизвестными настраиваемыми элементами многоцелевой структуры (7) являются постоянные матрицы К15 К 2 наблюдателя, матрицы Кс и К„ управляющего сигнала, а также передаточная матрица F(p) корректора. Поиск этих матриц, исходя из желаемых требований к динамике соответствующих режимов движения, составляет существо задачи многоцелевого синтеза в заданной структуре.

Из (7) следует, что многоцелевая структура состоит из трех центральных элементов: нелинейного асимптотического наблюдателя (первые два уравнения), нелинейного закона управления, а также динамического корректора.

Командный сигнал V * будем формировать на основе поступающей визуальной информации, а именно на основе ошибки расхождения между фактической проекцией s объекта наблюдения на плоскость изображения в текущий момент времени и желаемой его проекцией s*, то есть в виде функции V* = V* (е), где е = s - s*. Таким образом, поиску подлежат указанные выше параметры многоцелевой структуры и функция V * = v*(e). Рассмотрим последовательно процедуры поиска этих элементов.

Асимптотический наблюдатель в структуре (7) предназначен для оценки линейной и угловой скорости объекта на основе измерений вектора п. Как показано в работах [4,7], при отсутствии внешних возмущений d(t) = 0 сходимость оценок г2 > гл к истинным значениям компонентов вектора состояния гарантируется в том случае, если матрицы К15 К 2 имеют диагональную структуру и положительно определены. Таким образом, матрицы К и К2 выбираются с учетом этого условия и желаемых требований к динамике движения объекта, определяемого воздействием ступенчатых внешних возмущений. Поиск осуществляется посредством решения соответствующей оптимизационной задачи.

Нелинейный базовый закон управления в варианте «по состоянию» имеет вид

т = -К, (V - КVV*). (8)

Запишем уравнения замкнутой системы (1), (8). При этом будем рассматривать только первое уравнения модели (1), поскольку целью управления (8) является обеспечение желаемой скорости V* объекта вне зависимости от вектора Ц. В результате получим

MV = -Б - К, (V - КvV*) + d(t). (9)

При условии отсутствия внешних возмущений d(t) = 0, система (9) имеет положение равновесия V = V*, если К v = К-1 (Б + К а). Причем для глобальной асимптотической устойчивости этого положения равновесия достаточно, чтобы матрица К имела диагональную структуру и была положительно определена. Таким образом, матрицу Кл следует выбирать с учетом указанного условия и желаемых требований к качеству динамики переходных процессов, определяемых заданным командным сигналом V = V*. В частности, такими требованиями являются ограничение по длительности процессов и отсутствие перерегулирования. Матрица К находится в результате постановки и решения соответствующей оптимизационной задачи.

Ясно, что любой нестационарный командный сигнал V = V* ^) система управления будет отрабатывать тем точнее, чем дальше от мнимой оси расположены собственные числа замкнутой системы (1), (8). Тем не менее, выбор собственных значений должен осуществляться и с учетом других динамических ограничений, таких как реакция системы управления на воздействие морского волнения.

Третий элемент, который следует синтезировать при настройке структуры - это передаточная матрица F(p) динамического корректора. Введем матрицы а, Р, У, Ц динамического корректора, такие, что выполняется условие F(5) = у(Е^ - а) 1 р + ц . Это означает, что уравнения динамического корректора могут быть представлены в пространстве состояний в виде

р = ар + Рг л,

(10)

\ = ур + Цг 1.

Здесь р е Е1 - вектор состояния корректора, гл= П- 2л - вектор ошибки оценки, 1 - порядок корректора, \ е Я3 - выходной вектор, Е1 -единичная матрица 1 х 1. При этом матрица а гурвицева. По аналогии с доказательством, приведенным в работе [4], нетрудно показать, что в случае отсутствия внешних возмущений d(t) = 0 при добавлении корректора положение равновесия V = V* замкнутой системы (1), (7) остается глобально асимптотически устойчивым. При этом матрицы

асимптотического наблюдателя, базового закона и корректора могут настраиваться независимо друг от друга.

Основной целью введения динамического корректора является обеспечение астатизма замкнутой системы по отношению к постоянным внешним возмущениям и желаемой динамики в условиях морского волнения [9]. Данные вопросы применительно к многоцелевой структуре с визуальной обратной связью представляют предмет дальнейших исследований.

Для достижения желаемой цели управления (6) будем формировать управляющий сигнал в системе вида (4) с матрицей (5) таким образом, чтобы обеспечить экспоненциальное убывание ошибки расхождения e(t) = s(t) - s*. Для этого можно использовать следующий закон управления [3]:

v с = -4L>, (11)

где L+s = (LTsLs) 1 LTs - псевдообратная матрица, 4 > 0 - вещественное число, определяющее скорость убывания ошибки. Отметим, что для реализации закона управления (11) необходимо знать величину Z (глубину) для каждой наблюдаемой точки трехмерного пространства. Достичь этого можно, по крайней мере, двумя способами. Первый из них состоит в том, чтобы использовать две камеры на борту подвижного объекта и алгоритмы стереозрения для определения координат точки. Второй вариант заключается в построении нелинейного асимптотического наблюдателя для оценки координат точки в трехмерном пространстве по измерениям ее проекций на плоскость изображения и известной скорости движения объекта. При этом скорость движения объекта должна оцениваться при помощи асимптотического наблюдателя в многоцелевой структуре (7).

Будем использовать управляющий сигнал, задаваемый формулой (11), в качестве командного сигнала по линейной и угловой скорости объекта, то есть примем v* = v с. Итак, многоцелевой закон управления с визуальной информацией в обратной связи представляется формулами (7) и (11). При этом на вход алгоритма управления подаются измеряемые векторы п и s, а на выходе получаем управляющее воздействие т е R3.

Естественно, что для достижения цели управления (6) помимо закона управления (11) могут быть использованы другие варианты, в частности оптимизационные подходы, что также является предметом дальнейших исследований.

Примеры моделирования процессов управления

Рассмотрим примеры имитационного моделирования с использованием разработанного многоцелевого закона управления. В качестве объекта управления примем морское судно "Northern Clipper" длиной L = 76.2 м и массой m = 4.59 • 106 кг, математическая модель

которого описана в работе [7]. Эта модель имеет форму (1), где матрицы М и D имеют следующие компоненты:

М =

5.31 • 106 0 0

0

8.28 • 106 0

0 0

3.75•109

D =

5.02 • 104 0 0

0

2.72 • 105 - 4.39 • 106

0

- 4.39 • 106 4.19•108

Матрицы К1 и К 2 наблюдателя примем равными

К

0.1 0 0

0 0.1 0

0 0 0.01

1.1 0 0

К

0 0

1.1 0 0 1.1

что совпадает со значениями, представленными в указанной работе. В качестве матрицы Ка базового закона примем матрицу

К, = I,,

а 3x3

106

где

I

333

- единичная матрица. Соответствующие собственные числа замкнутой системы (1), (8) равны ^ =-0.10, s2 =-0.16, s3 =-0.19.

Для проведения экспериментов в качестве динамического корректора примем произвольную линейную стационарную систему вида (10) третьего порядка со случайными матрицами, причем такую, чтобы матрица а была гурвицева.

Зададим теперь цель управления вида (6). Для этого выберем в качестве наблюдаемого объекта (цели) квадрат, вершины которого представляют собой четыре отслеживаемые точки в плоскости

изображения sг. = (х, у.), / = 1,4. Потребуем, чтобы в конечном положении

эти точки в плоскости изображения имели координаты:

б* = (0.2,0.6), s2 = (- 0.2,0.6), = (- 0.2,0.2), s4 = (0.2,0.2),

как показано на рис. 1. При этом в начальный момент времени проекции указанных точек квадрата в плоскость изображения имеют координаты:

= (0.25,0.42), Б2 = (0.0045,0.37), Б0 = (0.0045,0.12), Б4 = (0.25,0.14) .

На рис. 2 показаны траектории точек в плоскости изображения при перемещении подвижного объекта из начального в конечное положение. Из рисунка видно, что наблюдаемая цель занимает в плоскости изображения желаемую позицию, то есть обеспечивается достижение цели управления (6).

0.6 0.5 0.4 0.3 0.2 0.1 0

............л ь............

............1 г............

-f

.............1............ 1 .....1......

1 1 , 1

In itia l i 1 ►-- U

J

-0.2 -0.1

0 .1

0 .2 0 .3

Рис.1. Начальное и заданное положение цели в плоскости изображения 0.8

0.7 0.6 0.5 0.4 0.3 0.2 0.1

Given — Initial ■

1 ■ ——

•ч, \ .....i............ _______________/ /

/ / -«» у у

< / r—

.4

-0.2

0.4

0.6

0 0.2 x

Рис.2. Траектории наблюдаемых точек в плоскости изображения

На рис. 3 представлены соответствующие управляющие силы (б15 6 2) и момент (б3), являющиеся компонентами вектора т = (т1 62 63). На рис. 4 показаны значения линейных составляющих и,у и угловой г скорости объекта. Из рисунков видно, что в результате переходного процесса система переходит в новое положение равновесия, при котором обеспечивается достижение цели управления (6). При этом длительность переходного процесса составляет примерно 100 секунд. Заметим, что качество процессов управления может быть улучшено, если при формировании командного сигнала (11) учитывать ограничения на динамику подвижного объекта, определяемые его математической моделью (1).

6

4

2

0

e

c

о -2

Ll_

-4

-6

-8

x 10

61 .

<\

i У"'*' )

t...................... 1 \

i i L.......................

4

3

1=

К 2

-ь»

с ф

Ü i 0 -1

x 10

0.4

0.2

-0.2

-0.4

100 200 0 100 t (sec) t (sec)

Рис.3. Изменение управляющих сил и момента

2.5 2

200

u

I

1 1 f

П................... 1/

0

1.5 1

0.5 0

-0.5

200

100 200 0 100 t (sec) t (sec)

Рис.4. Линейные и угловая скорости движения объекта управления

Заключение

В работе предложен многоцелевой закон управления подвижным объектом с использованием визуальной информации в контуре обратной связи. Показано, что при отсутствии внешних возмущений данный закон обеспечивает достижение цели управления, которая заключается в обеспечении желаемого положения наблюдаемого объекта в плоскости изображения камеры. Вопросы настройки динамического корректора и исследование динамики замкнутой системы при наличии внешних возмущений являются предметом дальнейших исследований.

Исследование выполнено при финансовой поддержке Комитета по науке и высшей школе Правительства Санкт-Петербурга.

0

0

Литература

1. Margarita V. Sotnikova, Evgeny I. Veremey. Dynamic Positioning Based on Nonlinear MPC // Proceedings of the 9th IFAC Conference on Control Applications in Marine Systems (CAMS 2013). Osaka, Japan, September 17-20, 2013. - P. 37-42.

2. Веремей Е.И., Сотникова М.В. Многоцелевая структура законов управления морскими подвижными объектами // Труды: XII Всероссийское совещание по проблемам управления (ВСПУ-2014), Москва, 16-19 июня, 2014. [Электронный ресурс] М.: Институт проблем управления им. В.А. Трапезникова РАН, 2014. - С. 3289-3300.

3. Chaumette F., Hutchinson S. Visual Servo Control: Basic Approaches // IEEE Robotics & Automation Magazine. 2006. Vol. 13, No. 4, pp. 82-90.

4. Evgeny I. Veremey. Dynamical Correction of Positioning Control Laws // Proceedings of the 9th IFAC Conference on Control Applications in Marine Systems (CAMS 2013). Osaka, Japan, September 17-20, 2013. - P. 31-36.

5. Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. Vol. 2, No. 60, pp. 91-110.

6. Szeliski R. Computer Vision: Algorithms and Applications. Springer, 2011. 812 p.

7. Fossen, T I. and J. P. Strand. Passive Nonlinear Observer Design for Ships Using Lyapunov Methods: Experimental Results with a Supply Vessel // Automatica, 1999. Vol. (35), No. (1), pp. 3-16.

8. Loria A., T I. Fossen, and E. Panteley. A Separation Principle for Dynamic Positioning of Ships: Theoretical and Experimental Results // IEEE Transactions of Control Systems Technology, 2000. Vol. 8, No. 2, pp. 332-343.

9. Veremey E.I. Hш -Approach to Wave Disturbance Filtering for Marine Autopilots // Proceedings of 9th IFAC Conference on Maneuvering and Control of Marine Craft, 2012. Arenzano, Italy, September 19-21, pp. 410-415.