Управление линией визирования цели по видеоизображению Текст научной статьи по специальности «Математика»

УДК 531.382

УПРАВЛЕНИЕ ЛИНИЕЙ ВИЗИРОВАНИЯ ЦЕЛИ ПО ВИДЕОИЗОБРАЖЕНИЮ

В. В. Латонов1, В. В. Тихомиров2

В статье предлагается математическая постановка игровой задачи управления линией визирования при наведении ее на цель. Линией визирования управляет оператор, находящийся на подвижном основании. Его действия основываются на информации, получаемой с видеоизображения. В задаче вводятся функционалы, определяющие качество управления оператором линией визирования. Доказано, что в случае плоского движения основания и бесконечно удаленной цели игровая задача имеет седловую точку.

Ключевые слова: линия визирования, наведение, стабилизация, видеоизображение, управление по видеоизображению.

In this paper we propose a mathematical formulation of the line-of-sight control problem when this line is directed at a target. An operator located on a movable base controls the line of sight on the basis of the information received from the video images. In the problem, the functionals determining the quality of control by the operator are introduced. It is proved that, in the case of plane motion of the base and an infinitely distant target, the problem has a saddle point.

Key words: line of sight, targeting, stabilization, video image, control by coordinating with video image.

1. Введение. Системы наведения и стабилизации линии визирования широко применяются в различных областях — от индустрии развлечений до военно-промышленного комплекса.

Понятие линии визирования используется в том числе и в задачах стабилизации углового положения различных устройств визирования (например, видеокамер) в двухосном кардановом подвесе fl-З]. В некоторых работах, посвященных отслеживанию движения подвижных аппаратов, линия визирования аппарата служит ориентировочным направлением либо в неподвижном пространстве, либо в системе координат, связанной с подвижным объектом [4-6]. В задачах военно-промышленного комплекса системы управления и стабилизации линии визирования часто используются для наведения управляемого оружия на цель [7, 8]. Ряд работ посвящен определению направления человеческого взгляда, который также является разновидностью линии визирования (см., например, [9, 10]). Широкое распространение получают системы наведения и стабилизации линии визирования при поиске и сопровождении с подвижных объектов различных целей.

В настоящей работе рассматривается человек-оператор, который управляет линией визирования по видеоизображению и стабилизирует ее в неподвижной системе координат при помощи информации, получаемой с инерциальной навигационной системы (ИНС). Видеоизображение поступает с видеокамеры, жестко закрепленной на подвижном основании. Управление линией визирования происходит относительно подвижного основания. Главная особенность предлагаемой постановки задачи — построение управления линией визирования по информации, поступающей с видеокамеры. При такой постановке задачи линия визирования не является жестко связанной с видеокамерой. В то же время при отсутствии управления ориентация линии визирования относительно основания определяется только движением последнего.

2. Постановка задачи. Рассматривается подвижный аппарат, называемый основанием, совершающий поступательные и вращательные движения на некоторой поверхности. Аппарат движется относительно неподвижной системы координат которую будем в дальнейшем считать инерциальной. Движение происходит в поле сил тяжести. Считается, что ось OQ направлена вертикально вверх.

1 Латонов Василий Васильевич — асп. каф. прикладной механики и управления мех-мат. ф-та МГУ, e-mail: WLatonovQgmail .com.

2 Тихомиров Владимир Викторович — канд. физ-мат. наук, доцент каф. прикладной механики и управления мехмат. ф-та МГУ, e-mail: tmrv45Qmail.ru.

На основании жестко закреплена видеокамера с некоторым полем зрения. На основании находится оператор, перед которым расположен монитор. На монитор поступает изображение с видеокамеры. На основании установлена ИНС для решения задачи навигации.

Введем следующие обозначения:

1С2С3 — опорная система отсчета, которая не совершает вращательных движений и оси которой сонаправлены с осями системы отсчета О^йСз- Точка С связана с основанием;

СZ\Z2Z^¡ — приборная система отсчета (приборный трехгранник). Эта система координат жестко связана с основанием и соответственно с осями чувствительности инерциальных датчиков, входящих в состав ИНС. Она совершает поступательные и вращательные движения относительно системы координат ® проекциях на оси приборного трехгранника измеряются угловая скорость

основания и внешняя удельная сила, действующая на приведенную чувствительную массу;

Сг'^г^г'3 — модельная система отсчета (модельный трехгранник). В отсутствие ошибок измерений инерциальных сенсоров трехгранник Сг'^г^г3 совпадает с трехгранником <7^1^2-23;

ОС1С2С3 — модельный опорный трехгранник [11]. В отсутствие ошибок измерений трехгранник ОС1С2С3 совпадает с трехгранником С^гСз-

В неподвижной системе отсчета О^^Сз расположен неподвижный объект, называемый целью. Цель находится в поле зрения видеокамеры и отображается на мониторе. Размерами цели будем пренебрегать, поэтому считается, что цель — точка. Обозначим ее через Е, а изображение этой точки на мониторе через Ем-

Каждой точке в системе отсчета С^ц^Сз соответствует линия визирования — прямая, соединяющая точку с началом координат С. Для каждой линии визирования определен направляющий вектор линии визирования, задающий ориентацию этой линии в соответствующей системе отсчета. Этот вектор всегда направлен от начала координат к точке.

На мониторе также изображена точка Рм■ Это маркер, который рисуется поверх поступающего с видеокамеры изображения и существует исключительно в плоскости монитора. Оператор может управлять движением маркера в плоскости монитора. Маркеру также ставится в соответствие линия визирования. Таким образом, оператор видит на мониторе изображение цели Ем (при условии, что цель попадает в поле зрения видеокамеры) и маркер Рм-

Задача заключается в сведении линий визирования маркера и цели и в последующем поддержании ориентации линии визирования в течение определенного времени. Задача разбивается на две подзадачи: наведение маркера на цель и стабилизация линии визирования маркера в инерциальном пространстве в установленном направлении. Наведение маркера на цель означает сведение линий визирования маркера и цели по видеоизображению, которое оператор видит на мониторе. Управляя маркером, оператор изменяет направление линии визирования маркера, стараясь совместить ее с линией визирования цели. Задача наведения может решаться в том числе с использованием информации, получаемой с ИНС.

После того как оператор совместит маркер с изображением цели, решается задача стабилизации заданного направления линии визирования маркера. А именно требуется отслеживать направление линии визирования цели при дальнейших движениях основания. Для этого необходимо использовать информацию, поступающую с ИНС. Решением задачи будет определение ориентации линии визирования цели в модельном приборном трехграннике.

Обозначим через ¿о момент, в который начинается движение основания. При движении основания изображение цели на мониторе движется в плоскости монитора. В отсутствие ошибок измерений инерциальных датчиков линия визирования маркера будет совпадать с истинной линией визирования цели после успешного решения оператором задачи наведения на цель.

3. Математическая модель видеокамеры. Рассматривается математическая модель видеокамеры типа "стеноп" [12, 13]. Эта модель, представляющая собой идеальную камеру, описывает соотношение между координатами точек в инерциальном пространстве и координатами точек на двумерном изображении, поступающем с видеокамеры. Модель "стеноп" не учитывает искажений изображения, вызываемых линзами камеры, а также погрешность изображения объектов, находящихся не в фокусе.

Пусть точка С — центр проекции всех точек трехмерного пространства, попадающих в поле зрения камеры, на плоскость П. Плоскость П будем называть изображающей плоскостью. Размеры изображающей плоскости определяются характеристиками видеокамеры. Изображение произвольной точки Е в трехмерном пространстве строится путем проведения прямой через точку Е и центр проекции С. Изображением точки Е будет точка Ем пересечения такой прямой с изображающей плоскостью (рис. 1). Через / обозначим расстояние от изображающей плоскости до центра проекции. Величина / называется фокусным расстоянием видеокамеры. Оптической осью камеры называется

ось, проведенная через центр проекции С и перпендикулярная изображающей плоскости. Центром изображения К называется точка пересечения оптической оси с изображающей плоскостью. Камера расположена относительно приборного трехгранника С г 12223 таким образом, что изображающая плоскость задается в нем уравнением / — 22 = 0, а ось С г 3 направлена вверх относительно камеры (рис. 1).

Введем связанную с изображающей плоскостью систему координат // \ | \ 2 • начало которой находится в центре изображения К, а координатные оси лежат в изображающей плоскости. При этом ось сонаправлена с осью Сх\, а ось Д\'2 сонаправлена с осью С г3. Соответственно оптическая ось С22 перпендикулярна осям К\1 п К\2- Пусть точка Е имеет координаты {г\Е, Z2E, ¿зе) в приборном трехграннике. Поскольку центр проекции расположен в начале координат, направляющий вектор линии визирования точки Е будет иметь в приборном трехграннике координаты ¿ге, 2зе)т• Координаты изображения этой точки будут выражаться формулами

XIЕ = /

£ш

¿2Е

х2е = /— • ¿■2е

(1)

Рис. 1. Приборный трехгранник Сг^-гз: С£2 оптическая ось камеры: П изображающая плоскость: / фокусное расстояние камеры: Д центр изображения: Е цель: Ем изображение цели: (<£>,#) угловые координаты направляющего вектора линии визирования точки Е

Поскольку ориентация линии визирования в приборном трехграннике определяется двумя параметрами, удобно использовать углы для определения направляющих) вектора линии визирования цели и маркера в приборной системе координат (рис. 1). Через 9 обозначается угол между линией визирования и ее проекцией I на плоскость С г 122. Положительное направление отсчета угла против часовой стрелки вокруг оси [I х 23]. Через обозначается угол между проекцией линии визирования на плоскость Сг 1^2 и осью Сг2. Положительное направление отсчета угла против часовой стрелки вокруг оси Сг3. Каждой точке (хъХ'2) на плоскости монитора соответствует единственная пара углов (ср,9).

4. Задача оператора при плоском движении основания. Рассмотрим случай, когда основание совершает угловые движения лишь вокруг оси 3 и цель находится на бесконечно большом расстоянии от основания. При таком движении ось 3 будет совпадать с осью С г 3. Угол поворота основания вокруг вертикальной оси обозначается через ф. При такой постановке углы ф и отличаются на постоянную величину, определяемую начальными условиями.

В качестве математической модели движения основания по плоскости используется модель машины Дубинса [14]:

= -Увт ф,

{2* = Усов 4), Ф = «>1,

•№!(•) € 1¥ = {¿оо : И1

(2)

где ф угол поворота вокруг оси 3 или, другими словами, угол курса.

Оператор работает в приборной системе координат и на мониторе видит изображение цели Ем- Плоскость монитора отождествляется с изображающей плоскостью. Соответственно координаты точек, отображаемых на мониторе, совпадают с их координатами на плоскости //\ | \ 2- Маркер, отображаемый на мониторе, также можно определить как точку, лежащую на изображающей плоскости, с координатами ( \ \/>. \2ni- В системе координат С г 12223 зададим линию визирования маркера, направляющий вектор которой задается координатами (х1р, /, Х'2р)т ■ Маркер всегда лежит в плоскости монитора, следовательно, его линия визирования всегда пересекает изображающую плоскость.

Обозначим через Е € Я2 множество угловых параметров линии визирования, при которых линия визирования пересекает изображающую плоскость (размеры изображающей плоскости определяются параметрами камеры). Если линия визирования цели пересекает изображающую плоскость,

то цель видна на мониторе. Введем функцию угла между линиями визирования маркера и цели как функцию времени:

вР(1)

Обозначим предписанную точность наведения через е, через ¿1 — первый момент попадания траекторий на множество Н(срр(1\), 9р(1\), 9е^\)) ^ е. Введем функционал выигрыша:

1, ¿1<оо, (<рЕ(Ь),еЕ(Ь

0, ¿1 < оо, (3)

— 1, ¿1 = оо,

где и(-) € [/,«;(•) € \¥ — ресурсы управления и возмущения.

Процесс наведения маркера на цель усложняется для оператора движением основания, которое ему заранее неизвестно и которым он не может управлять. В худшем случае можно считать, что возмущения процесса наведения, связанные с движением основания, играют против оператора. При подготовке и тренировке оператора эту возможность необходимо учитывать. Источником возмущения служит водитель, задающий движение основания по плоской поверхности.

Поскольку цель неподвижна, система уравнений (2) определяет движение цели в системе координат, связанной с основанием. Поэтому из уравнений (2) следуют уравнения линии визирования цели в системе координат, связанной с основанием:

ни.

(4)

<рЕ(10) = <р% вЕ(го)=в°Е, и,^-) е\¥ = {Ьсо:\и,1\^и,Гх}-

Линейные перемещения основания не влияют на направление линии визирования цели в системе координат, связанной с основанием, поскольку цель бесконечно удалена от основания.

Рассмотрим модель управления угловыми параметрами линии визирования маркера:

(5)

Ч>р(М) = Ч>°р, вр{1 о)=в°Р, и1(-),и2(-)еи = {Ь00:\и1\^иГх,Ы^иГх}.

Уравнения (4) и (5) и функционал качества (3) определяют дифференциальную игру оператора и водителя основания. В этой игре оператор старается максимизировать функционал качества (3), а водитель — минимизировать. Такая игра называется игрой преследования качества [15]. Результаты этой игры зависят от начальных состояний игроков. Областью встречи См называется множество таких начальных состояний игроков вр, вЕ), что для преследователя существует стратегия, обеспечивающая его попадание в е-окрестность убегающего [15] независимо от поведения последнего. Через Смр будем обозначать множество таких начальных состояний игроков, что для преследователя существует стратегия, обеспечивающая его попадание независимо от поведения убегающего в е-окрестность убегающего до того, как он покинет множество /'. Множества См и Смр определены в В? х В?. Очевидно, что Смр € См-

Зададим предписанную точность наведения е. В такой задаче оператор старается минимизировать время до попадания маркера в е-окрестность изображения цели, в то время как возмущения стараются его максимизировать. В этом случае игра заканчивается в момент первого попадания маркера в е-окрестность изображения цели. Помимо введенного функционала точности наведения (3) в заданный момент рассмотрим функционал быстродействия

Такая дифференциальная игра называется игрой преследования быстродействия [15]. Она имеет смысл, если известно, что сближение маркера с целью возможно, т.е. если (<р0р,вр,<р0Е,вЕ) € См-

В задаче об оптимальном преследовании оператор стремится минимизировать функционал

max Jo (и, w) min,

wew u&u

в свою очередь возмущение стремится максимизировать функционал

min Jo (и, w) max.

и&и wew

Таким образом, игра преследования быстродействия определяется уравнениями (4) и (5) и функционалом качества (6).

5. Оптимальные стратегии при плоском движении основания. Рассмотрим случай, когда е = 0, т.е. требуется полное совпадение линий визирования маркера и цели. Сначала рассмотрим игру преследования качества, где цена игры определяется функционалом (3). Будем считать, что каждому из игроков доступна информация о своем положении и положении противника. Пусть точка Е — бесконечно удаленная неподвижная цель и углы (<рЕ,вЕ) определяют направление ее линии визирования в приборном трехграннике. Угол вЕ не меняется, поскольку основание движется по плоскости.

Пусть длина изображающей плоскости равна 2а, a высота равна 26. Из уравнений (1) определяются соотношения, задающие множество F:

F = j|0| ^ arctg ^у cos tp^, \<р\ ^ arctg у

Множества См и Cmf зависят от ресурсов управления (u™ax, и™ах) и возмущения го™ах. Рассмотрим случай, когда «;™ах < и™ах. Тогда См = R2 х R2. Множество Cmf задается в виде пересечения двух множеств:

^ Г í^max - Р°Е . Г IОр- в0Е\ <£>тах - (р°р 1 1 Г (р°Е + <£>тах Г Iв°р- в0Е\ (р°р + <£>тах

Cmf = { wf№ > maxj-^, ^ jjn( > max

где

arceos ^ tan , \9%\ > arctg cos ^arctg j

Ртах = i / 7 /

a iЛП i I V I a

arctg j, \9e\ ^ arctg y — cos I arctg j

Если начальные условия принадлежат множеству Cmf, то максимин функционала (3) будет совпадать с минимаксом и будет равен единице. Если же начальные условия лежат в области См \ Cmf, то максимин и минимакс будут равны нулю. Если условие -ш™ах < -и™ах не выполняется, то минимакс и максимин будут равны минус единице. Таким образом, максимин и минимакс определяются лишь начальными положениями, но всегда совпадают, следовательно, седловая точка игры качества существует.

На рис. 2 изображены множество F и множество Cmf (заштриховано) для фиксированного начального положения маркера при -и™ах = 0,4; -и™ах = 0,15; «;™ах = 0,1; р)°Р = 0,7; вр = 0,2.

Оптимальные стратегии для оператора определяются соотношениями

uf** sign {<рЕ - tpP), tpP щ = { (7)

фе, <рр = <ре,

[uf^úgii{0E-0p), врфвЕ-U2 = { (8)

о, вр = вЕ.

Оптимальное возмущение задается следующим образом:

wq = w™ax, если выполняется одно из условий: 1) {<&,<%,<&,<%) G CMF, fc^ >

Ушах-Уд . Г \вр~в°Е\ Утах-Ур 1 .

1(1™ ^ мти , „ти

™ах, если выполняется одно из условий:

,0 ,„0

1) G cw, <

¥>Д+Утах ^ гпп„ Г Ур+Утах -| .

wmax ^ llldAl адтах , „ти f,

Wq = W™ax sign (ifip — (fp), если

Утах-Уд r Утах-Ур 1 Уд+Утах ^ f |0р~0д| Ур + Утах -|

^max x lllclJV^ ^max 5 ^max J ^max x 11шЛ| ^max 5 ^max J *

Рассмотрим игру преследования быстродействия. Она имеет смысл, если «>™ах < г/,™ах. Рассмотрим случай, когда начальные состояния игроков принадлежат множеству Cmf н каждому из игроков доступна информация о своем положении и положении противника. Принадлежность начальных состояний к Cmf не гарантирует, что цель не убежит за пределы множества F (при неоптимальной стратегии оператора это возможно). Поэтому если в процессе игры цель убежала за пределы множества F, то такую игру будем считать несостоявшейся.

Рис. 2. Множество Д и пример проекции Рис. 3. Зависимость ¿1 от начального угла

множества Смр (заштриховано) на плос- <^РЕ при в°Е = 0,3. 1р°р = 0,7: вр = 0,2 для кость {<р°Е,0°Е) при (р°р = 0,7: в°Р = 0,2 = 0,4: м|?ах = 0,15: = 0,1 для = 0,4: ы|?ах = 0,15: ги?ак = 0,1

Условие «>™ах < г/,™ах гарантирует возможность сведения линий визирования за конечное время из любых начальных состояний. В работе [16] такой случай игры преследования называется грубым.

Для него доказано существование еедловой точки.

В игре преследования быстродействия оптимальное управление для оператора задается соотношениями (7) и (8), а оптимальное возмущение определяется соотношением

■и^, вр = вЕ.

На рис. 3 показана зависимость времени встречи от начального угла (р'д при оптимальном поведении обоих игроков.

Таким образом, оптимальное возмущение для игры преследования быстродействия отличается от оптимального возмущения для игры преследования качества. Это объясняется тем, что цель убегающего отсрочить момент встречи, а не сделать игру несостоявшейся. Тем не менее, придерживаясь оптимального управления, оператор не только обеспечивает минимальное время преследования, но и гарантированно не позволяет изображению цели "убежать" за пределы монитора до момента встречи.

6. Выводы. В работе поставлена игровая задача наведения линии визирования на цель с использованием монитора и видеокамеры при движении основания, на котором находятся оператор,

видеокамера и монитор. Возмущающее движение основания играет против оператора. Для случая

плоского движения основания и неподвижной цели показано, что для рассмотренных функционалов

игра имеет седловую точку.

В дальнейших работах будут рассмотрены другие функционалы качества сближения.

Работа выполнена при финансовой поддержке РНФ, грант № 14-50-00029.

СПИСОК ЛИТЕРАТУРЫ

1. Sangveraphunsiri V., Malithong К. Robust inverse dynamics control and sliding mode control // The 6th Int. Conf. on Automotive Engineering (ICAE-6). March 29-April 2. Bangkok, Thailand, 2010.

2. Hurak Z., Rezac M. Combined line-of-sight inertial stabilization and visual tracking: application to an airborne camera platform. Decision and Control // Proc. 28th Chinese Control Conference. CDC/CCC 2009; proc. 48th IEEE Conf., 15-18 Dec. Shanghai, 2009.

3. Смирнов В.А., Захариков B.C. Система стабилизации и наведения линии визирования с увеличенными углами обзора // Изв. ТулГУ. Техн. науки. 2013. Вып. 11. 68-73.

4. Daozhe S., Yunhai G., Xiang F. Spacecraft line-of-sight nonlinear control using two wheels // Intelligent Systems and Control (ISCO): 10th Int. Conf. 7-8 Jan. Coimbatore, 2016.

5. Liu L., Wang D., Peng Zh. ESO-based line-of-sight guidance law for straight line path following with exact sideslip compensation: 12th World Congress on Intelligent Control and Automation (WCICA). June 12-15. Guilin, 2016.

6. Caharija W., Pettersen K.Y., Bibuli M., Calado P., Zereik E., Bra,да, J., Gravdahl J.Т., Sorensen A. J., Milovanovie M., Bruzzone G. Integral line-of-sight guidance and control of underactuated marine vehicles: Theory, Simulations, and Experiments // IEEE Trans. Control System Technol. 2016. 24, N 5. 1623-1642.

7. Ilamathi M., Abiram M. Automatic target tracker for main battle tank // Communications and Signal Processing (ICCSP). Int. Conf. 2-4 April. Madras, 2015.

8. Lin Ch.M., Peng Y.F. Missile guidance law design using adaptive cerebellar model articulation controller // IEEE Trans. Neural Networks. 2005. 16, N 3. 636-644.

9. Mochiduki S., Suganuma M., Shoji G., Yamada M. Analysis of lines of sight while playing sport using a newly-developed lines-of-sight analyzer // Computer Science & Education (ICCSE): 11th Int. Conf. 23-25 Aug. Nagoya, 2016.

10. Nishiuchi N., Kurihara K., Sakai S., Takada H. A man-machine interface for camera control in remote monitoring using line-of-sight: Systems, Man, and Cybernetics // IEEE Int. Conf. 8-11 Oct. 2000.

11. Голован А.А., Парусников H.A. Математические основы навигационных систем. Ч. I. Математические модели инерциальной навигации. 3-е изд., испр. и доп. М.: Изд-во МГУ, 2011. 136.

12. Хи G., Zhang Zh. Epipolar geometry in Stereo, Motion and Object Recognition / Ed. by G. Xu, Zh. Zhang. Kluwer Academic Publishers; Springer, 1996.

13. Hartley R., Zisserman A. Multiple View Geometry in computer vision. Cambridge: Cambridge University Press, 2003.

14. Аграчев А.А., Сачков Ю.Л. Геометрическая теория управления. М.: ФИЗМАТЛИТ, 2005.

15. Петросян Л.А., Зенкевич Н.А., Семина Е.А. Теория игр. М.: Высшая школа; Книжный дом "Университет", 1998.

16. Краеовекий Н.Н. Игровые задачи о встрече движений. М.: Наука, 1970.

Поступила в редакцию 08.02.2017