CC BY
18
УДК 629.7.086: 004.932 DOI: 10.17586/0021-3454- 2017-60-10-986-992
ОЦЕНКА ГЕОМЕТРИЧЕСКИХ ПАРАМЕТРОВ СТАРТА ЛЕТАТЕЛЬНЫХ АППАРАТОВ С ПОМОЩЬЮ ОТСЛЕЖИВАНИЯ КЛЮЧЕВЫХ ОСОБЕННОСТЕЙ
ВИДЕОПОТОКА
А. Н. Баевских1, А. И. Гладуш2, П. В. Кустарев1, А. О. Славянский2, О. Е. Славянский2, А. С. Щесняк1
1Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: kustarev@cs.ifmo.ru 2АО Научный центр прикладной электродинамики, 190103, Санкт-Петербург, Россия
Описан метод оценки пространственной ориентации летательного аппарата в режиме реального времени при помощи обработки данных, поступающих с регистрирующей камеры. Такой метод позволяет получить альтернативную, не зависящую от бортовых датчиков, оценку углов курса, крена и тангажа ракеты. Он обеспечивает определение пространственной ориентации ракеты в случае сбоев в получении данных от бортовых датчиков. Для обработки видеопотока используются модифицированные алгоритмы покадрового отслеживания ключевых особенностей, например, контрастных деталей, основанные на алгоритме авторов Shi, Tomasi, Kanade. В частности, используется модификация алгоритма, допускающая аффинные искажения особенностей, а также локальные изменения их яркости. Найденный набор особенностей используется для оценки пространственной ориентации. Предложен алгоритм оценки пространственной ориентации через эквивалентное смещение регистрирующей камеры. Полученные значения можно использовать для анализа как в режиме реального времени, так и в режиме постобработки.
Ключевые слова: точечная особенность изображения, алгоритмы слежения за особенностями, определение пространственной ориентации, летательный аппарат, угол курса, угол крена, угол тангажа, вычислительная платформа
Повышение производительности вычислительных устройств и качества цифрового изображения позволяет все более эффективно использовать алгоритмы компьютерного зрения для решения прикладных задач. В настоящей статье предложено оценивать пространственную ориентацию летательных аппаратов, обрабатывая видеопоток регистрирующей камеры. Такой метод позволяет получить независимую от бортовых датчиков оценку углов курса, крена и тангажа ракеты, что может быть полезно в случае аппаратного или программного отказа бортовых датчиков [1, 2].
Для обработки видеопотока используются алгоритмы анализа таких точечных особенностей изображения [3, 4], как контрастные детали, четкие цветовые границы и т.д. Сопровождая точечные особенности из кадра в кадр, можно отслеживать изменения их взаимного расположения, а следовательно, и оценивать изменение относительного пространственного расположения ракеты. Используя модификации алгоритмов отслеживания особенностей видеопотока, основанные на разработках авторов Shi, Tomasi, Kanade [5—7], можно добиться учета аффинных искажений особенностей, а также изменения освещенности [8], что позволяет использовать их для реального видеопотока.
Система определения пространственной ориентации состоит из системы слежения за особенностями видеопотока и алгоритма нахождения пространственной ориентации, разработанного авторами настоящей статьи.
Работа любой системы слежения состоит из двух основных этапов: детектирование и оценка (отбор качественных особенностей) и слежение (нахождение нового положения особенностей).
Особые точки изображения определяются с помощью детектора Харриса. Для каждого пиксела определяется значение функции отклика угла, определяющей меру схожести окрестности точки [8]:
R = detM - k (traceM )2,
где M — гессиан яркости изображения в точке, k — эмпирическая константа, k е (0,04; 0,06), trace(•) — след матрицы.
Точки изображения, соответствующие локальным максимумам этой функции, и признаются особенностями. Альтернативные методы подробно описаны в работах [7, 9—11].
Пусть есть последовательность изображений, обозначим ее I (x, t). Изображения представляются как массив интенсивностей пикселов в каждый момент времени t. Рассмотрим точку u = [ux, uy ], принадлежащую I (x, t). Цель алгоритма — найти такую точку v = u + d на
изображении I(x,t +1), чтобы u и v были „похожи". Степень „похожести" можно определять разными способами. В общем случае вычисляется некоторый дескриптор точки, и точки сравниваются по некоторой метрике. Дескриптор и метрика выбираются в зависимости от алгоритма.
Таким образом, на вход алгоритма подается последовательность кадров и координаты точки, которую необходимо отслеживать. На выходе алгоритма нужно получить траекторию точки как набор смещений точки между кадрами.
В алгоритме авторов Shi, Tomasi, Kanade учитываются возможные аффинные искажения. Модель смещения принимает вид Ax + d, где A — аффинное искажение размером 2*2 пискела, а d — смещение размером 2*1 пиксела. Для вычисления смещения находятся параметры, минимизирующие функционал
е =
J W (x)[ J (Ax + d)-1 (x)] dx,
xeQ
где & — окно поиска, Ж (х) — весовая функция в окне.
Для поиска минимума выражение дифференцируется и приравнивается к нулю, затем выполняется разложение в ряд Тейлора:
J (Ах + d) = J (х) + gt {и).
Такое разложение дает систему Тх = а, где искомый вектор г = Тогда вектор ошибки можно записать в виде
dxxdyxdxydyydxdy
a =
J W (x )[ J (x )-1 (x) ]
xeQ.
xgx xgy
ygx ygy
gx gy
dx.
Матрицу T можно представить следующим образом: T = J W (x)
xeQ
U
T
V Z
dx, где
и =
2 2 * ёх х2ёхёу хУё2 хУёхёу
х 2 ёхёу 2 2 х ёу ХУёхёу хУё 2 , ^ = хё2 хёхёУ Уё2 УёхёУ
хУё1 ХУёхёу 2 2 У ёх У 2 ёхёУ _ хёхёУ хёу УёхёУ Уё2
ХУёхёу хУёУ У 2 ёхёу У ъ = 2 2 ёУ _ ёх ёх§У ёх§У ё2 .
Полученная система линейных уравнений решается итеративно по методу Ньютона— Рафсона.
Старт летательного аппарата фиксируется телекамерой с известной матрицей внутренних параметров и вектором радиальной дисторсии объектива. Акселерометр позволяет фиксировать текущую пространственную ориентацию камеры. Применение комплекса наблюдения в качестве дублирующего ограничивает возможность использования какой-либо телеметрической информации.
Задачу обработки видеоряда, поступающего с регистрирующей камеры, сформулируем следующим образом: необходимо отслеживать изменения пространственной ориентации летательного аппарата от кадра к кадру. Условимся говорить об относительном изменении ориентации, поскольку абсолютные значения могут быть получены в привязке к телеметрии стартового положения аппарата. В качестве примера рассмотрим слежение за стартом ракеты Союз, запущенной 07.11.13 г. с космодрома Байконур. Выберем два кадра видеоряда, по которым требуется определить относительное изменение ориентации летательного аппарата (рис. 1).
Опишем пошагово алгоритм выполнения поставленной задачи.
Шаг 1. Обработка кадров видеоряда для нивелирования радиальной дисторсии, вносимой линзами регистрирующей камеры.
Для такой обработки существуют готовые решения в прикладных пакетах. В рассматриваемом случае коррекция радиальной дисторсии не вносит существенных поправок в изображение.
Шаг 2. Нахождение соответствующих точечных особенностей изображения на двух кадрах.
Непрерывное сопровождение точечных особенностей из кадра в кадр обеспечивает лучшую точность, нежели непосредственный поиск соответствий на первом и последнем кадре.
а) б)
Рис. 1
Шаг 3. Оценка фундаментальной матрицы на основании соответствующих пар точечных особенностей на начальном (рис. 1, а) и конечном (б) кадре.
Соответствующий алгоритм подробно описан в [12].
Шаг 4. Нахождение относительного изменения положения камеры в системе отсчета, связанной с ракетой.
В последних версиях пакета компьютерного зрения MATLAB/Computer Vision System Toolbox появилась возможность оценки относительного изменения положения камеры в предположении неподвижности сцены. Связав систему отсчета с летательным аппаратом, можно оценить эквивалентное изменение положения и ориентации камеры.
Шаг 5. Поправка вычисленного изменения углов положения камеры с учетом реального изменения ориентации камеры при слежении за ракетой.
Зная реальное изменение углов ориентации камеры в ходе слежения за аппаратом, можно вычесть его из найденного эквивалентного изменения положения камеры. При этом нет необходимости производить сложные переходы между системами отсчета камеры и ракеты.
Шаг 6. Нахождение относительного изменения положения и ориентации летательного аппарата в неподвижной системе отсчета.
На рис. 2 в двух проекциях показано начальное 1 и конечное 2 положение камеры при вычислении ее эквивалентного смещения.
0,5
-0,5
-1
У *
г
*
1
1 i § 1 Си
1 2 £Ь
-1
-2
Рис. 2
Далее, на основании данных датчика ориентации регистрирующей камеры, необходимо учесть реальное изменение ориентации камеры.
Наконец, проанализировав эквивалентное перемещение камеры, можно определить:
1) перемещение геометрического центра летательного аппарата;
2) углы Крылова пространственной ориентации летательного аппарата.
С точностью до масштаба получаем нормированные значения пространственных координат (X,Y,Z=1) выделенных особенностей и оценку изменения углов пространственной ориентации летательного аппарата (см. таблицу).
1
0
1
0
2
4
3
2
1
0
0
Кадр Точка 1 Точка 2 Точка 3 Точка 4 Угол курса Угол тангажа Угол крена
1 (0,124;-0,084) (0,127;-0,09) (0,127;-0,088) (0,125;-0,091) 0 0 0
2 (0,067;0,055) (0,066;0,054) (0,064;0,056) (0,065;0,054) +0,04 -0,09 +0,01
Таким образом, представленный алгоритм позволяет оценить пространственную ориентацию летательного аппарата в отсутствие телеметрии. Расчет пространственной ориентации опирается на результаты извлечения и сопровождения ключевых особенностей изображения проверенными алгоритмами.
В этом контексте важно понимать, что классическая программная реализация на „классических" нейманновских компьютерах не может рассматриваться как базовая, поскольку не обеспечит ни мультипоточную обработку видеопотока в реальном времени, ни требований по надежности и низкому энергопотреблению, характерных для бортовых систем, ни габаритных требований. Возможное решение подобного рода прикладных задач — смена парадигмы вычислительной платформы, а именно переход от программируемых вычислений к конфигурируемым [13]. Практически, применительно к представленному методу, это означает глубокую сегментацию и распараллеливание алгоритма и адаптацию его операций, как частей вычислительного процесса, к архитектурным операционным блокам реконфигурируемых вычислительных платформ (электронных — ПЛИС, ASIC) с применением методологий высокоуровневого аппаратного или аппаратно-программного синтеза (High Level Synthesis), которые уже сегодня достаточно широко используются для реализации типовых алгоритмов цифровой обработки сигналов и в потоковых вычислениях [13, 14].
В статье представлен метод получения независимой оценки пространственной ориентации летательного аппарата путем слежения за точечными особенностями сцены в видеопотоке регистрирующей камеры (впервые предложено непосредственно вычислять ориентацию через эквивалентное смещение камеры). Его преимущества: методологическая простота, возможность обработки в реальном времени данных, получаемых с произвольно движущейся камеры, применение стандартных инструментов программных пакетов компьютерного зрения. При этом используются алгоритмы, устойчивые к аффинным трансформациям изображения отслеживаемого объекта, а также допускающие локальные изменения яркости изображения. Авторами разработан алгоритм оценки пространственной ориентации летательного аппарата через эквивалентное перемещение регистрирующей камеры. Проведен модельный эксперимент, подтверждающий состоятельность метода.
список литературы
1. Конушин А. Слежение за точечными особенностями сцены // Компьютерная графика и мультимедиа. 2003. Т. 5, № 1.
2. Rodehorst V. and Koschan A. Comparison and Evaluation of Feature Point Detectors // Proc. of the 5th Intern. Symp. Turkish-German Joint Geodetic Days. 2006 [Электронный ресурс]: <http://www.cv.tu-berlin.de/fileadmin/ fg140/Comp_vr.pdf>.
3. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors: A Survey // Foundations and Trends in Computer Graphics and Vision. 2008. Vol. 3, N 3. P. 177—280.
4. Chen He X., Yung N. Corner detector based on global and local curvature // Optical Engineering. 2008. N 47(5).
5. Shi J., Tomasi C. Good features to track // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR'94). IEEE Computer Society, Seattle. 1994.
6. Kanade T. Detection and tracking of point features. TR Carnegie-Melon University, 1991.
7. Lucas B., Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision // Proc. of 7th Intern. Joint Conf. on Artificial Intelligence (IJCAI). 1981. P. 6.
8. Zhengyou Zhang, Loop Ch. Estimating the Fundamental Matrix by Transforming Image Points in Projective Space // Computer Vision and Image Understanding. 2001. Vol. 82, Is. 2. P. 174—180.
9. Грузман И. С., Киричук В. С., Косых В. П., Перетягин Г. И., Спектор А. А. Цифровая обработка изображений в информационных системах. Новосибирск: Изд-во НГТУ, 2002. 352 c.
10. Челноков Ю. Н. Инерциальная ориентация и навигация движущихся объектов. Саратов: Изд-во Саратовского ун-та им. Н.Г. Чернышевского, 2002.
11. Abhishek Yadav, Poonam Yadav. Digital Image Processing. Front Cover. Laxmi Publications Pvt. Ltd, 2009.
12. Gui-SongXia, Delon J., Gousseau Y. Accurate Junction Detection and Characterization in Natural Images // Intern. J. of Computer Vision (IJCV). 2014. Vol. 106, N 1. P. 31—56.
13. Hartenstein R., Kaiserslautern T. U., Karlsruhe K. I. T. SE Curricula are Unqualified to Cope with the Data Avalanche. 2017. P. 1—20 [Электронный ресурс]: <http://hartenstein.de/publications/CS.pdf>.
14. McFarland M. C., Parker A. C., Camposano R. The high-level synthesis of digital systems // Proc. IEEE. 1990. Vol. 78, N 2. P. 301—318.
Александр Николаевич Баевских Андрей Игоревич Гладуш Павел Валерьевич Кустарев Андрей Олегович Славянский Олег Евгеньевич Славянский Анна Сергеевна Щесняк
Рекомендована кафедрой вычислительной техники
Сведения об авторах аспирант; Университет ИТМО; кафедра вычислительной техники; E-mail: aleks.bae@gmail.com
АО Научный центр прикладной электродинамики; инженер-программист; E-mail: andrei.gladush@scaegroup.com канд. техн. наук, доцент; Университет ИТМО; кафедра вычислительной техники; E-mail: kustarev@cs.ifmo.ru
АО Научный центр прикладной электродинамики; ведущий инженер-конструктор; E-mail: andrey.slavyanskiy@scaegroup.com АО Научный центр прикладной электродинамики; начальник отдела; E-mail: oleg.slavyansky@scaegroup.com
аспирант; Университет ИТМО; кафедра беспроводных телекоммуникаций; E-mail: anna.schesnyak@scaegroup.com
Поступила в редакцию 03.07.17 г.
Ссылка для цитирования: Баевских А. Н., Гладуш А. И., Кустарев П. В., Славянский А. О., Славянский О. Е., Щесняк А. С. Оценка геометрических параметров старта летательных аппаратов с помощью отслеживания ключевых особенностей видеопотока // Изв. вузов. Приборостроение. 2017. Т. 60, № 10. С. 986—992.
ESTIMATING GEOMETRICAL PARAMETERS OF FLYING VEHICLE BY TRACKING KEY FEATURES OF THE VIDEO STREAM
A. N. Baevskikh1, A. I. Gladush2, P. V. Kustarev1, A. O. Slavyanskiy2, O. E. Slavyanskiy2, A. S. Shchesniak1
1ITMO University, 197101, St. Petersburg, Russia E-mail: kustarev@cs.ifmo.ru 2JSC Scientific Center of Applied Electrodynamics, 190103, St. Petersburg, Russia
An approach to evaluation of parameters of flying vehicle orientation using analysis of registering camera video-stream is discussed. The proposed methodology allows to obtain the data independently of course, pitch, and roll sensors of the flying vehicle and, thus, enables an emergency positioning feature in case of a fault. Video stream analysis employed in the method for frame-by-frame tracking of key peculiarities of the images (e.g., contrast details) is based on modifications of the standard Shi—Tomasi— Kanade algorithm. In particular, the developed modification of the algorithm allows affine distortions of features, as well as local changes in their brightness. An algorithm is proposed for estimating the flying vehicle spatial orientation using the found set of features via the equivalent shift of the recording camera. The obtained values can be used for analysis both in real time and in post-processing mode.
Keywords: point image feature, algorithm of peculiarity tracking, flying vehicle, evaluation of spatial orientation; course, pitch and roll angles, computation platform
Data on authors
Alexander N. Baevskikh — Post-Graduate Student; ITMO University, Department of Computation
Technologies; E-mail: aleks.bae@gmail.com Andrey I. Gladush — JSC Scientific Center of Applied Electrodynamics; Software Engi-
neer; E-mail: andrei.gladush@scaegroup.com Pavel V. Kustarev — PhD, Associate Professor; ITMO University, Department of Computa-
tion Technologies; E-mail: kustarev@cs.ifmo.ru Andrey S. Slavyanskiy — JSC Scientific Center of Applied Electrodynamics; Leading Design
Engineer; E-mail: andrey.slavyanskiy@scaegroup.com Oleg E. Slavyanskiy — JSC Scientific Center of Applied Electrodynamics; Head of Depart-
ment; E-mail: oleg.slavyansky@scaegroup.com
Anna S. Shchesniak — Post-Graduate Student; ITMO University, Department of Wireless
Telecommunications; E-mail: anna.schesnyak@scaegroup.com
For citation: Baevskikh A. N., Gladush A. I., Kustarev P. V., Slavyanskiy A. O., Slavyanskiy O. E., Shchesniak A. S. Estimating geometrical parameters of flying vehicle by tracking key features of the video stream. Journal of Instrument Engineering. 2017. Vol. 60, N 10. P. 986—992 (in Russian).
DOI: 10.17586/0021-3454- 2017-60-10-986-992
