CC BY
10
УДК 004.032.26 DOI: 10.17586/0021-3454-2023-66-4-297-305
ОЦЕНИВАНИЕ ПАРАМЕТРОВ ОРИЕНТАЦИИ ОРБИТАЛЬНОГО ОБЪЕКТА ПО РЕЗУЛЬТАТАМ НАБЛЮДЕНИЯ КОСМИЧЕСКИМ РОБОТОМ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ ТЕХНИЧЕСКОГО ЗРЕНИЯ
А. А. Сасункевич
Военно-космическая академия им. А. Ф. Можайского, Санкт-Петербург, Россия,
vka@mil.ru
Аннотация. Рассмотрена задача оценивания параметров ориентации космического аппарата, наблюдаемого с борта космического робота, представлены различные подходы к ее решению. Приведены результаты исследования точности двух подходов к оцениванию параметров ориентации космического аппарата с использованием методов технического зрения по результатам наблюдения космического робота с использованием сверточных нейронных сетей. В первом подходе нейронная сеть применяется для определения экранных координат проекций особых точек объекта на изображении. Второй подход основан на использовании обученной сверточной нейронной сети, которая по наблюдаемому изображению выдает непосредственно углы Эйлера.
Ключевые слова: космический робот, некооперируемый космический аппарат, техническое зрение, ориентация, сверточные нейронные сети
Ссылка для цитирования: Сасункевич А. А. Оценивание параметров ориентации орбитального объекта по результатам наблюдения космическим роботом с использованием алгоритмов технического зрения // Изв. вузов. Приборостроение. 2023. Т. 66, № 4. С. 297—305. 001: 10.17586/0021-3454-2023-66-4-297-305.
ESTIMATION OF ORBITAL OBJECT ORIENTATION PARAMETERS BASED ON RESULTS OF SPACE ROBOT OBSERVATION USING MACHINE VISION ALGORITHMS
A. A. Sasunkevich
A. F. Mozhaisky Military Space Academy, St. Petersburg, Russia vka@mil.ru
Abstract. The problem of estimating the orientation parameters of a spacecraft observed from a space robot is considered, and various approaches to its solution are presented. Results of the study of the accuracy of two approaches to estimating the parameters of the spacecraft orientation from results of a space robot observation using the technical vision methods and convolutional neural networks, are presented. In the first approach, the neural network is used to determine the screen coordinates of the object's special points projections in the image. The second approach is based on the use of a trained convolutional neural network, which directly generates the Euler angles from the observed image.
Keywords: space robot, uncooperative spacecraft, machine vision, orientation, convolutional neural networks
For citation: Sasunkevich A. A. Estimation of orbital object orientation parameters based on results of space robot observation using machine vision algorithms. Journal of Instrument Engineering. 2023. Vol. 66, N 4. P. 297—305 (in Russian). DOI: 10.17586/0021-3454-2023-66-4-297-305.
Введение. Развитие технологий микроэлектроники, робототехники и искусственного интеллекта способствует реализации задач сервисного обслуживания некооперируемых космических аппаратов (НКА). Под некооперируемыми понимаются космические аппараты (КА), с которыми невозможен взаимный обмен информацией, обеспечивающей решение задач сближения, стыковки или выполнение других маневров группового полета (подлета,
© Сасункевич А. А, 2023
зависания, облета). Сервисное обслуживание НКА возможно на основе решения ряда сложных нетривиальных задач, связанных с маневрированием в окрестности НКА.
Разработке сервисных космических роботов (КР) уделяют должное внимание как в России, так и за рубежом. В настоящее время проведен ряд космических экспериментов по отработке технологии сближения, дозаправки, замены вычислительных модулей КА. Первым примером успешного эксперимента является запуск орбитальной системы „Orbital Express", включающей два КА „Astra" и „Nextsat" [1, 2]. Практическое использование технологии сервисного обслуживания космических средств на орбите подтверждено применением КА „MEV-1" и „MEV-2" [3], которые осуществили стыковки с двумя КА на геостационарной орбите с израсходованными запасами рабочего тела для продления до пяти лет сроков их активного существования путем реализации функции „космического буксира".
Для обслуживания КА, особенно некооперируемых, в бортовом комплексе управления КР должна находиться информация о взаимном положении и ориентации КА относительно КР [4]. Одним из способов получения этой информации является применение в современных образцах космической техники технологии компьютерного зрения, которая относится к области искусственного интеллекта, связанной с анализом изображений наблюдаемого КА.
В основе технологии компьютерного зрения лежат методы реконструкции трехмерной сцены (Perspective-n-points, PnP) [5—7], с помощью которых по перспективной проекции объекта на плоскость сенсора камеры определяется положение объекта в трехмерном пространстве.
Для решения задачи этими методами на изображении фиксируются особые точки, которые соответствуют точкам объекта с известными координатами. При выявлении особых точек на изображении применяются алгоритмы выделения следующих признаков: признаки масштабно-инвариантного преобразования (scale-invariant feature transform, SIFT) [8], ускоренные устойчивые признаки (speeded-up robust features, SURF) [9], ориентированные устойчивые бинарные признаки (oriented robust binary features, ORB) [10] и другие. Альтернативным вариантом выделения особых точек на изображении является использование искусственных нейронных сетей (НС).
Целью настоящей статьи является оценивание параметров ориентации КА с известной геометрией по результатам наблюдения при помощи бортовых средств КР. Исследована точность определения параметров ориентации наблюдаемого объекта с использованием методов PnP по особым точкам, выделяемым НС, а также с использованием НС.
Постановка задачи. Задача оценивания ориентации наблюдаемого объекта по изображению разделяется на два этапа:
1) выделение особых точек изображения объекта, которые могут быть однозначно определены при его поворотах и перемещениях;
2) оценивание вектора перемещения и матрицы поворота объекта с использованием трехмерных координат нескольких точек объекта в связанной с ним системе координат и проекций этих же точек на изображении, получаемом с помощью камеры. Эта задача решается с использованием алгоритмов трехмерной реконструкции PnP.
Рассмотрим два подхода к оцениванию ориентации объекта с использованием НС, их суть поясняет схема, представленная на рис. 1, где введены следующие обозначения: * * —Ö
ui, Vj I , i e 1,8 — экранные координаты проекций вершин параллелепипеда, описывающего объект и жестко связанного с ним; (xj, y\, )T , i e1,8 — пространственные координаты вершин описывающего КА параллелепипеда; (X, Y, Z)T — положение КА в системе координат
камеры наблюдателя; {у, у,$] — ориентация КА, определенная методом РпР; |у , у ,$ | —
ориентация КА, определенная НС.
На начальном этапе задается архитектура сверточной НС (СНС). Затем генерируется обучающая выборка, которая может представлять собой фотографии интересующего объекта в различных ракурсах либо синтезированные изображения модели объекта, полученные с помощью программы редактора трехмерных моделей. Для первого подхода к решению задачи оценивания ориентации наблюдаемого КА каждой фотографии либо изображению ставится в соответствие матрица размерностью 8x2, строки которой представляют собой экранные ко-
(* * \Т -
и), V\ I , 1 е1,8, проекций вершин параллелепипеда, описывающего объект и жестко связанного с ним (рис. 1).
СВЕРТОЧНАЯ НЕЙРОННАЯ СЕТЬ
и1 Ч
и2 V?
и3
и4 У4
и5 V)
и6
и7 у7
.Т.
у , у , $
Х1 У1
х2 У2 г2
х3 Уз г3
х4 У4 г4
х5 У5 г5
х6 Уб г6
х7 У7 27
х8 У8 г8
Рис. 1
Далее СНС обучается на подготовленных парах „изображение КА—экранные коорди-
(* * \Т -
иI, V\ I , 1 е1,8". В дальнейшем при подаче на вход СНС изображения наблюдаемого
КА (шаг 1, рис. 1) на ее выходе формируются экранные координаты (и*, V. | , 1 е 1,8, вершин
описывающего параллелепипеда (шаг 2, рис. 1).
Преимуществом применения СНС для выделения особых точек на изображении является устойчивость к изменениям освещенности и однородности текстуры объекта, а к недостаткам — необходимость обучения и возможность ее применения только на одном объекте.
(* *\Т ' 1—п
и1, У] I , 1 е1,8, проекций
вершин параллелепипеда на изображении и известным трехмерным координатам
ко
\Т
т _
(, у1, ) , 1 е 1,8, этих же вершин в связанной с КА системе координат (шаг 3, рис. 1) с при-
менением алгоритмов РпР определяются положение (X, У,Z) и ориентация {у,у,$] КА в
системе координат камеры наблюдателя (шаг 4, рис. 1).
Второй подход к оцениванию ориентации КА состоит в следующем. Формируемая СНС обучается на наборе изображений КА с различной ориентацией, а в качестве выходного результата возвращает значения углов Эйлера, соответствующих ориентации КА на изображении. В этом случае оценивание ориентации КА включает подачу его изображения на вход
{* * * 1 . ч у , у ,$ | (шаги 1 и 5, рис. 1).
Для того чтобы установить точность оценивания параметров ориентации наблюдаемого КА при использовании рассмотренных подходов, выполнены следующие операции:
— подготовка исходных данных для обучения СНС;
— формирование и обучение СНС;
— расчет показателей точности определения параметров ориентации наблюдаемого КА. Подготовка исходных данных для обучения СНС. В качестве объекта наблюдения
при проведении исследований использована трехмерная модель КА „Space Dragon". Обучающая выборка создана с использованием открытого трехмерного редактора Blender. Методика формирования обучающей выборки включает следующие этапы.
1. В трехмерном редакторе задается случайная ориентация КА в определенном диапазоне значений углов Эйлера.
2. Заданная ориентация изображения КА не изменяется.
3. В отдельном файле сохраняются соответствующие изображению пространственные
координаты вершин описывающего КА параллелепипеда (, У, zi)T , i e1,8, экранные коор-
(* * —~
ui, Vj) , i e 1,8 , и параметры ориентации КА в
виде углов Эйлера (у, у, .
Выполнение перечисленных операций автоматизировано при помощи разработанного скрипта на языке Phyton, интерпретатор которого встроен в трехмерный редактор Blender.
Значения углов Эйлера, определяющих ориентацию КА, заданы случайными равномерно распределенными в диапазоне ф e [-30°, +30°], где ф e (у, у, . Расстояние до КА принято постоянным и выбрано так, чтобы при различной ориентации КА занимал максимальное пространство изображения. Введено допущение о сохранении условиях освещения КА. Примеры сформированных изображений КА приведены на рис. 2.
V
Рис. 2
Формирование и обучение СНС. Структура СНС содержит три сверточных слоя, слои прореживания по максимуму, слои нормализации по выборке и с отбрасыванием связей, полносвязные слои. Отличительная особенность структур СНС для определения ориентации наблюдаемого КА с помощью исследуемых подходов состоит в последнем слое, определяющем количество выдаваемых параметров.
На выходе СНС, в которой реализован первый подход к определению ориентации КА, создана матрица 8x2, каждая строка которой содержит экранные координаты проекции вершины описывающего КА параллелепипеда (, ^ )Т , 1 е1,8. Архитектура этой СНС представлена на рис. 3.
Рис. 3
Последний полносвязный слой СНС для решения задачи с помощью второго подхода содержит три искусственных нейрона (по числу углов Эйлера).
В качестве входного сигнала сформированной для исследования СНС выбрано изображение размером 300x300 пикселов в градациях серого цвета. Обучение обеих СНС проведено на 8000 изображений в течение 10 эпох.
Расчет показателей точности определения параметров ориентации наблюдаемого КА. Для расчета использованы 1000 тестовых изображений КА с различной ориентацией, поступающих на вход СНС. На выходе СНС получены с некоторой погрешностью экранные координаты проекций восьми вершин описывающего КА параллелепипеда.
На рис. 4 приведено одно из изображений, где сплошной линией выделен истинный описывающий параллелепипед, а пунктиром — параллелепипед, вершины которого определены с помощью СНС. Погрешность определения экранных координат проекций вершин описывающего КА параллелепипеда характеризует точность определения ориентации КА.
В проведенных исследованиях получены оценки показателей точности параметров ориентации КА с использованием алгоритма трехмерной реконструкции РпР как при использовании истинных координат вершин параллелепипеда, так и координат, выделенных с помощью СНС.
Рис. 4
Результаты исследования представлены в виде гистограмм (рис. 5—7), на которых черным цветом выделены 95 % всех данных, а также указаны: д — среднее значение,
1
ц = — ^ X'; а — среднее квадратическое отклонение, а =
п1=1
1
п -
-х ; т — 1 1=1
макси-
мальное по модулю значение, т = тах\хл; х1 — 1-я реализация случайной величины; п
20
количество значений случайной величины
N %
а)
N % 12 10 8 6 4 2 0
12 10 8 6 4 2 0
0
Рис. 5 б)
Л 1|||пп
д=7,5-10-5
ст=0,20
т=0,89
N, % 14 12 10
д=2,76 ст=9,27 т=44,47
20
х, пкс
—пгл|||Н 1|
д=2,07° ст=5,28° т=22,71°
-0,5
0,5 ДФ, -20
Рис. 6
10 0 10
20 Дф,
8
6
4
0
О
N %
10
ц=0,31° ст=0,97° ш=4,51°
-4 -2 0 2 Дф,
Рис. 7
На рис. 5 приведена гистограмма погрешностей Дх определения экранных координат проекций вершин описывающего КА параллелепипеда для всех тестовых изображений, где Дх = лнс _ х; Хнс — координата особой точки, определенная СНС; х — истинная координата особой точки на изображении; хе{г,у) . Из рис. 5 видно, что погрешность определения
экранной координаты проекции вершины параллелепипеда с использованием СНС находится в пределах ±20 пикселов изображения.
На рис. 6 приведены гистограммы погрешностей Дф определения ориентации наблюдаемого КА методом РпР с использованием точных экранных координат проекций вершин описывающего КА параллелепипеда (а) и координат, определенных СНС (б). Здесь и далее ф — определенный рассматриваемыми подходами угол Эйлера, соответствующий ориентации КА; ф — истинное значение угла Эйлера: ф е {у, у, ).
Анализ результатов, приведенных на рис. 6, показывает, что при известных истинных экранных координатах проекций вершин описывающего КА параллелепипеда метод трехмерной реконструкции РпР позволяет определить ориентацию наблюдаемого объекта с погрешностью до ±1°.
В случае использования определенных СНС экранных координат проекций вершин описывающего КА параллелепипеда и метода РпР погрешность определения ориентации наблюдаемого объекта не превышает ±15° .
Как следует из гистограммы, представленной на рис. 7, погрешность Дф определения параметров ориентации наблюдаемого КА с помощью второго подхода, находится в пределах ±3°.
На рис. 8 приведена зависимость среднего квадратического отклонения погрешностей определения углов Эйлера от истинных значений углов ориентации. Анализ представленных результатов показывает, что наибольшие погрешности определения параметров ориентации наблюдаются на границах диапазона значений углов Эйлера, на котором происходило обучение СНС. Определение причин роста погрешностей требует проведения отдельных исследований.
ст(Дф), ...с 1,2 1,1 1
0,9 0,8 0,7 0,6
10 0 Рис. 8
20 ф,
5
0
Заключение. В работе исследованы два подхода к оцениванию точности ориентации КА по результатам наблюдения КР с использованием СНС.
В первом подходе СНС применяется для определения экранных координат проекций особых точек объекта на изображении. Используя полученную информацию с помощью методов PnP, возможно грубо оценить ориентацию наблюдаемого КА с погрешностью до ±15° . В случае выделения точных экранных координат проекций особых точек объекта иными способами методы PnP позволяют определить ориентацию объекта с погрешностью до ±1°.
Другой подход к оцениванию параметров ориентации наблюдаемого КА, основанный на использовании обученной СНС, которая по наблюдаемому изображению выдает непосредственно углы Эйлера, позволяет их определить с погрешностью до ±3° .
В целях развития второго подхода оценивания параметров ориентации наблюдаемого объекта с помощью СНС в дальнейшем необходимо провести исследования его применимости в случаях изменения условий освещенности и расстояния до наблюдаемого объекта.
СПИСОК ЛИТЕРАТУРЫ
1. Черный И. В. Запущен спутник контроля космической обстановки // Новости космонавтики. 2010. № 11. С. 34—36.
2. Wilson J. R Satellite hopes ride on Orbital Express // Aerospace America. 2007. P. 30—35.
3. MEV-1 (Mission Extension Vehicle-1) and MEV-2 [Электронный ресурс]: <http://eoportal.org/web/ eoportal/satellite-missions/m/mev-1>. (дата обращения: 30.05.2022).
4. Степанов Д. Н, Бахшиев А. В, Смирнова Е. Ю, Половко С. А. Определение положения космических аппаратов путем обнаружения и сопровождения естественных конструктивных особенностей с использованием существующих телевизионных камер // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2016. № 1. С. 61—77.
5. Kanaeva E, Gurevich L, Vakhitov A. Camera pose and focal length estimation using regularized distance constraints // Proc. of the British Machine Vision Conf. (BMVC). 2015. P. 162.1—162.12.
6. Lepetit V., Moreno-Noguer F, Fua P. Epnp: Anaccurate o(n) solution to the pnp problem // Intern. Journal of Computer Vision. 2009. Vol. 81, N 2. P. 155—166.
7. Yinqiang Zheng, Satoshi Sugimoto, Imari Sato, Masatoshi Okutomi. A general and simple method for camera pose and focal length determination // Computer Vision and Pattern Recognition (CVPR). 2014. P. 430—437. DOI: 10.1109/CVPR.2014.62.
8. Lowe D. C. Object recognition from local scale-invariant features // Proc. Intern. Conf. Computer Vision. 1999. Vol. 2. P. 1150—1157.
9. Bay H, Ess A., Tuytelaars T, Van Gool L. SURF: Speeded up robust features // Computer Vision Image Understanding. 2008. Vol. 110. P. 346—359.
10. Rublee E, Rabaund V, Konolige K, Bradski G. ORB: An efficient alternative to SIRF or SURF // Proc. Intern. Conf. Computer Vision. 2011. P. 2564—2571.
Сведения об авторе
Александр Анатольевич Сасункевич — канд. техн. наук; ВКА им. А. Ф. Можайского, кафедра автономных
систем управления; докторант; E-mail: saa-soso@rambler.ru
Поступила в редакцию 25.10.22; одобрена после рецензирования 03.11.22; принята к публикации 28.02.23.
REFERENCES
1. Cherny I.V. Novosti kosmonavtiki (Space News), 2010, no. 11, pp. 34-36. (in Russ.)
2. Wilson J.R. Aerospace America, 2007, pp. 30-35.
3. MEV-1 (Mission Extension Vehicle-1) and MEV-2, http://e0p0rtal.0rg/web/e0p0rtal/satellite-missi0ns/m/mev-1.
4. Stepan0v D.N., Bakhshiyev A.V., Smirn0va E.Yu., P0l0vk0 S.A. Voprosy radioelektroniki. Seriya: Tekhnika Televideniya, 2016, n0. 1, pp. 61-77. (in Russ.)
5. Kanaeva E., Gurevich L., Vakhitov A. Proc. of the British Machine Vision Conference (BMVC), 2015, pp. 162.1162.12.
6. Lepetit V., Moreno-Noguer F., Fua P. Intern. Journal of Computer Vision, 2009, no. 2(81), pp. 155-166.
7. Yinqiang Zheng, Satoshi Sugimoto, Imari Sato, Masatoshi Okutomi, Computer Vision and Pattern Recognition (CVPR), 2014, pp. 430-437, DOI: 10.1109/CVPR.2014.62
8. Lowe D.C. Proc. Intern. Conf. Computer Vision, 1999, vol. 2, pp. 1150-1157.
9. Bay H., Ess A., Tuytelaars T., Van Gool L. Computer Vision Image Understanding, 2008, vol. 110, pp. 346-359.
10. Rublee E., Rabaund V., Konolige K., Bradski G. Proc. Intern. Conf. Computer Vision, 2011, pp. 2564-2571.
Data on author
Alexander A. Sasunkevich — PhD; A. F. Mozhaisky Military Space Academy, Department of Autonomous Control Systems; Doctoral Student; E-mail: saa-soso@rambler.ru
Received 25.10.22; approved after reviewing 03.11.22; accepted for publication 28.02.23.
