CC BY
0УДК 004.93 DOI 10.24412/2413-7383-2024-2-21 -28
В. М. Зуев, С. Б. Иванова
Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк 283048, г. Донецк, ул. Артема, 118 б
ОЦЕНКА СОБСТВЕННОГО МЕСТОПОЛОЖЕНИЯ АППАРАТА НА ОСНОВЕ АНАЛИЗА ВИДЕОИЗОБРАЖЕНИЯ*
V. M. Zuev, S. B. Ivanova
Federal State Budgetary Scientific Institution «Institute of Artificial Intelligence Problems» 283048, Donetsk, Artem str., 118 b
ESTIMATION OF THE DEVICE'S OWN LOCATION BASED ON VIDEO IMAGE ANALYSIS
V. M. Zuev S.B. Ivanova
Budgetary Foederati Publica Institutione Scientific Institutum Intelligentiae Artificialis Problems, Donetsk 118 b Artyom str., Donetsk, 283048
AESTIMATIO PROPRII LOCI FABRICA SECUNDUM ANALYSIN IMAGINIS VIDEO
В некоторых редких, но критически важных случаях, спутниковая навигационная система может быть временно недоступна. Нами предлагается, как временная альтернатива, метод определения местоположения беспилотного летающего аппарата, основанный только на анализе получаемого видеоизображения. В отличие от других методов, здесь не используются нейросети или методы компьютерного зрения, основанные на выделении каких-то особых фрагментов изображения, их метрик или признаков. В статье рассматриваются основные подходы определению местоположения беспилотного летающего аппарата, основанные только на анализе получаемого им видеоизображения.
Ключевые слова: местоположение, видео изображение, кросс корреляция.
In some rare but critical cases, the satellite navigation system may be temporarily unavailable. We propose, as a temporary alternative, a method for determining the location of an unmanned aerial vehicle based only on the analysis of the received video image. Unlike other methods, neural networks or computer vision methods based on the selection of some special image fragments, their metrics or features are not used here. The article discusses the main approaches to determining the location of an unmanned aerial vehicle based only on the analysis of the video image it receives.
Keywords: location, video image, cross correlation.
Articulus praecipuos aditus tractat ad determinandum locum vehiculi aerei inanibus innixum solum
in analysi imaginis video quam recipit.
Affatus clavis: locus, imago video, relatio crucis
* Работа выполнена по Госзаказу. FREN-2023-0004 «Теоретические основы обнаружения и оценки объектов на местности интеллектуальными робототехническими системами в условиях быстро меняющейся обстановки»
З
Введение
Существующие подходы определения местоположения, базирующиеся на анализе поступающего фото или видео изображения, основаны на определении приметных мест рельефа, которые имеют известное местоположение. Составление цепочки таких мест позволяет создать необходимый маршрут. Предлагаемый нами метод основан на анализе изменений видео изображения без выделения каких-то особых объектов или их метрик или признаков.
Актуальность работы. В настоящее время наиболее эффективным способом определения местоположения является использование спутниковых навигационных систем. Однако в некоторых редких, но критически важных случаях, спутниковая навигационная система может быть временно недоступна. Нами предлагается, как временная альтернатива, метод определения местоположения беспилотного летающего аппарата, основанный только на анализе получаемого видеоизображения.
Базовый принцип. Предлагаемый метод основан на анализе последовательности кадров видео изображения, определения направления сдвига пикселей фрагментов кадра, пересчета сдвига пикселей в величину вектора передвижения.
Пусть на устройство обработки поступает последовательность кадров (Л\ ЛГ), Здесь / - номер кадра, М, N - высота и ширина кадра. Время между кадрами постоянно и равно Г = где /• - частота кадров. Каждый кадр соответствует проекции обозреваемого пространства, которое в общем случае может иметь сложную геометрическую конфигурацию.
Для понимания принципа определения координат примем временное допущение. Пусть видеокамера направлена вниз и обозреваемая поверхность плоская, иначе: матрица видеокамеры параллельна обозреваемой поверхности. Если камера движется вдоль ширины, то для любой строки двух последовательных кадров и можно вычислить величину кросс корреляции [1, 2, 3, 4, 5]
(1)
Здесь Е(.) означает среднее, а — любую строну (или столбец) матрицы /! Следуя [6,7] получаем формулу прямого подсчета:
Величины Л ^п (ггг) можно упорядочить так, чтобы максимум был в нулевой точке:
= £ ..,,_;..■■. (3)
Здесь везде ш=1,2,...,2Ы-1. Вообще то, чтобы быть корректным, в (2) должен быть еще нормирующий множитель, разный для смещенной и несмещенной оценки [1]. Но здесь он не принципиален, и мы его опускаем.
Типичная зависимость с(т) для случая, когда камера неподвижна (а) и перемещается (б) показана на рис 1.
З
Рисунок 1 - Зависимость кросс корреляции от движения объекта
При неподвижной камере максимум функции кросс корреляции находится в точке т=0, а при подвижной в точке т=р, гдер соответствует количеству пикселей, на которое переместилась картинка за время кадра. Расстояние до объекта Б, фокусное расстояние объектива ¥о и шаг матрицы к, и перемещение на местности Ь связаны между собой соотношением:
,г.- (4)
Общее перемещение за несколько кадров равно сумме перемещений каждого кадра.
Проекция вектора перемещения. Уравнение (1) и рис. 1 показывают базовый принцип измерения перемещения. Практически более ценно иметь хотя бы две ортогональные координаты. На первый взгляд напрашивается простое решение, заключающееся в том, чтобы применить формулу (3) отдельно по ширине и отдельно по высоте кадра:
АГ)
си^тп) = (-(т
ск(п) = ЯкI ¡(п
ю
(5)
(6)
Но (1) справедлива только тогда, когда £;+рп и относятся к одной и той же строке, в противном случае это будет меж строчная кросс корреляция. Нет ничего сложного и её вычислить, но число операций возрастёт квадратично. Но, как известно, между столбцами, а также между строками, есть определенная корреляция. То есть, близко лежащие строки и столбцы весьма похожи. В некоторых случаях эту похожесть можно увеличить, применив фильтры размытия. Поэтому мы предлагаем по (5) и (6) сделать прогноз величины сдвига, а затем применить локально поиск сдвига пикселей по максимуму межстрочной кросс корреляции.
Пусть рк и рм, - величины перемещений в пикселях, соответственно по высоте и ширине кадра, полученные из (5) и (6) путем нахождения их максимумов. Теперь мы можем уточнить эти величины путем вычисления кросс корреляций в некоторой окрестности этих значений. Ширину этих окрестностей можно оценить по априорному анализу величины межстрочной корреляции.
(7)
З
где г £ \рж, — АрРц, + А], а г € [рк — А+ А]. Тут интервал Д выбирается с запасом в 2-3 величины межстрочной корреляции. В формулах (5) (6) величины т= =1,2, ...,2М-1. п=1,2, ...,2Ы-1. На практике такой диапазон избыточен и его можно уменьшить до интервала [1...3Д] или даже менее. Это всё приведет к значительному сокращению количества вычислений по (7).
Вращение. Использование укороченного интервала для вычисления (7) позволяет разместить на кадре несколько зон для таких вычислений. Можно расположить такие зоны по углам кадра, по диагоналям или другим способом. Если на кадре имеется к зон. то после нахождения максимума (7) в каждой из них, будем иметь к векторов = {р^р*^] Если движение равномерное и прямолинейное, то все вектора равны между собой. Но если камера разворачивается (скольжение), то вектора будут иметь разное направление и модуль. Сумма векторов (деленная на к) дает величину и направление V передвижения центра масс. Разница У-ик — используется для расчета проекции угла поворота в местной (движущейся) системе координат. Способы вычисления этого угла приведены в [8-12]. Расположение трёх ортогональных камер дадут необходимые величины скольжения, крена и дифферента.
Устранение артефактов. При вычислении кросс корреляции по (1) происходит потеря т значений каждой строки. При малых значениях т это существенно не влияет на положение максимума. Когда энергия отбрасываемой части становится сравнимой с энергией строки, могут появляться ложные максимумы, как показано на рис. 2. На этом рисунке смещение Х соответствует -80 пикселей. Однако ложный максимум в позиции Х=0 превышает истинный.
Для устранения этого артефакта предлагается использовать взвешивающее окно на всю строку. Для этого каждую 51, меняем на -, где Иг(/) - функция
окна [13-21]. На рис. 3 показан применения косинусного окна.
(8)
Как видно, теперь положение максимума однозначно даже при больших смещениях.
, х10:
\ . л, \
д
1 \ /^Г, \
/л\ V
г /г щ \\/ /
--
Рисунок 2 - Кросс корреляции красного, зеленого и синего слоев
//У\
///\К
— ^ ^---
У У /
*
Рисунок 3 - Кросс корреляции красного, зеленого и синего взвешенных слоев
Шум и Точность. Приведенная формула (1) не учитывает того, что значительную часть изображения сигнала может составлять шум. На практике сигнал состоит из аддитивной смеси сигнала и шума:
+ Щ (9)
Считая, что сигнал и шум независимы, получаем:
= + 2Е^}Е{пд + £{п?} ' 1 ™ (10)
Из (10) видно, что если среднее шума будет равно нулю, то это не будет оказывать влияние на Дп; -(т). Последний член — это мощность шума, которая только приподнимает зависимость Яп[;(т).
Заключение
Приведенный анализ показывает, что предлагаемый нами метод, который основан на анализе изменений видео изображения и который не использует выделения каких-то особых объектов или их метрик или признаков, вполне работоспособен и может кратковременно заменить другие методы определения полетных параметров (углов Эйлера). В дальнейшем предполагается проведение моделирования и экспериментальной проверки предложенного метода.
Работа выполнена в рамках работы по разработке теоретических основ обнаружения и оценки объектов на местности интеллектуальными робототехническими системами в условиях быстро меняющейся обстановки.
Список литературы
1 Stoica Petre, Randolph Moses, Spectral Analysis of Signal. Uppur Saddle River, N.Y. Printice Hall. 2005
2. Татаринов, В. Н. Спектры и анализ. Учебное пособие для студентов специальностей «Техническая эксплуатация транспортного радиооборудования» и «Проектирование и технология радиоэлектронных средств» / В. Н. Татаринов, С. В. Татаринов. Томск: Томский государственный университет систем управления и радиоэлектроники, 2012, 324 стр. Издание второе, стереотипное
3. Ваттс, Д. Спектральный анализ и его приложения / Ваттс Д., Дженкинс Г. МИР, Москва, 1972, 286 с.
4. Харкевич, А. А. Спектры и анализ / Харкевич А. А. Издание третье, переработанное. Государственное издательство технико-теоретической литературы М.1957 236 л.
5. Вишератин, К.Н. Практические методы оценивания спектральных параметров / Вишератин К.Н., Карманов Ф.И. Обнинск, ИАТЭ, 2008, 60 с
6. Тихонов, В.И. Статистическая радиотехника / Тихонов В.И. 2-е издание, переработанное и дополненное. М. Радио и связь, 1982. 624 с.
7. Радиоэлектронные системы: основы построения и теория. Справочник. 2-е издание, переработанное и дополненное. Под ред. Я. Д. Ширмана. М. Радиотехника.2007. 512 с ил.
8. Маркова, Е. Л. М268 Кинематика: учеб, пособие / Е. Л. Маркова, Е. В. Солодовник; на- уч. ред. М. В. Лейбович. Хабаровск: Изд-во Тихоокеан. гос. ун-та, 2016. 101 с. ISBN 978-5-7389-1902-2
9. Корн, Г. Справочник по математике для научных работников и инженеров / Корн Г. и Корн Т. М. Наука.1973.
10. Арефьев, Р.О. Экспериментальная оценка точности пространственной стабилизации квадрокоп-тера dji air 2s / Р.О. Арефьев, О.Н. Скрыпник // Международный информационно-аналитический журнал «crede experto: транспорт, общество, образование, язык». № 1 (40). Март 2024. С. 1-19
11. Скрыпник, О.Н. Радионавигационные системы воздушных судов: учебник / О.Н. Скрыпник. М.: ИНФРА-М, 2014. 248 с.
12. Скрыпник, О.Н Системы координат и координатные преобразования для задач / О.Н. Скрыпник. Научный ВестникМГТУГА. Том 20, № 04, 2017 DOI: 10.26467/2079-0619-2017-20-4-88-97
13. Дворкович, В. П. Оконные функции для гармонического анализа сигналов / Дворкович В. П., Дворкович А. В. М.: Техносфера, 2014. 112 с
14. Марпл мл. С.Л. Цифровой спектральный анализ и его приложения. Пер с англ. / Марпл мл. С.Л. М. Мир. 1990. 584с.
15. Elias Stein and Guido Weiss, Introduction to Fourier Analysis on Euclidean Spaces, Princeton University Press, 1971. ISBN 0-691-08078-X
16. Elias Stein with Timothy S. Murphy, Harmonic Analysis: Real-Variable Methods, Orthogonality, and Oscillatory Integrals, Princeton University Press, 1993.
17. Elias Stein, Topics in Harmonic Analysis Related to the Littlewood-Paley Theory, Princeton University Press, 1970.
18. Yitzhak Katznelson, An introduction to harmonic analysis, Third edition. Cambridge University Press, 2004. ISBN 0-521-83829-0; 0-521-54359-2
19. Yurii I. Lyubich. Introduction to the Theory of Banach Representations of Groups. Translated from the 1985 Russian-language edition (Kharkov, Ukraine). Birkhauser Verlag. 1988.
20. George W. Mackey, Harmonic analysis as the exploitation of symmetry-a historical survey, Bull. Amer. Math. Soc. 3 (1980), 543-698.
21. M. Bujosa, A. Bujosa and A. Garcia-Ferrer. Mathematical Framework for Pseudo-Spectra of Linear Stochastic Difference Equations, IEEE Transactions on Signal Processing vol. 63 (2015), 6498-6509.
References
1. Stoica Petre, Randolph Moses, Spectral Analysis of Signal. Uppur Saddle River, N.Y. Printice Hall. 2005
2. Tatarinov V. N., Tatarinov S. V. Spectra and Analysis. Textbook for students majoring in "Technical Operation of Transport Radio Equipment" and "Design and Technology of Radio Electronic Equipment". Tomsk: Tomsk State University of Control Systems and Radio Electronics, 2012, 324 p. Second edition, stereotyped
3. Watts D., Jenkins G. Spectral Analysis and Its Applications. MIR, Moscow, 1972, 286 p.,
4. Kharkevich A. A. Spectra and Analysis. Third edition, revised. State Publishing House of Technical and Theoretical Literature, Moscow, 1957, 236 p.
5. Visheratin K. N., Karmanov F. I. Practical Methods for Estimating Spectral Parameters. Obninsk, IATE, 2008, 60 p.
6. Tikhonov V. I. Statistical Radio Engineering. 2nd edition, revised and supplemented. M. Radio i Svyaz, 1982. 624 p.
7. Radioelectronic Systems: Basics of Design and Theory. Handbook. 2nd edition, revised and supplemented. Ed. by Ya. D. Shirman. M. Radio Engineering. 2007. 512 p. ill.
8. Markova, E. L. M268 Kinematics: textbook, manual / E. L. Markova, E. V. Solodovnik; scientific ed. M. V. Leibovich. - Khabarovsk: Publishing house of the Pacific state University, 2016.- 101 p.
9. Granino A. Korn, Theresa M. Korn, Mathematical Handbook for scientists and engineers, second, enlargend and revised ed. McGraw-Hill. N.Y. 1968
10. Arefyev, R.O. Skripnik O.N. Experimental assessment of the accuracy of spatial stabilization of the DJI Air 2S quadcopter. International information and analytical journal "crede experto: transport, society, education, language". No. 1 (40). March 2024 p. 1-19
11. Skripnik O.N. Aircraft radio navigation systems: textbook. Moscow: INFRA-M, 2014. 248 p.
12. Skripnik O.N. Coordinate systems and coordinate transformations for air navigation problems Scientific Bulletin of MSTU GA Vol. 20, No. 04, 2017 DOI: 10.26467/2079-0619-2017-20-4-88-97
13. Dvorkovich V.P., Dvorkovich A.V. Window functions for harmonic analysis of signals // M.: Tekhnosfera, 2014. - 112 p.
14. S. Lawrence Marple, Jr. Digital spectral analysis with applications. Prentice-Hall, Inc., Englewood Cliffs, New Jersey. 1980 584p.. ISBN 0-13-214149-3
15. Elias Stein and Guido Weiss, Introduction to Fourier Analysis on Euclidean Spaces, Princeton University Press, 1971. ISBN 0-691-08078-X
16. Elias Stein with Timothy S. Murphy, Harmonic Analysis: Real-Variable Methods, Orthogonality, and Oscillatory Integrals, Princeton University Press, 1993.
17. Elias Stein, Topics in Harmonic Analysis Related to the Littlewood-Paley Theory, Princeton University Press, 1970.
18. Yitzhak Katznelson, An introduction to harmonic analysis, Third edition. Cambridge University Press, 2004. ISBN 0-521-83829-0; 0-521-54359-2
19. Yurii I. Lyubich. Introduction to the Theory of Banach Representations of Groups. Translated from the 1985 Russian-language edition (Kharkov, Ukraine). Birkhauser Verlag. 1988.
20. George W. Mackey, Harmonic analysis as the exploitation of symmetry-a historical survey, Bull. Amer. Math. Soc. 3 (1980), 543-698.
21. M. Bujosa, A. Bujosa and A. Garcia-Ferrer. Mathematical Framework for Pseudo-Spectra of Linear Stochastic Difference Equations, IEEE Transactions on Signal Processing vol. 63 (2015), 6498-6509.
RESUME
V. M. Zuev, S. B. Ivanova
Estimation of the Device's Own Location Based on Video Image Analysis
Existing location determination approaches based on the analysis of incoming photo or video images are based on the identification of prominent terrain sites that have a known location. Making a chain of such places allows you to create the necessary route. Our proposed method is based on the analysis of changes in the video image without highlighting any special objects or their metrics or features.
The proposed method is based on the analysis of the sequence of frames of a video image, determining the direction of the pixel shift of frame fragments, recalculating the pixel shift into the magnitude of the movement vector.
The basic principle of the method is outlined, a method for obtaining navigation angles and calculating the distance traveled is indicated, a method for preventing some artifacts when using the method is indicated, the effect of noise on accuracy is indicated.
The above analysis shows that the proposed method, which is based on the analysis of changes in the video image and which does not use the allocation of any special objects or their metrics or features, is quite workable and can briefly replace other methods for determining flight parameters (Euler angles).
РЕЗЮМЕ
В. М. Зуев, С. Б. Иванова
Оценка собственного местоположения аппарата на основе анализа видеоизображения
Существующие подходы определения местоположения, базирующиеся на анализе поступающего фото- или видеоизображения, основаны на определении приметных мест рельефа, которые имеют известное местоположение. Составление цепочки таких мест позволяет создать необходимый маршрут. Предлагаемый нами метод основан на анализе изменений видео изображения без выделения каких-то особых объектов или их метрик или признаков.
Предлагаемый метод основан на анализе последовательности кадров видео изображения, определения направления сдвига пикселей фрагментов кадра, пересчета сдвига пикселей в величину вектора передвижения.
Изложен базовый принцип метода, указан способ получения навигационных углов и расчета пройденного расстояния, указан способ предотвращения некоторых артефактов при использовании метода, указано влияние шумов на точность.
Приведенный анализ показывает, что предлагаемый метод, который основан на анализе изменений видео изображения и который не использует выделения каких-то особых объектов или их метрик или признаков, вполне работоспособен и может кратковременно заменить другие методы определения полетных параметров (углов Эйлера).
Зуев Владимир Михайлович, зав. отделом, Федеральное государственное бюджетное научное учреждение «Институт проблем искусственного интеллекта», г. Донецк, эл. почта zvm.ipai@mail.ru, адрес: 283048, г. Донецк, ул. Артема, д. 118 б, телефон: +7949 4048702. Область научных интересов: интеллектуальные робототехни-ческие системы.
Иванова Светлана Борисовна, директор Федерального государственного бюджетного научного учреждения «Институт проблем искусственного интеллекта»,
г. Донецк, эл. почта iai_sb_ivanova@mail.ru, адрес: 283048, г. Донецк, ул. Артема,
д. 118 б, телефон: +7949 3347877 Область научных интересов: искусственный интеллект, интеллектуальные робототехнические системы.
Статья поступила в редакцию 24.03.2024.
