CC BY
28
20. Bocharov N.A., Paramonov N.B., Alexandrov A. V., Slavin O.A. Solving of tasks of cognitive control a robots group in multi-core microprocessors "Elbrus", CEUR Workshop Proceedings : Selected Papers of the 2nd International Scientific Conference "Convergent Cognitive Information Technologies", Convergent 2017, Moscow, 24-26 November 2017. Moscow, 2017, pp. 234-244.
21. Bocharov N.A., Gladkikh A.S., Paramonov N.B., Senchenkov S.V. Vozmozhnosti mikroprotsessorov El'brus-8S i El'brus-8SV dlya resheniya zadach robototekhniki [Possibilities of microprocessors Elbrus-8C and Elbrus-8SV for solving robotics problems], Robotizatsiya Vooruzhennykh Sil Rossiyskoy Federatsii: Sb. statey V voenno-nauchnoy konferentsii, Anapa, 29-30 iyulya 2020 goda [Robotization of the Armed Forces of the Russian Federation: Collection of articles of the V Military Scientific Conference, Anapa, July 29-30, 2020]. Anapa: Federal'noe gosudarstvennoe avtonomnoe uchrezhdenie "Voennyy innovatsionnyy tekhnopolis "ERA", 2020, pp. 71-83.
Статью рекомендовал к опубликованию д.т.н. О. А. Славин.
Бочаров Никита Алексеевич - ПАО «ИНЭУМ им. И.С. Брука»; e-mail:
bocharov.na@phystech.edu; г. Москва, Россия, тел.: +79167346437; к.т.н.; начальник отдела.
Глухов Антон Викторович - e-mail: glukhov_a@ineum.ru; к.т.н.; начальник отделения.
Парамонов Николай Борисович - e-mail: paramon_n@mcst.ru. д.т.н.; профессор; г.н.с.
Bocharov Nikita Alexeevich - PJSC «Brook INEUM»; e-mail: bocharov.na@phystech.edu;
Moscow, Russia; phone: +79167346437; cand. of eng. sc.; chief of department.
Glukhov Anton Viktorovich - e-mail: glukhov_a@mcst.ru; cand. of eng. sc.; chief of division.
Paramonov Nikolay Borisovich - e-mail: paramon_n@mcst.ru; dr. of eng. sc.; professor; chief
researcher.
УДК 004.932.2 DOI 10.18522/2311-3103-2022-1-247-255
А.Ю. Гагарина, П.А. Гессен, А.И. Лизин, В.А. Павлова, М.В. Созинова,
В.А. Тупиков
КОРРЕЛЯЦИОННЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ С ОБУЧЕНИЕМ В РЕАЛЬНОМ
ВРЕМЕНИ
Целью данной разработки является создание устойчивого алгоритма автоматического обнаружения и сопровождения недетерминированных объектов с обучением в реальном времени, для встраиваемых вычислительных устройств оптико-электронныч систем. В рамках представленной работы произведено исследование и анализ имеющегося мирового научно-технического опыта в области алгоритмов автоматического сопровождения общего назначения. В статье показано что современные алгоритмы автоматического сопровождения представляют собой систему, принимающую решение о текущем положении, размерах и других параметрах сопровождаемого образа на основе обучаемой модели. Авторами исследования выделены наиболее эффективные из применяемых базовых алгоритмов, подходящие для применения во встраиваемых вычислительных системах робото-технических комплексов, и разработан новый алгоритм автоматического обнаружения и сопровождения недетерминированных объектов. Проведено полунатурное тестирование разработанного алгоритма и оценена его эффективность в решении задач не только автоматического сопровождения объектов, но и задач автоматического обнаружения объектов по нескольким эталонным образам. В заключении представлены предложения по дальнейшему повышению точности разработанного алгоритма и по его оптимизации и внедрению в состав специального программного обеспечения бортовых вычислительных систем летательных аппаратов.
Автоматическое обнаружение; автосопровождение; обучение на лету; встраиваемые системы; гистограмма направленных градиентов.
A.Yu. Gagarina, P.A. Gessen, A.I. Lysine, V.A. Pavlova, M.V. Sozinova,
V.A. Tupikov
CORRELATIONAL SUPPORT ALGORITHM WITH REAL-TIME LEARNING
In order to develop a stable algorithm for automatic detection and tracking of non-deterministic objects with real-time learning for embedded computing systems with optoelectronic devices, within the framework of this work, a study and analysis of the existing world scientific and technical experience in the field of automatic tracking algorithms for general purposes was carried out. The article shows that the most stable modern automatic tracking algorithms are a system that makes a decision about the current position, size and other parameters of the tracked image based on the model being trained. The authors of the study identified the most effective of the applied basic algorithms suitable for use in embedded computing systems of robotic complexes, and developed a new algorithm for automatic detection and maintenance of non-deterministic objects. A semi-natural testing of the developed algorithm was carried out and its effectiveness was evaluated in solving problems not only of automatic tracking of objects, but also problems of automatic detection of objects using several reference images. In conclusion, proposals are presented for further improving the accuracy of the developed algorithm and for its optimization and implementation in the special software of on-board computer systems of aircraft.
Automatic detection; auto tracking; on-the-fly training; embeddable histogram of directional gradients.
Введение. В современных системах технического зрения всё ещё остро стоит проблема автоматического обнаружения и сопровождения недетерминированных объектов в осложнённых условиях наблюдения. Ни один из вариантов решения данной задачи, представленных в общедоступных научных трудах, не гарантирует надежного обнаружения и уверенного долговременного сопровождения, однако анализ тенденций в разработке новых алгоритмов позволяет сделать вывод, что они чаще всего представляют подходы с применением искусственных нейронных сетей, однако их применение в реальном времени затруднено, так как они, как правило, требуют априорного знания об объекте (обучающей выборки) и/или имеют высокую вычислительную сложность при использовании (например, требуют использования графического ускорителя уровня GeForce GTX Titan X для работы в реальном времени) [1-3]. Анализируя существующие работы, было принято решение ориентироваться на одни из наиболее эффективных по предъявляемым требованиям алгоритмов: TLD [4] и KCF [5]. Эти алгоритмы показывают высокую устойчивость к частичным или полным перекрытиям объекта слежения, а также к различным постепенным изменениям масштаба, разворота и ракурса наблюдения объекта.
Алгоритм TLD основан на использовании подхода Сопровождение -Обучение-Обнаружение (Tracking-Learning-Detection). Рассматриваемый алгоритм помимо краткосрочного сопровождения объекта от кадра к кадру, производит обнаружение всех локальных появлений объекта. На основе такого подхода к обнаружению, появляется возможность построить модель объекта слежения основанную на вейвлетах Хаара. Добавление модуля обучения позволяет снизить ошибки работы алгоритма, путем коррекции модели по результатам сопровождения. Однако, согласно данному алгоритму, обнаружение производится по всему кадру изображения с окнами разных масштабов, и хоть для обучения используются быстрые вейвлеты аара, вычислительная сложность все равно слишком велика, что не позволяет использовать данный алгоритм в системах реального времени.
Алгоритм KCF (Kernelized Correlation Filter) является представителем группы корреляционных методов. Опираясь на гистограмму направленных градиентов для обучения детектора и свойств циркулянтной матрицы (circulant matrix) [6] вместе с дискретным преобразованием Фурье для повышения скорости обработки изобра-
жения, данный метод достигает высоких скоростей обработки изображения. К минусам этого подхода можно отнести низкую вероятность обнаружения объекта после его потери.
На основе анализа данных алгоритмов, принимая во внимание их сильные и слабые стороны, авторами был разработан новый алгоритм обнаружения и сопровождения объектов, основанный на online-обучении HOG модели. Алгоритм разработан с возможностью применения во встраиваемых системах в режиме реального времени, без предварительного анализа данных, и совмещать скорость работы, присущую KCF, с точностью, свойственной TLD.
Прежде чем приступать к детальному разбору логики разработанного алгоритма, рассмотрим и обоснуем необходимость методов и подходов, используемых в предлагаемом решении.
Гистограмма направленных градиентов (HOG). Использование значений яркостей пикселей зачастую неэффективно, и большинство алгоритмов обработки изображений, как правило, извлекают из входных данных наиболее значимую для дальнейшего применения информацию - ключевые признаки изображения или его дескриптор, позволяющие определить объект интереса минимальным количеством данных, сокращая тем самым размерность входных данных и облегчая дальнейшую их обработку. Метод HOG позволяет выделить и получить из изображения признаки, описывающие объект.
Основной идеей алгоритма является допущение, что внешний вид и форма объекта на участке изображения могут быть описаны распределением градиентов интенсивности или направлением краев. Градиенты изображения полезны, так как их значение велико на краях и углах какой-либо фигуры (областях резкого изменения интенсивности), а именно эти области несут в себе ключевую информацию о форме объекта, в отличие от плоских (монотонных) регионов.
Алгоритм преобразования изображения в HOG-дескриптор:
1. Вычисление градиента изображения по осям x и y (рис. 1).
2. Вычисление гистограмм ячеек изображения.
3. Формирование и нормирование блоков дескрипторов.
4. Финальное вычисление вектора ключевых признаков.
а) б) в) г)
Рис. 1. Пример распознавания с использование HOG; а - исходное изображение; б - гистограмма направленных градиентов; в - дескриптор HOG с положительными весами; г - дескриптор с отрицательными весами
Таким образом на выходе, после преобразования из исходных значений яркости получается вектор численных значений, описывающий изображение.
HOG-дескриптор является отличным методом описания изображения ввиду своей высокой дискриминативности, скорости работы, малого количества хранимой информации, нашедшим признание среди исследователей в различных областях применения [8-10], а также имеет широкие возможности для оптимизации и ускорения своей работы за счет применения векторных команд [11] и других методов [12]. К недостаткам данного метода можно отнести отсутствие поворотной инвариантности в финальном виде (на стадии составления гистограмм возможен ограниченный поворот на фиксированный угол) и необходимость этапа предварительной обработки изображения, который оказывает сильное влияние на качество работы алгоритма, если исходные изображения имеют сильные различия в масштабе. В нашей реализации этап предварительной обработки сводится к масштабированию изображения к фиксированной величине, определяемой в зависимости от исходного размера выделенной части изображения, и происходит вычислительно быстро.
Дискретное преобразование Фурье. Преобразование Фурье разложит изображение на составляющие синуса и косинуса. Другими словами, он преобразует изображение из пространственной области в частотную область. Идея состоит в том, что любая функция может быть точно аппроксимирована суммой бесконечных функций синуса и косинуса. Преобразование Фурье - способ, как это сделать. Математически преобразование Фурье двумерных изображений выглядит так:
Р(к, I) = Е^ ^ "1 / ( (,]) е-'2 я(!+£). (1)
Здесь f - значение изображения в его пространственной области, а F - в его частотной области. Результатом преобразования являются комплексные числа. Отображение этого возможно либо через реальное изображение и комплексное изображение, либо через амплитудное и фазовое изображения. Однако во всех алгоритмах обработки изображений интерес представляет только изображение амплитуды, поскольку оно содержит всю необходимую нам информацию о геометрической структуре изображения.
Идея применения состоит в том, чтобы определить геометрическую ориентацию, присутствующую в изображении. Например, давайте выясним, является ли корабль развернутым (смещенным) по углу? Корабль можно представить в виде нескольких горизонтальных линий это можно увидеть и в случае преобразования Фурье.
В случае горизонтального:
Рис. 2. Горизонтальный корабль
В случае смещенного так:
Рис. 3. Повернутый корабль
Можно заметить, что самые влиятельные компоненты частотной области (самые яркие точки на изображении магнитуды) следуют геометрическому вращению объектов на изображении. Исходя из этого, появляется возможность рассчитать смещение и выполнить поворот изображения, чтобы исправить возможное неправильное выравнивание.
Применяемый подход. На вход системы подается видеопоток и описывающий прямоугольник, определяющий первоначальное положение объекта слежения, или обученная модель. На стадии инициализации, основываясь на соотношении сторон исходной рамки, изображение приводится к квадратной форме, к которому будут приводиться последующие изображения объекта даже при изменении их масштаба и выбирается описывающая область вокруг объекта кратную двум, что упростит работу с гистограммами на следующих этапах.
Основная идея отслеживания корреляционного фильтра заключается в построении оптимального фильтра изображения таким образом, чтобы фильтрация входного изображения давала желаемый ответ. Желаемый ответ обычно имеет форму Гаусса с центром в целевом местоположении.
Фильтр обучается на переведенных (сдвинутых) экземплярах целевого изображения. При тестировании оценивается отклик фильтра и его максимум дает новое положение цели. Фильтр обучается в режиме онлайн и обновляется последовательно с каждым кадром, чтобы алгоритм сопровождения адаптировался к умеренным изменениям цели.
Основным преимуществом предлагаемого метода отслеживания является эффективность вычислений, так же вычисления выполняются в области Фурье. Таким образом алгоритм сопровождения работает в супер реальном времени (несколько сотен кадров в секунду). Существуют как линейные, так и нелинейные версии фильтров, основанные на объединяющем принципе наименьших квадратов Энрикеса и др.
Линейный корреляционный фильтр. Оптимальный линейный фильтр w находится путем решения регуляризованной задачи наименьших квадратов
тти( | | XV?-у| | 2+Х | | и/ | | 2 ) , (2)
где X - матрица циркуляции патча целевого изображения. В строках X хранятся все возможные циклические сдвиги изображения, у - желаемый ответ, X - вес ре-гуляризатора.
Решение (2) есть
и = (ХТХ + XI) - 1 ХТу. (3)
Поскольку X - циркулянтная матрица, w в (3) можно быстро вычислить, используя операции с областью Фурье.
- = -О —-—, (4)
где символы обозначают: л образ Фурье, О покомпонентное умножение, * комплексно-сопряженное. Кроме того, отклик фильтра г на тестовом изображении z вычисляется не с помощью скользящего окна, а опять же более эффективно с помощью
- = О (5)
Помимо высокой эффективности, предложенный алгоритм сотличчается простой реализацией на встраиваемых вычислительных ОЭС.
Рис. 4. Применяемый подход
Тестирование алгоритма. Тестирование выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ», и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены 15 видеопоследовательностей, содержащих объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Разработанный корреляционный алгоритм сравнивался с другими разработанными подходами: классический корреляционный алгоритм сопровождения и МАРС [ ]. Используя метрику IoU (Intersection over Union) [20], подразумевающую оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения.
Jo и = е [ О ; 1 ] , (6)
S1US2 L J V '
S1 - истинное положение объекта в кадре, S2 результатом работы того или иного алгоритма сопровождения.
Результат IoU нормирован от 0 до 1, что позволяет численно определить точность предсказания истинного положения объекта и его размеров.
В дополнение к IoU возможно добавить еще одну метрику. Анализируя ошибки определения центра (средняя квадратическая ошибка, root mean square error) объекта, позволяющие оценить отклонение между истинным положением отслеживаемого объекта и полученным положением в результате сопровождения объекта. В выражении (7) представлена формула расчета среднеквадратичной ошибки отклонения центра по всей видеопоследовательности, длиной N кадров.
RMSE = i * - х2У + (у,- у2У
(7)
где N - количество кадров в видеопоследовательности, XI и у! - координаты центра прямоугольника, предсказывающего положение объекта, от тестируемого алгоритма, х2 и у2 - координаты центра прямоугольника, описывающего истинное положение объекта.
Данная метрика хорошо дополняет оценку области перекрытия.
Результаты систематизации экспериментов, проведенных по данной методике, представлены на рис. 5.
Проанализировав результаты 20 экспериментов, можно сказать, что разработанный алгоритм показал отклонение 1ои в 0.68 в отличии от других подходов.
0.2
0.9
0.8
0.7
0.6 0.5 0.4
о.а
0.1
^ Корреляционный — МАРС
Классический
коррелятор
О
123456789 10 11 12 13 14 15 16171819 20
Рис. 5. Графики областей пересечения
Заключение. Резюмируя изложенное, можно сказать, что разработанный алгоритм позволяет выполнять высокоскоростную обработку изображений в реальном масштабе времени, что дает возможность использовать данный алгоритм, например, в составе специального программного обеспечения оптико-электронных систем беспилотных и пилотируемых летательных аппаратов.
Использование предложенного обучаемого алгоритма показало высокие результаты в сравнении конкурирующими подходами и с классическими алгоритмами на основе сравнения по шаблону для средне и крупноразмерных объектов.
На следующем этапе планируется подключить обработку цветного канала, для повышения качества сопровождения и улучшить обнаружение объекта за счет увеличения размера HOG.
1. Zdenek Kalal, Krystian Mikolajczyk, and Jiri Matas. Tracking-Learning-Detection // IEEE transactions on pattern analysis and machine intelligence. - January 2010. - Vol. 6, No. 1.
2. Georg Nebehay, Roman Pflugfelder. Consensus-based Matching and Tracking of Keypoints for Object Tracking. Safety and Security Department, AIT Austrian Institute of Technology.Austria, 2014.
3. Sam Hare, Amir Safari, Philip H.S. Torr. Struck: Structured Output Tracking with Kernels, Oxford Brookes University, Oxford, UK 2Sony Computer Entertainment Europe, London, UK, 2014.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, No. 7. - P. 1409-1422.
5. Henriques J.F., et al. High-Speed Tracking with Kernelized Correlation Filters // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2015. - Vol. 37, No. 3. - P. 583-596.
6. Бондаренко В.А., Каплинский Г.Э., Павлова В.А., Тупиков В.А. Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов // Известия ЮФУ. Технические науки. - 2019. - № 1 (213). - С. 281-293.
7. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors // Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
8. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors - Survey // Foundations and Trends in Computer Graphics and Vision. - 2008. - No. 3 (3). - P. 177-280.
9. Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary Bradski. ORB: an efficient alternative to SIFT or SURF. Willow Garage, Menlo Park, California, 2011.
10. Erich Schubert, Jörg Sander, Martin Ester, Hans Peter Kriegel, Xiaowei Xu. DBSCAN Revisited, Revisited: Why and How You Should (Still) Use DBSCAN // ACM Trans. Database Syst. - 2017.
11. Amila Jakubovic, Jasmin Velagic. Image Feature Matching and Object Detection using Brute-Force Matchers. Faculty of Electrical Engineering University of Sarajevo Sarajevo, Bosnia and Herzegovina, 2018.
12. Lucas B.D. and Kanade T. An iterative image registration technique with an application to stereo vision // International Joint Conference on Artificial Intelligence. - 1981. - P. 674-679.
13. Eibe Frank, Remco R. Bouckaert. Naive Bayes for Text Classification with Unbalanced Classes. Computer Science Department, University of Waikato, New Zealand, Xtal Mountain Information Technology, Auckland, New Zealand, 2006.
14. Lowe D.G. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision. - 1999. - No. 2. - P. 1150-1157.
БИБЛИОГРАФИЧЕСКИМ СПИСОК
15. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization // Remote Sensing. - 2019. - No. 11.
16. Horn B.K.P. and Schunck B.G. Determining optical flow // Artificial intelligence. - 1981.
- Vol. 17, No. 1-3. - P. 185-203.
17. Shi J. and Tomasi C. Good features to track // Conference on Computer Vision and Pattern Recognition. - 1994.
18. Leutenegger S., Chli M., and Siegwart R.Y. BRISK: Binary robust invariant scalable keypoints. In ICCV, 2011.
19. Shahed Nejhum S.M., Ho J., and Yang M.-H. Visual tracking with histograms and articulating blocks. In CVPR, 2008.
20. Zhang L. and van der Maaten L. Structure preserving object tracking. In CVPR, 2013.
21. Martin Ester, Hans-Peter Kriegel, Jiirg Sander, Xiaowei Xu. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Institute for Computer Science, University of Munich Oettingenstr. 67, D-80538 Miinchen, Germany, 1996.
22. Taheri S., Mammadov M. Learning the naive Bayes classifier with optimization models. Centre for Informatics and Applied Optimization School of Science, Information Technology and Engineering, University of Ballarat, Victoria 3353, Australia. 2.
23. Andrew Moores. Efficient memory-based learning for robot control. 15 JJ Thomson Avenue Cambridge CB3 0FDUnited Kingdom. 1990.
24. Молчанов А.С. Иконические системы воздушной разведки: основы построения, оценка качества и их применение в комплексах с беспилотными летательными аппаратами.
- Волгоград: Панорама, 2017. - 216 с.
REFERENCES
1. Zdenek Kalal, Krystian Mikolajczyk, and Jiri Matas. Tracking-Learning-Detection, IEEE transactions on pattern analysis and machine intelligence, January 2010, Vol. 6, No. 1.
2. Georg Nebehay, Roman Pflugfelder. Consensus-based Matching and Tracking of Keypoints for Object Tracking. Safety and Security Department, AIT Austrian Institute of Technolo-gy.Austria, 2014.
3. Sam Hare, Amir Saffari, Philip H.S. Torr. Struck: Structured Output Tracking with Kernels, Oxford Brookes University, Oxford, UK 2Sony Computer Entertainment Europe, London, UK, 2014.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, Vol. 34, No. 7, pp. 1409-1422.
5. Henriques J.F., et al. High-Speed Tracking with Kernelized Correlation Filters, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, Vol. 37, No. 3, pp. 583-596.
6. Bondarenko V.A., Kaplinskiy G.E., Pavlova V.A., Tupikov V.A. Metod poiska i sopostavleniya klyuchevykh osobennostey izobrazheniy dlya raspoznavaniya obrazov i soprovozhdeniya ob"ektov [Method of search and comparison of key features of images for pattern recognition and object tracking], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2019, No. 1 (213), pp. 281-293.
7. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors, Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
8. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors - Survey, Foundations and Trends in Computer Graphics and Vision, 2008, No. 3 (3), pp. 177-280.
9. Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary Bradski. ORB: an efficient alternative to SIFT or SURF. Willow Garage, Menlo Park, California, 2011.
10. Erich Schubert, Jörg Sander, Martin Ester, Hans Peter Kriegel, Xiaowei Xu. DBSCAN Revisited, Revisited: Why and How You Should (Still) Use DBSCAN, ACM Trans. Database Syst., 2017.
11. Amila Jakubovic, Jasmin Velagic. Image Feature Matching and Object Detection using Brute-Force Matchers. Faculty of Electrical Engineering University of Sarajevo Sarajevo, Bosnia and Herzegovina, 2018.
12. Lucas B.D. and Kanade T. An iterative image registration technique with an application to stereo vision, International Joint Conference on Artificial Intelligence, 1981, pp. 674-679.
13. Eibe Frank, Remco R. Bouckaert. Naive Bayes for Text Classification with Unbalanced Classes. Computer Science Department, University of Waikato, New Zealand, Xtal Mountain Information Technology, Auckland, New Zealand, 2006.
14. Lowe D.G. Object recognition from local scale-invariant features, Proceedings of the International Conference on Computer Vision, 1999, No. 2, pp. 1150-1157.
15. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization, Remote Sensing, 2019, No. 11.
16. Horn B.K.P. andSchunckB.G. Determining optical flow, Artificial intelligence, 1981, Vol. 17, No. 1-3, pp. 185-203.
17. Shi J. and Tomasi C. Good features to track, Conference on Computer Vision and Pattern Recognition, 1994.
18. Leutenegger S., Chli M., and Siegwart R.Y. BRISK: Binary robust invariant scalable keypoints. In ICCV, 2011.
19. Shahed Nejhum S.M., Ho J., and Yang M.-H. Visual tracking with histograms and articulating blocks. In CVPR, 2008.
20. ZhangL. and van derMaaten L. Structure preserving object tracking. In CVPR, 2013.
21. Martin Ester, Hans-Peter Kriegel, Jiirg Sander, Xiaowei Xu. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Institute for Computer Science, University of Munich Oettingenstr. 67, D-80538 Miinchen, Germany, 1996.
22. Taheri S., Mammadov M. Learning the naive Bayes classifier with optimization models. Centre for Informatics and Applied Optimization School of Science, Information Technology and Engineering, University of Ballarat, Victoria 3353, Australia. 2.
23. Andrew Moores. Efficient memory-based learning for robot control. 15 JJ Thomson Avenue Cambridge CB3 0FDUnited Kingdom. 1990.
24. Molchanov A.S. Ikonicheskie sistemy vozdushnoy razvedki: osnovy postroeniya, otsenka kachestva i ikh primenenie v kompleksakh s bespilotnymi letatel'nymi apparatami [Iconic aerial reconnaissance systems: fundamentals of construction, quality assessment and their application in complexes with unmanned aerial vehicles]. Volgograd: Panorama, 2017, 216 p.
Статью рекомендовал к опубликованию к.т.н. П.К. Шульженко.
Тупиков Владимир Алексеевич - АО «Научно-производственное предприятие «Авиационная и морская электроника». e-mail: tupikov@nppame.ru, г. Санкт-Петербург, Россия; тел.: 88123274667; д.т.н.; профессор.; зам. ген. Директора; директор научно-производственного комплекса робототехнических систем специального назначения (НПК РТС СН).
Павлова Валерия Анатольевна - e-mail: pavlova@nppame.ru; к.т.н.; зам. директора НПК РТС СН по НИОКР.
Гагарина Алена Юрьевна - e-mail: gagarina_ay@nppame.ru; зам. начальника средств интеллектуальной обработки изображений (ЦСИОИ) НПК РТС СН.
Гессен Павел Алексеевич - e-mail: gessen_pa@nppame.ru; старший научный сотрудник отдела прикладного программирования (ЦСИОИ) НПК РТС СН.
Лизин Алексей Игоревич - e-mail: lizin_a@nppame.ru; начальник центра средств интеллектуальной обработки изображений (ЦСИОИ) НПК РТС СН.
Созинова Мария Владимировна - e-mail: sozinova@nppame.ru;. тел.: 88123274667.
Tupikov Vladimir Alekseevich - SPE "Research and Production Enterprise "Air and Marine Electronics"; e-mail: tupikov@nppame.ru; Saint Petersburg, Russia; phone: +78123274667; dr. of eng. sc.; professor; Deputy Director General, Director of Research and production complex of special purpose robotic systems.
Pavlova Valeria Anatolyevna - e-mail: pavlova@nppame.ru; cand. of eng. sc.; Deputy Director of research at Research and production complex of special purpose robotic systems.
Gagarina Alena Yurevna - e-mail: gagarina_ay@nppame.ru; Deputy ^ief of intellectual image processing center (IIPC) RPCSPRS.
Gessen Pavel Alekseevich - e-mail: gessen_pa@nppame.ru; researcher department of Applied Programming IIPC RPCSPRS.
Lizin Aleksey Igorevich - e-mail: lizin_a@nppame.ru; chief of intellectual image processing center (IIPC) RPCSPRS.
Sozinova Maria Vladimirovna - e-mail: sozinova@nppame.ru; phone: +78123274667.
