CC BY
4
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.932.2
DOI: 10.24412/2071-6168-2022-11-3-13
КВАДРАНТНО-ОБУЧАЕМЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ НЕДЕТЕРМИНИРОВАННЫХ ОБЪЕКТОВ
А.Ю. Гагарина, П.А. Гессен, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков
Целью данной статьи является создание устойчивого алгоритма автоматического обнаружения и сопровождения недетерминированных объектов с обучением в реальном времени для встраиваемых вычислительных устройств оптико-электронных систем. Авторами исследования разработан новый алгоритм автоматического обнаружения и сопровождения недетерминированных объектов. Проведено полунатурное тестирование разработанного алгоритма и оценена его эффективность. Представлены предложения по дальнейшему повышению точности разработанного алгоритма и по его оптимизации и внедрению в состав специального программного обеспечения бортовых вычислительных систем летательных аппаратов.
Ключевые слова: автоматическое обнаружение, автосопровождение, обучение на лету, встраиваемые системы, гистограмма направленных градиентов.
В современных системах технического зрения остро стоит проблема автоматического обнаружения и сопровождения недетерминированных объектов в осложнённых условиях наблюдения. Ни один из вариантов решения данной задачи, представленных в общедоступных научных трудах, не гарантирует надежного обнаружения и уверенного долговременного сопровождения. Однако анализ тенденций в разработке новых алгоритмов позволяет сделать вывод, что направления чаще всего представляют подходы с применением искусственных нейронных сетей. Но их применение в реальном времени затруднено, так как они, как правило, требуют априорного знания об объекте (обучающей выборки) и/или имеют высокую вычислительную сложность при использовании (например, графического ускорителя уровня GeForce GTX Titan X для работы в реальном времени) [1-3].
В результате анализа существующих работ было принято решение ориентироваться на одни из наиболее эффективных по предъявляемым требованиям алгоритмов: TLD [4] и KCF [5]. Эти алгоритмы показывают высокую устойчивость к частичным или полным перекрытиям объекта слежения, а также к различным постепенным изменениям масштаба, разворота и ракурса наблюдения объекта.
Алгоритм TLD основан на использовании подхода «Сопровождение - Обучение - Обнаружение» (Tracking - Learning - Detection). Рассматриваемый алгоритм помимо краткосрочного сопровождения объекта от кадра к кадру осуществляет обнаружение всех локальных появлений объекта. На основе такого подхода к обнаружению появляется возможность построить модель объекта слежения, основанную на вейвлетах Хаара. Добавление модуля обучения позволяет снизить ошибки работы алгоритма путем коррекции модели по результатам сопровождения. Однако согласно данному алгоритму обнаружение производится по всему кадру изображения с окнами разных масштабов, и хотя для обучения используются быстрые вейвлеты Хаара, вычислительная сложность все равно слишком велика, что не позволяет использовать данный алгоритм в системах реального времени.
Алгоритм KCF (Kernelized Correlation Filter) является представителем группы корреляционных методов. Опираясь на гистограмму направленных градиентов для обучения детектора и свойств циркулянтной матрицы (circulant matrix) [6] вместе с дискретным преобразованием Фурье с целью повышения скорости обработки изображения, данный метод достигает высоких скоростей обработки изображения. К минусам этого подхода можно отнести низкую вероятность обнаружения объекта после его потери.
На основе анализа данных алгоритмов, принимая во внимание их сильные и слабые стороны, авторами был разработан новый алгоритм обнаружения и сопровождения объектов, основанный на online-обучении HOG-модели. Алгоритм разработан с возможностью применения во встраиваемых системах в режиме реального времени, без предварительного анализа данных, и совмещения скорости работы, присущей KCF, с точностью, свойственной TLD.
Прежде чем приступать к детальному разбору логики разработанного алгоритма, рассмотрим и обоснуем необходимость методов и подходов, используемых в предлагаемом решении.
Гистограмма направленных градиентов (HOG). Использование значений яркостей пикселей зачастую неэффективно, и большинство алгоритмов обработки изображений, как правило, извлекают из входных данных наиболее значимую для дальнейшего применения информацию -ключевые признаки изображения или его дескриптор, позволяющие определить объект интереса минимальным количеством данных, сокращая
тем самым размерность входных данных и облегчая дальнейшую их обработку. Метод HOG позволяет выделить и получить из изображения признаки, описывающие объект.
Основной идеей алгоритма является допущение, что внешний вид и форма объекта на участке изображения могут быть описаны распределением градиентов интенсивности или направлением краев. Градиенты изображения полезны, так как их значение велико на краях и углах какой-либо фигуры (областях резкого изменения интенсивности), а именно эти области несут в себе ключевую информацию о форме объекта, в отличие от плоских (монотонных) регионов.
Алгоритм преобразования изображения в HOG-дескриптор:
1. Вычисление градиента изображения по осям x и y (рис. 1).
2. Определение гистограмм ячеек изображения.
3. Формирование и нормирование блоков дескрипторов.
4. Финальное вычисление вектора ключевых признаков.
Рис. 1. Пример распознавания с использование HOG: а - исходное изображение; б - гистограмма направленных градиентов; в - дескриптор HOG с положительными весами; г - дескриптор с отрицательными весами
Таким образом, на выходе, после преобразования исходных значений яркости получается вектор численных значений, описывающий изображение.
HOG-дескриптор является отличным методом описания изображения ввиду своей высокой дискриминативности, скорости работы, малого количества хранимой информации, нашедшим признание среди исследователей в различных областях применения [8 - 10], а также имеет широкие возможности для оптимизации и ускорения своей работы за счет применения векторных команд [11] и других методов [12]. К недостаткам данного метода можно отнести отсутствие поворотной инвариантности в финальном виде (на стадии составления гистограмм возможен ограниченный поворот на фиксированный угол) и необходимость этапа предварительной обработки изображения, который оказывает сильное
5
влияние на качество работы алгоритма, если исходные изображения имеют значительные различия в масштабе. В нашей реализации этап предварительной обработки сводится к масштабированию изображения к фиксированной величине, определяемой в зависимости от исходного размера выделенной части изображения, и быстрому вычислению.
Дискретное преобразование Фурье. Преобразование Фурье разложит изображение на составляющие синуса и косинуса. Другими словами, он преобразует изображение из пространственной области в частотную. Идея состоит в том, что любая функция может быть точно аппроксимирована суммой бесконечных функций синуса и косинуса. Преобразование Фурье одним из способов, как это сделать. Математически преобразование Фурье двумерных изображений выглядит так:
N-1Ш-1 ~*2п
р(Ы)= I(и) ^Ш Ш; (1)
1=0 ]=0
Здесь f - значение изображения в его пространственной области, а F - в его частотной области. Результатом преобразования являются комплексные числа. Отображение этого возможно либо через реальное и комплексное изображения, либо через амплитудное и фазовое изображения. Однако во всех алгоритмах обработки изображений интерес представляет только изображение амплитуды, поскольку оно содержит всю необходимую нам информацию о геометрической структуре изображения.
Идея применения состоит в том, чтобы определить геометрическую ориентацию, присутствующую в изображении. Например, выясним, является ли корабль развернутым (смещенным) по углу? Корабль можно представить в виде нескольких горизонтальных линий (это можно увидеть и в случае преобразования Фурье).
В случае горизонтального изображения будем иметь следующий вид (рис. 2).
Рис. 2. Горизонтальный корабль
В случае смещенного изображения получим (рис. 3).
Рис. 3. Повернутый корабль
6
Можно заметить, что самые влиятельные компоненты частотной области (самые яркие точки на изображении магнитуды) следуют геометрическому вращению объектов на изображении. Исходя из этого, появляется возможность рассчитать смещение и выполнить поворот изображения, чтобы исправить возможное неправильное выравнивание.
Применяемый подход.
На вход системы подаются видеопоток и описывающий прямоугольник, который определяет первоначальное положение объекта слежения, или обученную модель. На стадии инициализации, основываясь на соотношении сторон исходной рамки, изображение приводится к квадратной форме, к которой будут приводиться последующие изображения объекта, даже при изменении их масштаба, и выбирается описывающая область вокруг объекта кратная двум, что упростит работу с гистограммами на следующих этапах.
Основная идея отслеживания корреляционного фильтра заключается в построении оптимального фильтра изображения таким образом, чтобы фильтрация входного изображения давала желаемый ответ, который обычно имеет форму Гаусса с центром в целевом ме стоположении.
Фильтр обучается на переведенных (сдвинутых) экземплярах целевого изображения. При тестировании оценивается отклик фильтра, и его максимум дает новое положение цели. Фильтр обучается в режиме онлайн и обновляется последовательно с каждым кадром, чтобы алгоритм сопровождения адаптировался к умеренным изменениям цели.
Основным преимуществом предлагаемого метода отслеживания является эффективность вычислений, так же вычисления выполняются в области Фурье. Таким образом, алгоритм сопровождения работает в супер реальном времени (несколько сотен кадров в секунду). Существуют как линейные, так и нелинейные версии фильтров, основанные на объединяющем принципе наименьших квадратов Энрикеса и др.
Линейный корреляционный фильтр
Оптимальный линейный фильтр w находится путем решения регуляризованной задачи наименьших квадратов:
2 2
ттм>( || Xw - у || || w || ), (2)
где X - матрица циркуляции патча целевого изображения. В строках X хранятся все возможные циклические сдвиги изображения, у - желаемый ответ, X - вес регуляризатора.
Решение (2) есть
^/=(ХТХ + М1)-1 Хту. (3)
Поскольку X - циркулянтная матрица, w (3) можно быстро вычислить, используя операции с областью Фурье:
х*Ох+^. (4)
7
где А - образ Фурье; О - покомпонентное умножение; * - комплексно-сопряженное.
Кроме того, отклик фильтра г на тестовом изображении z вычисляется не с помощью скользящего окна, а более эффективно -с помощью
г=2О ^ (5)
Помимо высокой эффективности, предложенный алгоритм отличается простой реализацией на встраиваемых вычислительных ОЭС (рис. 4).
Обновить Корреляция
Корреляция
9
Обученный отклик
Обнаруженный отклик
Рис. 4. Применяемый подход
Тестирование алгоритма.
Тестирование алгоритма выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ», и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены 15 видеопоследовательностей, содержащих объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Разработанный корреляционный алгоритм сравнивался с другими разработанными подходами: классический корреляционный алгоритм сопровождения и МАРС. Используя метрику IoU (Intersection over Union) [20], подразумевающую оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения, получим
IoU = S1^S2 е[0;1] (6)
S1 u S 2 L J
где S1 - истинное положение объекта в кадре, S2 - результат работы того или иного алгоритма сопровождения.
Результат IoU нормирован от 0 до 1, что позволяет численно определить точность предсказания истинного положения объекта и его размеров.
В дополнение к IoU возможно добавить еще одну метрику. Анализируя ошибки определения центра (средняя квадратическая ошибка, root mean square error) объекта, позволяющие оценить отклонение между истинным положением отслеживаемого объекта и полученным положением в результате сопровождения объекта. Формула расчета среднеквадратичной ошибки отклонения центра по всей видеопоследовательности, длиной N кадров, представлена в виде
RMSE = J-^№i-*2)2 + (yi-y2)2), (7)
где N - количество кадров в видеопоследовательности; x1 и у1 - координаты центра прямоугольника, предсказывающего положение объекта, от тестируемого алгоритма; x2 и у2 - координаты центра прямоугольника, описывающего истинное положение объекта.
Данная метрика хорошо дополняет оценку области перекрытия.
Результаты систематизации экспериментов, проведенных по данной методике, представлены на рис. 5.
■ЯЛ
О I—I—I—I—I—I—I—I—I—р—I—р—I—I—I—I—I—I—I—I—I
12345678 9 10 1112 13 14 15 16171819 20
Рис. 5. Графики областей пересечения
Проанализировав результаты 20 экспериментов, можно сказать, что разработанный алгоритм показал отклонение IoU в 0.68 в отличие от других подходов.
Резюмируя изложенное, делаем вывод что разработанный алгоритм позволяет выполнять высокоскоростную обработку изображений в реальном масштабе времени, что дает возможность использовать данный алгоритм, например, в составе специального программного обеспечения оптико-электронных систем беспилотных и пилотируемых летательных аппаратов.
Корреляционный — МАРС
Классический коррелятор
Использование предложенного обучаемого алгоритма показало высокие результаты в сравнении с конкурирующими подходами и с классическими алгоритмами на основе сравнения по шаблону для средне-и крупноразмерных объектов.
На следующем этапе планируется подключить обработку цветного канала для повышения качества сопровождения и улучшить обнаружение объекта путем увеличения размера HOG.
Список литературы
1. Zdenek Kalal, Krystian Mikolajczyk and Jiri Matas. Tracking-Learning-Detection // IEEE transactions on pattern analysis and machine intelligence. 2010. V. 6. № 1. JANUARY.
2. Georg Nebehay, Roman Pflugfelder. Consensus-based Matching and Tracking of Keypoints for Object Tracking, Safety and Security Department / AIT Austrian Institute of Technology.Austria. 2014.
3. Sam Hare, Amir Saffari, Philip H. S. Torr, Struck: Structured Output Tracking with Kernels, Oxford Brookes University, Oxford // UK 2Sony Computer Entertainment Europe, London, UK. 2014
4. Kalal Z., Mikolajczyk K., Matas J. Tracking - Learning - Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, V. 34. № 7. P. 1409 - 1422.
5. Henriques J.F., et al. High-Speed Tracking with Kernelized Correlation Filters // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015. V. 37. № 3. P. 583-596.
6. Бондаренко В.А., Каплинский Г.Э., Павлова В.А., Тупиков В.А. Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов // Известия ЮФУ. Технические науки. 2019. № 1(213), С. 281-293.
7. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors // Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
8. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors -Survey // Foundations and Trends in Computer Graphics and Vision. 2008, 3(3). P. 177-280.
9. ORB: an efficient alternative to SIFT or SURF / Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary Bradski. Willow Garage, Menlo Park. California. 2011.
10. DBSCAN Revisited, Revisited: Why and How You Should (Still) Use DBSCAN / Erich Schubert, Jörg Sander, Martin Ester, Hans Peter Kriegel, Xiaowei Xu // ACM Trans. Database Syst. 2017.
11. Amila Jakubovic, Jasmin Velagic. Image Feature Matching and Object Detection using Brute-Force Matchers // Faculty of Electrical Engineering/University of Sarajevo Sarajevo, Bosnia and Herzegovina. 2018.
12. Lucas B.D. and Kanade T., An iterative image registration technique with an application to stereo vision // International Joint Conference on Artificial Intelligence. 1981. P. 674-679.
13. Eibe Frank, Remco R. Bouckaert. Naive Bayes for Text Classification with Unbalanced Classes // Computer Science Department, University of Waikato, New Zealand, Xtal Mountain Information Technology, Auckland, New Zealand. 2006.
14. Lowe D.G. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision, 2. 1999. P. 1150-1157.
15. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization. Remote Sensing 2019. 11.
16. Horn B.K.P. and Schunck B.G., Determining optical flow, Artificial intelligence, 1981. V. 17, № 1-3. P. 185-203.
17. Shi J. and Tomasi C., Good features to track // Conference on Computer Vision and Pattern Recognition. 1994.
18. Leutenegger S., Chli M., and Siegwart R.Y. BRISK: Binary robust invariant scalable keypoints // ICCV. 2011.
19. Shahed Nejhum S.M., Ho J., and Yang M.-H. Visual tracking with histograms and articulating blocks // CVPR, 2008.
20. L. Zhang and L. van der Maaten. Structure preserving object tracking // CVPR, 2013.
21. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise / Martin Ester, Hans-Peter Kriegel, Jiirg Sander, Xiaowei Xu // Institute for Computer Science, University of Munich Oettingenstr. 67, D-80538. Miinchen, Germany. 1996.
22. Taheri S., Mammadov M. Learning the naive Bayes classifier with optimization models. Centre for Informatics and Applied Optimization School of Science // Information Technology and Engineering, University of Ballarat, Victoria 3353, Australia. 2.
23. Andrew Moores. Efficient memory-based learning for robot control // 15 JJ Thomson Avenue Cambridge CB3 0FDUnited Kingdom. 1990.
24. Молчанов А.С. Иконические системы воздушной разведки: основы построения, оценка качества и их применение в комплексах с беспилотными летательными аппаратами. Волгоград: Панорама, 2017. 216 с.
Гагарина Алена Юрьевна, заместитель начальника средств интеллектуальной обработки изображений, gagarina_ay@nppame.ru, Россия, Санкт-Петербург, АО ««Научно-производственное предприятие «Авиационная и морская электроника»,
Гессен Павел Алексеевич, старший научный сотрудник отдела прикладного программирования, gessen_pa@nppame.ru, Россия, Санкт-Петербург,
АО « Научно-производственное предприятие « Авиационная и морская электроника»,
Лизин Алексей Игоревич, начальник центра средств интеллектуальной обработки изображений, lizin_a@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, заместитель директора НПК РТС СН по НИОКР, pavlova@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Созинова Мария Владимировна, начальник отдела перспективных методов обработки изображений, sozinova@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, заместитель генерального директора, директор научно-производственного комплекса робототехнических систем специального назначения (НПК РТС СН), tupikov@,nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
QUADRANT-LEARNING ALGORITHM FOR AUTOMATIC DETECTION AND MAINTENANCE OF NON-DETERMINISTIC OBJECTS
A.Y. Gagarina, P.A. Gessen, A.I. Lizin, V.A. Pavlova, M.V. Sozinova, V.A. Tupikov
The purpose of this development is to create an automatic algorithm for detecting and tracking non-deterministic objects with learning in the nature of time, for setting optoelectronic systems in computing devices. The authors of the study developed a new algorithm for identifying and maintaining non-deterministic objects. Semi-natural testing of the algorithm and evaluation of its effectiveness were carried out. Within the framework of the program, it was proposed to develop a promising algorithm and its purpose and to introduce it into the special software of on-board computer systems of aircraft.
Key words: Automatic detection, auto tracking, on-the-fly training, embeddable histogram of directional gradients.
Gagarina Alena Yurevna, deputy Mef of intellectual image processing center, gagarina_ay@nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Gessen Pavel Alekseevich, researcher, gessen_pa@nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Lizin Aleksey Igorevich, chief of intellectual image processing center, lizin_a@nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director of research at research and production complex of special purpose robotic systems, pavlova@nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Sozinova Maria Vladimirovna, chief of the department of advanced image processing methods, sozinova@nppame. ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
