CC BY
151
УДК 004.932.2 DOI 10.23683/2311-3103-2019-1-281-293
В.А. Бондаренко, Г.Э. Каплинский, В.А. Павлова, В.А. Тупиков
МЕТОД ПОИСКА И СОПОСТАВЛЕНИЯ КЛЮЧЕВЫХ ОСОБЕННОСТЕЙ ИЗОБРАЖЕНИЙ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ
Целью данной работы является повышение эффективности систем автоматического обнаружения и сопровождения локальных объектов и участков местности в сложных условиях наблюдения, в присутствии естественных и преднамеренных помех. Особую сложность для алгоритмов автоматического сопровождения представляют ситуации, когда изображение сопровождаемого объекта претерпевает высокоскоростные масштабные и ракурсные искажения. В подобных условиях наилучшим образом показали себя алгоритмы обработки изображений, основанные на выделении ключевых особенностей наблюдаемой сцены (особых точек). Для решения поставленной задачи разработан новый алгоритм автоматического обнаружения и сопровождения локальных объектов и участков местности, основывающийся на выделении ключевых особенностей изображений. Разработанный оригинальный алгоритм предусматривает реализацию изолированных последовательно выполняемых этапов. Предварительным этапом обработки каждого кадра видеопоследовательности, получаемой с оптико-электронной системы (ОЭС), является алгоритм яркостно-контрастностного выравнивания изображения. На первом этапе выполняется обнаружение и фильтрация особых точек при помощи высокоэффективного алгоритма, основанного на построении аппроксимированной матрицы Гессе вторых производных изображения. В качестве особых точек выбираются локальные максимумы детерминанта построенной матрицы. На следующем этапе обработки для каждой найденной особой точки строится описание её локальной окрестности, представляемое в виде вектора признаков, однозначно описывающих данную особую точку. В работе предложен многокомпонентный вектор признаков особой точки для выполнения быстрого предварительного сравнения ключевых точек с последующим точным сопоставлением, производимым на третьем этапе работы. Данный этап заключается в поиске и нахождении взаимно однозначного соответствия между наборами ключевых точек эталона сопровождаемого объекта и ключевых точек наблюдаемой сцены, предположительно содержащей этот объект. В случае, если объект или значительная его часть находится в кадре, данный алгоритм позволяет находить его местоположение на изображении с высокой точностью при сравнительно невысокой вычислительной сложности, приемлемой для применения во встраиваемых вычислительных системах бортового оборудования пилотируемых и беспилотных летательных аппаратов. Представленный оригинальный алгоритм опробован в составе специального программного обеспечения перспективного беспилотного летательного аппарата и обеспечил высокую эффективность и помехоустойчивость работы.
Обработка изображений; ключевые точки; детектор; дескриптор; автоматическое сопровождение объектов.
V.A. Bondarenko, G.E. Kaplinskiy, V.A. Pavlova, V.A. Tupikov
A METHOD FOR DETECTION AND MATCHING OF IMAGE KEYPOINTS FOR OBJECT RECOGNITION AND TRACKING
The goal of this paper is to improve the efficiency of automatic object and landmark detection and tracking algorithms in poor observation conditions in presence of noise and artificial obstacles. A particular complication for automatic tracking algorithms in these conditions are rapid scalar and affine image distortions of the object being tracked. In such situations the best performance is shown by the image processing algorithms based on image key features (key point) detection. To solve the stated task a new automatic object and landmark detection and tracking algorithm is developed, based on image key point detection techniques. The developed algorithm of several separated stages. The preliminary stage of processing of each image, being received from electro-optical system (EOS), is the preprocessing stage, which consist of image brightness
and contrast equalization. On the first algorithm stage the key point detection and filtering is done with the use of highly efficient Hessian matrix approximation of multiscale second order discrete image derivatives. The local spatio-scale space maxima of Hessian matrix determinant are then selected as key points. Each found key point is then processed to build the description of its local neighborhood. This paper proposes a new multicomponent key point feature vector, providing fast preliminary key point comparison with more precise refinement on the later comparison stages if necessary. The last stage of algorithm consists offinding the best match between two key point sets of tracked object and current image being processed. In case when current video frame contains an object or its significant part, this algorithm allows to precisely locate its position and transformation on the current image with the computational complexity sufficiently low to use the algorithm in embedded systems of manned and unmanned aerial vehicles. The proposed algorithm has been tested as a part of special purpose software onboard of state-of-the-art unmanned aerial vehicle and proved to be highly efficient and noise resistant.
Image processing; key points; detector; descriptor; automatic object tracking.
Введение. В основе множества современных алгоритмов автоматического обнаружения и распознавания локальных объектов и участков местности [1, 2], а также алгоритмов цифровой стабилизации [3] и сшивки изображений с камер с пересекающимися полями зрения [4], лежат алгоритмы выделения и анализа ключевых локальных особенностей на изображениях. Эти особенности называются ключевыми точками изображения. Ключевая (особая) точка - такая точка на изображении, окрестность которой можно отличить от окрестности любой другой точки изображения.
Впервые избыточность визуальных стимулов и важность вклада доминантных точек с наибольшей кривизной в информацию о форме были рассмотрены в работе Ф. Аттнеаве [5]. С тех пор был проведён большой объём исследований, посвященных различным подходам к определению ключевых точек на изображениях.
Постановка задачи. Задача заключается в разработке высокоэффективного алгоритма автоматического обнаружения и сопровождения локальных объектов и участков местности в сложных условиях наблюдения, в присутствии естественных и преднамеренных помех, в особенености, когда изображение сопровождаемого объекта претерпевает высокоскоростные масштабные и ракурсные искажения. В решении подобных задач особенно хорошо особенно хорошо себя зарекомендовали алгоритмы, основанные на выделении и сопоставлении ключевых точек на изображениях. Существенным недостатком подобных алгоритмов является их высокая вычислительная сложность, что затрудняет их применениях во встраиваемых вычислительных системах, существенно ограниченных по габаритам и энергопотреблению. Этим обуславливается необходимость разработки нового высокоточного и вычислительно эффективного алгоритма выделения и сопоставления ключевых точек на изображениях, представленного в данной работе.
Для поиска и сопоставления ключевых точек разработано множество современных методов и алгоритмов, обладающих своими достоинствами и недостатками. Эти методы показали свою эффективность в различных сферах применения. В рамках данной работы рассмотрены основные существующие способы обнаружения, описания и сравнения ключевых точек, предложен оригинальный метод выделения и сопоставления ключевых точек на изображениях, а также представлены результаты его применения в составе специального программного обеспечения перспективного беспилотного летательного аппарата.
Основные требования к ключевым точкам. В работах [6, 7] сформулированы основные требования к ключевым точкам на изображении:
1. Отличимость - ключевая точка должна явно выделяться на фоне и быть уникальной в своей окрестности.
2. Инвариантность - определение ключевой точки не должно зависеть от геометрических и аффинных искажений.
3. Стабильность - определение ключевой точки должно быть устойчиво к шумам и ошибкам.
4. Уникальность - кроме локальной отличимости, ключевая точка должна также обладать глобальной уникальностью для улучшения различимости повторяющихся паттернов.
5. Интерпретируемость - ключевые точки должны иметь значимость, так, чтобы их можно было использовать для анализа соответствий и выявления интерпретируемой информации из изображения.
Стоит добавить, что дополнительно ключевые точки должны также быть определимы в количестве, пропорциональном информативности изображения и достаточном для применения в решаемой задаче, а скорость нахождения ключевых точек должна быть приемлемой для использования в системах реального времени.
Методы и алгоритмы нахождения ключевых точек называют детекторами особых точек. Набор особенностей ключевой точки и/или её окрестности, позволяющий отличить её от другой особой точки, называется дескриптором особой точки.
Классификация методов определения ключевых точек. Основные методы определения ключевых точек можно разделить на следующие категории:
1. Методы, основанные на анализе кривизны контуров объектов на сцене с целью поиска углов в качестве ключевых точек.
2. Методы, основанные на прямом анализе яркостей точек изображения, например, основанные на анализе частных производных изображения или анализе участков с высокой дисперсией яркости.
3. Методы, основанные на построении и использовании параметрических яркостных моделей, подстраиваемых для локализации специфических особенностей на изображениях, например, L, Y и T-образных углов.
Наибольшее распространение получили методы, принадлежащие к первой и второй категориям.
Важным этапом выделения ключевых точек является предварительная обработка изображений. Предобработка позволяет повысить стабильность определения ключевых точек, при этом улучшая качество выделяемых точек [8-10]. Рассмотрим существующие способы предобработки изображений подробнее.
Предварительная обработка изображений. Наиболее популярными и хорошо зарекомендовавшими себя методами предварительной обработки изображений для выделения ключевых точек являются:
1. Фильтр Уоллеса [8, 9]. Данный фильтр осуществляет повышение локального контраста на изображении при помощи приведения яркости изображения в малых локальных окрестностях к заданным значениям средней яркости и дисперсии яркости. В результате преобразования повышается детальность изображения в зонах с малой и высокой яркостью (зоны засветки и затенения).
2. Глобальное выравнивание яркости. Подход заключается в логарифмическим преобразовании яркостей каждой точки 1(х,у) изображения 1(х,у) = log2(I(x,y)) и последующему линейному масштабированию в интервал [0, 255].
3. Локальное выравнивание яркости по методу Зуйдервальда [11]. Метод заключается в разбиении изображения на локальные области (блоки) с последующей нормализацией блочных гистограмм, после чего соседние блоки совмещаются для устранения перепадов яркости на их границах.
4. Сглаживание изображений при помощи одного из оконных фильтров (box filtering, median filtering) [12].
Детекторы ключевых точек. Одним из первых и самым простым детектором ключевых точек является детектор Г. Моравеца [13]. В дальнейшем были разработаны детекторы Харриса [14], Ши-Томаси [15], Фёрстнера [16], SUSAN [17], COP [18], FAST [19], и другие более и менее успешные подходы к выделению ключевых точек. В работах [7, 20-22] приведено развёрнутое сравнение и оценка
качественных параметров различных детекторов ключевых точек. Как показали исследования, наиболее стабильным и устойчивым к шумам (но не самым быстрым) детектором является детектор Харриса. Высокая эффективность при приемлемой вычислительной сложности детектора Харриса во многом послужили тому, что он лёг в основу или послужил идеей для многих современных детекторов ключевых точек. В работе [23] оригинальный детектор Харриса был доработан для достижения некоторой инвариантности к аффинным преобразованиям, а в работе [24] представлен масштабно-аффинно-инвариантный детектор.
Несмотря на то, что большинство представленных детекторов ключевых точек называют детекторами углов, они позволяют определять не только угловые точки, но также иные области изображения, обладающие достаточно большими градиентами яркости на заранее определённом масштабе (в частности, контрастные зоны).
Поскольку далее в данной работе будет использоваться детектор ключевых точек на основе детектора Харриса, рассмотрим его более подробно.
Детектор Харриса. Детектор Харриса (также в литературе иногда называется оператором Плесея, Plessey operator) был представлен в 1988 году и подробно описан в оригинальной работе [14].
В основе метода лежит вычисление функции автокорреляции между участком изображения в окне (квадратной окрестности) вокруг анализируемой точки изображения и участком изображения в окне, смещённом на некоторую величину (x, y) относительно первого (анализируются смещения (1,0), (1,1), (0,1), (-1,1)). Окно содержит особую точку, если сходство изображения между первоначальным и смещённым окном падает по всем анализируемым направлениям. Таким образом строится матрица моментов второго порядка градиентов яркости изображения.
Исходный метод был доработан для достижения лучшей масштабной инвариантности, а также устойчивости к шуму. В этом случае автокорреляционная матрица в окрестности ii с радиусом a j имеет вид:
М = а£д(а,) *
^ l'i(х,у,aD ) ^ lx(x,y,aD )Iy(x,y,aD )
С,У 6 П х,у 6 П
^ lx(x,y,aD )Iy(x,y,cjD ) ^ ly(x,y,<JD )
х,у е П х,у е П
где
а
1х(х,у, ав ) = ^ЗЫ * Кх.У) д
1у(х,у,а0 ) = —дОд) * 1(х,у)
^ х2+у2
—2 е 2сГ/2 ¿п:<3/
Частные производные изображения вычисляются путём свёртки с Гауссовыми ядрами радиуса а а (масштаб дифференцирования). Полученные производные затем усредняются в данной окрестности путём сглаживания Гауссовым окном радиуса .
Собственные числа матрицы M представляют собой изменения уровня яркости по двум ортогональным направлениям в окрестности вокруг точки, определяемой а1. Большие собственные числа означают высокую степень изменения сигнала по выбранным направлениям и сигнализируют о наличии ключевой точки в центре окна П. Для упрощения вычислений Харрис предлагает не вычислять собственные числа, а оценивать некоторую функцию углового отклика :
w = det(M) - Л trace(М)2 , где det(M) - детерминант матрицы М, trace (М) - след матрицы М (сумма элементов главной диагонали), Я - некоторая константа, обычно принимаемая в диапазоне [0.04; 0.06].
Полученная таким образом карта угловых откликов w подвергается пороговой фильтрации, т.е. выбираются только те точки, отклик которых wxy > t, где значение порога t определяется эмпирически, после чего в качестве ключевых отбираются те точки, угловой отклик которых является локальным максимумом в некоторой своей окрестности заданного радиуса.
Дескрипторы ключевых точек. Поскольку в чистом виде детектирование особых точек является предварительной операцией в алгоритмах обработки изображений, необходимо также рассмотреть подходы к сопоставлению и сравнению ключевых точек, т.е. определить их дескрипторы, как неотъемлемого элемента современных алгоритмов обнаружения, сопоставления, сопровождения и распознавания ключевых точек.
Появление алгоритма SIFT [25], основанного на преобразовании изображений в масштабно-инвариантные координаты относительно локальных особенностей изображения, ознаменовало новый этап в данном направлении.
Алгоритм SIFT является законченной комбинацией детектора и дескриптора ключевых точек. Детектор SIFT основывается на построении пирамиды гауссиа-нов (Gaussian) и разностей гауссианов (Difference of Gaussian, DoG). Гауссианом (или изображением, размытым гауссовым фильтром) является изображение, получаемое в результате свёртки исходного изображения I с гауссовым фильтром различного радиуса G(a). Таким образом, разность гауссианов можно записать как:
/00 = I * G(ka0) - I * G(a0) ID1=I *G(k2a0)-I *G(ka0),
где k - масштабный коэффициент, задающий шаг построения пирамиды гауссианов.
На рис. 1 представлен процесс построения пирамиды гауссианов и разностей гауссианов.
Рис. 1. Построение пирамиды гауссианов и их разностей
Инвариантность относительно масштаба достигается за счет нахождения ключевых точек для исходного изображения, представленного в разных масштабах. Все масштабируемое пространство разбивается на условные группы - октавы, при этом размеры исходного изображения при переходе от одной октавы к другой уменьшаются вдвое. В качестве ключевых выбираются локальные экстремумы разности гауссианов в локальной окрестности на своём уровне пирамиды, а также среди соседей на уровень ниже и выше по пирамиде разностей гауссианов (DoG) (рис. 2).
Рис. 2. Выбор локального максимума между уровнями пирамиды DoG
Дескриптор SIFT представляет собой гистограмму направлений градиентов изображения в окрестности особой точки. Окрестность особой точки делится на четыре квадратных сектора (рис. 3), в которых вычисляются градиент яркости изображения, его направление и модуль. Затем модули градиентов умножаются на вес, экспоненциально убывающий с удалением от точки интереса, для того чтобы избежать резких изменений значения дескриптора при небольших изменениях положения окна. По каждому сектору собирается гистограмма направлений градиентов, причем каждое вхождение взвешивается модулем градиента.
Рис. 3. Построение дескриптора SIFT
Полученный в результате дескриптор представляет собой 128 компонентный вектор, полученный из значений всех элементов гистограмм направлений. Элементы вектора нормируется, чтобы повысить устойчивость дескриптора к изменениям яркости.
Алгоритм SIFT показал высокую эффективность в решении различных задач машинного зрения, однако его применение в задачах, требующих реального времени выполнения, оказалось затруднительным ввиду высокой вычислительной сложности.
Развитием данного подхода стал алгоритм SURF [26]. Детектор SURF основывается на анализе детерминанта матрицы Гессе, который принимает наибольшие значения в зонах высокого перепада яркости изображения I (х, у) . Матрица Гессе в масштабе а имеет вид:
Н(х,у,а) =
— G(ct) */(х,у)
тЛс(а)
I (х, у)
I (х, у)
(1)
Поскольку свёртка c Гауссовыми ядрами второго порядка является вычислительно сложной, авторы аппроксимируют эту операцию при помощи свёртки с оконными фильтрами (рис. 4), быстро осуществляемой при помощи интегральных изображений (integral image или summed-area table) [27]. Данный подход получил название в литературе как быстрый Гессиан (Fast Hessian).
Рис. 4. Оконные фильтры детектора SURF. На рисунке указаны веса, с которыми берутся яркости изображения в областях
Масштабный анализ при использовании данного подхода также значительно ускоряется, так как для его выполнения не производится масштабирование изображения, а последовательно увеличивается апертура (радиус) применяемых оконных фильтров.
Дескриптор SURF во многом похож на дескриптор SIFT, однако, для повышения производительности дескриптора SURF не вычисляет гистограммы взвешенных градиентов, а вычислительно сложные Гауссовы фильтры, используемые при вычислении градиентов яркости, заменены на их аппроксимации хаароподоб-ными оконными фильтрами, быстро вычисляемыми в окрестности особой точки (рис. 3) с помощью интегрального изображения. Полученные в окрестности точки отклики на оконные фильтры взвешиваются весовой функцией, после чего строятся гистограммы сумм модулей откликов по каждому сектору.
Методы SIFT и SURF завоевали широкую популярность благодаря высокой устойчивости получаемых признаков в присутствии различного рода искажений и шумов на изображениях [28]. Однако, ввиду высокой вычислительной сложности данных дескрипторов, применение их во встраиваемых системах является затруднительным. Помимо этого, метод SURF защищён патентом. Данные факторы привели к появлению ряда самостоятельных дескрипторов (FAST [19], BRIEF [29], BRISK [30]) и комбинированных алгоритмов (детектор и дескриптор), такого как ORB (Oriented FAST and Rotated BRIEF [31]), устойчивость и скорость которого проанализирована в работе [32].
Для осуществления поиска, обнаружения и сопровождения участков изображений с использованием ключевых точек необходимо рассмотреть методы сопоставления дескрипторов ключевых точек.
Методы сопоставления ключевых точек. Для сопоставления наборов особых точек эталонного и текущего изображений необходимо определить меру сходства дескрипторов особых точек. Для векторных дескрипторов подходят
l2norm и Bhattacharyya distance. Для бинарных дескрипторов, таких как BRISK или ORB, применяется вычислительно эффективные методы, например дистанция Хэмминга.
После определения меры сходства дескрипторов выполняется попарное сравнение наборов точек по определённому алгоритму, в результате которого находятся соответственные на эталонном и текущем изображении точки. Наиболее удачным подходом к поиску соответственных точек является алгоритм RANSAC [33].
Метод RANSAC берёт за основу четыре точки необходимые для построения фундаментальной матрицы (модели) преобразования эталонного изображения к текущему, после чего проверяет, какое количество точек соответствует модели, используя функцию оценки с заданным порогом. Весь алгоритм состоит из одного цикла, каждую итерацию которого можно логически разделить на два этапа.
1. Первый этап - выбор точек и подсчёт модели.
1.1. Из множества исходных точек случайным образом выбираются 4 различных точки.
1.2. На основе выбранных точек вычисляются параметры модели с помощью функции.
2. Второй этап - проверка модели.
2.1. Для каждой точки проверяется её соответствие данной модели с помощью функции оценки и пороговой фильтрации.
2.2. Каждая точка помечается как корректная или как некорректная (выброс).
После проверки всех точек, проверяется, является ли модель лучшей на данный момент, и если является, то она замещает предыдущую лучшую модель.
Предлагаемый метод поиска и сопоставления ключевых точек. Для применения в задачах автоматического сопровождения объектов на видеопоследовательностях, получаемых датчиками (в видимом или инфракрасном диапазоне) бортовых оптико-электронных систем (ОЭС) в сложных условиях наблюдения, авторами разработан высокоэффективный метод выделения и сопоставления особых точек.
Каждое поступающее с ОЭС изображение подвергается предварительной обработке методом логарифмического преобразования яркости, описанного выше. Детектор ключевых точек основывается на применении модифицированного детектора SURF, основанного на аппроксимации матрицы Гессе #прибл, вычисляемой как свертка изображения с фильтрами, представленными на рис. 4. Полученные значения подвергаются сглаживанию и пороговой фильтрации, после чего находятся локальные максимумы детерминанта det(#np^) Гессе (1).
Dxx Dyy
где w « 0.912 - коэффициент, теоретически обоснованный в [34], корректирующий приближённый характер вычисления свёрток с гауссианами. В работе [16] приведены способы выбора порога С для пороговой фильтрации. Если в точке det(H) > С является локальным максимумом, точка определяется как особая, также фиксируется её масштаб (радиус оконных фильтров, с которыми производилась свёртка) для применения на этапе сравнения ключевых точек. В качестве дескриптора разработан комбинированный метод, включающий:
1. Мультимасштабный бинарный дескриптор (МБД), подобный ORB для быстрого предварительного сравнения ключевых точек.
2. Гистограмма модулей градиентов яркости изображения в локальной окрестности ключевой точки для более детального их сравнения.
3. Дисперсия яркости нормированного изображения в локальной окрестности ключевой точки в нескольких масштабах.
Разработанный алгоритм сопровождения объектов состоит из следующих этапов:
1. Предобработка изображения.
2. Выделение ключевых точек.
3. Построение дескрипторов ключевых точек.
4. Поиск соответствия эталонного и текущего изображения при помощи метода RANSAC:
1.1. Предварительное сопоставление ключевых точек эталона сопровождаемого объекта и текущего изображения при помощи МБД.
1.2. Предварительно найденные пары соответственных точек подвергаются более детальному анализу.
1.3. Поиск наилучшей модели при помощи п. 4.1 и 4.2.
5. Использование найденной модели для определения положения и трансформаций сопровождаемого эталона на текущем изображении.
Результаты применения метода для автоматического сопровождения локального объекта. Разработанный оригинальный алгоритм был отработан в составе системы технического зрения перспективного беспилотного летательного аппарата. На рис. 5 и 6 представлены результаты работы алгоритма с наложением на изображение дополнительной информации о местоположении ключевых точек.
ЖгамщЦ «I
ЛС 9
Рис. 5. Различные этапы автоматического сопровождения объекта типа КУНГ
Рис. 6. Автоматическое сопровождение объекта типа КУНГ
Алгоритм показал высокую эффективность, устойчивость к частичной и временной полной потере оптической связи с сопровождаемым объектом, а также по отношению к шумовым помехам в различных метеоусловиях.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Lowe D.G. Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision. - 1999. - No. 2. - P. 1150-1157.
2. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization // Remote Sensing. - 2019. - Vol. 11.
3. Grundmann M., Kwatra V., Castro D., Essa I. Calibration-free rolling shutter removal // In Proc. ICCP, 2012.
4. Brown M., Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features // International Journal of Computer Vision. - 2007. - Vol. 1. - P. 59-73.
5. Attneave F. Some informational aspects of visual perception // Psychological Review. - 1954.
- Vol. 61. - P. 183-193.
6. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors // Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
7. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors - Survey. Foundations and Trends in Computer Graphics and Vision. - 2008. - No. 3 (3). - P. 177-280.
8. Jazayeri I., Fraser C. Interest Operators in Close-Range Object Reconstruction // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.
- 2008. - Vol. XXXVII. - Part B5. - P. 69-74.
9. Pribyl B., Chalmers A., Zemcik P. Feature point detection under extreme lighting conditions // Proceedings of the 28th Spring Conference on Computer Graphics. - 2012. - P. 143-150.
10. Lindeberg T. Image matching using generalized scale-space interest points // Journal of mathematical Imaging and Vision. - 2015. - Vol. 52, No. 1. - P. 3-36.
11. Zuiderveld K. Contrast limited adaptive histogram equalization // Graphics Gems IV. - 1994.
- Chapter VIII.5. - P. 474-485.
12. Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений: учеб. пособие. - СПб.: БХВ-Петербург, 2011. - 608 с.
13. Moravec H. Towards Automatic Visual Obstacle Avoidance // Proceedings of the 5th International Joint Conference on Artificial Intelligence, Cambridge. 1977. - P. 584.
14. Harris C., Stephens M. A combined corner and edge detector // Proceedings of the 4th Alvey Vision Conference. - 1988. - P. 147-151.
15. Shi J., Tomasi C. Good features to track // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. - 1994. - P. 593-600.
16. Forstner W. Gulch A. Fast Operator for Detection and Precise Location of Distinct Points, Corners and Centres of Circular Features // Proceedings of the ISPRS Intercommission Workshop on Fast Processing of Photogrammetric Data. - 1987. - P. 281-305.
17. Smith S.M., Brady J.M. SUSAN-A New Approach to Low Level Image // Processing International Journal of Computer Vision. - 1997. - Vol. 23 (1). - P. 45-78.
18. Bae S.C., Kweon I.S. COP: A new method for extracting edges and corners // Lecture Notes in Computer Science. - 1997. - P. 271-278.
19. Rosten E. Drummond T. Fusing points and lines for high performance tracking // IEEE International Conference on Computer Vision. - 2005. - Vol. 2. - P. 1508-1511.
20. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors // PAMI. - 2005.
- Vol. 27. - P. 1615-1630.
21. Gauglitz S., Hollerer T., Turk M. Evaluation of interest point detectors and feature descriptors for visual tracking // International Journal of Computer Vision. - 2011. - P. 1-26.
22. Макаров А.С., Болсуновская М.В. Сравнительный анализ методов обнаружения особых точек на изображениях при различных уровнях освещения // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. - 2018. - № 11:2. - C. 7-18.
23. Mikolajczyk K., Schmid C. An affine invariant interest point detector / In: Heyden, A., Sparr, G., Nielsen, M., Johansen, P. (eds.) ECCV 2002. LNCS. - Vol. 2350. - P. 128-142.
24. Mikolajczyk K., Schmid C. Scale and Affine invariant interest point detectors // In IJCV.
- 2004. - Vol. 60 (1). - P. 63-86.
25. Lowe D.G. Distinctive image features from scale-invariant keypoints // Int. J. Comput. - 2004.
- Vis. 60 (2). - P. 91-110.
26. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: speeded up robust features // Comput Vis Image Understand. - 2008. - P. 346-359.
27. Crow F. Summed-area tables for texture mapping // In Proceedings of SIGGRAPH. - 1984.
- Vol. 18 (3). - P. 207-212.
28. Ziomek A., Oszust M. Evaluation of Interest Point Detectors in Presence of Noise // International Journal of Intelligent Systems and Applications (IJISA). - 2016. - Vol. 8, No. 3.
- P. 26-33.
29. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: Binary robust independent elementary features, in: ECCV, 2010.
30. Leutenegger S., Chli M., Siegwart R.Y. BRISK: Binary Robust invariant scalable keypoints // 2011 International Conference on Computer Vision. - 2011. - P. 2548-2555.
31. Rublee E., Rabaud V., Konolige K., Bradski G.R. ORB: An efficient alternative to SIFT or SURF. ICCV. - 2011. - P. 2564-2571.
32. Cowan B., Imanberdiyev N., Fu C., Dong Y., Kayacan E. A performance evaluation of detectors and descriptors for UAV visual tracking // Proc. Int. Conf. Control, Autom., Robot. Vis. (ICARCV). - 2016. - P. 1-6.
33. Fischler M.A., Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // Comm. ACM. - 1981.
- Vol. 24 (6). - P. 381-395.
REFERENCES
1. Lowe D.G. Object recognition from local scale-invariant features, Proceedings of the International Conference on Computer Vision, 1999, No. 2, pp. 1150-1157.
2. Sung-Joo Y., Kim T. Development of Stereo Visual Odometry Based on Photogrammetric Feature Optimization, Remote Sensing, 2019, Vol. 11.
3. Grundmann M., Kwatra V., Castro D., Essa I. Calibration-free rolling shutter removal, In Proc. ICCP, 2012.
4. Brown M., Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features, International Journal of Computer Vision, 2007, Vol. 1, pp. 59-73.
5. Attneave F. Some informational aspects of visual perception, Psychological Review, 1954, Vol. 61, pp. 183-193.
6. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors, Proceedings of 5th International Symposium Turkish-German Joint Geodetic Days, 2006.
7. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors - Survey, Foundations and Trends in Computer Graphics and Vision, 2008, No. 3 (3), pp. 177-280.
8. Jazayeri I., Fraser C. Interest Operators in Close-Range Object Reconstruction, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2008, Vol. XXXVII, Part B5, pp. 69-74.
9. Pribyl B., Chalmers A., Zemcik P. Feature point detection under extreme lighting conditions, Proceedings of the 28th Spring Conference on Computer Graphics, 2012, pp. 143-150.
10. Lindeberg T. Image matching using generalized scale-space interest points, Journal of mathematical Imaging and Vision, 2015, Vol. 52, No. 1, pp. 3-36.
11. Zuiderveld K. Contrast limited adaptive histogram equalization, Graphics Gems IV, 1994, Chapter VIII.5, pp. 474-485.
12. Krasil'nikov N.N. Tsifrovaya obrabotka 2D- i 3D-izobrazheniy: ucheb. posobie [Digital processing of 2D- and 3D-images]. Saint Petersburg: BKHV-Peterburg, 2011, 608 p.
13. Moravec H. Towards Automatic Visual Obstacle Avoidance, Proceedings of the 5 th International Joint Conference on Artificial Intelligence, Cambridge, 1977, pp. 584.
14. Harris C., Stephens M. A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference, 1988, pp. 147-151.
15. Shi J., Tomasi C. Good features to track, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 1994, pp. 593-600.
16. Forstner W. Gulch A. Fast Operator for Detection and Precise Location of Distinct Points, Corners and Centres of Circular Features, Proceedings of the ISPRS Intercommission Workshop on Fast Processing of Photogrammetric Data, 1987, pp. 281-305.
17. Smith S.M., Brady J.M. SUSAN-A New Approach to Low Level Image, Processing International Journal of Computer Vision, 1997, Vol. 23 (1), pp. 45-78.
18. Bae S.C., Kweon I.S. COP: A new method for extracting edges and corners, Lecture Notes in Computer Science, 1997, pp. 271-278.
19. Rosten E. Drummond T. Fusing points and lines for high performance tracking, IEEE International Conference on Computer Vision, 2005, Vol. 2, pp. 1508-1511.
20. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors, PAMI, 2005, Vol. 27, pp. 1615-1630.
21. Gauglitz S., Hollerer T., Turk M. Evaluation of interest point detectors and feature descriptors for visual tracking, International Journal of Computer Vision, 2011, pp. 1-26.
22. Makarov A.S., Bolsunovskaya M.V. Sravnitel'nyy analiz metodov obnaruzheniya osobykh tochek na izobrazheniyakh pri razlichnykh urovnyakh osveshcheniya [A comparative analysis of key point detection methods under varying lighting conditions], Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie [Scientific and technical journal of SPbUPG. Informatics. Telecommunications. Control], 2018, No. 11:2, pp. 7-18.
23. Mikolajczyk K., Schmid C. An affine invariant interest point detector, In: Heyden, A., Sparr, G., Nielsen, M., Johansen, P. (eds.) ECCV 2002. LNCS, Vol. 2350, pp. 128-142.
24. Mikolajczyk K., Schmid C. Scale and Affine invariant interest point detectors, In IJCV, 2004, Vol. 60 (1), pp. 63-86.
25. Lowe D.G. Distinctive image features from scale-invariant keypoints, Int. J. Comput., 2004, Vis. 60 (2), pp. 91-110.
26. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: speeded up robust features, Comput Vis Image Understand, 2008, pp. 346-359.
27. Crow F. Summed-area tables for texture mapping, In Proceedings of SIGGRAPH, 1984, Vol. 18 (3), pp. 207-212.
28. ZiomekA., OszustM. Evaluation of Interest Point Detectors in Presence of Noise, International Journal of Intelligent Systems and Applications (IJISA), 2016, Vol. 8, No. 3, pp. 26-33.
29. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: Binary robust independent elementary features, in: ECCV, 2010.
30. Leutenegger S., Chli M., Siegwart R.Y. BRISK: Binary Robust invariant scalable keypoints, 2011 International Conference on Computer Vision, 2011, pp. 2548-2555.
31. Rublee E., Rabaud V., Konolige K., Bradski G.R. ORB: An efficient alternative to SIFT or SURF. ICCV, 2011, pp. 2564-2571.
32. Cowan B., Imanberdiyev N., Fu C., Dong Y., Kayacan E. A performance evaluation of detectors and descriptors for UAV visual tracking, Proc. Int. Conf. Control, Autom., Robot. Vis. (ICARCV), 2016, pp. 1-6.
33. Fischler M.A., Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Comm. ACM, 1981, Vol. 24 (6), pp. 381-395.
Статью рекомендовал к опубликованию к.т.н. С.Н. Крюков.
Тупиков Владимир Алексеевич - АО «Научно-производственное предприятие «Авиационная и морская электроника»; e-mail: tupikov@nppame.ru; 198097, г. Санкт-Петербург, ул. Маршала Говорова, д. 29, лит. «О», а/я 51; тел.: 88123274667; д.т.н.; профессор; зам. ген. Директора; директор научно-производственного комплекса робототехнических систем специального назначения (НПК РТС СН).
Павлова Валерия Анатольевна - e-mail: pavlova@nppame.ru, к.т.н.; зам. директора НПК РТС СН по НИОКР.
Бондаренко Владимир Александрович - e-mail: shockus@gmail.com; зам. начальника центра средств интеллектуальной обработки изображений.
Каплинский Глеб Эдуардович - e-mail: glebqq@gmail.com; начальник отдела прикладного программирования.
Tupikov Vladimir Alekseevich - SPE "Research and Production Enterprise "Air and Marine Electronics"; e-mail: tupikov@nppame.ru; 198097, Saint Petersburg, str. Marshal Govorov, 29, lit. "O", P.O.B 51; phone: 88123274667; dr. of eng. sc.; professor; Deputy Director General; Director of Research and production complex of special purpose robotic systems.
Pavlova Valeria Anatolyevna - e-mail: pavlova@nppame.ru; cand. of eng. sc.; Deputy Director of research at Research and production complex of special purpose robotic systems.
Bondarenko Vladimir Alexandrovich - e-mail: shockus@gmail.com; Deputy Chief of intellectual image processing center.
Kaplinskiy Gleb Eduardovich - e-mail: glebqq@gmail.com; chief of applied programming department.
УДК 004.932.72 DOI 10.23683/2311-3103-2019-1-293-306
К.И. Морев
МЕТОД СОПОСТАВЛЕНИЯ ОБЛАКОВ ОСОБЫХ ТОЧЕК ИЗОБРАЖЕНИЙ ДЛЯ ЗАДАЧ ТРЕКИНГА, ОСНОВАННЫЙ НА ИНТУИЦИОНИСТСКОЙ НЕЧЕТКОЙ ЛОГИКЕ
Работа посвящена повышению качества выполнения задачи сопровождения объектов современными робототехническими комплексами. Рассматривается метод сопровождения объектов, основанный на представлении изображений в виде облаков особых точек (далее - ОТ), с применением интуинистически нечеткой логики. Работа с изображениями, представленными в виде облаков ОТ, обусловлена стремлением повысить скорость обработки оптической информации, а использование интуинистически нечетких множеств (далее - ИНМ) призвано приблизить поведение комплекса к мышлению человеческими категориями. Приведен анализ современных методов выделения ОТ на изображениях, их описания и сопоставления, реализованных в библиотеке OpenCV. Даны сравнительные характеристики рассмотренных методов, выбраны наиболее подходящие для поиска и описания ОТ на низкокачественных, зашумленных изображениях. Указаны недостатки рассмотренных методов сопоставления облаков ОТ. Разработанный метод учитывает геометрическую структуру сопровождаемого объекта. А истинность найденных сопоставлений особых точек изображений оценивается категориями близкими к «не совсем точно», «почти точно», «абсолютно точно». Приведены продукции, используемые для осуществления нечеткого вывода. Разработанный метод сопровождения разделен на три этапа. Первый - выделение особых точек на изображениях сопровождаемого объекта и окна поиска. Затем описание окрестностей найденных особых точек для создания уникальных, устойчивых к изменениям угла поворота и масштаба описаний ОТ. И заключительный этап -сопоставление облаков ОТ для определения однозначных соответствий между ОТ изображения объекта и окна поиска. Приведенные результаты экспериментов с предлагаемым методом, а также оценки его устойчивости и скорости работы демонстрируют высокое качество выполнения задачи сопровождения объектов в видеопоследовательности. Разработанный метод обладает высокими показателями устойчивости к изменениям размера объекта, угла его поворота и положения в кадре. Однако метод слабо устойчив к перспективным или проективным изменениям объекта, что компенсируется своевременным обновлением шаблона объекта. В целом приведенный метод призван повысить эффективность применения современных робототехнических комплексов.
Трекинг; сопровождение объектов; особые точки изображения; сопоставление особых точек; интуинистически нечеткая логика.
K.I. Morev
THE METHOD OF FEATURE MATCHING FOR TRACKING TASKS BASED ON INTUITIONISTICS FUZZY SETS
The work is devoted to improving the quality of the solving tracking tasks by modern robotic systems. Considering method of tracking objects based on the representation of images in the features form, and using intuitionistic fuzzy logic. Work with images presented in the form offeatures clouds, due to desire to increase the speed of optical information processing, and the use of intui-
