CC BY
34
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Метод нахождения соответствий на изображениях с использованием структур дескрипторов
А.А. Захаров 1, А.Л. Жизняков 1, В. С. Титов 2 1 Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых», Муром, Россия, 2ФГБОУ ВО «Юго-Западный государственный университет», Курск, Россия
Аннотация
В работе рассматривается метод нахождения соответствий на изображениях с использованием структур дескрипторов. Дескрипторами в разработанном методе могут быть любые известные решения в области компьютерного зрения. Однако при нахождении соответствий на парах изображений могут появляться неточности. Для устранения «выбросов» предлагается сравнивать структуры дескрипторов. Структуры дескрипторов описываются при помощи графов. Для нахождения соответствий на основе структур дескрипторов используется метод Умеямы. Метод основан на разложении матриц на собственные значения и собственные векторы для задач сопоставления взвешенных графов. Таким образом, на начальном этапе находятся соответствия на основе дескриптора, а затем на основе полученных наборов сопоставленных особенностей строятся два графа для каждого изображения. Весами графа являются расстояния между всеми особенностями изображений, вычисленные с использованием функции Гаусса. Строятся весовые матрицы для каждого графа. Осуществляется декомпозиция матрицы на собственные значения и собственные векторы. На основе метода Умеямы вычисляется результирующая матрица и находятся правильные соответствия. Таким образом, из набора соответствий, полученных с помощью дескрипторов, исключаются ложные соответствия за счёт сравнения структур. Метод инвариантен к изменению масштаба и повороту изображения на плоскости. Метод приводит к правильным результатам только в том случае, если количество правильных соответствий больше количества ложных. Сложность разработанного алгоритма пропорциональна количеству найденных соответствий.
Ключевые слова: анализ изображений, нахождение соответствий, дескрипторы изображений, сопоставление графов, компьютерное зрение.
Цитирование: Захаров, А.А. Метод нахождения соответствий на изображениях с использованием структур дескрипторов / А.А. Захаров, А.Л. Жизняков, В.С. Титов // Компьютерная оптика. - 2019. - Т. 43, № 5. - С. 810-817. - DOI: 10.18287/2412-6179-2019-43-5-810-817.
Введение
Нахождение соответствий на изображениях является актуальной задачей в различных областях компьютерного зрения: ориентировании снимков, трёхмерной реконструкции, слежении за движением, распознавании образов, создании мозаик и т.д. [1]. Успешность нахождения и сопоставления особенностей во многом зависит от углов съёмки, характеристик датчиков, временных различий съёмки. Кроме того, существенные ограничения накладывают не только параметры съёмки, но и геометрические и физические характеристики самой сцены: расположение источника света и элементов сцены, отражательные и рассеивающие свойства поверхностей, повторяемость объектов в сцене.
При разработке методов нахождения соответствий пытаются достичь следующих показателей: полной автоматизации процесса; устойчивости к шумам, перекрытиям, оптическим эффектам; высокой скорости
обработки; инвариантности к аффинным преобразованиям; возможности обработки снимков с различными фотометрическими характеристиками и т.д.
Дескриптор представляет собой метод, который идентифицирует некоторую область изображения на основе набора признаков. Обычно для сопоставления используются локальные дескрипторы. В этом случае анализируется область изображения в окрестности некоторой точки. Наиболее известными локальными дескрипторами являются следующие: LBP (Local Binary Patterns) [2], BRIEF (Binary Robust Independent Elementary Features) [3], ORB (Oriented BRIEF) [4], BRISK (Binary Robust Invariant Scalable Keypoints) [5], SIFT (Scale Invariant Feature Transform) [6], SURF (Speeded Up Robust Features) [7], DAISY [8], HoG (Histogram of Gradients) [9], корреляционные шаблоны Sum of Absolute Differences (SAD), Sum of Squared Differences (SSD), Normalized Cross Correlation (NCC)) [10], Local Gradient Pattern (LGP) [11], код
Фримана (Chain Code Histograms, CCH) [12], признаки Хаара (HAAR Features) [13], CenSurE (Center Surround Extrema) [14], CARD (Compact and Realtime Descriptor) [15].
Важной задачей при использовании дескрипторов является уменьшение количества ложных соответствий. Одним из таких подходов для уменьшения ошибок является использование метода RANSAC (RANdom SAmple Consensus) [16]. В этом случае на основе обнаруженных особенностей находится преобразование, при котором количество совмещаемых точек является максимальным. Следует отметить, что метод RANSAC выполняется итеративно, находя наилучшее решение. Это, соответственно, требует значительных вычислительных затрат. Также метод RANSAC плохо обрабатывает соответствия на изображениях разного масштаба. Кроме того, результаты метода сильно зависят от задаваемого порога. Порог представляет собой величину отклонения истинного положения особенности на втором изображении от рассчитанного. Порог отклонения сложно подобрать для различных пар изображений.
В последнее время разрабатываются подходы для нахождения соответствий на основе сверточных нейронных сетей (convolutional neural network, CNN) [17 -19]. Эти методы показывают хорошие результаты при нахождении соответствий. Однако выделяют следующие недостатки методов на основе CNN: высокая вычислительная сложность по сравнению с традиционными подходами, необходимость предварительного обучения на большом наборе данных, объём обучающей выборки сильно влияет на количество классов анализируемых изображений.
Существуют подходы для вычисления дескрипторов на основе построения структур [20, 21]. Для нахождения соответствий часто используется сопоставление графов [22-27]. Недостатком таких подходов является то, что не учитываются свойства сопоставляемых локальных областей. В подобных подходах нахождение соответствий сильно зависит от взаимного ориентирования сопоставляемых снимков. В результате одинаковые структуры могут быть образованы различными особенностями на сопоставляемых изображениях.
В методах [28, 29] устранён этот недостаток. В этих подходах совместно используется дескриптор SIFT и структурный подход, основанный на построении одного графа по двум изображениям. Однако данные методы не являются инвариантными к масштабированию и повороту изображения на плоскости, так как при преобразовании изображений относительно друг друга граф сильно меняется.
Для устранения вышеперечисленных недостатков предлагается совместно использовать дескрипторы и спектральную теорию графов. В спектральной теории графов основным понятием является спектр графа [30]. Спектр графа представляет собой упорядоченный по возрастанию или убыванию вектор собственных чисел матрицы смежности графа. Спектральные
методы основаны на следующем свойстве: собственные значения и собственные векторы матрицы смежности графа инвариантны относительно перестановок вершин в матрице.
В предыдущих исследованиях рассматривались вопросы нахождения соответствий на основе дескрипторов и графовых подходов [31]. Однако разработанный подход не являлся инвариантным к масштабированию и повороту изображений на плоскости.
Новизной в представленной работе является разработанный метод нахождения соответствий на основе использования структур дескрипторов, инвариантный к масштабированию и повороту изображения на плоскости. Также метод устойчив при небольших поворотах изображений относительно друг друга в пространстве.
1. Разработка метода нахождения соответствий
на изображениях с использованием структур дескрипторов
Предлагаемый метод реализуется в 2 этапа. На начальном этапе находятся соответствия на основе любого дескриптора. Недостатком использования локальных дескрипторов является то, что не учитывается их взаимное положение относительно друг друга. Это часто приводит к большому количеству неправильных соответствий («выбросов»). Следует отметить, что инвариантность к масштабированию и повороту разрабатываемого метода определяются характеристиками используемого дескриптора.
На втором этапе разработанного метода анализируются структуры полученных особенностей, участвующих в сопоставлении. Таким образом, из набора соответствий, полученных с помощью дескрипторов, предлагается исключить ложные соответствия за счёт сравнения структур. Таким образом, уменьшение количества ложных соответствий достигается за счёт анализа взаимного расположения особенностей и сравнения их свойств на основе известных дескрипторов.
На основе полученных наборов сопоставленных особенностей строятся два графа для каждого изображения. Для нахождения соответствий на основе структур дескрипторов используется метод Умеямы [24]. Основная идея подхода состоит в том, чтобы вложить вершины графа в пространство собственных векторов. Тогда каждая вершина графа может рассматриваться как точка в пространстве более высокой размерности. Каждое измерение соответствует собственному вектору. Метод основан на разложении матриц на собственные значения и собственные векторы для сопоставления взвешенных графов.
Пусть даны два графа Gi и G2 с одинаковым количеством вершин n. Решение задачи сопоставления двух графов сводится к нахождению матрицы перестановок P размером n*n, при которой выполняется условие [24]:
minl\PA1PT - AJI2, (1)
PeP II II
где Л1 и Л2 - весовые матрицы смежности графов 01 и О2; Р - пространство всех матриц перестановок размера п*п; ||*|| - норма матрицы.
Приближённое решение задачи сопоставления графов основано на двух условиях: Л1 и Л2 имеют различные собственные значения, которые можно упорядочить; матрица перестановок Р заменяется на ортогональную матрицу Q.
В результате формула (1) записывается в следующем виде:
mm
QeQ
\QAQ2
- a2
(2)
где Q = и18и2т, и1 и и2 - собственные векторы матриц А1 и Л2, £ - диагональная матрица со значениями = {1, 1}; О - пространство всех матриц Q размера п*п.
Чтобы избавиться от неоднозначности знака при разложении обеих матриц, в методе [24] используются абсолютные значения элементов в матрицах и1 и и2. В результате матрица Q может рассматриваться как сходство между двумя вершинами на основе их координат в и1 и и2. Чтобы получить нулевые и единичные значения из Q, то есть извлечь матрицу перестановок, используется венгерский алгоритм для выбора наилучшего совпадения [32]. На основе венгерского алгоритма вычисляется результирующая матрица и находятся правильные соответствия.
Пусть имеются два множества особенностей Р1 = {/и 11 = 1, ..., п}, ^2 = У2,- и = 1, ..., п}, которые получены на основе изображений 11 и /2. Между особенностями первого и второго изображений существуют соответствия, найденные с помощью используемого дескриптора. Для каждого изображения строятся два взвешенных графа. В графах каждая вершина связана со всеми другими вершинами. На основе графов вычисляются весовые матрицы смежности для каждого изображения. Каждый элемент матрицы вычисляется на основе гауссовой метрики:
а1} = e-«72^,
(3)
где г к! = Ц/к -/¡|| - евклидово расстояние между особенностями /к и/! одного изображения; ст - коэффициент, который регулирует степень взаимодействия между особенностями.
Элементы матриц Л находятся в диапазоне от 0 до 1.
Осуществляется декомпозиция матриц Л1 и Л2 на матрицы собственных значений Л1, Л2 и матрицы собственных векторов и1, и2:
A = UAU
A2 = U2A2ÜÍ .
(4)
Вычисляется матрица В = и2и-1 , где и1 и и2 -матрицы, элементы которых равны модулям элементов матриц и и и2.
По методу [24], если текущий элемент матрицы В является максимальным в строке / и в столбце ], то 1-я вершина первого графа соответствует ]-й вершине второго графа. В этом случае между особенностью /ц
первого изображения и особенностью f2j второго изображения имеется соответствие.
Пример № 1. Пусть найдены соответствия между изображениями с помощью некоторого дескриптора: 1-1, 2-2, 3-3, 4-4 (рис. 1). Координаты особенностей первого изображения: fu = (58, 134), fb = (135, 94), f¡3 = (75, 62), f\4 = (80, 42). Координаты особенностей второго изображения: f>1 = (236, 156), f>2 = (310, 108), f23 = (248, 79), f24 = (253, 59). При расчёте матриц A1 и A2 значения коэффициентов ст1 и ст1 равны расстояниям между наиболее удалёнными особенностями каждого изображения. Это объясняется тем, что при значениях ст, меньших этого расстояния в несколько раз, элементы матриц A1 и A2 стремятся к нулю, что затрудняет сравнение. При значениях ст, больших этого расстояния в несколько раз, элементы матриц A1 и A2 стремятся к единице, что приводит к ошибочным результатам.
1 ______--- 2 *- —* i ____ш2 4' _Ai-—О
---ц^гз 40—slS= ~ ---4
Рис. 1. Схема соответствий на изображениях (пунктиром показано ложное соответствие)
В соответствии с методом [24] вычисляются матрицы В и Р:
" 0,999 0,526 0,651 0,838" "1 0 0 0"
0,527 0,999 0,512 0,510 0 1 0 0
B = ; P =
0,664 0,537 0,999 0,958 0 0 1 0
_ 0,835 0,526 0,960 0,999_ 0 0 0 1
Таким образом, когда элемент является максимальным в строке и столбце, существует соответствие между вершинами сопоставляемых графов. В данном случае соответствия подтвердились: 1-1, 2-2, 3-3, 4-4.
Пример №2. Пусть найдены соответствия между изображениями с помощью некоторого дескриптора (рис. 1): 1-1, 2-2, 3-3, 4-4'. Особенность/4 = (80, 42) соответствует особенности f>4' = (283, 80).
Тогда матрицы B и P будут иметь вид:
B =
В этом случае для каждого существующего соответствия в группе элемент в матрице B не является максимальным в строке и в столбце. По полученной матрице перестановок соответствия должны быть: 1-1, 2-2, 4-3. Таким образом, соответствия не подтвердились.
"0,985 0,392 0,594 0,798" "1 0 0 0"
0,766 0,877 0,844 0,862 0 1 0 0
, P =
0,588 0,871 0,857 0,790 0 0 0 0
0,695 0,386 0,982 0,967 0 0 1 0
2
Пример №3. Пусть второе изображение увеличено в 2 раза и повернуто на 120 градусов относительно исходного положения (рис. 2).
В этом случае особенности второго изображения будут иметь координаты: /21 = (307, 50), /22 = (316, 226), /23 = (429, 148), /24 = (458, 176). Тогда матрицы В и Р будут иметь вид:
"0,999 0,532 0,650 0,837" "1 0 0 0"
0,533 0,999 0,514 0,514 0 1 0 0
B = , P =
0,667 0,536 0,999 0,960 0 0 1 0
0,834 0,522 0,961 0,999_ 0 0 0 1 _
Рис. 2. Схема соответствий на изображениях (увеличение второго изображения в 2 раза и поворот на 120 градусов относительно исходного положения)
В данном случае соответствия подтвердились: 1-1, 2-2, 3-3, 4-4. Таким образом, сравнение структур дескрипторов с использованием предлагаемого подхода инвариантно к масштабированию и повороту. Однако нужно учитывать свойства используемых дескрипторов, так как они в разной степени инвариантны к осуществляемым преобразованиям.
Алгоритм нахождения соответствий на изображениях с использованием структур дескрипторов
В рассматриваемом алгоритме анализируются структуры из пяти соответствий. Это объясняется тем, что структуры из 3 и 4 особенностей часто похожи между собой (например, треугольник, у которого все стороны примерно равны), что приводит к ошибочным результатам при сравнении. Если же в
группу входит больше пяти соответствий, то требуются дополнительные вычисления.
Алгоритм нахождения соответствий на изображениях с использованием структур дескрипторов состоит из следующих шагов.
Шаг 1. Нахождение соответствий с использованием дескриптора SURF и метода RANSAC.
Шаг 2. Нахождение первых пяти правильных соответствий. Последовательным перебором анализируются группы, включающие пять соответствий. Если для каждого соответствия в группе элемент в матрице B является максимальным в строке и в столбце, то все соответствия в этой группе принимаются верными. Группа, для которой это условие выполняется, считается базовой и используется на шаге 3 для проверки остальных соответствий. После нахождения одной базовой группы шаг 2 завершается.
Шаг 3. Проверка каждого соответствия, найденного на шаге 1 и не входящего в базовую группу, полученную на шаге 2. Строятся графы на основе любых четырёх правильных соответствий, полученных на шаге 2 и одного проверяемого соответствия. Если для каждого соответствия в группе элемент в матрице B является максимальным в строке и в столбце, то проверяемое соответствие принимается верным.
2. Исследование метода нахождения соответствий на изображениях с использованием структур дескрипторов
Исследование метода проводилось на 134 парах изображений. В качестве изображений использовались снимки реальных сцен. Также была использована база изображений COIL-100 (Columbia University Image Library). Нахождение соответствий было осуществлено на начальном этапе с помощью метода SURF и метода RANSAC. На основе разработанного алгоритма были найдены правильные соответствия (рис. 3, 4). Светлыми линиями показаны все соответствия, которые были выделены на шаге 1 разработанного алгоритма. Тёмными линиями показаны соответствия, которые были определены как правильные.
Рис. 3. Соответствия, найденные с помощью разработанного метода (изображения взяты из базы С01Ь-100): на втором изображении осуществлён поворот объекта в пространстве на 25° относительно первого изображения (а); второе изображение уменьшено в 1,5 раза относительно первого изображения (б)
Рассматривались изображения с разным масштабом и разными углами поворота. Также метод показывает хорошие результаты при повороте изображений в пространстве относительно друг друга на угол до 40 градусов. При увеличении угла поворота количество ложных соответствий, найденных алгоритмом SURF, превосходит количество верных. Таким образом, инвариантность разработанного метода во многом зависит от инвариантности используемого дескриптора. При изменении масштаба одного из изоб-
ражений в 1,5-1,7 раза разработанный метод также показал удовлетворительные результаты.
На рис. 5 показано увеличение количества правильных соответствий при использовании разработанного метода после реализации методов SURF и RANSAC.
Из графика видно, что использование структур дескрипторов значительно повышает точность нахождения соответствий по сравнению с традиционными подходами.
Однако алгоритм не позволяет обнаруживать лож- рис. 4 видно, что имеется небольшое количество лож-
ные соответствия в том случае, если структуры особенностей слабо отличаются между собой. Например, на
ных соответствий, которые на основе разработанного
метода были определены как правильные.
"WK
Рис. 4. Соответствия, найденные с помощью разработанного метода (изображение фасада многоэтажного дома): на первом изображении осуществлён поворот объекта на плоскости на 40° относительно второго изображения (а); второе изображение уменьшено в 1,7раза относительно первого изображения (б)
Количество верных соответствий, 1008060 40 20]
№ эксперимента
О 20 40 60 80 100 120 140
Рис. 5. Количество верных соответствий, найденных на 134 парах изображений: соответствия, найденные с использованием методов SURF и RANSAC (график 1); соответствия, найденные с помощью разработанного метода (график 2)
Заключение
В работе предложен метод нахождения соответствий на основе структур дескрипторов. Метод позволяет снизить количество ложных соответствий по сравнению с подходами, основанными только на дескрипторах. Метод позволяет находить ложные соответствия за конечное число шагов. Сложность алгоритма зависит только от количества найденных соответствий с использованием дескрипторных подходов. Планируется доработать метод для сопоставления линейных и площадных особенностей. Разработанный метод инвариантен к повороту изображений на плоскости и масштабированию. Однако инвариантность метода во многом определяется свойствами используемого дескриптора. Предложенный подход можно также применять в задачах отслеживания движения и обнаружения объектов.
Благодарности Работа выполнена при финансовой поддержке государственного задания Минобрнауки России (проект № 2.1950.2017/ПЧ).
Литература
1. Krig, S. Computer vision metrics. Survey, taxonomy, and analysis / S. Krig. - Berkeley, CA: Apress, 2014. - 498 p.
2. Ojala, T. A comparative study of texture measures with classification based on feature distributions / T. Ojala, M. Pietikainen, D. Hardwood // Pattern Recognition. -1996. - Vol. 29, Issue 1. - P. 51-59.
3. Calonder, M. BRIEF: Binary robust independent elementary features / M. Calonder, V. Lepetit, C. Strecha, P. Fua. -In: Computer Vision - ECCV 2010 / ed. by K. Daniilidis, P. Maragos, N. Paragios. - Berlin, Heidelberg: SpringerVerlag, 2010. - Part IV. - P. 778-792.
4. Rublee, E. ORB: An efficient alternative to SIFT or SURF / E. Rublee, V. Rabaud, K. Konolige, G. Bradski // 2011 International Conference on Computer Vision (ICCV'11). -2011. - P. 2564-2571.
5. Leutenegger, S. BRISK: Binary robust invariant scalable keypoints / S. Leutenegger, M. Chli, R. Siegwart // 2011 International Conference on Computer Vision (ICCV'11). -2011. - P. 2548-2555.
6. Lowe, D.G. Distinctive image features from scale-invariant keypoints / D.G. Lowe // International Journal of Computer Vision. - 2004. - Vol. 60, Issue 2. - P. 91-110.
7. Bay, H. SURF: Speeded up robust features / H. Bay, A. Ess, T. Tuytelaars, L. Van Gool // Computer Vision and Image Understanding. - 2008. - Vol. 110, Issue 3. - P. 346-359.
8. Tola, E. DAISY: An efficient dense descriptor applied to wide-baseline stereo / E. Tola, V. Lepetit, P. Fua // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 2010. - Vol. 32, Issue 5. - P. 815-830.
9. Dalal, N. Histograms of Oriented Gradients for Human Detection / N. Dalal, B. Triggs // Computer Vision and Pattern Recognition. - 2005. - Vol. 1. - P. 886-893.
10. Scharstein, D. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms / D. Scharstein, R. Szeliski // International Journal of Computer Vision. -2002. - Vol. 47. - P. 7-42.
11. Jun, B. Robust face detection using local gradient patterns and evidence accumulation / B. Jun, D. Kim. // Pattern Recognition. - 2012. - Vol. 45, Issue 9. - P. 3304-3316.
12. Freeman, H. On the encoding of arbitrary geometric configurations / H. Freeman // IRE Transactions on Electronic Computers. - 1961. - Vol. EC-10, Issue 2. - P. 260-268.
13. Gonzalez, R. Digital image processing / R. Gonzalez, R. Woods.
- Upper Saddle River, NJ: Prentice-Hall, 2007. - 976 p.
14. Agrawal, M. CenSurE: Center surround extremas for realtime feature detection and matching / M. Agrawal, K. Konolige, M.R. Blas // European Conference on Computer Vision. - 2008. - Vol. 4. - P. 102-115.
15. Mitsuru, A. CARD: Compact and real-time descriptors / A. Mitsuru, Y. Yoshida // International Conference on Computer Vision. - 2011. - 9 p.
16. Szeliski, R. Computer vision: Algorithms and applications / R. Szeliski. - London: Springer-Verlag, 2010. - 957 p.
17. Fischer, P. Descriptor matching with convolutional neural networks: A comparison to SIFT [Electronical Resource] /
P. Fischer,A. Dosovitskiy, T. Brox // arXiv:1405.5769v1. -2014. - 10 p. - URL: https://arxiv.org/abs/1405.5769 (request date 14.03.2019).
18. Ufer, N. Deep semantic feature matching / N. Ufer, B. Ommer // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2017. - P. 6914-6923.
19. Wu, S. Image correspondences matching using multiple features fusion / S. Wu, M.S. Lew // Computer Vision -ECCV 2016 Workshops. - 2016. - 10 p .
20. Захаров, А.А. Поиск объектов на изображениях с использованием структурного дескриптора на основе графов / А.А. Захаров, А.Е. Баринов, А. Л. Жизняков, В.С. Титов // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 283-290. - DOI: 10.18287/2412-6179-2018-42-2283-290.
21. Камаев, А.Н. Визуальная навигация автономного необитаемого подводного аппарата с глобальным поиском связей между изображениями / А.Н. Камаев, Д. А. Карманов // Компьютерная оптика. - 2018. - Т. 42, № 3. - С. 457-467. - DOI: 10.18287/2412-6179-2018-42-3457-467.
22. Scott, G. An algorithm for associating the features of two images / G. Scott, H. Longuet-Higgins // Proceedings of Royal Society. - 1991. - Vol. 244. - P. 21-26.
23. Shapiro, L.S. Feature-based correspondence - an eigenvector approach / L.S. Shapiro, J.M. Brady // Image Vision Computing. - 1992. - Vol. 10, Issue 5. - P. 283-288.
24. Umeyama, S. An eigen decomposition approach to weighted graph matching problems / S. Umeyama // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 1988. - Vol. 10, Issue 5. - P. 695-703.
25. Carcassoni, M. Spectral correspondence for point pattern matching / M. Carcassoni, E. Hancock // Pattern Recognition. - 2003. - Vol. 36, Issue 1. - P. 193-204.
26. Leordeanu, M. A spectral technique for correspondence problems using pairwise constraints / M. Leordeanu, M. Hebert // Tenth IEEE International Conference on Computer Vision. - 2005. - Vol. 1. - 8 p.
27. Cour, T. Balanced graph matching / T. Cour, P. Srinivasan, J. Shi // Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. - 2006. -P. 313-320.
28. Pilu, M. A direct method for stereo correspondence based on singular value decomposition / M. Pilu // IEEE Proceedings of CVPR. - 1997. - P. 261-266.
29. Delponte, E. SVD-matching using SIFT features / E. Delponte, F. Isgro, F. Odone, A. Verri // Graphical Models. - 2006. - Vol. 68, Issues 5-6. - P. 415-431.
30. Chung, F.R.K Spectral graph theory / F.R.K. Chung. -American Mathematical Society, 1997. - 207 p.
31. Zakharov, A. Finding correspondences in images using descriptors and graphs / A. Zakharov, A. Tuzhilkin, A. Zhiznyakov // Procedia Engineering. - 2015. - Vol. 129.
- P. 391-396.
32. Papadimitriou, C.H. Combinatorial optimization: Algorithms and complexity / C.H. Papadimitriou, K. Steiglitz. - Englewood Cliffs, NJ: Prentice-Hall, 1982. -528 p.
Сведения об авторах
Захаров Алексей Александрович, 1978 года рождения, к.т.н., доцент, ведущий научный сотрудник кафедры САПР МИ ВлГУ. Область научных интересов: компьютерное зрение, САПР. E-mail: [email protected] .
Жизняков Аркадий Львович, 1975 года рождения, д.т.н., профессор, заведующий кафедрой САПР МИ ВлГУ. Область научных интересов: компьютерное зрение, цифровая обработка изображений, САПР. E-mail: [email protected].
Титов Виталий Семёнович, 1943 года рождения, д.т.н., профессор, заведующий кафедрой вычислительной техники Юго-Западного государственного университета. Область научных интересов: теоретические и методологические основы построения адаптивных оптико-электронных систем, применяемых при автоматизации технологических процессов и производств различного назначения. E-mail: [email protected].
ГРНТИ: 28.23.15
Поступила в редакцию 9 января 2019 г. Окончательный вариант - 18 марта 2019 г.
A method for feature matching in images using descriptor structures
A.A. Zakharov 1, A.L. Zhiznyakov 1, V.S. Titov 2 1 Murom Institute (branch), Vladimir State University named after Alexander and Nikolay Stoletovs, Murom, Russia,
2 Southwest State University, Kursk, Russia
Abstract
A method of feature matching in images using descriptor structures is considered in the work. The descriptors in the developed method can be any known solutions in the field of computer vision. However, inaccuracies can occur when matching image pairs. It is proposed that descriptor structures should be compared to eliminate the "outliers". Descriptor structures are described using graphs. An Umeyama method is used to find matching features using descriptor structures. The method is based on the decomposition of matrices into eigenvalues and eigenvectors for weighted graph matching problems. Thus, matches are based on the descriptor at the initial stage. Two graphs are then constructed for each image based on the resulting sets of mapped features. The
weights of the graph are distances between all image features, calculated using the Gauss function. Weight matrices are built for each graph. Matrix decomposition is carried out into eigenvalues and eigenvectors. The resulting matrix is calculated based on the Umeyama method and correct matches are found. Thus, false matches are excluded from the set of matches obtained using descriptors by comparing structures. The method is invariant to zoom and in-plane image rotation. The method leads to correct results only if the number of correct matches is greater than the number of false matches. The complexity of the developed algorithm is proportional to the number of matches found.
Keywords: image analysis, finding matches, image descriptors, graph matching, computer vision.
Citation: Zakharov AA, Zhiznyakov AL, Titov VS. A method for feature matching in images using descriptor structures. Computer Optics 2019; 43(5): 810-817. DOI: 10.18287/2412-61792019-43-5-810-817.
Acknowledgements: This work was financially supported by the RF Ministry of Education and Science under government project No. 2.1950.2017/n^.
References
[1] Krig S. Computer vision metrics. Survey, taxonomy, and analysis. Berkeley, CA: Apress; 2014.
[2] Ojala T, Pietikainen M, Hardwood D. A comparative study of texture measures with classification based on feature distributions. Patt Recogn 1996; 29(1): 51-59.
[3] Calonder M, Lepetit V, Strecha C, Fua P. BRIEF Binary robust independent elementary features. In Book: Danii-lidis K, Maragos P, Paragios N, eds. Computer Vision -ECCV 2010. Berlin, Heidelberg: Springer-Verlag; 2010. Pt IV: 778-792.
[4] Rublee E, Rabaud V, Konolige K, Bradski G. ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.
[5] Leutenegger S, Chli M, Siegwart R. BRISK: Binary robust invariant scalable keypoints. ICCV 2011: 2548-2555.
[6] Lowe, DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision 2004; 60(2): 91-110.
[7] Bay H, Ess A, Tuytelaars T, Van Gool L. SURF: Speeded up robust features. Computer Vision and Image Understanding 2008; 110(3): P. 346-359.
[8] Tola E, Lepetit V, Fua P. DAISY: An efficient dense descriptor applied to wide-baseline stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence 2010; 32(5): 815-830.
[9] Dalal N, Triggs B. Histograms of oriented gradients for human detection. Computer Vision and Pattern Recognition 2005; 1: 886-893.
[10] Scharstein D, Szeliski R. Taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision 2002; 47: 7-42.
[11] Jun B, Kim D. Robust face detection using local gradient patterns and evidence accumulation. Pattern Recognition 2012; 45(9): 3304-3316.
[12] Freeman H. On the encoding of arbitrary geometric configurations. IRE Transactions on Electronic Computers 1961; EC-10(2): 260-268.
[13] Gonzalez R, Woods R. Digital image processing. Upper Saddle River, NJ: Prentice-Hall; 2007.
[14] Agrawal M, Konolige K, Blas MR. CenSurE: Center surround extremas for realtime feature detection and matching. European Conference on Computer Vision 2008; 4: 102-115.
[15] Mitsuru A, Yoshida Y. CARD: Compact and real-time descriptors. International Conference on Computer Vision; 2011.
[16] Szeliski R. Computer vision: Algorithms and applications. London: Springer-Verlag; 2010.
[17] Fischer P, Dosovitskiy A, Brox T. Descriptor matching with convolutional neural networks: A comparison to SIFT. arXiv:1405.5769v1 2014. Source: <https://arxiv.org/abs/1405.5769).
[18] Ufer N, Ommer B. Deep semantic feature matching. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017: 6914-6923.
[19] Wu S, Lew MS. Image correspondences matching using multiple features fusion. Computer Vision - ECCV 2016 Workshops 2016.
[20] Zakharov AA, Barinov AE, Zhiznyakov AL, Titov VS. Object detection in images with a structural descriptor based on graphs. Computer Optics 2018; 42(2): 283-290. DOI: 10.18287/2412-6179-2018-42-2-283-290.
[21] Kamaev AN, Karmanov DA. Visual navigation of an autonomous underwater vehicle based on the global search of image correspondences. Computer Optics 2018; 42(3): 457-467. DOI: 10.18287/2412-6179-2018-42-3-457-467.
[22] Scott G, Longuet-Higgins H. An algorithm for associating the features of two images. Proceedings of Royal Society 1991; 244: 21-26.
[23] Shapiro LS, Brady JM. Feature-based correspondence - an eigenvector approach. Image Vision Computing 1992; 10(5): 283-288.
[24] Umeyama S. An eigen decomposition approach to weighted graph matching problems. IEEE Transactions on Pattern Analysis and Machine Intelligence 1988; 10(5): 695-703.
[25] Carcassoni M, Hancock E. Spectral correspondence for point pattern matching. Pattern Recognition 2003; 36(1): 193-204.
[26] Leordeanu M, Hebert M. A spectral technique for correspondence problems using pairwise constraints. Tenth IEEE International Conference on Computer Vision 2005; 1.
[27] Cour T, Srinivasan P, Shi J. Balanced graph matching. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems 2006: 313-320.
[28] Pilu M. A direct method for stereo correspondence based on singular value decomposition. IEEE Proceedings of CVPR 1997: 261-266.
[29] Delponte E, Isgro F, Odone F, Verri A. SVD-matching using SIFT features. Graphical Models 2006; 68(5-6): 415-431.
[30] Chung FRK. Spectral graph theory. American Mathematical Society; 1997.
[31] Zakharov A, Tuzhilkin A., Zhiznyakov A. Finding correspondences in images using descriptors and graphs. Procedia Engineering 2015; 129: 391-396.
[32] Papadimitriou CH, Steiglitz K. Combinatorial optimization: Algorithms and complexity. Englewood Cliffs, NJ: Prentice-Hall; 1982.
Authors' information
Alexei Alexandrovich Zakharov (b. 1978), PhD, assistant professor, leading researcher of CAD department of MI VlSU. Research interests: computer vision, CAD. E-mail: [email protected] .
Arkady Lvovich Zhiznyakov (b. 1975), doctor of engineering, professor, Head of CAD department of MI VlSU. Research interests: computer vision, image processing, CAD. E-mail: [email protected].
Vitaliy Semenovich Titov (b. 1943), doctor of engineering, professor, Head of Computer Technology department of SWSU. Research interests: theoretical and methodological foundations of the construction of adaptive optoelectronic systems used in the automation of technological processes and industries for various purposes. E-mail: [email protected].
Received January 9, 2019. The final version - March 18, 2019.
