CC BY
19
ЧИСЛЕННЫЕ МЕТОДЫ И АНАЛИЗ ДАННЫХ Модификация метода сопоставления размытых изображений
Р.А. Парингер1-2, Я. Донон1-2, А.В. Куприянов12 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
В статье предлагается модификация метода выявления особых точек на размытых изображениях для решения задачи их точного сопоставления. Целью модификации является повышение количества и качества как выявляемых особых точек на каждом изображении, так и корректных пар особых точек на двух изображениях. Отличительными особенностями являются аугментация данных за счёт одновременного использования нескольких комбинаций параметров предварительной обработки и использование дополнительных этапов фильтрации особых точек. Применение указанных модификаций позволило добиться увеличения доли корректно сопоставляемых пар изображений на 30,2 % по сравнению с базовым методом при работе с зашумлёнными данными.
Ключевые слова: сопоставление изображений, особые точки, извлечение признаков, алгоритмы.
Цитирование: Парингер, Р.А. Модификация метода сопоставления размытых изображений / Р.А Парингер, Я. Донон, А.В. Куприянов // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 441-445.- DOI: 10.18287/2412-6179-CO-712.
Citation: Paringer RA, Donon Y, Kupriyanov AV. Modification of blurred image matching method. Computer Optics 2020; 44(3): 441-445. DOI: 10.18287/2412-6179-C0-712.
Введение
Создание панорамы, определение положения камеры, слежение за объектом на видео, стабилизация видео - всё это задачи, основанные на методах сопоставления изображений [1, 2], которые, в свою очередь, основаны на способах выявления особых точек [3]. Основной проблемой, с которой сталкиваются существующие способы выявления особых точек, является зашумлённость изображений: низкое разрешение, размытость, зернистость и т.д. [4]. Распространённым подходом борьбы с шумом является применение алгоритмов для их фильтрации: восстановление резкости [5], медианная фильтрация [6] и фильтрация особых точек [7].
Ранее нами был представлен метод сопоставления размытых изображений, основанный на технологии выявления особых точек на размытых изображениях (BIM), работающий лучше существующих аналогов (Harris, FREAK и SURF) [8]. Однако были выявлены некоторые недостатки метода. В данной статье представлена модифицированная версия этого метода, лишённая выявленных ранее недостатков.
1. Описание модификаций
В соответствии с представленной ранее технологией была разработана программная реализация на языке Python с использованием библиотеки OpenCV [9] и несколькими модификациями модуля детектирования
особых точек. Для получения особых точек использовались методы выделения и сравнения контуров.
Базовый алгоритм состоит из 3 этапов:
1. Предварительная обработка, которая заключается в последовательном применении операций: обесцвечивания (1.1) [10], размытия по Гауссу (1.2) [10], пороговой обработки (1.3) [10] и детектирования границ Canny (1.4) [11].
2. Выявление особых точек. Полученные границы аппроксимируются четырёхугольниками (2.1). Полученные четырёхугольники сравниваются между собой по площади, ширине и высоте (2.2). Выявленные пары четырёхугольников (достаточно близкие по своим параметрам, чтобы считаться равными) используются для формирования пар особых точек.
3. По полученным парам особых точек с использованием алгоритма RANSAC [7] формируется проективное преобразование (3.1). Результат проективного преобразования одного изображения сопоставляется с другим изображением.
Во время проведения экспериментальных исследований с использованием базового метода было выявлено несколько недостатков: во-первых, количество выявляемых особых точек зависит от значений параметров предварительной обработки; во-вторых, далеко не для всех значений параметров предварительной обработки выявлялось необходимое для построения матрицы проективного преобразования количество
точек [8]. Для устранения указанных недостатков возникла необходимость в модификации метода, целью которой являлось повышение относительного количества информативных пар выявляемых особых точек. Информативными парами называются пары особых точек, выбранные алгоритмом RANSAC для формирования проективного преобразования.
Во-первых, в рамках 2-го этапа, вместо описывания четырёхугольниками (2.1), получаемые после предварительной обработки контуры аппроксимировались многоугольниками с использованием алгоритма поиска ключевых точек контура Teh-Chin (2.1а) [12, 13]. На рис. 1 приведён пример аппроксимации контура с использованием четырёхугольника и многоугольника.
Рис. 1. Пример аппроксимации контура: четырёхугольник (а), многоугольник (б)
Поскольку изменился вид аппроксимирующей фигуры, этап 2.2 (сравнение фигур) также был модифицирован. Для сравнения пары многоугольников используются два критерия (2.2а):
Im (A, B) = jmnjaax-
m
Pa - Pb
Pa + Pb
где mA = sign (hA) • log hA и hA - значение момента Hu [14, 15] для многоугольника A;
Ip (A B ) =
где РА и Рв - значения периметра многоугольников А и В.
Два многоугольника называются равными, если выполняются условия 1т < 0,15 и 1Р < 0,1 (значения подобраны эмпирически). Первое условие позволяет выбирать одинаковые многоугольники, но оно инвариантно к повороту и масштабированию. Добавление второго условия позволяет гарантировать, что многоугольники получены в близком масштабе. Совместное использование обоих условий позволяет настраивать этап выявления особых точек в соответствии с решаемой задачей сопоставления.
Во-вторых, добавлены два подэтапа: подэтап фильтрации многоугольников на основе критерия 1т > 0,04 в рамках обработки одного изображения (2.2а) (применение этого фильтра повышает качество отбираемых особых точек) и подэтап фильтрации особых точек на основе значения минимального расстояния между особыми точками, применяемый перед вычислением проективного преобразования (3.0а) (применение этого фильтра позволяет вычислять проективное преобразование с большей точностью). Необходимость фильтра особых точек обусловлена особенностями предлагаемых модификаций метода, а именно: поскольку для поиска проективного преобразования необходимы четыре пары особых точек, а особенности метода допускают, что точки могут быть получены от одного объекта, но при разных параметрах предварительной обработки, то для исключения случаев, когда множество особых точек располагается чрезвычайно близко, был добавлен этап отбора информативных особых точек, который заключается в исключении из рассмотрения таких особых точек, которые находятся слишком близко к одной из других особых точек. Схема алгоритма сопоставления представлена на рис. 2а. На рис. 2б представлена схема алгоритма, в соответствии с которой работает модуль определения особых точек.
2. Описание экспериментов
Первый эксперимент. Для проведения экспериментальных исследований влияния различных видов аппроксимации контуров на работу алгоритма сопоставления число отбираемых особых точек на разных этапах работы алгоритма при анализе наборов данных разного размера на основе общедоступного набора данных [16] были подготовлены 4 набора данных (I, II, III, IV) по 2, 3, 4 и 10 изображений в каждом наборе соответственно. В рамках данного эксперимента изменялся только вид аппроксимирующей фигуры (многоугольник и четырёхугольник). Для оценки времени работы обработка повторялась по 100 раз для каждого набора данных и вида фигуры, впоследствии полученные значения усреднялись (табл. 1). Эксперимент проводился на процессоре с предварительно зафиксированной частотой работы. В табл. 2 приведено число особых точек, которое было получено на каждом из основных этапов работы алгоритма.
Табл. 1. Время работы алгоритма в зависимости от вида аппроксимации контуров
Номер набора Четырёхугольники Многоугольники Ускорение
I 96,97 96,83 1,001
II 138,21 137,52 1,005
III 235,39 224,83 1,047
IV 843,60 782,14 1,079
а)
Исходные изображения
Модуль определения особых точек
Коллекция особых точек
Отбор информативных особых точек (3.0а)
Информативные особые
Сопоставление изображений
(3.1)
! Результат сопоставления изображений У
Параметры обработки
' Параметры выбора особых точек
! Параметры сопоставления изображений
Исходные изображения
Предварительная обработка (1) « /
/
Подготовленные изображения
Контуры
Особые точки
б)
Параметры обработки
-г~—
Параметры ?едварительн1 обработки
Детектирование контуров (2.1а) „ /
/
Параметры етектировань контуров
Отбор информативных контуров (2.2а)
/
Параметры выбора контуров
Рис. 2. Схема алгоритма сопоставления изображений: алгоритм сопоставления изображений (а),
алгоритм выявления особых точек (б)
Табл. 2. Количество особых точек в зависимости от набора и вида аппроксимации на разных этапах работы алгоритма
Номер набора Количество особых точек
Найдено на изображениях (2.1а) Корректных пар (2.2а) Отфильтрованных пар (3.0а) Выбранных КАШАС (3.1)
Четырёхугольники
I 170 85 24 17
II 672 240 39 13
III 2324 714 113 25
IV 27366 311 42 15
Многоугольники
I 102 51 17 12
II 244 107 23 14
III 814 269 75 27
IV 9268 1504 274 40
В результате анализа данных табл. 2 установлено, что использование многоугольников вместо четырёхугольников для аппроксимации контуров позволило увеличить относительное число информативных пар особых точек (в 7-8 раз для набора IV). Относительное число оценивалось как отношение числа особых точек после этапа 3.1 к числу особых точек, полученных на этапе 2.1а.
Второй эксперимент заключался в оценке качества сопоставления изображений. Качество сопоставления оценивалось на основе значения расстояния Бхатта-чариа между гистограммами исходного изображения и
результата сопоставления [17]. Корректно сопоставленной считается пара изображений, значение расстояния Бхаттачариа между гистограммами изображений для которого менее 2 %. Исходные данные и условия соответствуют описанным ранее в статье [8]. Первый набор содержит 4987 пар изображений без шума, второй набор содержит 3936 пар изображений с различными видами шумов. Все изображения взяты из открытых источников. В табл. 3 представлены результаты сопоставления. Доля вычислялась как отношение количества корректно сопоставленных изображений к общему числу изображений в соответствующем наборе.
Табл. 3. Доля корректно сопоставленных изображений
Алгоритм Без шума С шумом
SURF 59,0 % 23,6 %
Harris 94,2 % 7,6 %
FREAK 48,8 % 3,7 %
Базовый BIM 80,9 % 34,5 %
Модифицированный BIM 93,8 % 64,7 %
Таким образом, рост доли изображений, корректно сопоставленных модифицированной версией алгоритма, составил 11,9 % для данных без шума и 30,2 % для зашумлённых данных относительно базовой версии.
Использование многоугольников для аппроксимации контуров, хоть и является более сложной процедурой с вычислительной точки зрения, но снижает общую вычислительную сложность алгоритма за счёт того, что позволяет выполнять операции сравнения фигур точнее, что, в свою очередь, способствует увеличению доли качественных особых точек.
При проведении исследований также было замечено, что параметры обработки определяющим образом влияют на количество и качество получаемых пар особых точек. Использование одинаковых значений для большого набора изображений в некоторых случаях существенно снижает точность работы алгоритма. Это вызвано тем, что объекты, расположенные вне зоны перекрытия, оказывают существенное влияния на среднюю яркость изображений, что снижает количество вычисляемых пар особых точек.
Многоугольники по сравнению с четырёхугольниками более чувствительны к разнице яркости на изображениях. Поэтому для получения точного сопоставления при использовании аппроксимации многоугольниками необходимо особое внимание уделить выбору параметров предварительной обработки изображений. Предполагается, что использование оптимальных значений параметров предварительной обработки позволит повысить точность сопоставления изображений и снизить время работы программы за счёт снижения потребности в аугментации данных для получения точного результата сопоставления.
Заключение
Отличительными особенностями представленной модификации метода по сравнению с базовой версией являются:
- возможность одновременного использования большего числа особых точек, что способствует повышению точности получаемого результата,
- использование аппроксимации контуров многоугольниками, что позволяет выбирать небольшое число особых точек высокого качества. Основным недостатком модифицированного метода по сравнению с базовым является увеличение числа параметров, что явилось следствием добавле-
ния нескольких этапов, таких как выбор информативных контуров, фильтрация особых точек, предварительная обработка изображений, поэтому дальнейшие работы по совершенствованию метода будут направлены на разработку эффективного способа выбора параметров предварительной обработки.
Благодарности
Результаты исследования были получены в рамках выполнения государственного задания Минобрнауки России (Проект № 0777-2020-0017), при частичной финансовой поддержке РФФИ в рамках научного проекта № 19-29-01135.
Литература
1. Smith, S.W. The scientist and engineer's guide to digital signal processing / S.W. Smith. - 2nd ed. - San Diego, California: California Technical Publishing, 1999.
2. Goshin, Ye.V. Estimating intrinsic camera parameters using the sum of cosine distances / Ye.V. Goshin // Journal of Physics: Conference Series. - 2018. - Vol. 1096. - 012092.
- DOI: 10.1088/1742-6596/1096/1/012092.
3. Shapiro, L. Computer vision / L. Shapiro, G. Stockman. -Seattle, Washington: Prentice Hall, 2001.
4. Gomez, S. Shape recognition using machine learning / S. Gomez // 2011 6th Colombian Computing Congress (CCC). - 2011. - 3 p.
5. Ngo, T.-T. Reflectance and shape estimation with a light field camera under natural illumination / T.-T. Ngo, N. Hajime, N. Ko, T. Rin-ichiro, Y. Yasushi // International Journal of Computer Vision. - 2019. - P. 1-16.
6. Nitin, T. A review: Image edge unmasking by applying renovated and colony optimization technique / T. Nitin, K. Vikas // International Journal of Advanced Research in Computer and Communication Engineering. - 2015. -Vol. 4, Issue 6. - P. 35-38.
7. Urbancic, T. The influence of the input parameters selection on the RANSAC results / T. Urbancic, M. Fras, B. Stopar, K. Bozo // International Journal of Simulation Modelling. - 2014. - Vol. 13, Issue 2. - P. 159-170.
8. Donon, Y. Blur-robust image registration and stitching / Y. Donon, R. Paringer, A. Kupriyanov, Y. Goshin // Journal of Physics: Conference Series. - 2019. - Vol. 1368, Issue 5.
- 052043. - DOI: 10.1088/1742-6596/1368/5/052043.
9. Bradski, G. The OpenCV library [Electronical Resource] / G. Bradski // Dr. Dobb's Journal: Software Tools for The Professional Programmer. - 2000. - URL: https://www.drdobbs.com/open-source/the-opencv-library/184404319 (request date 26.02.2020).
10. Computer image processing, Part II: Methods and algorithms / ed. by V.A. Soifer. - Saarbrücken: VDM Verlag Dr. Müller, 2010. - 584 p. - ISBN: 978-3-639-17545-5.
11. Canny, J. A computational approach to edge detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. PAMI-8, Issue 6. -P. 679-698. - DOI: 10.1109/TPAMI.1986.4767851.
12. Teh, C.H. On the detection of dominant points on digital curve / C.H. Teh, R.T. Chin // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1989 - Vol. 11, Issue 8. - P. 859-872.
13. Sivanesan, U. Unsupervised medical image segmentation with adversarial networks: From edge diagrams to segmentation maps [Electronical Resource] / U. Sivanesan, L. Braga, R. Sonnadara, K. Dhindsa // arXiv:1911.05140. - 2019. - URL: https://arxiv.org/abs/1911.05140 (request date 26.02.2020).
14. Chen, C. Rotational copy-move forgery detection using SIFT and region growing strategies / C. Chen, W. Lu, C. Chou // Multimedia Tools and Applications. - 2019. -Vol. 78, Issue 13. - P. 18293-18308.
15. Hu, M. Visual pattern recognition by moment invariants / M. Hu // IRE Transactions on Information Theory. - 1962. -Vol. 8, Issue 2. - P. 179-187.
16. DroneMapper [Electronical Resource]. - 2016. - URL: https://dronemapper.com/sample_data/ (request date 19.10.2019).
17. Bhattacharyya, A. On a measure of divergence between two statistical populations defined by their probability distributions / A. Bhattacharyya // Bulletin of the Calcutta Mathematical Society. - 1943. - Vol. 35. - P. 99-109.
Сведения об авторах
Парингер Рустам Александрович, 1990 года рождения, доцент кафедры технической кибернетики Самарского национального исследовательского имени университета академика С.П. Королева (Самарский университет), научный сотрудник Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН. В 2013 году окончил факультет информатики СГАУ. Кандидат технических наук с 2017 года. Круг научных интересов включает интеллектуальный анализ данных, распознавание образов и искусственные нейронные сети. E-mail: rusparinger@ssau.ru .
Донон Янн, 1993 года рождения, ассистент и аспирант кафедры технической кибернетики Самарского национального исследовательского университета имени академика С.П. Королева (Самарский университет), Россия, и ЦЕРН, Женева, Швейцария. Обучался в университете Лозанны, Швейцария, специализация IT-менеджмент. Участник проекта SmartLINAC совместно с CERN Openlab. Круг научных интересов включает обнаружение особых точек, детектирование аномалий, статистические признаки и облачные платформы. E-mail: yann@donon.ch .
Куприянов Александр Викторович, 1978 года рождения, профессор кафедры технической кибернетики Самарского национального исследовательского университета имени академика С.П. Королёва; старший научный сотрудник Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН. Сфера научных интересов: цифровая обработка сигналов и изображений; распознавание образов и искусственный интеллект; анализ и интерпретация биомедицинских сигналов и изображений. E-mail: akupr@ssau.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 4 марта 2020 г. Окончательный вариант - 21 марта 2020 г.
Modification of blurred image matching method
R.A. Paringer Y. Donon A.V. Kupriyanov1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34, 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151
Abstract
The article proposes a modification of the Blurred Image Matching (BIM) method, a key point selection method in images, thus solving a problem of their accurate comparison. A new approach for blobs selection and comparison is proposed. The use of these modifications allows us to achieve an increase in the proportion of correctly matched pairs of images by 30.2% compared to the basic method when working with noisy data.
Keywords: image matching, key points, feature extraction, algorithms, linear embedding.
Citation: Paringer RA, Donon Y, Kupriyanov AV. Modification of blurred image matching method. Computer Optics 2020; 44(3): 441-445. DOI: 10.18287/2412-6179-CO-712.
Acknowledgements: The research was supported by the Ministry of Science and Higher Education of the Russian Federation (Grant # 0777-2020-0017) and partially funded by RFBR, project number # 19-29-01135.
References
[1] Smith SW. The scientist and engineer's guide to digital signal processing. 2nd ed. San Diego, California: California Technical Publishing; 1999.
[2] Goshin YeV. Estimating intrinsic camera parameters using the sum of cosine distances. J Phys Conf Ser 2018; 1096: 012092. DOI: 10.1088/1742-6596/1096/1/012092.
[3] Shapiro L, Stockman G. Computer vision. Seattle, Washington: Prentice Hall; 2001.
[4] Gomez S. Shape recognition using machine learning. 6th Colombian Computing Congress (CCC) 2011.
[5] Ngo T-T, Hajime N, Ko N, Rin-ichiro T, Yasushi Y. Reflectance and shape estimation with a light field camera under natural illumination. Int J Comp Vis 2019: 1-16.
[6] Nitin T, Vikas K. A review: Image edge unmasking by applying renovated and colony optimization technique. International Journal of Advanced Research in Computer and Communication Engineering 2015; 4(6): 35-38.
[7] Urbancic T, Fras M, Stopar B, Bozo K. The influence of the input parameters selection on the RANSAC results. International Journal of Simulation Modelling 2014; 13(2): 159-170.
[8] Donon Y, Paringer R, Kupriyanov A, Goshin Y. Blur-robust image registration and stitching. J Phys Conf Ser 2019; 1368(5): 052043. DOI: 10.1088/17426596/1368/5/052043.
[9] Bradski, G. The OpenCV library. Dr. Dobb's Journal: Software Tools for The Professional Programmer 2000. Source: (https://www.drdobbs.com/open-source/the-opencv-library/184404319).
[10] Soifer VA, ed. Computer image processing, Part II: Methods and algorithms. Saarbrücken: VDM Verlag Dr. Müller; 2010. ISBN: 978-3-639-17545-5.
[11] Canny J. A computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell 1986; 8(6): 679-698. DOI: 10.1109/TPAMI.1986.4767851.
[12] Teh CH, Chin RT. On the detection of dominant points on digital curve. IEEE Trans Pattern Anal Mach Intell 1989; 11(8): 859-872.
[13] Sivanesan U, Braga L, Sonnadara R, Dhindsa K. Unsuper-vised medical image segmentation with adversarial networks: From edge diagrams to segmentation maps. Source: (https://arxiv.org/abs/1911.05140).
[14] Chen C, Lu W, Chou C. Rotational copy-move forgery detection using SIFT and region growing strategies. Mul-timed Tools Appl 2019; 78(13): 18293-18308.
[15] Hu, M. Visual pattern recognition by moment invariants. IRE Trans Inform Theory 1962; 8(2): 179-187.
[16] DroneMapper. Source: (https://dronemapper.com/sample_data/).
[17] Bhattacharyya A. On a measure of divergence between two statistical populations defined by their probability distributions. Bulletin of the Calcutta Mathematical Society 1943; 35: 99-109.
Authors' information
Rustam Alexandrovich Paringer, (born1990), received Master's degree in Applied Mathematics and Informatics from Samara State Aerospace University (2013). He received his PhD in 2017. Assistant professor of the Technical Cybernetics department and researcher of IPSI RAS - Branch of the FSRC "Crystallography and Photonics". Research interests: data mining, machine learning and artificial neural networks. E-mail: rusparinger@ssau.ru .
Yann Donon, (born 1993) is a lecturer and PhD student at the Technical Cybernetics department, Samara National Research University, Russia and at CERN, Geneva, Switzerland. He holds a superior education degree from Lausanne, Switzerland where he followed studies in IT and specialized in IT management. He is a member of the SmartLINAC project together with CERN openlab. His research interest includeskey point and anomaly detection, statistical features, noised data manipulation and cloud platforms. E-mail: yann@donon.ch .
Alexander Victorovich Kupriyanov, (born 1978) graduated with honors from Samara State Aerospace University (SSAU) (2001). Candidate's degree in Technical Sciences (2004) and Doctor of Engineering Science (2013). Currently, Associate Professor at SSAU's Technical Cybernetics sub-department, and part-time position as Senior Researcher at the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS. Areas of interest: digital signals and image processing, pattern recognition and artificial intelligence, nanoscale image analysis and understanding, biomedical imaging and analysis. More than 90 scientific papers, including 42 published articles and 2 monographs. E-mail: akupr@ssau.ru .
Received March 4, 2020. The final version - March 21, 2020.
