CC BY
48УДК 004.42
АЛГОРИТМ СОЕДИНЕНИЯ ДВУХ ИЗОБРАЖЕНИЙ ПРИ СОЗДАНИИ ПАНОРАМНОГО ИЗОБРАЖЕНИЯ
А. Н. Жуковская*, М. Н. Фаворская
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 *E-mail: [email protected]
Рассматривается алгоритм построения панорам из двух изображений путем сопоставления перекрывающихся фрагментов. Решается задача поиска связующих точек изображений при создании панорам.
Ключевые слова: панорамное изображение, особые точки, точечные детекторы, алгоритм RANSAC.
STITCHING ALGORITHM OF TWO IMAGES FOR CREATING PANORAMIC IMAGE
A. N. Zhukovskaya*, M. N. Favorskaya
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation *E-mail: [email protected]
Algorithm for constructing panoramas from two images using the matching of the overlapping fragments is under consideration. The task for search of the corresponding feature points during panorama creating is solved.
Keywords: panoramic image, feature points, feature detectors, algorithm RANSAC.
В последнее время все большую значимость и масштабы принимает использование геопространственной информации и средств географического ориентирования. В настоящее время осуществляется сбор большого количества данных дистанционное зондирование Земли с беспилотных летательных аппаратов и самолетов. В большинстве случаев эти данные представляют собой кадровую съемку из набора отдельных фотографий. Среди многих направлений в эффективной обработке большого количества геопространственных данных возникает задача формирования мозаики - бесшовного единого изображения, полученного путем сопоставления перекрывающихся изображений. Таким образом, создание панорам является актуальной задачей.
Для выделения из изображения некоторой интерпретируемой информации необходимо привязаться к локальным особенностям изображения, используя так называемые особые точки. Особая точка или точечная особенность - это такая точка изображения, которая удовлетворяет ряду свойств, а именно, определенности (выделение среди соседних точек), устойчивости (изменение яркости, контраста и оттенка не должны влиять на положение особой точки в сцене), инвариантности (устойчивости к поворотам, изменению масштаба и смене ракурса съемки), стабильности (шумы, не превышающие определенный порог, не должны влиять на положение особой точки), интерпретируемости (особые точки должны быть представлены в формате, пригодном для дальнейшей обработки) и достаточности (количество обнаруженных особых точек должно достаточным для обнаружения
объекта). В качестве окрестности точки изображения для большинства алгоритмов выбирается прямоугольное окно, составляющее размер 5x5 пикселов [1]. Затем на основе найденных особых точек строятся соответствующие детекторы и дескрипторы.
Алгоритм построения панорамы из двух изображений состоит из нескольких шагов:
1) поиск особых точек на каждом из изображений;
2) определение для каждой точки инвариантных дескрипторов;
3) по совпадению дескрипторов определить соответствующие друг другу особые точки для двух изображений;
4) вычисление матрицы проективного преобразования;
5) проецирование второго изображения на первое с использованием матрицы преобразования.
На шаге поиска особых точек и их дескрипторов были рассмотрены четыре алгоритма, а именно, Harris Detector, SIFT Detector, SURF Detector, FAST Detector. Для шага с поиском совпавших точек были рассмотрены два алгоритма с использованием ковариационной матрицы и метода ^-ближайших соседей [2-4]. Поиск матрицы проективного преобразования осуществляется с помощью алгоритма RANSAC [5].
В ходе тестирования производительности четырех алгоритмов для поиска особых точек было выяснено, что все алгоритмы справляются с поставленной задачей, но демонстрируют разную производительность. Результаты тестирования алгоритмов представлены на рис. 1.
Программные средства и информационные технологии
Рис. 1. Сравнение производительности алгоритмов поиска особых точек
а б
Рис. 2. Исходные изображения для панорамы: а - первое изображение; б - второе изображение
Рис. 3. Панорамное изображение
Заключительным шагом тестирования является оценка визуального качества создаваемых панорам. Для этого на вход программы были поданы два исходных изображения, сделанных из одной точки (рис. 2). Созданное панорамное изображение из вышеуказанных изображений представлено на рис. 3.
Проанализировав полученное панорамное изображение, можно сделать вывод о том, что алгоритмы для поиска особых точек, их сопоставления и построения матрицы перспективных преобразований справляются со своими задачами. Текстурные фраг-
менты изображений деформировались таким образом, что соединяющих швов практически не было видно.
По результатам работы можно сделать следующие выводы. Лучшим из алгоритмов для поиска особых точек проявил себя алгоритм FAST. Он продемонстрировал лучший показатель по времени работы, а именно 0,05 с. Для сопоставления найденных особых точек следует воспользоваться алгоритмом ^-ближайших соседей, который также продемонстрировал себя лучше, чем алгоритм, использующий матрицу ковариаций. Его среднее время работы 0,18 с.
Панорамные изображения получаются приемлемого качества при сшивке по текстурированным фрагментам, однако швы заметны на однородных фрагментах исходных изображений, что требует дополнительной обработки.
Библиографические ссылки
1. Конушин А. Е. Слежение за точечными особенностями сцены. М. : Вильямс, 2009. 320 с.
2. Алгоритм ближайшего соседа [Электронный ресурс]. URL: https://basegroup.ru/community/articles/knn (дата обращения: 31.08.2018).
3. Аффинные преобразования и его матричное представление [Электронный ресурс]. URL: http://compgraphics.info/2D/affine_transform.php (дата обращения: 01.09.2018).
4. Корреляционная матрица [Электронный ресурс]. URL: http://uss.dvfu.ru/static/kim_testing_mono-graph/src/glava_3_7.html (дата обращения: 01.09.2018).
5. Jain L. C., Favorskaya M., Novikov D. Panorama construction from multi-view cameras in outdoor scenes. In: Favorskaya M. N., Jain L. C. (Eds) Computer Vision
in Control Systems-2, ISRL, Vol. 75, Springer International Publishing Switzerland. 2015. P. 71-108.
References
1. Konushin A. E. Slezheniye za tochechnymi osoben-nostyami stseny. M. : Vil'yams, 2009. 320 s.
2. Algoritm blizhayshego soseda [Elektronnyy resurs]. Available at: https://basegroup.ru/community/ arti-cles/knn (accessed: 31.08.2018).
3. Affinnyye preobrazovaniya i ego matrichnoye predstavleniye [Elektronnyy resurs]. Available at: http://compgraphics.info/2D/affine_transform.php (accessed: 01.09.2018).
4. Korrelyatsionnaya matritsa [Elektronnyy re-surs]. Available at: http://uss.dvfu.ru/static/kim_testing_ mono-graph/src/glava_3_7.html (accessed: 01.09.2018).
5. Jain L. C., Favorskaya M., Novikov D. Panorama construction from multi-view cameras in outdoor scenes. In: Favorskaya M. N., Jain L. C. (Eds) Computer Vision in Control Systems-2, ISRL, Vol. 75, Springer International Publishing Switzerland, 2015. P. 71-108.
© Жуковская А. Н., Фаворская М. Н., 2018
