CC BY
259
Kotova Natalia Alexandrovna, candidate of technical sciences, docent, Russia, Tula, Tula State University,
Budkov Sergey Anatolievich, postgraduate, Russia, Tula, Tula State University
УДК 681.5
ИССЛЕДОВАНИЕ ПРОЦЕССА СШИВАНИЯ НЕСКОЛЬКИХ КАДРОВ В ЕДИНОЕ ИЗОБРАЖЕНИЕ
Д.В. Чеховский, М.Б. Цудиков, С.В. Балясный
Рассмотрен процесс создания панорамных изображений из нескольких кадров с узким углом обзора по горизонтали, предложены различные способы для уменьшения времени процесса сшивания изображений.
Ключевые слова: системы панорамного видеонаблюдения, характерные точки, SURF, SIFT.
Наилучшую безопасность охраняемого объекта обеспечивают охранные системы видеонаблюдения, обладающие широким обзором зоны наблюдения. На практике таковыми часто являются панорамные системы видеонаблюдения.
Одним из способов создания панорамного изображения является «сшивание» кадров обычного формата с небольшим углом обзора в единое изображение с углом обзора по горизонтали от 180° [4]. При этом кадры должны иметь некоторое перекрытие, так как при соединении без общих областей (встык) на границах соединения изображений будут наблюдаться искажения и неточности «сшивания», связанные с механическими люфтами объектива, аберрациями, отсутствием программного сопоставления изображений. В связи с этим возникает задача соединения соседних кадров в единое изображение по некоторой линии («шву»), лежащей в зоне перекрытия. Для этого на соседних кадрах надо найти так называемые особые (реперные) точки и провести через них прямую, которая и будет являться «швом» (рис. 1).
Для выбора подходящих для «шва» особых точек предлагаются следующие условия:
1) угловой коэффициент отрезка k должен быть больше или равен угловому коэффициенту диагонали общей полосы K = Y/X. В идеальной ситуации он должен стремиться к бесконечности. Для отрезка, изображен-
ного на рис. 1
(1)
Чтобы не зависеть от направления наклона «шва» значение k берется по модулю. Таким образом первым необходимым условием является выражение
2. Первое условие является необходимым, но недостаточным. Искомая прямая не должна выходить за вертикальные границы зоны перекрытия, поэтому надо оценить величину смещения Ь из уравнения прямой у = kx + Ь . Зная угловой коэффициент k, смещение Ь и координаты ключевых точек А и В, вычисляем координаты точек A, и B'. Так как у 2 = Y, а у1 = 0, то
У2 - у! > Y
(2)
^2 - Xl X
г' КУ2 - У1)
А1
„' _ (У2 - Уі)(¥ -Ь) x2 _
(3)
X2 - Xl
X2 - Xl
Если значения координат xl и x2 не находятся в интервале (0; Х), переходим к поиску новых особых точек.
X
У
Рис. 1. Схематичное изображение общей области сшиваемых
изображений и линии шва
В настоящее время существует множество методов поиска особых точек и распознавания изображений. В рамках поставленной задачи сшивания панорамных изображений особый интерес представляют методы SIFT и SURF. Оба метода хорошо определяют пятна, углы, границы объектов и широко применяются при сравнении изображений, 3D-
реконструкции и т. д. [1].
Рассмотрим сущность и достоинства этих методов.
Первым этапом нахождения особых точек изображения методом SIFT является построение пирамиды гауссианов (Gaussian) и разностей га-уссианов (Difference of Gaussian, DoG) по выражениям [2]
L( x, y, о) = G (x, y, о) x I (x, y), (4)
D( x, y, о) = (G (x, y, ko) - G (x, y, о ))x I (x, y) = L( x, y, ko) - L( x, y, o), (5) где L - значение гауссиана в точке с координатами (x, y); D - значение разности гауссианов; о - радиус размытия; G - гауссово ядро; I - значение исходного изображения; х - операция свертки.
Доказано, что гауссово пространство является линейным, инвариантным относительно сдвигов, вращений, масштаба, не смещающим локальные экстремумы, и обладает свойством полугрупп [3].
Инвариантность относительно масштаба достигается за счет нахождения особых точек исходного изображения, взятого в разных масштабах. Для этого строится пирамида гауссианов (DoG): все масштабируемое пространство разбивается на некоторые участки — октавы, причем часть масштабируемого пространства, занимаемого следующей октавой, в два раза больше части, занимаемой предыдущей.
После выполнения проверок пригодности особой точки определяется направление особой точки, которое вычисляется исходя из направлений градиентов яркости точек, соседних с особой. Все вычисления градиентов производятся на изображении в пирамиде гауссианов с масштабом, наиболее близким к масштабу особой точки. Величина и направление градиента в точке (x, y) вычисляются по формулам
m(x, y) = д/(L(x +1,y) - L(x -1, y))2 + (L(x, y +1) - L(x, y -1))2, (6)
0( x, y) = tg -1 ((L( x, y +1) - L( x, y -1) V (L( x +1, y) - L( x -1, y))), (7)
где m — величина градиента; 0 — его направление.
После определения ориентации особой точки вычисляется её дескриптор. Обычно дескриптором является некая информация об окрестности особой точки.
В методе SIFT дескриптором является вектор. Дескриптор вычисляется на гауссиане, ближайшем по масштабу к особой точке, и исходя из градиентов в некотором окне особой точки. Перед вычислением дескриптора это окно поворачивают на угол направления особой точки, чем и достигается инвариантность относительно поворота.
3CS
SIFT - дескрипторы не лишены недостатков. Не все полученные точки и их дескрипторы будут отвечать предъявляемым требованиям. Естественно, это будет сказываться на дальнейшем решении задачи сопоставления изображений. В некоторых случаях решение может быть не найдено, даже если оно существует. Например, при поиске аффинных преобразований (или фундаментальной матрицы) по двум изображениям кирпичной стены может быть не найдено решения из-за того, что стена состоит из повторяющихся объектов (кирпичей), которые делают похожими между собой дескрипторы разных особых точек. Несмотря на это обстоятельство, данные дескрипторы хорошо работают во многих практически важных случаях [2].
Метод SURF ищет особые точки с помощью матрицы Гессе. Значение детерминанта матрицы Гессе (гессиан) используется для нахождения локального минимума или максимума яркости изображения. В этих точках значение гессиана достигает экстремума. Матрица Гессе для двумерной функции и ее детерминант определяются следующим образом:
Э 2 f
(8)
det (H)
Э2 f Э 2 f
2
Э2 f
ЭxЭy
2
(9)
Эх2 Эу2
Гессиан инвариантен относительно вращения, но не инвариантен масштабу [3]. Поэтому используем разномасштабные фильтры для нахождения гессианов.
Для каждой особой точки высчитываются направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе. Градиент в точке вычисляется с помощью фильтров Хаара. Размер фильтра берется равным 4?, где я - масштаб особой точки, черные области имеют значения -1, белые - +1.
Для эффективного вычисления фильтров Гессе и Хаара используется интегральное представление изображений. Интегральное представление является матрицей, размерность которой совпадает с размерностью исходного изображения, а элементы вычисляются по формуле
i < x j < y
II (x y) = £I (i, j)-
i=0, j=0
(10)
Теоретически вычисление матрицы Гессе сводится к нахождению лапласиана гессиан. Однако SURF использует бинаризированную аппрок-
309
симацию лапласиана гессиан (Fast-Hessian) [1].
Этот фильтр более устойчив к вращению, и его можно эффективно вычислить с помощью интегральной матрицы. Таким образом, в SURF гессиан вычисляется так:
det(Happrox) = DxxDyy - (09Dxy )2, (11)
гдеDxx, Dyy, Dxy - свертки по фильтрам.
После нахождения особых точек SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой особой точки [1]. Эти числа отображают флуктуации градиента вокруг особой точки. Поскольку особая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами. Таким образом, обеспечивается дисперсия (различие) дескрипторов разных особых точек.
Проведенные исследования [6] показали, что метод SURF работает быстрее SIFT: при повороте изображения - 180 совпадений особых точек в секунду против 400; при изменении масштаба изображения - 95 совпадений в секунду против 230; при вращении самого объекта - 10...15 совпадений в секунду против 1...3 (рис. 2).
Вращение Шум Масштаб Вращение объекта
Рис. 2. Сравнение быстродействия методов SURF и SIFT
Анализ реальных изображений показал, что на изображении размером 1024x768 пикселей может быть найдено несколько тысяч особых точек, которые будут обрабатываться от 20.30 до 50.60 с. Это не позволяет проводить обработку изображения в реальном масштабе времени, и необходимо разработать методику скоростного поиска особых точек. Для этого предлагается работать не со всей областью перекрытия, а с более узкой полосой или даже небольшим «окном» на общем участке изображений.
Для окна размером 64x64 пикселей поиск составляет 0,05.0,4 с методом SURF (1.10 точек) и 0,25.0,5 с методом SIFT (10.50 точек). Для окон размером 128x128 пикселей поиск длится 0,4.0,8 с для метода SURF (15.70 точек) и 1,0.2,5 с для метода SIFT (50.350 точек).
Для уменьшения времени работы программы было предложено работать с бинированным изображением при уменьшении его разрешения.
Расчеты показали, что часть особых точек на исходном и преобразованном изображениях совпадают: 40,7 % для метода SUFR (рис. 3) и 18,8 % для метода SIFT (рис. 4). Совпавшими считались точки, координаты которых отличались не более пикселя (расстояние по оси абсцисс дано в пикселях) [5].
Полученное множество особых точек достаточно для построения «шва», удовлетворяющего обоим условиям.
Рис. 3. Соответствие особых точек при уменьшении разрешения в 2 раза (SURF)
Рис. 4. Соответствие особых точек при уменьшении разрешения в 2 раза (SIFT)
При работе с окнами важной является задача их выбора. Для процесса сшивания соседних кадров панорамного изображения был реализован следующий алгоритм: изображение разбивается на множество прямоугольных областей. Из них выбираются N областей, не соприкасающихся непосредственно с внешними границами изображения. Кроме того, анализируемые области должны иметь максимальное количество особых точек. Методы SURF и SIFT хорошо определяют особые точки на границах объектов, т. е. точки с резким изменением градиента яркости. Поэтому для каждой из областей поиска особых точек An вычисляем градиент функции яркости по следующему выражению:
У/(x, y) = ^(df (x, y )/dx)2 + (df (x, y)/dy)2 . (12)
Поиск особых точек ведем в области с максимальным значением градиента яркости. Если в ней не найдены подходящие точки, переходим к следующему окну.
Проведенные исследования позволяют сделать следующие выводы:
1. Выделение линии «шва» на общей полосе сшиваемых изображений повышает точность их соединения в единую панораму вплоть до одного пикселя, что является недостижимым при соединении изображений встык, и следовательно, повышает вероятность распознавания объектов на границах кадров.
2. Для выбора линии «шва» необходимо использовать характерные особенности изображения (особые точки), которые легко выделить программными методами.
3. Для построения панорамных изображений в сложных динамических условиях в режиме реального времени рекомендуется при нахождении характерных точек использовать методы SURF и SIFT, обладающие хорошей повторяемостью результатов и высокой точностью. Области практического использования методов определяются конкретной задачей. Для большинства приложений более предпочтительным является метод SURF, который при несколько меньшей точности нахождения особых точек на изображении обладает вдвое большим быстродействием.
4. Для повышения быстродействия метода SURF рекомендуется использовать небольшие сжатые фрагменты изображений (окна).
5. Рассмотренные в статье алгоритмы и методы обеспечивают работу в режиме реального времени: процесс сшивания двух кадров уменьшился с 30.60 до 0,5.1 с в зависимости от их сложности и разрешения.
Список литературы
1. Bay H., Ess A., Tuytelaars T. SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110. No. 3. Р. 346-
359, 2008.
2. Lowe D. G. Distinctive image features from scale-invariant key-points, cascade filteringapproach IJCV 60. 2004. Р. 91 - 110.
3. Mikolajczyk K., Schmid. An affine invariant interest point detector.// European Conference on Computer Vision (ECCV). Copenhagen, 2002. P. 128142.
4. Фрост Ли. Панорамная фотография. М.: Арт-родник, 2005. 144 с.
5. Чеховский Д.В., Цудиков М.Б. Исследование процесса определения характерных точек на смежных изображениях методом SURF // Известия ТулГУ. Технические науки. Вып. 3. 2012. С. 248-252.
6. Чеховский Д.В. Методы обнаружения особых точек на изображении // VI Молодежная научно-практическая конференция ТулГУ «Молодежные инновации». Ч.2. Тула: Изд-во ТулГУ, 2012. С. 206-208.
Чеховский Дмитрий Валериевич, аспирант, dmichekh@gmail.com. Россия, Тула, Тульский государственный университет,
Цудиков Михаил Борисович, канд. техн. наук, доц., tsudickov.mb@,yandex.ru, Россия, Тула, Тульский государственный университет,
Балясный Сергей Викторович, аспирант, sergo120@gmail.com, Россия, Тула, Тульский государственный университет
RESEARCH OF SEVERAL IMAGES STRETCHING PROCESS D.V. Chekhovsky, M.B. Tsudickov, S.V. Balyasny
Process of stretching several narrow-angle images into single one is considered; methods to decrease stretching of images time are offered.
Key words: panoramic videomonitoring system; special points; SURF; SIFT.
Chekhovsky Dmitry Valerievich, postgraduate, dmichekh@gmail.com, Russia, Tula, Tula State University,
Tsudickov Mikhail Borisovich, candidate of technical sciences, docent, tsudickov.mb@,yandex.ru, Russia, Tula, Tula State University,
Balyasny Sergei Vicktorovich, postgraduate, sergo120@gmail.com, Russia, Tula, Tula State University
