CC BY
56
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И СИСТЕМЫ
УДК 681.782.49 DOI: 10.17586/0021-3454-2015-58-11-908-914
УСТОЙЧИВОСТЬ МЕТОДА ФАЗОВОЙ КОРРЕЛЯЦИИ К ВОЗМУЩАЮЩИМ ВОЗДЕЙСТВИЯМ ПРИ СОЗДАНИИ ПАНОРАМНЫХ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ
С. В. Лосев
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: losevsergio26@gmail. com
При создании панорамных цифровых изображений путем сшивки соседних кадров, имеющих общую область изображаемого пространства, для вычисления величины их пространственного смещения широко используется метод фазовой корреляции, реализация которого не требует больших вычислительных затрат. Существенным недостатком метода, ограничивающим его практическое использование, является высокая чувствительность к возмущающим воздействиям — пространственным шумам и размытию границ объектов на изображении. На примере модельных изображений для пространственных шумов и степени размытия границ объектов на исходных кадрах определены предельно допустимые значения, при которых вероятность достоверного вычисления величины пространственного смещения двух соседних кадров методом фазовой корреляции равна единице. Отмечена существенная зависимость достоверности вычислений от плотности объектов на изображении. Полученные данные позволяют значительно расширить спектр практического использования метода фазовой корреляции.
Ключевые слова: цифровое изображение, сшивка изображений, метод фазовой корреляции.
Введение. С развитием оптико-цифровых автоматизированных систем появилась возможность производить большое количество снимков с заданными параметрами регистрации изображений, что, в свою очередь, позволило получать цифровые панорамные изображения (ЦПИ). Основная особенность ЦПИ — возможность представления снимков с большим полем зрения с заданным разрешением. Актуальными направлениями применения ЦПИ являются медицина, лабораторные исследования, биология, картография, фотография и др.
Построение ЦПИ возможно на основе прецизионных систем и субпиксельного определения смещения оптико-цифровой системы относительно объекта в пространстве от снимка к снимку. При этом получение ЦПИ не вызывает сложности, так как известна точная величина смещения соседних кадров (AL). Данный подход позволяет сократить количество вычислительных операций и уменьшить временные затраты, но, с другой стороны, системы позиционирования и контроля весьма дорогостоящи, снижают общую надежность оптико-цифровой системы, нуждаются в обслуживании и калибровке.
Другой подход к построению ЦПИ основывается на цифровых методах, которые позволяют создавать ЦПИ без использования высокоточных систем позиционирования. При данном подходе используются три основных метода нахождения величины смещения кадров (ВСК): Scale Invariant Feature Transform (SIFT) [1, 2], Speed Up Robust Feature (SURF) [3, 4] и метод фазовой корреляции (ФК) [5, 6].
Основная идея методов SIFT и SURF заключается в поиске и сопоставлении особых точек изображения, с помощью которых определяется ВСК. Достоинствами данных методов являются устойчивость к изменению углового положения изображения и его масштабированию, а недостатками — высокие требования к вычислительным мощностям, плохая устойчивость к аберрациям и необходимость дополнительных преобразований получаемых данных.
При создании ЦПИ в режиме реального времени наиболее привлекательным является метод фазовой корреляции, так как его реализация допускает использование алгоритма быстрого преобразования Фурье (БПФ), что существенно повышает скорость работы алгоритмов по сшивке изображений по сравнению с методами SIFT и SURF. Кроме того, метод ФК позволяет вычислить величину AL в пикселах и не требует дополнительных преобразований.
Описание метода ФК. Рассмотрим два цифровых изображения f(i, j) и f2(i+i0, j+j0) размером A xß пкс, смещенные на i0 и j0 пикселов относительно друг друга по координатам х и y соответственно и имеющие общую область изображаемого пространства, что требует выполнения условий: i0<A и j0<ß. Применяя к исходным цифровым изображениям дискретное преобразование Фурье, можно получить их спектры F1 и F2 соответственно. Далее можно вычислить функцию фазовой корреляции Q согласно следующему выражению [6]:
Q(i, j) = ДПФ-1
F1(U v)F2(U, v)
Fl(u, v) F2(u v)
(1)
где знак „*" — комплексное сопряжение, ДПФ — обратное дискретное преобразование Фурье.
Метод ФК опирается на следующее свойство: если функции/ и/ имеют общее множество значений, то максимум матрицы фазовой корреляции Q будет находиться в точке с координатами (/'о, у0). Максимум матрицы Q определяется количеством общих значений функЦий /ь /2 [7].
Как правило, метод ФК используется при вычислении величины смещения, когда контент на изображениях повторяется не менее, чем на 90 % площади кадров (под контентом изображения будем понимать совокупность объектов на изображении, их взаимное расположение и яркостные характеристики). Достоверное определение положения корреляционного максимума осложняется тем, что исходные кадры формируются неидеальными оптическими системами и им присуще наличие пространственных шумов и аберраций. При анализе современного состояния проблемы не удалось найти сведений о зависимости достоверности вычисления корреляционного максимума от качества сшиваемых изображений, величины смещения двух соседних кадров и их контента. Получение таких зависимостей и является предметом исследований в настоящей статье.
Исследование метода ФК. Как указывалось выше, корреляционный максимум определяется величиной смещения двух соседних кадров: чем меньше величина АЬ, тем больше отношение сигнал/шум в результирующем массиве данных, и тем устойчивее работает метод. Однако повышение достоверности вычислений путем увеличения количества снимков, необходимых для построения ЦПИ, непозволительно для систем, работающих в режиме реального времени. Ведь каждый снимок требует включения систем позиционирования и наведения, которые работают значительно медленнее, чем программные алгоритмы. Поэтому для оптимизации временных затрат целесообразно при построении ЦПИ оперировать максимально возможными величинами АЬ, сохраняя при этом достоверность вычислений.
Исследования метода ФК проводились на синтезированных тестовых изображениях размером 512x512 пкс. Объекты, в качестве которых были выбраны круги различных радиусов в диапазоне от 5 до 15 пкс, распределялись по всему кадру. Яркость фона на всех изображениях составляла 100 градаций серого, а яркость объектов — 70...100 градаций серого.
С помощью тестовых изображений моделировались наиболее распространенные объекты в микроскопии.
Для количественной оценки степени заполнения кадров контентом (т.е. плотности объектов на изображении) предлагается использовать следующий параметр:
D = -100%. ЛБ
(2)
где — число пикселов, принадлежащих контурам объектов; выделение контуров в ходе исследования проводилось с использованием алгоритма Канни [8].
Тестовые изображения с различными значениями параметра D представлены на рис. 1.
а) Р = 1 % б) О = 5 °/^^^^
Б = 10 %
Б = 30 %
е)
Б = 40 %
с«
Рис. 1
При моделировании процесса создания ЦПИ целесообразно вместо величины смещения кадров по двум координатам использовать коэффициент, характеризующий площадь перекрытия изображений:
в0 +(Л - «0) Л
т = 11 -
ЛБ
100%.
(3)
Будем считать сшивку двух кадров достоверной, если вычисленное методом ФК значение смещения /0, Л точно равно заданной величине АЬ. В условиях наличия на изображениях пространственных шумов в связи с их статистической природой необходимо оперировать понятием вероятности достоверной сшивки р (или, что то же самое, вероятностью достоверного вычисления ВСК). Величинар определяется как отношение количества достоверно сшитых кадров к общему числу выполненных вычислений значения смещения /0, Л при различных пространственных положениях объектов на изображении и различных вариантах наложения шума (в настоящем исследовании — 100).
На первом этапе получена зависимость вероятности р от параметра т при Б=5 % (рис. 2). Вероятность р рассчитывалась при различных случайных вариантах взаимного расположения объектов (равномерном распределении плотности вероятности положения центров объектов) при неизменном значении Б. Анализ рисунка показывает, что с ростом коэффициента т
вероятность р быстро растет и при т>М становится неизменной и равной единице. Таким образом в ходе численных экспериментов определялось пороговое значение М коэффициента да, при котором обеспечивается достоверное вычисление ВСК.
Рис. 2
На следующем этапе была исследована взаимосвязь параметра Б и коэффициента М, который рассчитывался, как и на первом этапе, путем перебора случайных вариантов взаимного расположения объектов при неизменном значении Б. Зависимость М(Б), полученная усреднением результатов для всех 6 типов тестовых изображений (см. рис. 1), представлена на рис. 3. Видно, что при уменьшении параметра Б величина М стремительно возрастает, что приводит к необходимости значительного увеличения коэффициента перекрытия площадей кадров. Этому факту в литературе до последнего времени не уделялось особого внимания, что приводило к потере достоверности вычислений и, как следствие, к необоснованной критике метода ФК. Анализ рис. 3 показывает также, что после достижения параметром Б некоторого порогового значения функция М{Б) становится постоянной.
Предметом дальнейшего исследования было изучение влияния степени размытия границ объектов на изображении, возникающего, как правило, вследствие неточности фокусировки и наличия неустранимых аберраций оптической системы. В численных экспериментах размытие границ объектов производилось путем свертки исходных изображений с гауссовым ядром, что в первом приближении достаточно точно описывает дефокусировку. СКО ядра размытия ов варьировалось в диапазоне от 0 до 2 пкс. Отметим, что ов = 2 пкс соответствует ширине транзитной зоны границы объекта, равной 8 пкс. При значениях ов > 2 пкс изображение можно считать расфокусированным, и создание ЦПИ в этом случае не представляет практического интереса. Величина М рассчитывалась по методике, описанной в предыдущих экспериментах. В качестве тестового использовалось изображение, представленное на рис. 1, б. Такая плотность объектов на изображении часто встречается при микроскопических исследованиях мазков крови.
Как видно из представленной на рис. 4, а зависимости M(<зB), незначительное увеличение ширины границ объектов до 5 пкс, т.е. при ав=1,0, вызывает необходимость четырехкратного увеличения коэффициента M для сохранения значения ^=1. При дальнейшем увеличении < скорость роста M хотя и снижается, но достигает значений, при которых возникает необходимость получения большого числа кадров, что значительно увеличивает трудоемкость построения ЦПИ. Данный результат особенно важен при создании ЦПИ методом ФК, так как большинство применяемых на практике оптических систем имеют неустранимые аберрации и незначительная размытость границ объектов на изображении характерна для многих из них.
Рис. 4
Как и при любом другом алгоритме обработки цифровых изображений, при использовании метода ФК наличие пространственных шумов на исходных кадрах оказывает существенное влияние на достоверность получаемых результатов. Для моделирования этого явления в ходе численных экспериментов на тестовые изображения аддитивно накладывался гауссов шум с СКО <п = 0.. .20 %. Значения ап<5 % описывают аддитивные шумы большинства оптико-цифровых систем, работающих в видимом спектральном диапазоне, а значения <п>5 % характерны для тепловизионной техники. При <п>20 %, как правило, происходит деструкция изображения, и соответственно оно не представляет интереса с точки зрения создания ЦПИ.
Результаты исследования влияния пространственных шумов на достоверность вычисления ВСК представлены на рис. 4, б. Как видно, при небольших значениях дисперсии пространственных шумов (0<оп<5 %) метод ФК позволяет достоверно вычислять величину ^ при небольших значениях коэффициента М. При увеличении <п происходит линейный рост коэффициента М, и при <п>20 % метод ФК не позволяет достоверно производить вычисления. Следует отметить, что для современных оптико-цифровых систем, работающих в неблагоприятных условиях, диапазон шумов 5<оп<20 % является довольно типичным. Поэтому при создании ЦПИ из снимков, полученных такими системами, знание необходимого значения коэффициента перекрытия кадров для обеспечения достоверности вычислений весьма полезно.
Заключение. В ходе проведенных исследований по оцениванию влияния качества и контента изображений на достоверность вычислений методом фазовой корреляции при создании цифровых панорамных изображений была проверена и подтверждена гипотеза, что контент изображения действительно оказывает существенное влияние на достоверность вычислений. Также получены количественные оценки коэффициента перекрытия площадей кадров, что позволяет достоверно вычислять величину пространственного смещения двух соседних кадров при различных вариациях негативных факторов — пространственных шумов и размытии границ объектов на изображении. Полученные результаты могут быть использованы
для минимизации времени построения ЦПИ методом фазовой корреляции, что особенно важно для оптических систем, работающих в режиме реального времени.
Статья подготовлена по результатам работы, выполненной в рамках проекта № 02.G25.31.0092 при финансовой поддержке Министерства образования и науки Российской Федерации.
СПИСОК ЛИТЕРАТУРЫ
1. Lowe D. Distinctive image features from scale invariant key points // Intern. Journal of Computer Vision. 2004. Vol. 60. P. 91—110.
2. Lowe D. Object recognition from local scale-invariant features // Proc. of Intern. Conf. on Computer Vision, Corfu, Greece. 1999. P. 1150—1157.
3. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speed up Robust Features // Computer Vision and Image Understanding. 2008. Vol. 110, N 3. P. 346—359.
4. Khan N., McCane B., Wyvill G. SIFT and SURF performance evaluation against various image deformations on benchmark dataset // Proc. of Intern. Conf. on Digital Image Computing: Techniques and Applications, Queensland, Australia. 2011.
5. Kuglin C. D., Hines D. C. The phase correlation image alignment method // Proc. of Intern. Conf. Cybernetics Society, New York, USA. 1975. P. 163—165.
6. Foroosh H., Zerubia J. B., Berthod M. Extension of phase correlation to subpixel registration // IEEE Transact. on Image Processing. 2002. Vol. 11, № 3.
7. Павельева Е. А., Крылов А. С. Определение локальных сдвигов изображений радужных оболочек глаз методом проекционной фазовой корреляции // Сб. тр. 21-й Междунар. конф. по компьютерной графике и зрению — GraphiCon'2011. М., 2011. С. 188—191.
8. Canny J. A computational approach to edge detection // IEEE Transact. on Pattern Analysis and Machine Intelligence. 1986. Vol. PAMI-8, N 6.
Сведения об авторе
Сергей Владимирович Лосев — Университет ИТМО; кафедра оптико-цифровых систем и техноло-
гий; ассистент; E-mail: [email protected]
Рекомендована кафедрой Поступила в редакцию
оптико-цифровых систем и технологий 31.08.15 г.
Ссылка для цитирования: Лосев С. В. Устойчивость метода фазовой корреляции к возмущающим воздействиям при создании панорамных цифровых изображений // Изв. вузов. Приборостроение. 2015. Т. 58, № 11. С. 908—914.
RESISTANCE OF PHASE CORRELATION METHOD TO DISTURBANCES AT CREATING OF PANORAMIC DIGITAL IMAGES
S. V. Losev
ITMO University, 197101, St. Petersburg, Russia E-mail: [email protected]
Application of the phase correlation method in creating panoramic digital images by stitching adjacent frames is considered. High sensitivity of the method to disturbances caused by spatial noise and blur of object borders in the images is discussed. Using model images for spatial noise and object border blur in initial frames, the maximum allowable values of the disturbances retaining the probability of reliable calculation of spatial displacement of adjacent frames by the phase correlation method equal to one are estimated. Substantial dependence of calculated data on density of the objects in the image is noted. The obtained results are anticipated to extend feasibility of the phase correlation method.
Keywords: digital image, image stitching, phase correlation method.
Data on author
Sergey V. Losev — ITMO University, Department of Optical and Digital Systems and Technologies; Assistant; E-mail: [email protected]
For citation: Losev S. V. Resistance of phase correlation method to disturbances at creating of panoramic digital images // Izvestiya Vysshikh Uchebnykh Zavedeniy. Priborostroenie. 2015. Vol. 58, N 1l. P. 908—914 (in Russian).
DOI: 10.17586/0021-3454-2015-58-11-908-914
