CC BY
69
ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ ГЕОМЕТРИЧЕСКИХ ТРАНСФОРМАЦИЙ ДЛЯ СОВМЕЩЕНИЯ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ
Е.В. Мясников
Самарский государственный аэрокосмический университет Институт систем обработки изображений РАН
Аннотация
В работе рассматриваются два метода оценки параметров геометрического рассогласования портретных изображений. Первый метод основан на использовании преобразования Фурье и применении корреляционного подхода, второй - на вычислении моментных характеристик изображения. Приводятся результаты экспериментальных исследований методов на базе данных портретных фотографий. Показано преимущество метода, основанного на преобразовании Фурье. Даны рекомендации по использованию методов.
Введение
Задача оценки параметров геометрического рассогласования изображений является одной из важнейших задач обработки изображений и возникает при решении практических проблем во многих областях: в медицине (локализация злокачественных изменений, контроль роста клеток и т. п.), при обработке данных дистанционного зондирования для нужд сельского хозяйства, геологии и т. д. Данная задача встает и при сопоставлении цифровых копий одной и той же реальной фотографии с твердого носителя. Таким носителем может являться, например, бумажный документ (паспорт, водительское удостоверение и т. п.) или напечатанный фотоснимок.
Следует отметить, что к средствам регистрации фотографий на документах, как правило, предъявляются требования минимизации вносимых геометрических искажений. При этом диапазон изменения параметров рассогласования сравнительно невелик и ограничен, как правило, 10-15%.
В условиях приведенных ограничений для оценки рассогласования изображений хорошо себя зарекомендовали подходы, основанные на преобразовании Фурье. В данной работе проводится исследование одного из таких методов, проводится сравнение с широко известным моментным методом.
Работа организована следующим образом. В первом разделе приведен обзор известных методов оценки параметров рассогласования изображений. Рассмотрены как методы, используемые в простых задачах устранения взаимного смещения изображений, так и методы, которые позволяют находить параметры масштабирования и поворота. Во втором разделе работы приводится описание метода, основанного на преобразовании Фурье. В третьем разделе дается алгоритмическое описание моментного метода. Результаты экспериментальных исследований методов приводятся в четвертом разделе. В частности, результаты содержат оценки качества определения параметров рассогласования при различных диапазонах изменения параметров.
1. Обзор методов оценки параметров рассогласования изображений
К наиболее простым методам оценки параметров рассогласования изображений относятся корреляци-
онные методы [1, 2]. Эти методы позволяют определить лишь параметры взаимного сдвига двух изображений Ij и /2 и могут быть основаны на расчете взаимной корреляционной функции:
Е I/j (tj, t2 ) 12 (tj -Tj, t2-т2 )
C(Tj,T2) = tj t2, 2
ЕЕ/ 2 (tj -Tj, t2 -T2 ) V tj t2
или коэффициента корреляции [3]. Указанная функция рассчитывается для всех возможных значений взаимного сдвига изображений т, т2 и имеют пик в том месте, где изображения совпадают.
К статистическим методам определения параметров взаимного сдвига изображений также относятся методы, основанные на расчете евклидовой меры рассогласования изображений:
D(Tj, T2) = IE(/j (tj, t2 )- /2 (tj -Tj, t2 -T2 ))2
tj i2
и меры Lj [5] (мера также может быть нормализована путем вычитания средних значений по локальному окну):
L(^ T2) = ЕЕ|/j (tJ, t2 )- 12 (tj -TJ, t2 -T2 )|
h t2 .
Следует отметить, что рассмотренные методы не позволяют определить параметры таких преобразований, как масштабирование и поворот. К недостаткам также можно отнести чувствительность методов к шумам.
Для нахождения параметров масштабирования и поворота, может применяться корреляционный подход с использованием множества шаблонов [2]. Однако при увеличении числа шаблонов, существенно растет и время, требуемое для решения задачи.
Другим методом нахождения параметров рассогласования является использование локальных признаков шаблона, инвариантных к изменениям поворота и масштаба. Хорошие результаты может дать использование искаженных шаблонов (rubber templates) [3].
В работе [6] для нахождения параметров афин-ного преобразования применяется следующий метод: сначала для всех возможных параметров взаимного смещения изображений рассчитывается функ-
ция взаимной корреляции изображений, представленных в логарифмическо-полярной системе координат. Оцененные параметры преобразования, значения корреляции для которых максимально, используются на следующем этапе в качестве грубого начального приближения для запуска оптимизационного процесса по методу наименьших квадратов.
При оценке параметров рассогласования изображений часто используются также Фурье-методы. Одним из таких методов, позволяющих согласовать сдвинутые друг относительно друга изображения, является метод фазовой корреляции (phase correlation) [7]. Функционирование данного метода основано на том свойстве преобразования Фурье, что модуль образа Фурье при взаимном сдвиге изображений остается неизменным, а разность фаз линейно зависит от величины сдвига изображений. Сама величина сдвига определяется по положению пика в обратном Фурье-образе от разности фаз изображений.
Выигрыш по времени вычислений можно получить, используя одномерные Фурье-преобразования проекций изображений по осям [8]. Данный метод, однако, работает только при небольших смещениях.
Развитие метода фазовой корреляции представляет метод [9], позволяющий совмещать изображения, отличающиеся как поворотом, так и смещением. Метод является двухэтапным, причем сначала определяется угол поворота (путем проверки для каждого возможного значения), затем - величина сдвига.
В ряде работ [10, 11, 12] для согласования изображений, отличающихся не только сдвигом и поворотом, а также и масштабом, было предложено использовать тот факт, что модули Фурье-образов являются одинаковыми для изображений, отличающихся только сдвигом. Параметры поворота и масштаба представляются после перехода к логарифмически-полярной системе координат, как сдвиги относительно соответствующих осей спектрального образа. Таким образом, эти параметры могут быть определены с использованием метода фазовой корреляции в логарифмически-полярных координатах модулей спектров изображений.
Некоторые методы используют похожий подход с преобразованием Фурье-Меллин (Fourier-Mellin) [13, 14]. В [14] параметры поворота, масштаба и сдвига определяются в три этапа. На этапе определения масштаба рассчитывается так называемая сигнатура масштаба (scale signature) путем интегрирования вдоль оси радиального аргумента Фурье-Меллин образа. Далее выбирается некоторое, заранее заданное, число значений коэффициента масштабирования, соответствующих пиковым значениям одномерной корреляции сигнатур. На втором этапе так же путем интегрирования образа преобразования Фурье-Меллин рассчитывается сигнатура поворота. На третьем этапе производится совмещение изображений по масштабу и повороту с использованием оцененных значений. Для каждого из найденных значений ищется корреляционный пик, по-
казывающий параметры сдвига изображения, и выбираются параметры, дающие максимальное значение корреляции.
Помимо описанных выше подходов, широкое распространение получили также моментные методы определения параметров геометрических преобразований [15].
2. Описание метода, основанного на преобразовании Фурье
В данной работе для оценки параметров рассогласования изображений использовался метод, основанный на представлении модуля преобразования Фурье в логарифмически-полярных координатах, а также метод, основанный на расчете моментных характеристик.
В представленном алгоритме используется важная особенность портретных изображений - информативная часть таких изображений почти полностью располагается в центре изображения. Этот факт позволяет использовать радиально-симметрич-ные маски для устранения нежелательных артефактов [14], практически не влияя на информативную часть изображения.
Пусть исходный сигнал x(t1,t2), заданный в декартовых координатах путем поворота на угол ф, масштабирования с коэффициентом а и сдвига на величины т1, т2 вдоль осей t1, t2, соответственно, преобразуется к сигналу y(tbt2):
^(tj -Tj ) cos ф + (t2 -т2) sin ф
y(ti, t2) = x
а
(-t1 +T1 )sinф + (2 -t2 )cos ф
а
У
Тогда связь модулей спектров исходного и преобразованного сигналов в логарифмически-полярных координатах может быть выражена в виде:
Y"(log* Р,Р)|| = а21**(logfe а + log, р,Р + ф)||.
Здесь р и в образуют в спектральной области полярную систему координат, b - основание логарифма. Учитывая указанную взаимосвязь, алгоритм оценивания параметров преобразования может быть представлен следующим образом.
Шаг 0. Выполняется предварительная обработка изображений: фильтрация, яркостная нормализация, наложение маски. Предварительная обработка изображений выполняется для обеспечения необходимых условий применения ДПФ и повышения устойчивости к разбросу параметров устройств регистрации и вносимым шумовым искажениям. Путем фильтрации сигнал ограничивается в частотной области, а также устраняются некоторые шумовые искажения, выполняется яркостная нормализация. Далее на изображение накладывается маска, что позволяет избежать появления нежелательных эффектов при переходе в спектральную область.
Шаг 1. Расчет спектров Х(юью2) и 7(юью2) двумерных полей яркости исходного х (/ъ/2) и преобразованного у(/ъ^2) изображений с использованием ДПФ.
Шаг 2. Вычисление модулей спектров:
||Х ( Ю2 )|| = ^(Re X (©1, Ю2 ))2 + (im X (, ©2 ))2
||y (<х>1, ©2)) = ^/(Re Y (©1, ©2 ))2 + (imY (<х>1, ©2)) .
Шаг 3. Переход к полярным координатам в соответствии с выражениями
©1 =р cosР , ©2 =р sinР
и логарифмированием шкалы по оси радиального аргумента:
¡X (n, Р)|| = |X (log, р Y *(П, Р)|| = Y *(logfe р
Шаг 4. Расчет двумерной корреляции модулей спектров, полученных на шаге 3, и соответствующих нормирующих корреляционных множителей. На данном шаге расчет свертки может выполняться как обратное Фурье-преобразование от произведения спектров соответствующих сигналов. Для обеспечения нециклического характера свертки оба изображения доопределяются нулями вдоль соответствующей оси.
Шаг 5. Нахождение корреляционного пика птах, ртах и определение по координатам пика параметров масштабирования а и поворота ф:
а = bЛmaX, Ф = Ртах .
Шаг 6. Поворот и масштабирование исходного изображения х(^ ,/2) по полученным значениям а и ф параметров преобразования:
X '(A, t2) = X
t1 cos ф + ^sin ф -t1 sin ф + ^cos ф
Шаг 7. Расчет взаимной корреляционной функции изображения х'(/ь/2), полученного на шаге 6, и преобразованного изображения уЙ,/2). Учитывая особенности портретных изображений, на данном шаге возможно использование только центральной части изображения.
Шаг 8. Расчет значения корреляционного пика и определение по координатам пика параметров взаимного сдвига изображений хь т2 .
Необходимо отметить, что естественная периодичность позволяет на шаге 4 использовать цикли-
ческую свертку по радиальной оси (Р). Кроме того, при переходе к полярным координатам на шаге 3 возможно использование не всего диапазона значений р, а вырезание «кольца» от ртт до ртах.
На приведенных ниже рисунках показаны изображения, получаемые на различных шагах работы алгоритма.
(а)^^^^^^Ш (6)1 Рис. 1. Исходное (а) и преобразованное (б) изображения
Рис. 2. Модули спектров исходного (а) и преобразованного (б) изображений
Рис. 3. Модули спектров исходного(а) и преобразованного (б) изображений после перехода к полярным координатам и логарифмирования
Рис. 4. Корреляционная функция модулей спектров в полярных координатах
Рис. 5. Корреляционная функция, получаемая на шаге 7работы алгоритма
3. Описание метода, основанного на вычислении моментных характеристик
Функционирование второго метода основано на вычислении моментных характеристик изображений [15]. Пусть т00, т01, т10 - моменты нулевого и первого порядка соответственно, |02, |20, Ни - центральные моменты второго порядка. Тогда положение центра тяжести изображения может быть определено по формулам:
Л = m10/ m0
tc 2 = m01 / m0
Угол поворота изображения относительно некоторого «стандартного» положения определяется как
1 2 • Uli
Y = - • arctg--L1—
2 М-02 - U20
+---n, n = 1,2,...
2
Так как определение угла в этом выражении возможно только с точностью до п/2, для однозначного ориентирования используются моменты третьего порядка (|Н30, |Н03, Ц12, ц21). При этом предполагается, что изображение имеет центр симметрии не выше второго порядка.
Используя указанные выражения, алгоритм определения параметров геометрического рассогласования может быть представлен в следующем виде.
Шаг 0. Предварительная обработка изображений: нормализация, выделение контуров, фильтрация, пороговая обработка.
Шаг 1. Вычисление моментных характеристик по полученным на шаге 0 изображениям (см. рис. 5 а, б).
Шаг 2. Вычисление координат центров тяжести х, /2Сх и /1Су, ^ и углов поворота уу, ух по момент-ным характеристикам, рассчитанным на шаге 1.
Шаг 3. Вычисление параметров геометрического рассогласования изображений х иy по формулам:
t = t y — t х h - 'i 'i
t = t y — t х l2 - '2 '2
9 = Yy — Yx > a = .
'00
'00
Рис. 6. Изображения после предварительной обработки исходное (а), преобразованное (б)
4. Результаты экспериментов
Экспериментальное исследование методов проводилось с использованием базы данных ОКЬ
(http:// www.uk.research.att.com/ facedatabase.html). Данная база данных содержит фотографии 40 человек, по 10 фотографий на человека, сделанных в различном ракурсе и с произвольной мимикой. Реализация и исследование предлагаемого в работе метода проведены с использованием инструментальной программной системы обработки и анализа цифровых изображений [18].
При проведении экспериментов параметры геометрических преобразований генерировались случайно, в соответствии с равномерным законом распределения. Результаты экспериментов приведены в таблицах 1 и 2 (параметры распределения также указаны в таблицах).
Таблица 1. Результаты экспериментов по методу, основанному на преобразовании Фурье
№ Параметр Диапазон изменения Среднее значение ошибки Дисперсия ошибки
а [0,83,1.2] 6,03 *10-3 1,41 *10-5
1 ф (рад) [-0,2,0.2] 6,14*10-3 1,35*10-5
т1, т2 (пикселей) [-10,10] 0,38 2,28*10-2
а [0.77;1.3] 6,29*10-3 1,59*10-5
2 ф (рад) [-0.4;0.4] 6,23 *10-3 1,43*10-5
т1, т2 (пикселей) [-11; 11] 0,39 2,32*10-2
а [0.67;1.5] 2,56*10-2 1,01*10-2
3 ф (рад) [-0.6;0.6] 1,61*10-2 2,28*10-2
т1, т2 (пикселей) [-12; 12] 0,39 17,3
а [0,5; 2,0] 0,245 0,174
4 ф (рад) [-0,8; 0,8] 0,198 0,401
т1, т2 (пикселей) [-15;15] 7,744 199,6
Как видно из приведенных результатов экспериментов метод, основанный на свойствах преобразования Фурье при ограничениях на значения изменяемых параметров в пределах 15%, обеспечивает значительно меньшие значения ошибок, чем метод, основанный на моментных характеристиках. В то же время, при растущих вариациях параметров, метод дает существенно больше ошибок, и в этом случае лучше воспользоваться методом моментов.
При проведении второй серии экспериментов оценивался объем существенных ошибок при определении параметров геометрического рассогласования по методу, основанному на преобразовании Фурье. Успехом считалось такое определение всех параметров геометрического преобразования, при котором абсолютная ошибка составляет:
1. Для масштабирующего коэффициента а - не более 0,05;
2. Для угла поворота ф - не более 0,025 рад. (1,4);
3. Для смещения т1, т2 - не более 1 пикселя. Считалось, что параметры определены неудачно,
если приведенные критерии нарушались хотя бы для одного параметра. Результаты экспериментов представлены в таблице 3.
Таблица 2. Результаты экспериментов по методу, основанному на вычислении моментов
Таблица 3. Результаты экспериментов для метода, основанного на преобразовании Фурье
Как видно из таблицы при практически незначимом уровне ошибок определения параметров (не более 0,01%) значение угла поворота может изменяться в пределах ±30°, масштаба - в пределах 20%, смещения - в пределах 10% от размера исходного изображения.
Заключение
В работе рассмотрены два метода оценки параметров геометрического рассогласования портретных изображений. Проведены эксперименты, показавшие, что метод, основанный на представлении модуля преобразования Фурье в логарифмически-полярных координатах, позволяет уверенно находить параметры геометрического рассогласования при небольших вариациях их возможных значений. В частности, данный метод обеспечивает малые значения ошибки при изменении значения угла поворота в пределах ±30°, масштаба - в пределах 20%, смещения - в пределах 10% от размера исходного изображения, что позволяет успешно использовать метод для нахождения параметров геометрического рассогласования изображений, полученных с устройств регистрации фотографий на документах. Метод обладает высокой эффективностью, вследствие отсутствия необходимости перебора по углам или масштабам. В методе также возможно использование быстрых алгоритмов дискретного преобразования Фурье для расчета спектров двумерных сигналов.
Благодарности
Работа выполнена при поддержке Российского фонда фундаментальных исследований: проекты № 06-01-00616-а, 07-07-97610-р_офи и в рамках российско-американской программы «Фундаментальные исследования и высшее образование» (CRDF Project RUX0-014-SA-06).
Литература
1. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. - М.: Вильямс, 2004. - 928с.
2. Прэтт У. Цифровая обработка изображений / Пер.с англ. - М.: Мир, 1982.
3. Brown L.G.. A survey of image registration techniques. ACM Computing Surveys, 24(4):325-376, December 1992.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений: Перевод с англ. - М.: Техносфера, 2005. - 1070с.
5. D.I. Barnea, H.F.Silverman. A class of algorithms for fast digital registration. IEEE Trans. Computers C-21, 1972. 3p.179-186.
6. Wolberg G., Zokai S. Robust image registration using log-polar transform. Proc. of IEEE Intl. Conf. on Image Processing, Sep. 2000.
7. Kuglin C.D. and Hines D.C. The phase correlation image aligment method. Proc. Int. Conf. on Cybernetics and Society, 1975. Р. 163-165.
8. S. Alliney, C. Morandi. Digital image registration using Projections. IEEE Trans. Pattern Analysis and Machine Intelligence. PAMI-8, No.2, March 1986, pp.222-233.
9. De Castro E., Morandi C. Registration of translated and rotated images using finite fourier transforms.IEEE Trans. Pattern Analysis and Machine Intelligence, (3):700-703, September 1987.
10. B.S. Reddy and B.N. Chatterji. An fft-based technique for translation, rotation, and scale-invariant image registration. IEEE Trans. Pattern Analysis and Machine Intelligence, 5(8):1266-1270, August 1996.
№ Параметр Диапазон изменения Среднее значение ошибки Дисперсия ошибки
а [0,83; 1,2] 2,93*10-2 5,02*10-4
1 ф (рад) [-0.2; 0,2] 8,58*10-3 2,06* 10"4
т1, т2 (пикселей) [-10, 10] 2,83 5,69
а [0,77; 1,3] 3,95*10-2 9,06* 10"4
2 ф (рад) [-0,4; 0,4] 9,11*10-3 2,03*10-4
т1, т2 (пикселей) [-11; 11] 3,59 9,39
а [0,67; 1,5] 6,15*10-2 2,29* 10"3
3 ф (рад) [-0,6; 0,6] 1,03*10-2 2,49* 10"4
т1, т2 (пикселей) [-12; 12] 3,80 9,48
а [0,5; 2,0] 0,12 1,02*10-2
4 ф (рад) [-0.8;0.8] 1,37*10-2 5,70*10-4
т1, т2 (пикселей) [-15; 15] 4,23 10,64
Диапазон изменения параметра Объем выборки Успехов, %
а ф Tl, Т2
[0,75, 1,25] [-0,52, 0,52] [-13..13] 10000 99,97
[0,75, 1,25] [-0,52, 0,52] [-12..12] 8595 99,98
[0,8, 1,2] [-0,52, 0,52] [-13..13] 8020 99,99
[0,75, 1,25] [-0,52, 0,52] [-11..11] 7272 99,99
11. Xie H., Hicks N., Keller G.R., Huang H., Kreinovich V. An IDL/ENVI implementation of the FFT-based algorithm for automatic image registration // Computer & Geosciences, 2003. - 29. - P. 1045-1055.
12. Image registration using fourier phase matching. US Patent №6373970.
13. Chen Q., Defrise M. and Deconinck F. Symmetric phaseonly matched filtering of fourier-mellin transforms for image registration and recognition. IEEE Trans. Pattern Analysis and Machine Intelligence, 16(12):1156— 1168, December 1994.
14. McGuire M. An image registration technique for recovering rotation, scale and translation parameters. Feb 19, 1998.
15. Анисимов Б.В., Курганов В.Д., Злобин В.К. Распознавание и цифровая обработка изображений. - М.: Высш. шк., 1983. - 295с.
16. Методы компьютерной обработки изображений / Под ред. В.А. Сойфера. - М.: Физматлит, 2001.
17. [Электронный ресурс] http://www.uk.research.att.com/facedatabase.html
18. Chernov A.V., Chicheva M.A., Gashnikov M.V., Glu-mov N.I., Myasnikov E.V., Sergeev V.V. Software tool system for digital image processing and analysis //Proc. 7th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-7-2004) / St.Petersburg.: 2004. - Vol. II. - P.445-447.
