CC BY
26
Доклады БГУИР
2012 № 6 (68) УДК 621.391
СЕКТОРНАЯ ЛОКАЛИЗАЦИЯ, ПАРАМЕТРИЗАЦИЯ И ИДЕНТИФИКАЦИЯ РЕПЕРОВ НА ОСНОВЕ УГЛОВЫХ КОЭФФИЦИЕНТОВ ДЛЯ СОВМЕЩЕНИЯ ПЕРЕКРЫВАЮЩИХСЯ ИЗОБРАЖЕНИЙ
О.ДЖ. АЛЬ-ФУРАЙДЖИ, В.К. КОНОПЕЛЬКО, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П.Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 9 июля 2012
Предложены алгоритмы секторной локализации и параметризации реперов в вейвлет-области для совмещения перекрывающихся изображений, основанные на использовании угловых коэффициентов для описания контурной структуры в окрестности репера. Показано, что данные алгоритмы по сравнению с методами SIFT и SURF обеспечивают снижение вычислительной сложности локализации и параметризации реперов и повышение стабильности реперных идентификаторов в условиях параллакса.
Ключевые слова: локализация и параметризация реперов, совмещение изображений.
Введение
В основе совмещения перекрывающихся изображений лежит поиск соответствий. Он основан на локализации и параметризации реперов на изображении. Известные методы локализации и параметризации реперов SIFT (Scale Invariant Feature Transform) [1] и SURF (Speeded-Up Robust Features) [2] используют иерархию аппроксимированных представлений изображения для локализации реперов в различных масштабах с последующей параметризацией, обеспечивающей их идентификацию инвариантно относительно поворота, масштабирования, изменения яркости изображений. Использование большого числа разномасштабных представлений изображения для локализации реперов приводит к высокой вычислительной сложности, что является основным недостатком данных методов. Кроме того, идентификаторы в методах SIFT и SURF не учитывают параллакс, возникающий при смещении видеокамеры.
Целью работы является разработка вычислительно простых алгоритмов локализации и параметризации реперов для совмещения перекрывающихся изображений в условиях параллакса.
Выделение реперов
Локализация реперов начинается с их выделения на изображении. Для снижения вычислительной сложности предлагается алгоритм HRT (Haar Roberts Transform) формирования реперных образов на основе контурной бинаризации с использованием преобразований Хаа-ра [3] и Робертса [4], включающий три шага: формирование кратномасштабного представления изображения с помощью вейвлет-преобразования Хаара с одним уровнем аппроксимации на каждом уровне кратномасштабного представления (6 целочисленных операций сложения на пиксель); контурная фильтрация аппроксимированных образов с помощью фильтра Робертса (3 целочисленных операции сложения на пиксель); формирование множества
\R (lS,lR )}, _- , бинарных реперных образов на основе пороговой обработкой результатов
Jfjs _0,ls -1, 1r _1)
контурной фильтрации (1 целочисленная операция сложения на пиксель). Алгоритм HRT ис-
пользует только целочисленные операции сложения, число С%РТ (УХ) которых вычисляется с помощью выражения
CPPPT (YX) = 4YX +10X
is=0
YX
22('s+i):
(1)
где LS - число уровней кратномасштабного представления изображения; YX - размер изображения.
На рис. 1 а приведены зависимости CpFT (YX), CSpUpRF {YX) и CHRT {YX) от размера YX изображения при LS = 4 . Из рис. 1 а следует, что алгоритм HRT имеет в 5 раз меньшую вычислительную сложность по сравнению с методом SURF. ю"
КТО (500 2000 2Ь00
а
Рис. 1. Вычислительная сложность: а - выделения реперов; б - уточнения реперов
Уточнение и секторная локализация реперов
Реперные образы содержат множество точек, которые не могут быть использованы в качестве реперов из-за отсутствия в их окрестности признаков, обеспечивающих однозначную идентификацию. Для локализации подходящих точек необходим этап уточнения реперов.
Для снижения вычислительной сложности этапа локализации реперов и повышения устойчивости его результатов к изменению яркости и масштаба изображения предлагается алгоритм ACMA (Angle Contour Mask Algorithm) уточнения реперов, основанный на использовании библиотеки из 24-х угловых контурных масок, представляющих все возможные повороты на угол 45 d° трех базовых угловых контурных масок размером 4 х 4 пикселей со значениями угла
а = | 45о, 90o, 135o j (рис. 2), где d = 0,7 - ориентация. Библиотека применяется для поиска угловых реперов на множестве {R(lS,lR _____ r ^ реперных образов. Совместное использование алгоритмов HRT и ACMA обеспечивает секторную локализацию реперов, позволяющую определить местоположение угловых контурных реперов, окрестность которых разделена контуром на два сектора, угловые размеры и ориентация которых определяются с помощью одной из 24 бинарных угловых контурных масок. Секторная локализация реперов инвариантна к повороту, изменению яркости и масштаба изображения, т.к. угловые параметры секторов слабо зависят от этих преобразований.
Ü
а б
Рис. 2. Базовые бинарные угловые контурные маски: а - маска 45о; б - маска 90о; в - маска 135°
Алгоритм уточнения реперов состоит из следующих двух шагов.
б
в
1. Окрестность каждого репера из множества jR (lS,lR ___—_ r проверяется на соот-
% А =1)
ветствие одной из 24 угловых контурных масок. Это требует 24 х 4 х 4 = 384 бинарные операции сложения. В [6] показано, что за счет минимизации числа узлов поискового графа количество бинарных операций может быть сокращено до 52. В результате формируется множество
{С(1„, 1Я)}, - , угловых реперных образов. Для каждого репера с(13, 1К,щ )
V '> =0,Ь5, -1, 1Е =1) V в/
из углового реперного образа С (1в, 1Я) фиксируется набор параметров
{У (\ ), х(\ )(\ ),d (\ ), (\ )}(я =Ш1тГ)), гДе ^ (1в ) - число реперов на уровне .
2. Отыскиваются пары соответствующих угловых контурных реперов с (, 1К, 1) и с (1в -1,1К, у), удовлетворяющих условию
'(2У (1)« У (У))л(2х(1)« х(у))л>
Vls (ls _ Ls,1)Vi(i _ 0,Nc (ls ))з/ ( j e [ü,Nc (ls -1)])
c (ls, lR , i)« c (ls -1, lR , j)) ,
л (a (i) «a ( j)) л (d (i) « d ( j ))
(2)
где ^ - символ соответствия угловых контурных реперов на соседних вейвлет-уровнях.
В результате данного шага выбираются угловые контурные реперы, локализация которых инвариантна к изменению масштаба изображения в 2 раза. Если допустимое отклонение
для каждого из четырех параметров jy(j), x(j),a ( j),d (j)} составляет 1 дискретное значение, то второй шаг требует 15 целочисленных операций сложения на каждый угловой репер.
Таким образом, для уточнения NL реперов алгоритм ACMA требует CAcma (NL) целочисленных операций сложения, определяемых с помощью выражения
CAcma (Nl ) _ Nl (52/ fIBA + 15^c ), (3)
где fIBA - коэффициент, учитывающий сложность целочисленной операции сложения по отношению к бинарной операции сложения; Kc - коэффициент, определяющий долю угловых реперов на верхних lS _ 1,LS -1 уровнях по отношению к общему числу выделенных реперов.
На рис. 1 б приведены зависимости вычислительной сложности cS:IPT (NL ), cS:URP (NL ) и cAcMA (Nl ) от числа NL реперов при условии Kc _ 0,07 (значение коэффициента определено экспериментально в результате усреднения по коллекции тестовых изображений с различной статистикой распределения яркости). Значение коэффициента fIBA _ 1 определено для процессора Intel Pentium [6]. Из рис. 1 б следует, что алгоритм AcMA имеет в 5 раз меньшую вычислительную сложность по сравнению с методами SIPT и SURP.
Секторная параметризация реперов
Для снижения вычислительной сложности этапа параметризации реперов и повышения устойчивости его результатов к параллаксу предлагается алгоритм секторной параметризации реперов (SPRJT - Scale Parallax Rotate Invariant Transform) на основе угловых коэффициентов, вычисляемых для контурных точек в окрестности репера.
Алгоритм секторной параметризации состоит из следующих 3-х шагов. 1 Для каждого репера с координатами (yMP, xMP) формируется вектор
DMP (yMP, XMP, RMP )_|\dMP (yMP, XMP, RMP, icP )|L 1N (y x R \ \, в кот°р°м значению icP -го эле-
ii lycp _l,ncp\.ymp ,xmp ,rmp}j
мента соответствует расстояние от этого репера до icP -ой контурной точки, находящейся в его окрестности радиусом RMP, где Ncp (yMP, xMP, RMP ) - число контурных точек в окрестности ре-
пера радиусом RMP . При условии, что число NL контурных пикселей и общее число YX пикселей связано отношением Кр = (YX) и локальная плотность контурных пикселей для всего изображения одинакова, на данном шаге выполняются 3КР яRMP 2 целочисленных операций сложения, 2КР ^^2 целочисленных операций умножения и Кр ^^2 вещественных операций извлечения корня квадратного на репер.
2) В окрестности каждого репера выделяются ядро радиусом RMP|2 пикселей; RMP|2
__3
орбит шириной в 1 пиксель на расстояниях RMP|2 +1, RMP пикселей от репера; внутренний 1п
и внешний SOut секторы, размеры и ориентация которых определяются по одному из 24 угловых шаблонов, которому соответствует репер. Данные секторы делятся далее еще на три части каждый (на секторы ^, , - для сектора SIn; на секторы , , - для сектора SOut) в результате выделения по краям секторов размером я/8 (рис. 3).
Ьуг.хиг)— гЯмр/2
-Olli JIII
а б в
Рис. 3. Выделение секторов в окрестности репера: а - формирование ядра и орбит; б - формирование внутреннего и внешнего секторов; в - формирование дополнительных секторов
3. Рассматриваются три пары секторов: секторы SIn и SOut (пара 1); секторы
(Sgu S^u Sf>) и (SIEsOU)u S&)) (пара 2); секторы (sf ^ ^ S<2) и
{s^cUlt u SOU) u S^) (пара 3), где символом u обозначена операция получения составных сек-
торов. Для каждого сектора строится гистограмма H,
(ST) _
hT) (/)
vs>
значения элементов
которой представляют взвешенную статистику угловых коэффициентов для прямых, проходящих через репер и пары контурных пикселей, которые удалены друг от друга на угловое расстояние и от репера на расстояние dMP (умр, хмр, RMP, iCP ) , удовлетворяющее условию
d 1 < dMp(yMp, xup, Rup, icp )< d +1
(4)
при d = 2, RMP -1, где CT и ST - индексы, указывающие на принадлежность гистограммы к конкретному сектору S^T^ и принимающие значения jIn, Out} и jB,M, E} соответственно.
Число элементов nCT) в гистограмме HCT' вычисляется с помощью выражения
(ST) _ J sCT Уp при SCT ) < SW '
{sw/p при) ^ SW ,
(ST)
N\s4 _ CT
(5)
где p _-
\p1 при CT _ In,
точность гистограммы, определяемая числом сегментов, которые
[p2 при CT = Out она содержит, и сектором, для которого она строится (p1 > p2).
При условии, что контурные пиксели равномерно распределены по окрестности репера, вычисление статистики ограничено сектором SW и тремя орбитами согласно условию (4), количество угловых расстояний, которые должны быть вычислены между контурными точками,
составляет (R№ -1)(3SwKp%RMPz/(360RMp))2 _ (R^ -1)(SwKpRup)2/l444. Тогда, для
вычис-
ления угловых расстояний необходимо (RM -1)(SWKPRMP)2/481 целочисленных операций сложения, (RMP -1)(SWKPRMP)2/722 целочисленных операций умножения, (RMP -1)(SWKPRMP)2/l444 вещественных операций извлечения корня квадратного и столько же вещественных операций деления на репер. Для взвешивания статистики используется KG дискретных значений одной из RMP - 2 функций Гаусса с единичной площадью и различной шириной, постепенно уменьшающейся в направлении от репера к границам рассматриваемой окрестности. Формирование взвешенной гистограммы требует выполнения
KG (RMP -1)(SWKPRMP)2/l444 вещественных операций сложения и столько же вещественных
операций умножения на репер.
В результате данного алгоритма для каждого репера формируются 6 идентификаторов, каждый из которых может быть использован для поиска соответствия перекрывающихся изображений независимо, что обеспечивает инвариантность идентификации к параллаксу.
Для алгоритма SPRIT количество CSPPPIT (NF ) вещественных и целочисленных операций, выраженное в целочисленных операциях сложения, вычисляется с помощью выражения
(
CPRIT (NF ) NF
kp urmp
(5 + /fpaa/fpsa ) +1481 + /fpia/fpsa! 1444
+(rmp -1)(swkprmp)2((1 + /fpim/fpdm/2)/722)
(6)
где Nf - число реперов; fppIA - коэффициент, учитывающий вычислительную сложность вещественной операции сложения по отношению к целочисленной операции сложения; fIT]M -коэффициент, учитывающий сложность вещественной операции умножения по отношению к целочисленной операции умножения; fFPSA - коэффициент, учитывающий сложность вещественной операции извлечения корня квадратного по отношению к вещественной операции сложения; fFPDM - коэффициент, учитывающий сложность вещественной операции деления по отношению к вещественной операции умножения.
На рис. 4 а приведены зависимости вычислительной сложности CpIFT (NF ), CpURF (NF )
и CpPRIT (Nf ) z от числа NF реперов при условии KP = 0,07 (определено экспериментально в результате усреднения по коллекции тестовых изображений с различной статистикой распределения яркости). Значения коэффициентов fFPIA = 3, fFPIM = 0,6, fFPSA = 23,3 , fFPDM = 7 определены для процессора Intel Pentium [5]. Из рис. 4 а следует, что предложенный алгоритм SPRIT секторной параметризации реперов имеет в 18 раз и 43 раза меньшую вычислительную сложность по сравнению с методами SIFT и SURF соответственно.
10* f
С 10*
10'
10°
Ср { SCI(I_
iu тшт 9т
2Ö0 400 SOD 800 1000 1200 1400 1600 1800
10 16 20 25 30 36 40 46
а б
Рис. 4. Оценка эффективности секторной параметризации реперов: а - зависимости вычислительной сложности С этапа параметризации реперов от числа реперов; б - зависимости ошибки MSEI идентификации реперов от смещения видеокамеры
На рис. 4 б представлены зависимости среднеквадратической ошибки MSE1 идентификации реперов от величины m горизонтального смещения (в см) видеокамеры ( MSEisprit{In) -
для In-сектора в алгоритме SPRIT; для метода SIFT; MSESprit(Out) - для Out-сектора в алгоритме
SPRIT; MSE'sift - для метода SIFT; MSESurf - для метода SURF). Данные зависимости характеризуют устойчивость результатов параметризации реперов к параллаксу и получаются в результате сопоставления идентификаторов реперов на исходном изображении и изображениях, полученных при смещении видеокамеры. Из рис. 4 б следует, что алгоритм SPRIT секторной параметризации позволяет повысить стабильность идентификаторов в условиях параллакса до 10 раз и 4,4 раза по сравнению с методами SIFT и SURF соответственно.
Оценка эффективности секторной идентификации реперов
Для оценки вычислительной сложности CL локализации и параметризации реперов на основе алгоритмов HAS (HRT, ACMA, SPRIT) (CHPS) и методов SIFT (C^ ), SURF (C^) предлагается использовать следующее выражение
CAP = CP (YX)+CA (фт)+CP [kA'hX), (7)
где A - индекс, указывающий на алгоритм (метод) и принимающий значение из множества {HAS, SIFT, SURF}; и - коэффициенты, определяющие отношение числа контурных
точек и реперов соответственно, выделяемых с помощью алгоритма A, к общему количеству YX пикселей изображения.
Оценка вычислительной сложности идентификации реперов для алгоритмов HAS (CHAS) и методов SIFT (CSIFT ), SURF (CISURF) производится с помощью выражений
CA = 9Ra (k{pYX )2, (8)
где Ra - число элементов в идентификаторах для алгоритма A.
Для алгоритмов HAS и методов SIFT, SURF в табл. 1 приведены значения kA ), kA ), CAf и СA для тестового ландшафтного изображения. Из табл. 1 следует, что алгоритмы HAS обеспечивают по сравнению с методом SURF уменьшение до 5,5 раз вычислительной сложности локализации и параметризации реперов и до 4 раз вычислительной сложности идентификации реперов. По отношению к методу SURF суммарная вычислительная сложность С№ + С1 секторной локализации, параметризации и идентификации реперов уменьшается в 4 раза.
Таблица 1. Вычислительная сложность локализации, параметризации и идентификации реперов
Алгоритмы (методы) kL) kAP] CA x10 CA x108
HAS 0,1361 0,0018 0,023 0,991
SIFT 0,0095 0,0021 64,933 1,598
SURF 0,2116 0,0044 0,128 3,508
Для алгоритмов HAS и методов SIFT, SURF в табл. 2 приведены зависимости числа NI (m) идентифицированных и NI (m) неидентифицированных реперов от сдвига m видеокамеры по горизонтали, полученные с помощью метода RANSAC [7]. Из табл. 2 следует, что с увеличением смещения видеокамеры число (NI (m) + NI (m)) реперов на этапе идентификации
для методов SIFT и SURF резко сокращается, а для предложенных алгоритмов HAS секторной локализации и параметризации остается примерно постоянным. Алгоритмы HAS обеспечивают минимальное значение RHAS отношения дисперсий величин NI (m) и NI (m) (RHAS = 0,25) по сравнению с SIFT (RSIFT =0,63) и SURF ( RSurf =1,98), характеризующее устойчивость идентификации реперов к параллаксу. Из табл. 2 следует, что при сдвиге видеокамеры до 45 см сек-
торная идентификация реперов на базе алгоритмов HAS в 2,5 раза и в 8 раз более устойчива к параллаксу по сравнению с идентификацией на базе методов SIFT и SURF соответственно.
N. (m)
Таблица 2. Значения —f числа идентифицированных и неидентифицированных реперов
N (m)
Алгоритмы, методы Значения сдвига m видеокамеры, см
5 10 15 20 25 30 35 40 45
HAS ( RHAS = 0,25) 82 307 33 263 40 234 22 277 24 491 31 501 32 385 41 466 30 423
SIFT ( Rsift = 0,63 ) 52 169 43 210 26 191 33 162 19 198 18 192 12 217 8 181 10 147
SURF ( Rsurf = 1,98) 271 171 225 148 162 132 139 120 77 108 60 96 73 115 56 91 53 61
Заключение
Предложены алгоритмы секторной локализации и параметризации реперов полутоновых изображений в вейвлет-области, основанные на использовании угловых коэффициентов для описания локальной контурной структуры в окрестности репера на исходном изображении и его аппроксимированных вейвлет-образах. Показано, что предложенные алгоритмы обеспечивают уменьшение вычислительной сложности локализации, параметризации и идентификации реперов в 4 раза по сравнению с методом SURF и повышение стабильности идентификации при параллаксе в 2,5 раза по сравнению с методом SIFT.
SECTOR LOCALIZATION, PARAMETERIZATION AND IDENTIFICATION OF REFERENCE POINTS BASED ON CORNER COEFFICIENTS FOR ALIGNING
THE OVERLAPPING IMAGES
O.J. AL-FURAIJI, V.K. KANAPELKA, V.YU. TSVIATKOU
Abstract
Algorithms of sector localization and parameterization of reference points in the wavelet domain for aligning the overlapping images based on the utility of corner coefficients to describe the contour structure in the vicinity of the reference point are proposed. It is shown that these algorithms compared to the methods of SIFT and SURF provide a reduction in the computational complexity of localization and parameterization of reference points and increase the stability of their descriptors at parallax.
Список литературы
1. Lowe D.G. // International Journal of Computer Vision. 2004, Vol. 60, № 2. P. 91-110.
2. H. Bay, et. al// Computer Vision and Image Understanding. 2008, Vol. 110, № 3. P. 346-359.
3. Малла С. Вэйвлеты в обработке сигналов. М., 2005.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М., 2005.
5. Fog A. Optimization manuals, 4th, Instruction tables: Lists of instruction latencies, throughputs and microoperation. Copenhagen University College of Engineering. 2012.
6. Аль-Фурайджи О.Дж., Спичекова Н.В. // Сб. междунар. научн.-техн. семинара. Телекоммуникации: сети и технологи, алгебраическое кодирование и безопасность данных. 2010. С. 51-56.
7. FischlerM.A., BollesR.C. // Communications of the ACM. 1981., Vol. 24, № 6. - P. 381-395.
