Стыковка фрагментов изображения по многооткликовой модели контурной линии Текст научной статьи по специальности «Математика»

УДК 004.93:519.6

СТЫКОВКА ФРАГМЕНТОВ ИЗОБРАЖЕНИЯ ПО МНОГООТКЛИКОВОЙ МОДЕЛИ КОНТУРНОЙ ЛИНИИ

А.СНаумов

IMAGE FRAGMENT MATCHING USING MULTIRESPONSE CONTOUR LINE MODEL

A.S.Naumov

Политехнический институт НовГУ, alex.naumov53@mail.ru

Представлен метод поиска стыков между фрагментами изображения произвольной формы, использующий для описания и сравнения геометрических и цветовых характеристик контурной линии многооткликовую кусочно-линейную модель сегмента. Особенностью метода является совместное использование геометрической и цветовой информации. Показан статистический критерий сравнения сегментов. При общей универсальности метода на уровне математической и концептуальной модели обеспечивается гибкость и вариативность его применения за счет выбора оптимального количества откликов модели и способа идентификации сегментов. Метод применим в широком спектре задач в области анализа и реконструкции изображений из фрагментов.

Ключевые слова: геометрический контур, цветовой контур, многооткликовая модель, линейная функция, кусочно-линейная аппроксимация, совмещение контуров, расстояние Махаланобиса

This article proposes a method for arbitrary shaped image fragments matching, which uses multiresponse piecewise linear segment model for contour description and comparing. Key feature of the method includes joint use of geometrical and color features of the contour line. Statistical criterion for image comparison is presented. The method provides universality on the conceptual and mathematical level wherein flexibility and variability in practical cases because the number of response variable and segment identification method can be changed. The method is suitable for various applications in the field of image analysis and fragment matching.

Keywords: geometric contour, color contour, multiresponse model, linear function, piecewise-linear approximation, contour matching, Mahalanobis distance

1. Введение

Задача автоматизированной стыковки плоских фрагментов как часть процесса реконструкции фраг-ментированных изображений востребована в криминалистике, археологии, реставрации и других прикладных областях. Для ее решения, в частности, требуется создание методов описания и сравнения характеристик контурной линии, позволяющих локализовывать области стыка изображений фрагментов. Под геометрическим контуром будем понимать линию, обозначающую границу фрагмента и являющуюся характеристикой формы, а под цветовым — размещение цветовой информации вдоль границы фрагмента.

В работах [1,2] автором проанализированы особенности известных подходов к описанию и сравнению контуров, в результате чего сделан вывод об их недостаточной эффективности применительно к рассматриваемой задаче. Известные методы в большинстве своем являются эмпирическими, слабо обоснованными математически и ориентированными на узкие задачи, базирующиеся на конкретных примерах. Внимание уделяется в основном геометрическим характеристикам, не предложено удобных и эффективных способов работы с цветовым контуром.

Для преодоления указанных недостатков автором разработан новый метод описания и сравнения контуров, использующий линейную многоотклико-вую статистическую модель. Метод использует геометрическую и цветовую информацию в единой модели, позволяет получать достоверное описание кон-

тура, обеспечивает широкие возможности по адаптации его к различным типам исходных материалов.

2. Многооткликовая модель контура

В работе [3] автором был представлен метод описания геометрического и цветового контура фрагмента трехоткликовой линейной моделью. Для использования в задаче стыковки фрагментов изображения метод обобщается на произвольное число зависимых переменных и дополняется механизмом, обеспечивающим инвариантность полученного описания к преобразованиям сдвига и поворота фрагментов.

На рис.1. показан пример контура объекта. Исходная информация о каждой его точке представлена вектором, включающим в себя одну независимую и k зависимых переменных (откликов). Число откликов определяется спецификой задачи и в типичном случае равно 5:2 геометрические координаты (x и y) и 3 координаты в цветовом пространстве (например, RGB). В качестве независимой переменной используется расстояние вдоль контура с, рассчитываемое относительно начальной точки описания следующим образом:

c = -x--i)2 + (yi -y--i)2 или, иначе,

j=i

c = c-1 W(x - x-i)2 + (yi -y-i)2, (1)

где i =1, n, n — общее число точек контура, xi и yi — геометрические координаты i-й точки, xi-1 и yi-1 — соответственно i-1-й точки, c0 = 0. Параметризация

контура от расстояния позволяет избежать проблем с аппроксимацией вертикальных линий и в дальнейшем обеспечить инвариантность описания. Таким образом, для модели с 5 откликами в цветовом пространстве RGB вектор описания i-й точки имеет вид:

{ci, xi, yi, ri, gi, b }T, где Cj — независимая переменная, x j, yj — геометрические переменные, rj, gj, bj — цветовые.

c0=0

х0ЩЩ Уо=У(с0)

xi+1=x(ci+1) yi+1=y(ci+1)

Рис.1. Геометрические координаты как функция расстояния вдоль контура. Точка С0 = 0 — начальная точка отсчета; х(Сй), у(с0) — соответствующие значения координат

Контур аппроксимируется кусочно-линейной функцией, участки которой начинаются и заканчиваются в точках излома. Многооткликовая, линейная по коэффициентам модель линейного участка контура изображения представляется в виде векторной функции

Y = PjT(cj )Bj + Ej,

(2)

где / — номер участка, j = 1, щ — номер точки на /-м участке, щ — количество точек на /-м участке,

N--

— полное количество точек контура фраг-

j=i

мента и30бражения, рТ(сг] ) = У{(су ), f2(с/у \...^к(су )} — функция, описывающая зависимость значений откликов от независимой переменной су,

Yj• = {у1у,У2у,...,Уку}Т — вектор значений откликов, Б,- = {Ь1!, Ь2 Ь(2к) г }Т — вектор коэффициентов модели для /-го участка, Е/ ={е1 г, е2 /,..., ек/}Т — вектор остатков на /-м участке с ковариационной матрицей УЕ/.

Матрица Р(Х) для обобщенной модели /-го участка принимает вид

(3)

1 CJ 0 0 . .. 0 0 ^

Pi (CJ ) = < 0 0 1 J .. 0 0

0 0 0 0 . .. 1 CJ.

где число строк равно числу откликов модели.

Оценки коэффициентов для /-го участка рассчитываются по методу наименьших квадратов [4] в виде:

J=1

где матрица Gj рассчитывается как

n j

Gj P(cj )PT (cj ).

J=1

(4)

A Y 7 A*J>i+u

I Yy r^ сt£l+1J+1 YM

AptJ 1 1

С С 1+1 С1+2

Рис.2. Пример аппроксимации сегмента контура для случая одной переменной. Значение независимой переменной с/+1 соответствует точке излома (границе линейных участков У и

У+1)

Алгоритм описания контура и поиска точек излома представлен в работе [3]. Поиск точек излома сводится к последовательному обходу контура и проверке статистического критерия о принадлежности текущей группы точек модели предыдущего участка. При отклонении гипотезы текущая точка принимается за точку излома, и начинается расчет нового линейного участка. Процесс заканчивается при обходе всего контура. Отсчет независимой переменной (1) начинается заново от каждой точки излома. Поиск точек излома выполняется либо по геометрическому, либо по цветовому контуру. Если характер фрагментов в конкретной задаче не предполагает ярко выраженных углов и цветовых переходов, то используется равномерная аппроксимация [2], где точки излома располагаются на некотором заданном расстоянии. Несколько последовательных участков аппроксимации и относящихся к ним точек излома образуют сегмент (рис.2).

3. Преобразование модели в инвариантный вид

Многооткликовая модель для цветовых переменных является инвариантной относительно сдвига и поворота фрагментов, а за счет того, что значение независимой переменной с отсчитывается заново от каждой точки излома, она является инвариантной к выбору начальной точки описания. Таким образом, сравнение цветовых характеристик сегментов можно выполнять на уровне коэффициентов линейной модели.

Для геометрических переменных требуется выполнить преобразование модели в инвариантный вид. Для этого на основе оценок коэффициентов и координат точек изломов рассчитываются:

1) длины линейных участков геометрического контура;

2) углы между соседними линейными участками геометрического контура в точках излома.

При использовании в модели (2) двух откликов (только геометрических переменных) вектор оценок

коэффициентов имеет вид Б / ={Ь/,Ь2/,Ь3/,Ь4 /}Т. Длина участка между точками излома рассчитывается по

формуле Li = V(х/0 _х/т )2 + (у / - у/+1 )2 или после преобразования:

Ц =7(с/0 - с/т)2(Ь2I + Ь4i2), (6)

где — длина /-го участка, сю и с/т — значения независимой переменной в начальной и конечной

точке /-го участка, Ь2/ и Ь4/ — соответствующие элементы вектора коэффициентов.

Угол между двумя прямыми на плоскости

<А"/+1 к/

--7-Т~

1 + Щ+т,

где к и к/+1 — соответствующие угловые коэффициенты прямых. С учетом используемой независимой

переменной к = — угловой коэффициент /-го

Ь

Ь

линейного участка, к/+1 = -r-г— — /+1-го участка. Пу-

Ь2/+1

тем преобразования получаем выражение для угла между двумя линейными участками

Ь4/+1Ь2/ - Ь2г+1Ь4г

С = агс^

Ь2/+1Ь2/ + Ь4/+1Ь4/

(7)

где / =1, и — номер линейного участка контура, Ь2/ и Ь4/ — соответствующие элементы вектора коэффициентов для /-го участка, Ь4/+1 и Ь2/+1 — для / +1-го.

Для геометрического контура вектор описания /-го участка имеет вид

А = {Ь, с}1. (8)

Расчет ковариационной матрицы вектора А' выполняется путем линеаризации выражений (6) и (7) относительно коэффициентов в окрестности точки Б^

Для функции нескольких переменных у = ф(хь х2,...,хи) дисперсия рассчитывается [5] как

СТ'

у =2 Йф-Й+

/=1

'< ]

дх/ )\дх, ] у

(9)

где стх — дисперсия соответствующей переменной,

Г СТХ СТ х,

- ковариация двух переменных х/ и х,.

Найдем частные производные выражения (6) по коэффициентам:

дЬ

Ь2 (с/т - с/0)

дЬ2 л/(С/т -Со)2(Ь22 + Ь42)

Ь4(с/т -с/0)

дЬ

дЬ4 4(Ст -Со)2(Ь22 + Ь42)

(10)

Выполнив подстановку в (9) и преобразования

полечим выражение для расчета дисперсии (6):

2 2 2 2 2 2 (С/т - С/о) (СТЬ2Ь2 + 2С0У(Ь2,Ь4) +СТЬ4Ь4 )

СТЬ =-Г^Г2-, (11)

Ь2 + Ь

где с/0 и с/т — значения независимой переменной соответственно в начальной и конечной участка; соу(Ь2,Ь4) — ковариация коэффициентов Ь2, Ь4. Оценки коэффициентов и их ковариационная матрица известны.

Аналогичным образом рассчитывается дисперсия угла. Частные производные выражения (7) по коэффициентам:

да _ Ь4/ _ да _ Ь2/

~дЬ2 ~ Ь27^Ь47' ^

да

22 Ь4/+1

Ьп? + Ь4/2'

(12)

да

Ь

2/+1

дЬ2

у2/+1

22 + Ь4/+1

дЬ

'4/+1 Ь2/+1 + Ь4/+1

где Ь2 и Ь4 — элементы вектора коэффициентов для -го участка, Ь4/+1 и Ь2/+1 — для /+1-го. Коэффициенты двух последовательных участков контура не коррелиро-ваны, поэтому с учетом (12) выражение (9) примет вид:

стС =

Ь4,

Ьъ2 + Ь4г2

2 2 ,( Ь/ ^

СТ Ь2 +1 -

Ь 2 , , 2 ^ Ь4/ Ьъ + Ь4/

2

СТ Ь4 +

+1 -

Ь4/+1

2 , + Ь4 +1

(

-2 (

1(ь

СТ Ь2+, +

Ь2/+1 + Ь4/+1

2

СТ Ь4 +1 -

- 2

Ь2Ь4г {Ьъ2 + Ь4/2)2

(Ь2/+12 + Ь4/+12)2

(13)

IС0У(Ь2/,Ь4/) -

С°У(Ь2 /+1, Ь4/ +1).

Таким образом, полним ковариационную матрицу вектора А' (8):

УА =

СТ 0

0 стС.

(14)

Общий вектор описания участка в инвариантном виде с учетом цветовых переменных имеет вид:

а=КА')т,(Б;)т[,

(15)

Уа =

(16)

где Б/ — вектор коэффициентов только цветовых переменных, получаемый из общего вектора коэффициентов путем вычеркивания первых четырех элементов, соответствующих геометрическим переменным.

Общая ковариационная матрица вектора А получается путем объединения матриц и имеет следующий вид:

ТУА ] 0 " _ 0 [УБ]_,

где УБ — ковариационная матрица коэффициентов только для цветовых переменных, получаемая из матрицы УБ вычеркиванием первых четырех строк и столбцов. При этом полагается отсутствие корреляционной связи между формой контура и цветом.

4. Сравнение сегментов

Для оценки близости двух сегментов используется величина, основанная на расстоянии Махалано-биса и выражаемая квадратичной формой

I,, =

1 ' — =у -Ая Г уаК -Ая 1

9=1

(17)

где I, — мера близости /' -го и ,-го сегментов, / — количество линейных участков в сегменте, А— вектор описания для д-го линейного участка /' -го сегмента, УА — средневзвешенная ковариационная матрица вектора А.

Для сравнения сегментов выполняется попарное сравнение всех сегментов имеющихся фрагментов. Сравнение можно выполнять как отдельно для геометрического и цветового контура, так и совместно.

Критическая величина I устанавливается из тестовой выборки заведомо стыкующихся фрагментов. Для этого следует выбрать совокупность пар

2

2

Ь

фрагментов, вручную задать на них границы сегментов и точки излома, выполнить расчет моделей, после чего для имеющихся стыков рассчитать значения близости по формуле (17).

Оценка дисперсии величины I, для тестовой выборки равна

1 ' - 2

СТ = 7312(1Я - ), (18)

1=1

где I у — среднее значение величины 1,.

Объем тестовой выборки в практических задачах, как правило, ограничен и может не всегда достоверно отражать генеральную совокупность, поэтому для построения доверительного интервала целесообразно использовать правило трех сигм.

Доверительный интервал для величины 1, (17) можно представить в виде:

I,, - 3ст; < I, < 1,} + 3ст;. (19)

Попадание величины 1, в доверительный интервал позволяет полагать наличие стыка между фрагментами.

5. Особенности реализации

В зависимости от специфики предлагаются следующие варианты использования метода:

1. Только геометрический контур: 2 отклика — координаты точек.

2. Только цветовой контур: 1-3 отклика — значения компонент либо только яркость.

3. Совместный контур: 3-5 откликов.

Возможны другие варианты.

а) б)

Рис.3. Варианты определения сегментов контура: а) по угловым точкам; б) по характерному элементу (паттерну)

Для каждой пары фрагментов сравниваются все возможные комбинации сегментов, найденные стыки запоминаются. Определение границ сегментов выполняется вручную или с использованием каких-либо эвристических методов. Рассмотрим варианты выделения сегментов:

1) имеются ярко выраженные сегменты, ограниченные угловыми точками и соответствующие всей области разлома (рис.3а);

2) отсутствуют ярко выраженные углы либо границы стыка не совпадают с ними, но имеются характерные паттерны формы или цвета (рис.3б), которые рассматриваются в качестве сегментов;

3) в прочих случаях сравнение может осуществляется методом скользящего окна [2] либо методом

наращивания области стыка, представленным в работе [6].

6. Заключение

Разработан универсальный метод описания и сравнения контуров изображений на основе многоот-кликовой линейной модели, который может быть использован в задаче стыковки фрагментов изображения произвольной формы. Метод позволяет использовать геометрические и цветовые характеристики контурной линии в единой модели, что повышает достоверность описания и сравнения контуров, а следовательно, эффективность процесса реконструкции фрагментированных изображений. Единая модель упрощает практическую реализацию программных средств для реконструкции изображений и лишена недостатков традиционных эмпирических подходов.

Разработанные методы имеют самостоятельную практическую ценность и могут быть использованы в широком спектре задач анализа изображений. В настоящее время ведется внедрение разработки в программную систему, предназначенную для реконструкции бумажных документов и керамических изделий.

1. Наумов А.С. Анализ методов описания контуров фрагментов при решении задачи синтеза изображения / Нов-ГУ им. Ярослава Мудрого. 2010. Деп. в ВИНИТИ РАН 24.01.11, № 15-В2010.

2. Наумов А.С., Луций С.А. Формирование дескриптора контурной линии в задаче синтеза изображения из фрагментов произвольной формы // Вестник НовГУ. Сер.: Ес-теств. и техн. науки. 2012. №68. С.68-74.

3. Наумов А.С., Попов С.А. Многооткликовая модель описания контура фрагмента изображения // Вестник НовГУ. Сер.: Техн. науки. 2013. №75. Т.1. С.81-84.

4. Rencher Alvin C. Methods of Multivariate Analysis. A John Wiley & Sons, Inc. Publication. Brigham Young University, 2002. 708 p.

5. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969. 576 с.

6. Наумов А.С. Стыковка фрагментов изображения по геометрическому и цветовому контурам // Вестник компьютерных и информационных технологий. 2013. №9. C.16-21.

References

1. Naumov A.S. Analiz metodov opisaniia konturov fragmentov pri reshenii zadachi sinteza izobrazheniia [Contour description method analysis for the fragmented image reconstruction problem]. NovSU, 2010. Dep. in VINITI RAS, January 24, 2011, no. 15-B2010.

2. Naumov A.S., Lutsii S.A. Formirovanie deskriptora konturnoi linii v zadache sinteza izobrazheniia iz fragmentov proizvol'noi formy [Forming of the contour descriptor for the problem of image synthesis from fragments of a random shape]. Vestnik NovGU. Ser. Tekhnicheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2012, no. 68, pp. 68-74.

3. Naumov A.S. Popov S.A. Mnogootklikovaia model' opisaniia kontura fragmenta izobrazheniia [Multiresponse model of an image contour description] Vestnik NovGU. Ser. Tekhni-cheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2013, no. 75, vol. 1, pp. 81-84.

4. Rencher A.C. Methods of Multivariate Analysis. John Wiley & Sons Inc., Brigham Young University, 2002. 708 p.

5. Venttsel' E.S. Teoriia veroiatnostei [Probability theory]. Moscow, "Nauka" Publ., 1969. 576 p.

6. Naumov A.S. Stykovka fragmentov izobrazheniia po geomet-richeskomu i tsvetovomu konturam [Image fragment matching using geometrical and color contours]. Vestnik komp'iuternykh i informatsionnykh tekhnologii - Herald of computer and information technologies, 2013, no. 9, pp. 16-21.