Построение метаморфизмов растровых изображений на основе решения уравнений Эйлера-Пуанкаре Текст научной статьи по специальности «Математика»

УДК 004.932.2 DOI: 10.25513/2222-8772.2017.3.86-95

ПОСТРОЕНИЕ МЕТАМОРФИЗМОВ РАСТРОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ РЕШЕНИЯ УРАВНЕНИЙ

ЭЙЛЕРА-ПУАНКАРЕ

С.Н. Чуканов1

профессор, д.т.н., ведущий научный сотрудник, e-mail: ch_sn@mail.ru

С.В. Лейхтер2 аспирант, e-mail: leykhter@mail.ru

'ФГБУН Институт математики им. С.Л. Соболева СО РАН, Омский филиал

2ФГБОУ ВО Сибирский государственный автомобильно-дорожный университет

(СибАДИ)

Аннотация. В работе рассмотрена задача сравнения двух растровых изображений — исходного и целевого, представленных соответствующим каждому множеством чёрно-белых пикселей. Задача решается путём нахождения диффеоморфизма, который позволит совместить деформируемое изображение образа с изображением шаблона. В основе решения лежит метод построения функционала, характеризующего эволюцию диффеоморфизмов изображения от его начального состояния до конечного и «штраф» за отклонение траекторий движения точек изображения от требуемых. Разработан алгоритм решения уравнения диффеоморфизма, основанный на оптимизации (минимизации) построенного функционала методом градиентного спуска. Показан переход от метаморфизма точечных множеств к метаморфизму изображений, благодаря чему становится возможным оптимальный метаморфизм в случаях, когда отсутствует поточечное соответствие между исходными и целевыми объектами. Предложенные в работе алгоритмы могут использоваться в биометрических системах, системах классификации изображений и объектов, системах машинного зрения, при распознавании образов и объектов, системах трекинга.

Ключевые слова: распознавание образов, уравнения Эйлера-Пуанкаре, диффеоморфизм, метаморфизм изображений.

Введение

При сопоставлении изображений сравниваемых объектов цель состоит в нахождении оптимального преобразования одного изображения в другое. На основе этого принципа был разработан метод диффеоморфного сопоставления образов и определения римановой метрической структуры на пространствах деформируемых объектов [3]. Этот метод решает проблему регистрации изображений путём решения вариационной задачи нахождения минимума

(d(id, g)2 + ||g ■ ntemp — ntargI) по всем элементам группы диффеоморфизмов g, где исходное изображение (образ) ntemp и целевое (шаблон) ntarg — сравниваемые объекты, g ■ n — действие элемента группы диффеоморфизмов g на изображение n и d — риманово расстояние на диффеоморфизмах, однако, член ||g ■ ntemp — ntarg|| нарушает метрические аспекты группы диффеоморфизмов. С целью разработки метрического подхода к проблеме сопоставления шаблонов были введены метаморфизмы изображений [7], которые обеспечивают метрическую структуру.

Использование теоретико-групповых методов анализа изображений является инструментом исследований в компьютерной визуализации. Аналитические и вычислительные свойства низкоразмерных матричных групп Ли составляют основу компьютерной графики. В работе M. Miller and L. Younes [6] представления изображений с помощью группы матриц конечной размерности заменяются их бесконечномерным аналогом — группами диффеоморфизмов. Деформируемый шаблон изображения превращается в метрическое пространство с метрическим расстоянием между элементами путём построения кривых через пространство диффеоморфизмов, соединяющих их. Длина кривой становится основой для построения метрического расстояния, которое соответствует кривым геодезической кратчайшей длины, что приводит к вариационной задаче, описывающей геодезические потоки между элементами изображения на орбите, с решением уравнений Эйлера-Лагранжа, определяющих оптимальный поток диффеоморфизмов. Одной из целей настоящей работы является разработка бесконечномерных аналогов для исследования многомерных форм изображений через лиевы группы диффеоморфизмов.

В работе рассмотрена задача сравнения двух растровых изображений — исходного и целевого, представленных соответствующими множествами чёрно-белых пикселей. Задача решается путём нахождения диффеоморфизма, который позволит совместить деформируемое изображение образа с изображением шаблона. В основе решения лежит метод построения функционала, характеризующего эволюцию диффеоморфизмов изображения от его начального состояния до конечного и «штраф» за отклонение траекторий движения точек изображения от требуемых. При использовании вариационного исчисления задача приводится к обыкновенным дифференциальным уравнениям первого порядка Эйлера-Пуанкаре. Разработан алгоритм решения уравнения диффеоморфизма, основанный на оптимизации (минимизации) построенного функционала методом градиентного спуска. Показан переход от метаморфизма точечных множеств к метаморфизму изображений, благодаря чему становится возможным оптимальный метаморфизм в случаях, когда отсутствует поточечное соответствие между исходными и целевыми объектами. Предложенные в работе алгоритмы могут использоваться в биометрических системах, системах классификации изображений и объектов, системах машинного зрения, при распознавании образов и объектов, системах трекинга.

Отличительной особенностью предлагаемого метода от существующих методов метаморфизма изображений является то, что функционал, характеризующий диффеоморфизм изображений, является оптимальным и уникальным.

1. Уравнения Эйлера-Пуанкаре

Рассмотрим 0-мерные многообразия совокупности точек, 1-мерные многообразия кривых и многообразия изображений, которые могут быть представлены скалярами, векторами и матрицами. Пусть на многообразие M действуют элементы д; д0 = д (t = 0) = id лиевой группы диффеоморфизмов G, параметризованных временем t. Метаморфизм определяет пару кривых: шаблон метаморфизма п е M и образ метаморфизма n е M, который определяется орбитой действия элементов группы д: n = д • п е M. Если п = const, — метаморфизм является диффеоморфизмом.

Будем считать, что лиева группа — это группа, которая является конечномерным вещественным гладким многообразием, в котором групповые операции являются гладкими отображениями. Дифференцируемое отображение M ^ N для многообразий M,N будет диффеоморфизмом, если оно является биекцией и его обратное отображение N ^ M является дифференцируемым. Лиева группа диффеоморфизмов Diff (M) дифференцируемого многообразия M является группой всех диффеоморфизмов M к самой себе.

Метрическая длина близости двух многообразий (совокупности точек, кривых или изображений) определяется самой короткой длиной потока, который переносит систему координат одного многообразия формы в систему координат другого. Для сравнения двух изображений, которые являются многообразиями, найдём оптимальную деформацию, которая переводит одно изображение в

i

другое. Для этого сформируем минимизируемый функционал f L (д,д,п,п) dt,

о

с функцией Лагранжа L и с фиксированными граничными условиями n0 = п0 е M, n1 = д1 • п1 е M. Будем считать, что функция L инвариантна при правом действии элемента группы h е G [2,9]: (д,п) h = (дк,к-1п)-Для метаморфизма (д, п) введём скорость изменения элемента группы д, которая является элементом соответствующей лиевой алгебры g: u = дд-1 е 0; и n = дп; v = дп, откуда v = n — un (действие лиевой алгебры обозначается конкатенацией с левой стороны). Тогда лагранжиан может быть редуцирован L (д,д,п,п) = l (u,n,v). Сравнение образов основано на решении вариационной

задачи 5 j l (u, n, v) dt = 0, для диффеоморфизмов д е G.

1

Из условия оптимизации действия S = J l (u,n,v) dt по отношению к ва-

0

риации 5u и 5n = 5 (дп) = ш при фиксированных n0,n1 определим уравнения Эйлера-Пуанкаре [4,5]. Найдём производную по времени d/dt (5n): d/dt (5n) = = ш = 5v + uu + (5u) n. Вариационное условие оптимизации 5S = 0 приводит к уравнению

1

J i(Sl/su,5u) + (Sl/sn,u) + {&1/&V,u — uu — (5u) n>) dt = 0. (1)

0

Равенство нулю членов с 5u приводят к уравнению

61 Uu + Sl/sv О n = 0,

здесь оператор о определяется из соотношения (у о а, £) = (а, £у); е 0; V е € V; а е V*. После интегрирования (1) по частям получим

d/dt iSl/s*) + u* Sl/Sv — Sl/Sn = 0, (3)

где * определяется из соотношения (u* &l/sv = (Sl /sv ,uu) . Для построения полной системы уравнений добавим соотношение

n = v + un. (4)

Диффеоморфизмы g (x) G G; x G M, которые могут быть представлены в форме потоков обыкновенных дифференциальных уравнений, эволюционирующих во времени t G [0,1] с векторным полем u (■) [5]

da(x)/dt = U (g (x)); gt=0 (x) = x. (5)

Запишем скалярное произведение в пространстве 0 в форме (u,v)0 = = f (L0u)*v; ||u||2 = (u,u)0, где L0 — оператор дуальности, который отображает

M

элементы лиевой алгебры 0 на элементы лиевой коалгебры g*: L0 : 0 ^ 0*. В случае механической интерпретации величина L0u имеет смысл вектора импульса, u — вектора скорости, L0 — тензора инерции. Введём обратный оператор K, которой формально представим в виде K = L-1.

Для элементов группы gt G G; t G [0,..., 1] существуют скорости измене-

i

ния gt: u = dat/dtg--1 G 0, которые минимизируют функционал S = f l (u) dt с

0

лагранжианом

l = ||u|2 + a-2|v|2 (6)

на траектории, соединяющей элементы группы g0 = g|t=0 и g1 = g|t=1; здесь второе слагаемое накладывает штраф за отклонение |v|2 = |n — un|2, обратно пропорциональный величине а2.

Выражение для импульса запишем в виде p = L0u; тогда обратное выражение u = L-1 p = Kp, или u (x) = f K (x,y) p (y) dy.

n

Для оператора L = id — aV2 в R2 — обратный оператор K = L-1 аппроксимируем функцией Гаусса [8]

K (x, y) = ße~a-1lx-yl2. (7)

Уравнения эволюции диффеоморфизмов Эйлера-Пуанкаре можно получить решением уравнений вариационной задачи с функционалом (6) [1]:

g = u (g);u = L-1p = kp; /cn

* (8) p = — ad«p.

2. Метаморфизм точечных множеств

Пусть заданы два множества п0 = (х\,...,хм) ,п1 = (у\,...,ум) помеченных точек в М. Поставим задачу нахождения такого минимального диффеоморфизма д : М ^ М, что д (хг) ~ уг; г = 1,...,М (неточное соответствие). Множество диффеоморфизмов ЭШ (М) определяют структуру группы.

N

Для точечных множеств р (у) = ^ рг • 8 (у — дг), откуда получим

г=1 N

и (х) = Т. К (х>Уг) Рг. (9)

г=1

Пусть пространство М содержит N объектов (точек), которые подлежат

1

деформации. Рассмотрим действие 5 = /1 (п,и) ¿1 с лагранжианом

о

N N

I (и, и) = Ци^2 + I2 = Н^Ня + ^ ^ — и (дк )!2' (10)

к=1 к=1

который не зависит от п. Тогда 61/¿и = 2Ьди, и: 61/6и = 2/а2 (v1,..,vN). Из

N

соотношений (2, 3, 4) 61/¿и+61 /6иоп = 0, имеем 61 /6иоп = —2 / а2 ^ ик • 8 (д — дк),

к=1

поэтому

N

Ьди = с Рк • 8 (д — дк), (11)

к=1

N

откуда и (д) = К (д, дк) Рк, где рк = а-2Ук. к=1

Из уравнения (3) получим

N

рк + Ои(дк )Трк = Рк + VlK (дк ,дг) р1 рг = 0; к = 1, ...^, (12)

1=1

где V1K представляет собой градиент функции (дк,дг) ^ К (дк,дг) по отношению к дк. Если для оператора Ьд выбрать функцию Грина в виде К (дк,дг) =

= ве-а-11як, то V1K (дк,д1 ) = —2а-1 в (дк — дг) в-"-1^.

Из уравнения (4): П = V + ип, и обозначения п = ), получим д_к =

Ук + и (дк) = и (дк) + ст2рк; к = 1,.., N.

Перепишем систему (2, 3, 4) для точечных множеств в виде

N

дк = и (дк) + с рк; и (д) = ^ К (д,дк) рк; к = 1,...^;

к=1

N

рк + VlK (дк, дг) р1Р1 =0

к=1 (13)

N у '

1=1

Решение системы (13) сводится к решению двухточечной краевой задачи, так как множество п = (д1,...,дм) задано в начальный момент времени, а множество (р1,...,р^) — в конечный момент. Рассмотрим применение метода градиентного спуска в задаче нахождения метаморфизма д10 ■ (0) ^ дк (1)

N

при минимизации функционала 1 / a2 [qk (1) — gio ■ qk (0)] ^ min итерацион-

k=1

ным выбором начальных значений вектора р (0)

= р(0)и-7■(Ш,,^«)т (р(0Г

(Р1 (0) ,...,рм (0)): р(0)й+1 = р(о)-р(о)4^ ^Р(0) у, где й — номер итерации, 7 — значение шага метода градиентного спуска, Б ^р(0)г^ — значение действия при начальных значениях вектора р(0)г*.

Пример 1. Рассмотрим пример нахождения энергии деформации Б с лагранжианом (10) на основе интегрирования дифференциальных уравнений (13) при метаморфизме квадрата в окружность, которые задаются 16 точками, равномерно расположенными на кривой (рис. 1). Точки расположены в пределах квадрата 0 ^ хг, уг ^ 1; г = 1,..., 16.

-0.5 0 0.5 1 1.5

а)

d)

b)

e)

c)

f)

Рис. 1. Эволюции диффеоморфизма в моменты времени: а) £ = 0,0 (начальный образ); Ь) £ = 0,3; с) £ = 0,5; с1) £ = 0,7; е) £ = 1,0; !) цель (требуемый образ).

t = 0.0

t = 0.7

Пример 2. Рассмотрим пример нахождения энергии деформации на основе интегрирования дифференциальных уравнений (11) при метаморфизме образов греческих строчных символов а,8,^,р,а (таблица 1), которые представлены 16 точками, равномерно расположенными на кривой символов; точки расположены в пределах квадрата 0 ^ хг,уг ^ 1; г = 1,..., 16. Интегрирование уравнений

проводилось при а = 10; с2 = 0. Энергия вычислялась на основе определения 1

действия 5 = /1 (и^) ¿1 с лагранжианом (10).

о

Таблица 1. Энергии деформации при метаморфизме образов греческих строчных

символов а, 6,7, р, а

а 8 1 Р а

а 0 31,9 28,6 37,4 26,2

8 31,4 0 21,6 39,1 14,9

1 26,3 21,9 0 46,7 15,2

Р 38,2 38,9 46,8 0 44,3

а 26,1 15,0 14,9 44,5 0

Из таблицы следует, что наименьшую энергию деформации требуют метаморфизмы с ^ 8 и с ^ 7; наибольшую энергию деформации требуют метаморфизмы р ^ а и р ^ 7.

3. Метаморфизм изображений

Рассмотрим случай, когда N — пространство гладких функций (изображений) П ^ К с действием (д,п) ^ п о д-1. Будем обозначать координаты элемента изображения (пикселя) символом д е П е К (в случае плоских изображений = 2). Простой случай метаморфизма можно получить с помощью

1

действия: 5 = /1 (и^) ¿1 с лагранжианом I (и, V) = ||и||2 + 1 /а2 IV| . Если т е 0

о

и п представляет собой изображение тп = —VnTw так, что (61/ёи о п\ т) = = (61/ёи| VnTw). Обозначим г = и/а2. Тогда получим уравнение Ь0иг = — ггУщ,

следовательно, и (•) = —Ь-1 (zVn) = — / К (•,д) г (д) Vn (д) ¿д; д е П.

п

Так как и* (61 определяется из (и- (61/6и) | ш) = (&1 / | иш) = = 1 /(Шу (Vп)| ш), то получаем второе уравнение + V • (гг • иг) = + + Шу (гг • иг) = 0.

Перепишем уравнения эволюции (2, 3, 4) в виде:

гг + V • (гг • иг) = 0; п + (упТ) • и = а2г;

и (•) = — К (•,д) г (д) Vn (д) ¿д; д е П.

(14)

Т

Для дискретного двухмерного случая будем считать д^ = (хг,уз) ; А = Ах = Ау; ¿д = А2. Запишем выражение для и в виде

N N

и (д) = — / К (д, д) г (д) Vn (д) ¿д « Е Е К (д, д^) г (дц) Vn (дц) А2;

П 3 г

5,5^ е П е К2. Оператор RKHS К = Ь 1 аппроксимируем функцией Гаусса

К (51,52) = ве-а-1к1 -9г|2 = ве-а-1(|ж1-ж2|2+|у1-у2|2).

Решение системы (14) сводится к решению двухточечной краевой задачи, так как изображение п задано в начальный момент времени, а г — в конечный момент времени, поэтому для решения уравнений (10) применяется метод градиентного спуска (аналогично решению задачи (13)).

Пример 3. Рассмотрим пример метаморфизмов изображений арабских цифр при а2 = 10, в = 0,1, а = 10, N = 11. Энергия диффеоморфизмов приведена в таблице 2.

Таблица 2. Энергии диффеоморфизмов изображений арабских цифр

0 1 2 3 4

0 0 0,1899 0,1689 0,0347 0,1963

1 0,3477 0 0,3375 0,3287 0,1606

2 0,3299 0,1587 0 0,2486 0,2062

3 0,0406 0,1884 0,2524 0 0,2046

4 0,3695 0,2934 0,4091 0,2044 0

Заключение

В работе рассмотрена задача сравнения двух изображений. Для её решения предлагается нахождение диффеоморфизма, который позволит совместить изображение образа и изображение шаблона. Отличительная особенность предлагаемого метода решения заключается в том, что задача решается на основе метода построения минимизируемого функционала, характеризующего эволюцию диффеоморфного преобразования изображения от начального до конечного и штраф за отклонение траектории изображения от требуемой. При использовании вариационного исчисления задача приводится к обыкновенным дифференциальным уравнениям первого порядка Эйлера-Пуанкаре. В результате, разработан алгоритм решения уравнения диффеоморфного преобразования на основе метода градиентного спуска.

Предложенный метод сравнения изображений может быть распространен на совокупность изображений, проекции трехмерных изображений, цветные изображения и т. п. Рассмотренная задача сравнения двух изображений может быть использована при оптимальном метаморфизме изображений в случаях, когда отсутствует поточечное соответствие между исходными и целевыми объектами. Разработанные алгоритмы могут быть применены в биометрических системах, системах классификации изображений и объектов, системах машинного зрения, при распознавании образов и объектов. Например, для идентификации человека по изображению лица, отпечаткам пальцев, рисункам ладоней рук, рисункам вен ладони или пальца, подписям и т. п.

Описанный способ сравнения образов позволит добиться лучших результатов распознавания, по сравнению с известными.

Литература

1. Arnold V.I., Khesin B.A. Topological methods in hydrodynamics. Springer Science & Business Media, 1999. Т. 125.

2. Chukanov S.N. Definitions of invariants for n-dimensional traced vector fields of dynamic systems // Pattern Recognition and Image Analysis. 2009. Т. 19, № 2. P. 303-305.

3. Dupuis P., Grenander U., Miller M.I. Variational problems on flows of diffeomorphisms for image matching // Quarterly of applied mathematics. 1998. P. 587-600.

4. Holm D.D., Schmah T., Stoica C. Geometric mechanics and symmetry: from finite to infinite dimensions. Oxford University Press, 2009.

5. Holm D.D., Trouve A., Younes L. The Euler-Poincare theory of metamorphosis // Quarterly of Applied Mathematics. 2009. Т. 67, № 4. P. 661-685.

6. Miller M.I., Younes L. Group actions, homeomorphisms, and matching: A general framework // International Journal of Computer Vision. 2001. Т. 41, № 1-2. P. 61-84.

7. Trouve A., Younes L. Metamorphoses through lie group action // Foundations of Computational Mathematics. 2005. Т. 5, № 2. P. 173-198.

8. Younes L., Arrate F., Miller M.I. Evolutions equations in computational anatomy // NeuroImage. 2009. Т. 45, № 1. P. 40-50.

9. Чуканов С.Н. Формирование инвариантов при визуализации векторных полей, определяемых интегральными кривыми динамических систем // Автометрия. 2011. Т. 47, № 2. С. 58-63.

CONSTRUCTING METAMORPHOSIS OF PIXEL IMAGES FOR THE OBJECTS ON THE BASIS OF SOLVING EULER-POINCARE EQUATIONS

S.N. Chukanov1

Dr.Sc.(Eng.), Professor, Senior Scientist Researcher, e-mail: ch_sn@mail.ru

S.V. Lejhter2 Graduate Student, e-mail: leykhter@mail.ru

1Sobolev Institute of Mathematics of the Siberian Branch of the Russian Academy of

Sciences, Omsk branch 2Department of "Computer Information Automated Systems", State Automobile and

Highway University

Abstract. This work considers comparison of two images (original and target) that are represented by black and white pixels to each correspondingly. The problem can be solved by detecting diffeomorphism that would allow to match deformed and template images. Solution to the problem is based on the method of constructing a minimized functional, which characterizes evolution process of the diffeomorphic transformation

of the image from initial to the final one and "penalty charge" for the deviation of the image path from the required trajectory. An algorithm for solving the diffeomorphic transformation equation is developed on the basis of the gradient descent method. The considered problem of comparing two images can be used for constructing optimal metamorphosis of images, when there is no exact correspondence between the target image and the final image of the diffeomorphism. The designed algorithms can be used through a biometrical system, in images and subjects classification systems, machine vision systems, images and patterns recognition, tracking systems.

Keywords: pattern recognition, Euler-Poincare equation, diffeomorphism, metamorphosis approach.

Дата поступления в редакцию: 26.05.2017