Сравнение изображений на основе построения уравнений Гамильтона Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.2 DOI: 10.25513/2222-8772.2018.2.86-94

СРАВНЕНИЕ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ПОСТРОЕНИЯ УРАВНЕНИЙ ГАМИЛЬТОНА

С.В. Лейхтер1

аспирант, e-mail: leykhter@mail.ru С.Н. Чуканов2

профессор, д.т.н., ведущий научный сотрудник, e-mail: ch_sn@mail.ru

'ФГБОУ ВО Сибирский государственный автомобильно-дорожный университет

(СибАДИ), Омск, Россия

2ФГБУН Институт математики им. С.Л. Соболева СО РАН, Россия

Аннотация. В работе рассмотрена задача сравнения изображений кривых, представленных набором точек-ориентиров. Для анализа деформаций изображения в работе рассматривается группа диффеоморфизмов. Задача решается на основе метода построения функционала, характеризующего эволюцию диффеоморфного преобразования изображения от начального до требуемого состояния, и «штрафа» за отклонение траекторий точек изображения от необходимых. Приводится постановка задачи, основанная на построении и решении уравнений Гамильтона для группы диффеоморфизмов точечных ориентиров изображения. Разработан алгоритм решения уравнений Гамильтона диффеоморфного преобразования на основе метода стохастического градиентного спуска.

Ключевые слова: распознавание образов, стохастический градиентный спуск, уравнение Гамильтона, диффеоморфные преобразования.

Введение

Существуют различные методы решения задачи сравнения форм исходного изображения и терминального (целевого) изображения [14]. Для анализа деформаций изображения от исходного к целевому в работе рассматривается группа диффеоморфизмов, а деформация рассматривается как геодезическая (кратчайший путь) между исходным и целевым изображениями.

Дифференцируемое отображение / : M ^ Я называется диффеоморфизмом для многообразий M,Я, если оно является биективным и обратное отображение /-1 : Я ^ M также дифференцируемое. В этом случае многообразия M,Я являются диффеоморфными (M ~ Я). Группа диффеоморфизмов дифференцируемого многообразия M — это группа всех диффеоморфизмов M ^ M. В работах [11,15,16] используются уравнения В.И. Арнольда [3] для построения уравнений временной эволюции элементов групп диффеоморфизмов.

Задача сравнения исходного и целевого изображений решается на основе метода построения минимизируемого функционала [4,5,8,11,15,16,18,20], ха-

рактеризующего эволюцию диффеоморфного преобразования изображения от начального до терминального, и «штрафа» за отклонение траектории изображения от требуемой траектории.

Для решения задачи сравнения применяется метод частиц-ориентиров (наиболее важных точек на изображении) [13]. В работе приводится постановка задачи, основанная на построении и решении уравнений Гамильтона для группы диффеоморфизмов частиц — точечных ориентиров изображения. Применение уравнений Гамильтона для группы диффеоморфизмов частиц позволяет не применять уравнения В.И. Арнольда для построения уравнений временной эволюции элементов групп диффеоморфизмов. Разработан алгоритм решения уравнений Гамильтона диффеоморфного преобразования на основе метода стохастического градиентного спуска.

Формирование диффеоморфизма изображений на основе всех точек (пикселей) изображения потребует большого объёма вычислительных операций. Использование пространств с метрикой С.Л. Соболева позволяет построить оптимальное векторное поле скоростей всех точек изображения по выбранному подмножеству точечных ориентиров, что значительно снижает требования к объёму вычислительных операций. Сформированное векторное поле в каждой точке изображения определяет диффеоморфное отображение исходного изображения как совокупности точечных ориентиров в терминальное (целевое) изображение.

1. Гамильтонова механика точечных ориентиров изображения

Диффеоморфизм изображений можно представить как эволюцию точечных ориентиров (наиболее важных точек) изображения на основе гамильтоновой механики. Рассмотрим параметризацию формы изображения с помощью частиц — точечных ориентиров. Пусть д^) используется для обозначения вектора положения г-й частицы и р() соответствующего вектора импульса в момент времени Если формально принять, что импульсы и скорости частиц связаны соотношением гр% = С ■ Щ, где С — линейный обратимый оператор (в механике соответствует инертной массе), то обратное соотношение Ьг = С-1 ■ р» = ^Рг. Скалярное произведение векторов р^ и qi, соответствующее метрике С.Л. Соболева [19], можно представить в виде (рг,Уг)Ь2 = (Сьг,Уг)Ь2. Для оператора С = — «V2 в пространстве П = Е2 обратным оператором формально является оператор К = С-1, который можно аппроксимировать скалярной функцией Гаусса [17]

К (дг — ^) = Ре~а 2(")Т).

(1)

Тогда поля импульсов и скоростей в пространстве с метрикой С.Л. Соболева могут быть построены из соотношений

VI = - дг СО) ■ рг СО;

Л (2)

ьг (д) = ^К (я - Яг (*)) ■ Рг (*).

г

Построим минимизируемый функционал, который соответствует деформации изображения, представленного совокупностью точечных ориентиров, в виде

/ | ^ гр*К (^ - Яз)

= 1] Р*К (дг - *) (3)

Рг = —— = - £PгVlК (дг - дз) Рз;

Задачу минимизации можно представить как задачу оптимального управления, связанную с гамильтонианом

Но (д, р) = 2 ^ Р?К (дг - дз) р3. (4)

г,3

Временная эволюция системы определяется уравнениями Гамильтона [10,

11]

дНо ддг

дН ^ (5)

* = ^ = ЕК (*г - *) Рз ,

где V1К (дг - дз) представляет собой градиент функции (дг, дз) ^ К (дг - дз) по отношению к первому операнду дг. Используя для К (дг - дз) скалярную функцию Гаусса (1), получим

VlК (дг - д3) = -2а~(дг - д3) е)Т). (6)

Если минимизируемый функционал принять в виде (3), а гамильтониан системы в форме

Н (д,р) = Но (д,р) + а-2 £ (дг - ьг (д))2 = Но (д,р) + а2 £р2, (7)

то уравнения Гамильтона примут вид

дН

дд Н

д

рг = -^ = - £#VlК (,г - *) Л;

дн з (8)

д% = дН = £К (д г - д3) р3 + а2р г.

з

22

В функции Гамильтона (7) вводится штраф а (дг - ьг (д)) при наличии

г

рассогласования (дг - уг (д)).

2. Определение начальных значений вектора импульса

Для системы дифференциальных уравнений x{t) = u (t,x (t)), где и (t,x) — функция непрерывная по t и равномерно непрерывная по Липшицу по х с условием х (to) = x\t=t = х0, существует непрерывно дифференцируемое решение х (t) = ф (t,t0,x0) на интервале t Е [t0 — e,t0 + е] для некоторого е > 0. Правые части дифференциальных уравнений (8) являются непрерывно дифференцируемыми по аргументам (qk ,pk); k = 1,...,N, поэтому решения (8), рассматриваемые как функции (qk,pk) (t) = ^{to,qk\t=to ,pk|i=io), будут непрерывно дифференцируемыми по аргументам (t0, qk \t=t , pk\t=^ ; k = 1,... ,N.

Рассмотрим метод обучения в задаче нахождения диффеоморфизма Qk (0) ^ qk (1) при минимизации функционала

N

Jq = Е fe (*) — ® (1)]2 ^ min, (9)

г=1

где q (target) = (q1 (t) ,..,qN (t)) — целевое множество точек. Так как для системы дифференциальных уравнений (8) для вектора q заданы начальные условия д(0) при t = 0, а для вектора р — терминальные р (1) = (0,.., 0) при t = 1, то получаем двухточечную краевую задачу. Сведение этой задачи к задаче Ко-ши может быть проведено различными способами: стрельбы, квазилинеаризации, инвариантного погружения и т. д. Требуемый вектор начальных значений р (0) = (р1 (0) ,..,pn (0)) может быть найден методом градиентного спуска с градиентом функционала по вектору р(0): Vp(0)Jq.

Рассмотрим метод стохастического градиентного спуска (SGDStochastic Gradient Descent) [6,12] для решения двухточечной краевой задачи. Обозначим данные обучения как D, а функционал стоимости, определяемый по этим данным JqD (р (0)). Пусть Т подмножество примеров в D, а J^ (р (0)) функционал, вычисленный по множеству примеров Т. Пусть Vp(0)Jp и Vp(0)jt обозначают градиенты функционалов, вычисленные по наборам данных обучения D и Т .В традиционном подходе градиентного спуска используется весь набор данных D на этапе обновления вектора р(0))

pk+1 (0)= pk (0) — ß •Vp{o)JqD, (10)

где k — номер итерации, ß — шаг градиентного спуска. В случае стохастического градиентного спуска на этапе обновления используется только один пример из D

pk+1 (0)= pk (0) — ß •VmJq, (11)

причём на каждой итерации используются различные примеры, выбранные случайным образом. В случае стохастического мини-пакета на этапе обновления используется подмножество примеров из D. При наличии нескольких локальных минимумов минимизируемого функционала с разной глубиной стохастический градиентный спуск позволяет «прыгать» от одного локального минимума к другому, то есть находить глобальный минимум.

Пример 1. Рассмотрим пример деформации объекта (изображения цифры «ноль») на основе интегрирования дифференциальных уравнений (8) при диффеоморфизме цифр, которые представлены 16-ю точками, равномерно расположенными на кривой символов. Начальные значения компонент вектора определялись на основе метода БОЭ. Интегрирование уравнений проводилось при а = ¡3 =1, а2 = 1. На рисунках 1, 2, 3 представлены результаты диффеоморфизма цифры «ноль» в цифры «девять», «один» и «пять», получившиеся значения минимизируемого функционала равны 9,1; 8,85 и 10,51 соответственно.

, a)

, b)

, c)

, d)

e)

Рис. 1. Эволюция диффеоморфизма 0 ^ 9 в моменты времени: а) £ = 0,0 (исходное изображение); Ь) £ = 0,25; с) £ = 0,5; ^ £ = 0,75; е) £ = 1,0 (требуемый образ). = 9,1

, a)

, b)

, c)

, d)

e)

Рис. 2. Эволюция диффеоморфизма 0 ^ 1 в моменты времени: а) £ = 0,0 (исходное изображение); Ь) £ = 0,25; с) £ = 0,5; ^ £ = 0,75; е) £ = 1,0 (требуемый образ). = 8,85

, a)

, b)

, c)

, d)

e)

Рис. 3. Эволюция диффеоморфизма 0 ^ 5 в моменты времени: а) £ = 0,0 (исходное изображение); Ь) £ = 0,25; с) £ = 0,5; ^ £ = 0,75; е) £ = 1,0 (требуемый образ). ^ = 10,51

Следует отметить, что исходные изображения имеют топологические характеристики отличные от терминальных. Например, число ручек изображения цифры «ноль» д = 1, а число ручек изображения цифры «пять» д = 0. □

Существуют различные варианты искажения изображений: перенос (translation), вращение (rotation), масштабирование (scaling), перекос (skew) и т. д. Алгоритм нормализации изображения преобразует исходное изображение в его нормальный (эталонный) вид. После нормализации может быть выполнено распознавание образа.

При известных эталонах изображений в базе данных изображений метод диффеоморфизма не требует предварительной нормализации [7, 19].

, a)

, b)

, c)

, d)

e)

Рис. 4. Эволюция диффеоморфизма ^ 8 в моменты времени: a) £ = 0,0 (исходное изображение); Ь) £ = 0,25; ^ £ = 0,5; d) £ = 0,75; e) £ = 1,0 (требуемый образ). = 21,98

Пример 2. На рисунке 4 приведён пример нормализации перекошенного (skewed) изображения цифры «восемь» к её нормальной форме.

Метод диффеоморфизма позволяет преобразовать перекошенное изображение к любому эталонному изображению, но при этом значение минимизируемого функционала будет больше, чем значение при деформации к нормальной форме цифры «восемь»; например, преобразование к нормальной форме цифры «четыре» требует минимизации функционала J0 = 21,98.

3. Уравнения Гамильтона для отклонения траектории частиц от геодезических

Предположим, что для точечных ориентиров существует последовательность данных д° (д° (¿) = Р (¿)} ; г = 1,..., N — набор точечных ориентиров в момент времени ¿) и исходный шаблон до = д(0). Построим минимизируемый функционал, учитывающий отклонения траектории частиц (точечных ориентиров) от геодезических, в виде

^ = - / { Е Р*К (* - Ъ) Р')** + Л } { ^^ - * А^. (12)

0 \ г,3 ) о V г )

Задачу минимизации функционала (12) можно представить как задачу оптимального управления частицами, связанную с гамильтонианом

Н (р, д, г) = Но (р, д) - Л ^ - дг)2, (13)

г

1 Л 2

где Но (р, д) = - ^ р[К (дг - д^) р^, а член - ^ (дР - дг) штрафует за отклоне-

2 г,' 2 г

ние траектории частиц (точечных ориентиров). Соответствующими оптимальными траекториями являются решения уравнений Гамильтона

. дНо

дрг (14)

• °Но + Л ( рл ( )

= - -Щ7 + Л( * - О

или

Ф = £ К - ^)Рз;

^ (15)

рг = - р! Vl# - ) Р] + А - д?) .

Оптимальное векторное поле V (д (¿)) любой точки изображения д может быть восстановлено из соотношения

V (я (^) = £ К (д (г) - дг (г)) Рг (г)

по выбранному подмножеству векторов точечных ориентиров д^ и соответствующих импульсов грг, поэтому отсутствует необходимость решать уравнения (15) для всех точек изображения. Сформированное векторное поле в каждой точке изображения определяет диффеоморфное отображение исходного изображения как совокупность точечных ориентиров в терминальное изображение.

Заключение

В работе рассмотрена задача сравнения начального и терминального изображений, которая решается на основе построения минимизируемого функционала, характеризующего эволюцию диффеоморфного преобразования изображения от начального до терминального, и «штрафа» за отклонение траектории изображения от требуемой траектории. Разработан алгоритм решения уравнения диффеоморфного преобразования на основе метода стохастического градиентного спуска.

Приводится постановка задачи, основанная на решении уравнений Гамильтона для группы диффеоморфизмов. Вводится метод частиц-ориентиров (наиболее важных точек на изображении), который позволяет непосредственно решать задачу диффеоморфизма точечных ориентиров изображения.

Результаты работы для решения задачи детерминированной эволюции формы могут быть распространены для изучения стохастического возмущения га-мильтоновых уравнений. Эволюцию точечных ориентиров можно рассматривать как систему частиц с внедрением случайной силы на каждую частицу, которая обеспечивает временное случайное возмущение относительно средней геодезической траектории [1,2,9].

Благодарности

Работа выполнена при поддержке комплексной программы фундаментальных научных исследований СО РАН 1.5.1.7, проект 0314-2016-0020, и при финансовой поддержке Российского фонда фундаментальных исследований (гранты № 18-07-00526 и № 18-08-01284)

Литература

1. Arnaudon A., Holm D.D., Sommer S. Stochastic metamorphosis with template uncertainties. arXiv preprint arXiv:1711.07231. 2017. 16 p. URL: https://arxiv. org/pdf/1711.07231.pdf (дата обращения: 10.04.2018).

2. Arnaudon A., Holm D.D., Sommer S. A geometric framework for stochastic shape analysis. arXiv preprint arXiv:1703.09971. 2017. 47 p. URL: https://arxiv.org/ pdf/1703.09971.pdf (дата обращения: 10.04.2018).

3. Arnold V. Sur la geometrie differentielle des groupes de Lie de dimension infinie et ses applications a l'hydrodynamique des fluides parfaits // Annales de l'institut Fourier. 1966. V. 16, No. 1. P. 319-361.

4. Ashburner J., Miller M.I. Diffeomorphic Image Registration // Brain Mapping: An Encyclopedic Reference. 2015. V. 1. P. 315-321.

5. Beg M., Miller M., Trouve A., Younes L. Computing large deformation metric mappings via geodesic flows of diffeomorphisms // Int. Journal of Computer Vision. 2005. V. 61, No. 2. P. 139-157.

6. Camassa R., Kuang D., Lee L. A Geodesic Landmark Shooting Algorithm for Template Matching and Its Applications // SIAM Journal on Imaging Sciences. 2017. V. 10, No. 1. P. 303-334.

7. Chukanov S.N. Definitions of invariants for n-dimensional traced vector fields of dynamic systems // Pattern Recognition and Image Analysis. 2009. V. 19, No. 2. P. 303-305.

8. Glaunes J., Qiu A., Miller M., Younes L. Large deformation diffeomorphic metric curve mapping // International journal of computer vision. 2008. V. 80, No. 3. P. 317336.

9. Holm D.D. Stochastic metamorphosis in imaging science. arXiv preprint arXiv:1705.10149. 2017. 17 p. URL: https://arxiv.org/pdf/1705.10149. pdf (дата обращения: 10.04.2018).

10. Holm D.D., Schmah T., Stoica C. Geometric mechanics and symmetry: from finite to infinite dimensions. Oxford University Press, 2009. 537 p.

11. Holm D.D., Trouve A., Younes L. The Euler-Poincare theory of metamorphosis // Quarterly of Applied Mathematics. 2009. V. 67, No. 4. P. 661-685.

12. Ketkar N. Deep Learning with Python: A Hands-on Introduction. Apress. 2017. 164 p.

13. Marsland S., McLachlan R.I. A Hamiltonian particle method for diffeomorphic image registration // Proceedings of Information Processing in Medical Images. Lect Notes Comput Sci. New York : Springer. 2006. P. 396-407.

14. Miller M., Younes L. Group actions, homeomorphisms, and matching: a general framework // Int. Journal of Computer Vision. 2001. V. 41, No. 1-2. P. 61-84.

15. Miller M., Trouve A., Younes L. On metrics and the Euler-Lagrange equations of computational anatomy // Annual Reviews in Biomedical Eng. 2002. No. 4. P. 375405.

16. Trouve A., Younes L. Metamorphoses through lie group action // Foundations of Computational Mathematics. 2005. V. 5, No. 2. P. 173-198.

17. Younes L., Arrate F., Miller M.I. Evolutions equations in computational anatomy // NeuroImage. 2009. V. 45, No. 1. P. S40-S50.

18. Лейхтер С.В., Чуканов С.Н. Сравнение изображений на основе их диффеоморфно-го преобразования // Компьютерная оптика. 2018. Т. 42, №. 1. С. 96-104.

19. Чуканов С.Н., Ульянов Д.В. Формирование инвариантов при визуализации векторных полей на основе построения оператора гомотопии // Компьютерная оптика. 2012. Т. 36, №. 4. С. 622-626.

20. Лейхтер С.В., Чуканов С.Н. Построение метаморфизмов растровых изображений на основе решения уравнений Эйлера-Пуанкаре // Математические структуры и моделирование. 2017. Т. 43, №. 3. С. 86-95.

THE MATCHING OF IMAGES BASED ON THE CONSTRUCTION OF THE HAMILTON EQUATIONS

S.V. Lejhter1

Graduate Student, e-mail: leykhter@mail.ru S.N. Chukanov2

Dr.Sc. (Eng.), Professor, Leading Scientific Employee, e-mail: ch_sn@mail.ru

1 State Automobile and Highway University, Omsk, Russia 2Sobolev Institute of Mathematics of the Siberian Branch of the Russian Academy

of Sciences, Russia

Abstract. The problem of comparing the template and the terminal images is considered. To analyze deformations of a image, the group of diffeomorphisms is considered. The problem is solved on the basis of the method for constructing a minimized functional characterizing the evolution of the diffeomorphic image transformation from the template to the terminal image, and the penalty for deviating the image path from the required trajectory. The formulation of the problem based on the construction and solution of Hamilton's equations for the group of diffeomorphisms of particles — points of landmark of the image is given. An algorithm for solving Hamilton's equations for a diffeomorphic transformation is developed based on the stochastic gradient descent method.

Keywords: pattern recognition, stochastic gradient descent, Hamilton equation, dif-feomorphic transformation.

Дата поступления в редакцию: 11.05.2018