CC BY
2
Математические структуры и моделирование 2024. №1 (69). С. 88-93
УДК 004.932 DOI 10.24147/2222-8772.2024.1.88-93
ОБЗОР МЕТОДОВ РЕГИСТРАЦИИ ИЗОБРАЖЕНИИ НА ОСНОВЕ НЕЖЁСТКИХ ПРЕОБРАЗОВАНИЙ
С.В. Лейхтер
старший преподаватель, e-mail: leykhter@mail.ru
Омский государственный университет им. Ф.М. Достоевского, Омск, Россия
Аннотация. В статье приведён обзор способов регистрации изображений. Показано современное состояние проблемы. Предложены новые области применения алгоритмов регистрации изображений.
Ключевые слова: регистрация изображений, ключевые точки, характерные признаки, модели деформации, нежёсткие преобразования, диффеоморфизмы, топологический анализ данных.
Введение
Под регистрацией изображений понимается нахождение соответствия между искажёнными изображениями и эталонным изображением путём их приведения к единой системе координат. Искажения обусловлены получением изображений с разных устройств, в разное время, с разных точек обзора и т. п. Регистрация изображений является важной задачей компьютерного зрения и, как правило, выступает предварительным этапом алгоритмов: распознавания объектов, роботизированного составления карты/навигации, сшивания изображений, трёхмерного моделирования, трекинга, идентификации целей, медицинской визуализации и др.
1. Алгоритмы регистрации изображений
Для того чтобы изображения, полученные в результате различных измерений, можно было сравнить или проанализировать, используют алгоритмы регистрации (выравнивания) изображений. Их условно разделяют на два класса: 1) анализ на основе уровней насыщенности изображений; 2) выявление характерных признаков (ключевых точек) на изображениях [1]. Одно из изображений принимается подвижным - исходным (source), другие неподвижными - целевыми (target). Задача регистрации заключается в пространственном преобразовании исходного изображения для его выравнивания с целевым. Система отсчёта для целевого изображения принимается неподвижной [1]. Методы, основанные на «уровнях», находят корреляционную зависимость между графиками уровней (гистограммами) изображений или частей изображений (подизображений). Методы, основанные на «признаках», устанавливают соответствие между наборами ключевых точек на изображениях. Зная соответствие между наборами точек, определяется геометрическое преобразование
Математические структуры и моделирование. 2024. № 1 (69) 89
для сопоставления целевого изображения с эталонным [1]. Также известны комбинированные способы регистрации изображений, сочетающие возможности обоих методов [2].
2. Модели преобразований
Алгоритмы регистрации изображений различаются по типу преобразования пространства, которое они используют для совмещения изображений. Первый тип преобразований - широко используемые линейные преобразования, включающие перенос, масштабирование, поворот и другие аффинные преобразования. Линейные преобразования действуют на всё изображение и не могут учитывать локальные геометрические отличия между изображениями [1]. Второй тип преобразований допускает «эластичные» или «нежёсткие» преобразования. Эти преобразования подразумевают локальную деформацию целевого изображения для его совмещения с целевым. Нежёсткие преобразования включают радиальные базисные функции (TPS-сплайны, мультиквадратичные, с компактным носителем [1]), физические модели (механика сплошных сред), диффеоморфизмы и т. п. Преобразования обычно параметризуются, количество параметров определяется используемой моделью. Например, преобразование изображения может быть задано фиксированным числом параметров - вектором переноса, матрицей поворота и т. д. Такие модели называются параметрическими. Существуют модели, которые позволяют произвольно смещать каждый элемент изображения, так называемые непараметрические модели [3].
3. Определение характерных признаков
Таким образом, алгоритмы регистрации изображений работают с выбранными характерными признаками, определяемыми детекторами. Это могут быть: детекторы границ Кэнни, Дериша, Собеля; детекторы углов Харриса, Ши-Томаши, FAST; blob-детекторы: лапласиан гауссиана (LoG), разность гауссианов (DoG), определитель Гессе (DoH) [4], MSER [5]; аффинно-инвариантное выявление признаков [6,7]; выявление локальных дескрипторов: SIFT, SURF, KAZE, гистограмма направленных градиентов (HOG), ORB и др. [8-11].
4. Методы пространственной и частотной области
Некоторые алгоритмы сопоставления объектов в пространственной области являются результатом развития традиционных способов регистрации изображений, в которых оператор выбирает контрольные точки на изображениях вручную. Когда выбрано достаточное количество точек для нахождения преобразования определённого типа, используются итеративные алгоритмы, такие как RANSAC [12], для надёжной (робастной) оценки параметров этого преобразования (например, аффинного). Методы частотной области работают для простых преобразований, таких как перенос, масштабирование, поворот. Применение метода фазовой корреляции к паре изображений позволяет определить относительное смещение между ними. При этом метод фазовой корреляции устойчив к шуму, перекрытиям и другим дефектам,
90 С.В. Лейхтер. Обзор методов регистрации изображений на основе...
свойственным, например, медицинским или спутниковым снимкам. В основе метода лежит быстрое преобразование Фурье, которое не требует больших вычислительных затрат. Метод может быть расширен для определения различий в повороте и масштабировании между двумя изображениями [13,14].
5. Одномодальные и мультимодальные методы
Также различают одномодальные и мультимодальные методы. Одномодальные методы подразумевают получение изображений одним и тем же типом датчика. Мультимодальные методы регистрируют изображения, полученные разными типами датчиков. Например, в медицинской визуализации часто объединяют результаты КТ, МРТ и ПЭТ изображений всего тела для локализации опухоли или результаты КТ с контрастным усилением и без него для сегментации анатомических образований [15].
6. Деформационные модели
Для нежёстких преобразований пространства могут использоваться геометрические преобразования, описываемые физическими моделями - моделями деформации. Выбор модели деформации имеет большое значение для процесса регистрации, поскольку от этого зависит как точность описания преобразования, так и вычислительная сложность процесса. Параметры, которые оценивает регистрация посредством стратегии оптимизации, соответствуют степеням свободы модели. Их количество варьируется от шести (в случае глобальных жёстких преобразований) до миллионов (в случае нежёстких преобразований) [3].
1. Модели деформации упругих твёрдых тел:
- в линейных моделях деформация задаётся уравнениями в частных производных Навье-Коши [16]:
^V2u + (ц + A)V(V ■ и) + F = 0,
где F - силовое поле, управляющее процессом регистрации на основе критерия соответствия изображений; ^ - задаёт жёсткость материала (модуль сдвига); Л -первый коэффициент Ламе. Для вычисления перемещения узлов элементов используется метод конечных элементов. Главным ограничением линейных моделей упругости является их неспособность справляться со значительными деформациями;
- для описания больших деформаций были предложены нелинейные модели -модель гиперупругого материала Сен-Венана-Кирхгофа.
2. Модели движения жидкости: уравнения Навье-Стокса с очень низким числом Рейнольдса [17]:
VfV2v + faf + А/)V(V ■ v) + F = 0,
первый член уравнения Навье-Стокса заставляет соседние точки деформироваться путём пространственного сглаживания поля скоростей. Поле скорости связано с полем перемещения следующим образом: v(x;t) =dtu(x;t) + (Vu(x;t)v(x;t)). Поле скоростей интегрируется для оценки поля смещения.
Приведённые выше модели гарантируют сохранение топологии.
Математические структуры и моделирование. 2024. № 1 (69) 91
3. Модели на основе уравнения диффузии. Данный вид моделей использует тот факт, что гауссово ядро является функцией Грина уравнения диффузии (при соответствующих начальных и граничных условиях) [3]. Это позволяет обеспечить эффективную регуляризацию посредством свёрток с гауссовым ядром.
4. Модели, основанные на оценке кривизны. Известно, что методы нежёсткой регистрации изображений могут плохо сходиться, если начальное положение изображения недостаточно близко к решению. Как правило, такие методы подразумевают предварительный этап аффинного (жёсткого) выравнивания. Существуют методы, которые определяют поле деформации путём минимизации подходящей меры с учётом ограничения, основанного на кривизне сплайнов. Помимо точного и гладкого решения, автоматически выполняется жёсткое выравнивание. В основе схемы лежит численное решение уравнений Эйлера-Лагранжа [18].
5. Потоки диффеоморфизмов также могут задавать модель деформации [17-23]. В этом случае, деформация описывается эволюцией во времени уравнений Лагран-жа. Гладкость поля скоростей ограничивается регуляризацией:
1
R = / IHIv dt.
о
При этом обеспечивается сохранение топологии и обратимость преобразования [17, 23]. Существует ряд программ, которые генерируют диффеоморфные преобразования координат на основе диффеоморфного отображения: Deformetrica [23], ANTS, DARTEL, DEMONS, LDDMM, StationaryLDDMM, MRICloud и др.
7. Топологический анализ данных
Ведутся теоретические исследования в новой области для задач анализа данных и компьютерного зрения, известной как топологический анализ данных (TDA). Одним из основных методов топологического анализа данных являются персистент-ные гомологии. Идея метода заключается в анализе топологических (симплици-альных) комплексов инструментами алгебраической топологии. Симплициальный комплекс строится на основе облака точек [24]. Инструмент может применяться для экспериментальных данных различной природы, в том числе изображений [25]. Методы топологического анализа данных реализованы в библиотеках javaPlex, Gudhi [26], scikit-TDA, giotto-tda и др.
Заключение
Ввиду широкого спектра прикладных задач, требующих регистрацию изображений, не существует общего метода, оптимизированного для всех применений. Выбор или определение методики регистрации, меры сходства (взаимная корреляция, функция затрат) зависит от решаемой задачи. Поскольку множество решаемых задач компьютерного зрения постоянно расширяется, вовлекая в себя всё более разнообразные области применения, такие как, например, анализ цифровой модели рельефа поверхности полупроводниковых пластин [27], вопрос о выборе наилучшего
92 С.В. Лейхтер. Обзор методов регистрации изображений на основе..
способа анализа изображений остаётся актуальным. К тому же появляются новые методы анализа данных, эффективность применения которых необходимо исследовать.
Литература
1. Goshtasby A.A. 2-D and 3-D image registration: for medical, remote sensing, and industrial applications. John Wiley & Sons, 2005.
2. Papademetris X., Jackowski A.P., Schultz R.T., Staib L.H., Duncan J.S. Integrated intensity and point-feature nonrigid registration // Medical Image Computing and Computer-Assisted Intervention-MICCAI 2004:7th International Conference, Saint-Malo, France, September 2629, 2004: Proceedings. Berlin; Heidelberg: Springer, 2004. P. 763-770.
3. Sotiras A., Davatzikos C., Paragios N. Deformable medical image registration: A survey // IEEE transactions on medical imaging. 2013. Vol. 32, No. 7. P. 1153-1190.
4. Lindeberg T. Scale-Space // Wiley Encyclopedia of Computer Science and Engineering. Vol. IV / Ed. B. Wah. John Wiley and Sons, 2008. P. 2495-2504.
5. Matas J., Chum O., Urban M., Pajdla T. Robust wide-baseline stereo from maximally stable extremal regions // Image and vision computing. 2004. Vol. 22, No. 10. P. 761-767.
6. Mikolajczyk K., Schmid C. Scale & affine invariant interest point detectors // International journal of computer vision. 2004. Vol. 60. P. 63-86.
7. Mikolajczyk K., Tuytelaars T., Schmid C., Zisserman A., Matas J., Schaffalitzky F., Kadir T., Van Gool L. A comparison of affine region detectors // International journal of computer vision. 2005. Vol. 65. P. 43-72.
8. Lindeberg T. Edge detection and ridge detection with automatic scale selection // International journal of computer vision. 1998. Vol. 30. P. 117-156.
9. Lindeberg T. Image matching using generalized scale-space interest points // Journal of mathematical Imaging and Vision. 2015. Vol. 52. P. 3-36.
10. Lindeberg T. Scale invariant feature transform // Scholarpedia. 2012. Vol. 7 (5). Art. 10491.
11. RubleeE. etal. ORB: An efficient alternative to SIFT or SURF//2011 International conference on computer vision. IEEE, 2011. P. 2564-2571.
12. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. Vol. 24, No. 6. P. 381-395.
13. Reddy B.S., Chatterji B.N. An FFT-based technique for translation, rotation, and scale-invariant image registration // IEEE transactions on image processing. 1996. Vol. 5, No. 8. P. 1266-1271.
14. Zokai S., Wolberg G. Image registration using log-polar mappings for recovery of large-scale similarity and projective transformations // IEEE transactions on image processing. 2005. Vol. 14, No. 10. P. 1422-1434.
15. Ristea N.C., Miron A.-I., Savencu O., Georgescu M.-I., Verga N., Khan F.S., Ionescu R.T. CyTran: A cycle-consistent transformer with multi-level consistency for non-contrast to contrast CT translation // Neurocomputing. 2023. Vol. 538. Art. 126211.
16. Davatzikos C. Spatial transformation and registration of brain images using elastically deformable models // Computer Vision and Image Understanding. 1997. Vol. 66, No. 2. P. 207222.
Математические структуры и моделирование. 2024. № 1 (69) 93
17. Christensen G.E., Rabbitt R.D., Miller M.I. Deformable templates using large deformation kinematics // IEEE transactions on image processing. 1996. Vol. 5, No. 10. P. 1435-1447.
18. Fischer B., Modersitzki J. Curvature based image registration // Journal of Mathematical Imaging and Vision. 2003. Vol. 18. P. 81-85.
19. Vaillant M., Glaunes J. Surface matching via currents // Biennial international conference on information processing in medical imaging. Berlin; Heidelberg: Springer, 2005. P. 381-392.
20. Miller M.I., Trouve A., Younes L. Geodesic shooting for computational anatomy // Journal of mathematical imaging and vision. 2006. Vol. 24. P. 209-228.
21. Younes L. Shapes and diffeomorphisms. Berlin: Springer, 2010.
22. Durrleman S., Prastawa M., Charon N., Korenberg J.R., Joshi S., Gerig G., Trouve A. Morphometry of anatomical shape complexes with dense deformations and sparse parameters // NeuroImage. 2014. Vol. 101. P. 35-49.
23. Bone A., Louis M., Martin B., Durrleman S. Deformetrica 4: an open-source software for statistical shape analysis // Shape in Medical Imaging: International Workshop, ShapeMI 2018, Held in Conjunction with MICCAI 2018, Granada, Spain, September 20, 2018: Proceedings. Springer International Publishing, 2018. P. 3-13.
24. Carlsson G. Topology and data // Bulletin of the American Mathematical Society. 2009. Vol. 46, No. 2. P. 255-308.
25. Чуканов С.Н., Чуканов И.С., Лейхтер С.В. Использование персистентной энтропии для топологического анализа данных // Математические структуры и моделирование. 2023. № 3 (67). С. 94-103.
26. Maria C., Boissonnat J.-D., Glisse M., Yvinec M. The gudhi library: Simplicial complexes and persistent homology//Mathematical Software-ICMS 2014:4th International Congress, Seoul, South Korea, August 5-9, 2014: Proceedings. Berlin; Heidelberg: Springer, 2014. P. 167-174.
27. Дедкова А.А., Флоринский И.В., Дюжев Н.А. Методика исследования изменения формы пластин и тонкопленочных мембран с использованием геоморфометрических подходов //Журнал технической физики. 2022. Т. 92, № 8. С. 1113-1123.
OVERVIEW OF IMAGE REGISTRATION METHODS BASED ON NON-RIGID
TRANSFORMATIONS
S.V. Leykhter
Assistant Professor, e-mail: leykhter@mail.ru
Dostoevsky Omsk State University, Omsk, Russia
Abstract. The article gives an overview of image registration methods. The modern state of the problem is shown. New fields of using the image registration algorithms are proposed.
Keywords: image registration, points of interest, local features, deformable model, non-rigid transormations, diffeomorphisms, TDA.
Дата поступления в редакцию: 27.02.2024
