CC BY
88
ДВУХЭТАПНОЕ ФОРМИРОВАНИЕ ПРОСТРАНСТВЕННОГО ПРЕОБРАЗОВАНИЯ ДЛЯ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ
Гошин Е.В.1, Котов А.П.2, Фурсов В.А.1'2 1 Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ), 2 Институт систем обработки изображений РАН
Аннотация
В статье рассматривается задача совмещения изображений. Анализируется случай совмещения пары изображений одной сцены, зарегистрированной разными сенсорами. Обсуждаются проблемы, возникающие в случае, когда на изображении имеется малоинформативная область, в которой часто возникают ошибки при определении соответствующих точек. Предлагается технология, в которой по надёжным соответствующим точкам в информативной области изображения строится проективное преобразование, которое затем используется для задания и уточнения соответствующих точек. Приводятся результаты экспериментов, иллюстрирующие эффективность технологии.
Ключевые слова: обработка цифровых изображений, совмещение, проективное преобразование, аффинное преобразование, триангуляция Делоне.
Введение
Задача совмещения изображений состоит в нахождении преобразования одного изображения по отношению к другому, обеспечивающего совпадение пар точек изображений, каждая из которых является образом одной и той же точки на регистрируемой сцене. При совмещении многоспектральных изображений совпадение по пространственным координатам часто является необходимым для обеспечения близости по спектральным координатам. Поэтому для совмещения изображений строятся процедуры пространственного преобразования. Такое преобразование может строиться как в ситуации, когда совмещаемые изображения одной сцены получены с использованием разных регистрирующих устройств, так и в случае последовательности изображений, зарегистрированных одной камерой [1-3].
Задача совмещения изображений обычно ставится как задача построения пространственного преобразования, обеспечивающего наилучшую (в смысле некоторого критерия) близость совмещаемых изображений, при условии совпадения некоторого множества так называемых опорных соответствующих точек [45]. Требование совпадения опорных точек в данном случае выступает как ограничение. К сожалению, указанная строгая математическая формулировка на практике нереализуема. Дело в том, что даже при отсутствии помех пространственные координаты соответствующих точек на изображениях сцены, зарегистрированной камерой (или двумя камерами) в различных ракурсах, никогда не совпадут в силу того, что координаты точек сцены вещественные, а на плоских изображениях видов они дискретные. Кроме того, возможны грубые ошибки в определении соответствующих точек вследствие искажений и помех.
Задаче определения соответствующих точек на изображениях посвящено большое число работ. Наиболее эффективными известными процедурами поиска опорных (ключевых) точек являются SIFT [6] и SURF [7]. Тем не менее, даже при использовании указанных общепризнанных эффективных процедур возникают
ошибки установления соответствий. Эти ошибки чаще возникают на малоинформативных участках изображений, например, на космических снимках такими участками могут быть изображения полей, лесных массивов, гладких рельефов и др.
Наиболее надёжно определяемые соответствующие точки обычно достаточно тесно группируются в информативных частях изображения, где сосредоточены техногенные объекты, например, городские постройки. Таким образом, на изображении имеют место (малоинформативные) области, в которых число найденных соответствующих точек существенно меньше, притом именно они чаще подвержены ошибкам. Ясно, что при последующем использовании интерполяционной схемы пространственного преобразования даже небольшое число ошибочных точек может привести к существенным различиям совмещаемых изображений.
Настоящая работа посвящена исследованию двух-этапной технологии формирования преобразования, позволяющей в значительной степени преодолеть указанные трудности. Идея состоит в том, что по надёжным соответствующим точкам, найденным в информативной части изображения, вначале строится проективное преобразование, которое затем используется для задания и/или уточнения соответствующих точек. Эффект достигается за счёт того, что приближённое проективное преобразование позволяет существенно сузить области поиска соответствующих точек, что обеспечивает существенное повышение точности и надёжности их определения. На втором этапе по уточнённым (в силу проективного преобразования) точкам осуществляется построение пространственного преобразования на основе триангуляции Делоне.
Правомерность реализации указанного подхода опирается на тот факт, что различия изображений одной сцены, зарегистрированной в разных ракурсах, в значительной степени связаны с проективными искажениями, на которые «накладываются» также нелинейные искажения, характер которых также зависит от ракурса и условий съёмки. Поэтому проективное преобразование на первом этапе может дать богатую
дополнительную информацию для более точного последующего сопоставления изображений.
1. Описание технологии
Рассматривается задача совмещения двух изображений одной сцены, в общем случае зарегистрированных в разных ракурсах. Предполагается, что различия координат положений камеры и ракурсов невелики, а разрешение камер (в случае регистрации двумя камерами) одинаково. Допускается возможность регистрации путём смещения камеры параллельным переносом. При этом относительные сдвиги по полю изображений могут быть значительными и неравномерными (неизопланатичными). Близкие к указанному случаю условия реализуются при космической съёмке.
Общая схема предлагаемой двухэтапной технологии формирования пространственного преобразования приведена на рис. 1. Она включает этап 1 - построение проективного преобразования и этап 2 - построение интерполяционного преобразования с использованием триангуляции Делоне. Каждый из этих этапов реализуется с использованием некоторой последовательности процедур, указанных на рис. 1. Привёдем краткое описание назначения и содержания этих процедур.
Этап 1. Построение проективного преобразования
Глобальное сопоставление изображений ^
Выявление информативных фрагментов изображений
Поиск соответствующих точек на множестве информативных фрагментов
I
Построение проективного преобразования совмещаемого изображения отсеивание точек, неудовлетворяющих этому преобразования
Задание и уточнение соответствующих точек для триангуляции» Делоне
Построение интерполяционного преобразования по всем точкам
Этап 2. Построение преобразования с использованием триангуляции Делоне
Рис. 1. Схема этапов построения преобразования для совмещения изображений
На этапе 1 реализуются: глобальное сопоставление изображений, выявление информативных фрагментов изображений и поиск соответствующих точек на множестве информативных фрагментов.
Глобальное сопоставление изображений осуществляется с целью приближённого совмещения изображений. Применение этой процедуры даёт особенно значительный эффект в случае, когда совмещаемые изображения изначально имели большой относитель-
ный сдвиг. Устранение больших сдвигов позволяет существенно сократить размеры области поиска соответствующих точек, что обеспечивает достаточную для первого этапа точность и надёжность их определения.
Для глобального сопоставления используется фрагмент изображения достаточно больших размеров - (Ы*Ы), обычно в центральной его части. Поиск соответствующего фрагмента на втором изображении осуществляется в большой области, которая выбирается с учётом возможных больших относительных сдвигов. Поскольку по предположению разрешение камер одинаково, масштабы изображений полагаются совпадающими. При указанных условиях ищется точка (к1,11), для которой достигается максимум функции корреляции К(к1,/1) [8]:
К ь
ад, /1)=
XX /¿к, //)12 (к - к1, / - /1)
Кь
XX Л2(к, /)
12
Кь
XX 12(к - к1, / - /1)
12
(1)
где /1(к,/) и /2(к,/) - значения яркостей в точках с координатами (к,/) на совмещаемых фрагментах первого и второго изображений соответственно.
Следующая процедура первого этапа - выявление информативных фрагментов на изображении. Она осуществляется с целью выявления на изображении фрагментов, на которых функция распределения яркости имеет пространственную динамику, позволяющую более точно и надёжно определять соответствующие точки.
В качестве критерия информативности используются значения дисперсий, которые вычисляются в каждой точке неискажённого изображения (рис. 2а): 1 р р
о2(к0, /0, Р) =
(2Р +1)2
X X (/1 (к + ко,/ + /о))2 -
- Р у=-Р
(
1
(2)
X X /1 (к + ко,/ + /о)
(2Р +1)2 ,=-ру=
где (к0,/0) - точка изображения, для которой определяется информативность, Р - выбранный размер окрестности точки (к0,/0). Порог информативности задаётся исходя из требования обеспечения высокой надёжности определения соответствующих точек.
На множестве найденных информативных точек осуществляется поиск соответствующих. Координаты соответствующих точек определяются так же, как и выше, т. е. по формуле (1). Однако в данном случае с учётом достигнутой точности приближённого совмещения на этапе глобального сопоставления размеры сравниваемых фрагментов и размеры окна поиска назначаются сравнительно небольшими, поскольку зависят в основном только от степени неравномерности и интенсивности искажений.
Заключительная процедура первого этапа - определение проективного преобразования Н по множеству найденных соответствующих точек на изображении:
к=1 /=1
к=1 /=1
к=1 / =1
х
2
( И «11 И12 И Л 13
Н = И21 И22 И23
ч И31 И32 И33 ,
(3)
Проективное преобразование переводит точки одного изображения в точки другого:
( к'") ( И «11 И12 И13 ^ ( к л
/' И21 И22 И23 / , (4)
V 1 V ч И31 И32 И33 V 1V
где (к,/), (к',/ ') - координаты точек на первом и втором изображениях соответственно.
В результате реализации процедуры определения соответствующих точек, несмотря на принятые меры: глобальное сопоставление и поиск информативных фрагментов - всё-таки возможны ошибки. Поэтому для определения проективного преобразования (3) используется алгоритм, устойчивый к грубым ошибкам типа сбоев - ЯЛКБЛС [9].
В этом алгоритме из множества соответствующих точек последовательно выбираются подмножества точек, с использованием которых рассчитываются параметры проективного преобразования Н. Получаемое на каждом шаге преобразование проверяется на исходном множестве точек путём расчёта степени соответствия гипотезы (проективного преобразования) исходным данным.
я (н ) = x р (г,- (н, (к,, /,), (к',, /\))),
р ()=
Г < т, Г > т,
где (к,,/,), (к/,//) - координаты ,-й точки на первом и втором изображениях соответственно,
т1 (Н,(к1,/1),(к\,/\)) - мера соответствия построенного проективного преобразования Н паре точек (к,,/,), (к/,//), Т - выбранный порог. Принимается та
гипотеза Н , значение Я (Н) для которой принимает
минимальное значение.
Если нелинейными искажениями можно пренебречь по сравнению с проективными, на этом этапе может быть достигнуто высокое качество совмещения изображений. Если нелинейные искажения существенны или проективные искажения имеют различные параметры в разных частях изображения, необходимо перейти ко второму этапу уточнения соответствующих точек и интерполяции изображения.
На втором этапе для первого изображения с использованием построенного в соответствии с (2) поля информативности задаётся множество равномерно расположенных на нём точек. Плотность задаётся с учётом динамики искажений по пространственным координатам. Если имеется априорная информация о характере изменения искажений по полю изображения, точки могут задаваться неравномерно. В частности, в областях, где динамика искажений выше, плотность задаваемых точек должна быть выше. Для за-
дания точек удобно «наложить» на изображение сетку, из каждой ячейки которой затем выбрать наиболее информативную точку.
Найденные таким образом точки объединяются в сеть треугольников с помощью триангуляции Делоне. Затем для каждого треугольника на первом изображении ищется соответствующий треугольник на втором изображении. Координаты соответствующих точек в вершинах треугольников на втором изображении определяются приближённо с использованием построенного на первом этапе проективного преобразования:
(ипк1+V,+^
( л
Л31к, + И321, + И33 И21к! + И221 I + И23 V И31к, + М, + И33 ;
В результате применения проективного преобразования, вариации параметров нелинейных искажений по полю изображения обычно невелики. Это даёт возможность задавать область поиска и окно поиска для уточнения соответствующих точек в вершинах треугольников по формуле (1) значительно меньше, чем на предшествующих этапах. Поэтому достигается высокая точность и надёжность соответствий треугольников.
Далее осуществляется аффинное преобразование координат точек каждого треугольника:
(Л / 7 1
а0к, + а/ + а2
V
Ь0к, + V, + Ь2
Такой способ трансформирования изображений известен как способ «резинового листа». В данном случае даже на мелкодетальных текстурах с повторяющимся распределением яркости на малых фрагментах достигается высокое качество совмещения за счет высокой точности и надёжности сопоставления треугольников.
Далее приводятся результаты экспериментов, иллюстрирующие эффективность предложенной технологии.
2. Результаты экспериментов
Для проверки эффективности предлагаемой технологии осуществлялось совмещение изображений, приведённых на рис. 2а и б. Изображение, показанное на рис. 2б получено из первого (рис. 2а) путем применения проективного преобразования и последующего нелинейного искажения. На рис. 2в) приведено так называемое разностное изображение, которое иллюстрирует характер несовпадения пространственных координат точек совмещаемых изображений. Оно получено путём вычисления разности отсчётов яркости в точках с одинаковыми значениями координат.
На рис. 3а, б, в приведены разностные изображения, полученные путём вычисления разности отсчётов яркости в одноимённых точках исходного и преобразованного изображений (наличие необработанных участков по краям связано с отсутствием соответствующих точек на границах изображения). На рис. 3а показан результат, полученный после первого этапа - про-
ективного преобразования. На рис. 3б приведено разностное изображение исходного (рис. 2а) и восстановленного, которое было получено после второго этапа уточнения соответствующих точек и интерполяции с использованием триангуляции Делоне. Этот результат получен на множестве точек, которые задавались на сетке с размерами ячейки 100*100 пикселей. На рис. 3в
приведен результат, полученный по той же схеме при задании точек на сетке с размерами ячейки 50*50 пикселей. Нетрудно заметить, что на более плотном множестве точек результат лучше. Это означает, что плотность задания точек с использованием сетки с ячейкой 50*50 пикселей является более согласованной с характером изменения искажений по полю изображения.
Рис. 2. Исходные изображения: а) неискаженное; б) искаженное, в) разностное (инвертированное)
Рис. 3. Разностные изображения после восстановления второго изображения: а) проективным преобразованием; б) интерполяцией с использованием триангуляции Делоне на 40 точках; в) по той же схеме на 165 точках
Для более точной сравнительной оценки эффективности предложенной технологии в табл. 1 для всех указанных разностных изображений приведены значения среднеквадратичного отклонения (СКО), которое вычислялось по формуле:
1 т-1 и-1 ,
ско=—xxiл0', г) - /л г.
тп 1=0 Г=0
Таблица 1 Числовые значения СКО
Способ восстановления СКО
Исходные модельные изображения 1064
Проективное преобразование (первый этап) 185
Способ «резинового листа» с триангуляцией на 40 точках 45
Способ «резинового листа» с триангуляцией на 165 точках 39
Заметим, что для изображений, восстановленных способом «резинового листа», СКО рассчитывалось только для преобразованных точек, т.е. за исключением необработанных участков по краям изображения.
Заключение
Показано, что использование в качестве начального приближения проективного преобразования совмещаемого изображения даёт богатую информацию для последующего уточнения пространственного преобразования. В частности, возможность приближенного задания соответствующих точек позволяет существенно уменьшить размеры искомых соответствующих фрагментов и областей поиска. При этом практически полностью исключаются ошибочные соответствующие точки, в т.ч. в малоинформативных областях.
Кроме того, проективное преобразование предоставляет свободу в выборе плотности задания соответствующих точек в различных областях изображения. Это представляется важным, поскольку характер изменения искажений по полю изображения может быть различным и неравномерным.
Благодарности
Авторы выражают признательность Бибикову Сергею за обсуждения в ходе подготовки работы, способствовавшие формированию общей концепции.
Работа выполнена при финансовой поддержке
Министерства образования и науки РФ (гос. задание
2014/198).
Литература
1. Бессмельцев, В.П. Быстрый алгоритм совмещения изображений для контроля качества лазерной микрообработки / В.П. Бессмельцев, Е.Д. Булушев // Компьютерная оптика. - 2014. - Т. 38, № 2. - C. 343-350.
2. Мясников, В.В. Метод обнаружения транспортных средств на цифровых аэрофото- и космических изображениях дистанционного зондирования Земли / В.В. Мясников // Компьютерная оптика. - 2012. - Т. 36, № 3. -C. 429-438.
3. Ильясова, Н.Ю. Компьютерная технология восстановления пространственной структуры коронарных сосудов по ангиографическим проекциям / Н.Ю. Ильясова, Н.Л. Казанский, А.О. Корепанов, А.В. Куприянов, А.В. Устинов, А.Г. Храмов // Компьютерная оптика. - 2009. -Т. 33, № 3. - C. 281-317.
4. Crum, W.R. Non-rigid image registration: theory and practice / W.R. Crum, T. Hartkens, D.L.G. Hill // The British Journal of Radiology. - 2014. - Vol. 77. - P. 140-153.
5. Chui, H. A new point matching algorithm for non-rigid registration / H. Chui, A. Rangarajan // Computer Vision and Image Understanding. - 2003. - Vol. 89(2). - P. 114-141.
6. Loeckx, D. Nonrigid image registration using free-form deformations with a local rigidity constraint / D. Loeckx, F. Maes, D. Vandermeulen, P. Suetens //Medical Image Computing and Computer-Assisted Intervention-MICCAI 2004. - Springer Berlin Heidelberg, 2004. -P. 639-646.
7. Ke, Y. PCA-SIFT: A more distinctive representation for local image descriptors / Y. Ke, R. Sukthankar // Computer Vision and Pattern Recognition - 2004. CVPR 2004. - Proceedings of the 2004 IEEE Computer Society Conference on. - IEEE, 2004. - Vol. 2. - P. 506-513.
8. Bay, H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L. Van Gool // Computer Vision-ECCV 2006. - Springer Berlin Heidelberg, 2006. - P. 404-417.
9. Прэтт, У. Цифровая обработка изображений / У. Претт. - Пер. с англ. - М.: Мир, 1982. - 790 с.
10. Raguram, R. A comparative analysis of RANSAC techniques leading to adaptive real-time random sample consensus / R. Raguram, J.M. Frahm, M. Pollefeys // Computer
Vision-ECCV 2008. - Springer Berlin Heidelberg, 2008. -P. 500-513.
References
1. Bessmeltsev, V.P. Fast image registration algorithm for automated inspection of laser micromachining / V.P. Bessmeltsev, E.D. Bulushev // Computer Optics. - 2014. -Vol. 38(2). - P. 343-350. - ISSN 0134-2452.
2. Myasnikov, V.V. Method for detection of vehicles in digital aerial and space remote sensed images / V.V. Myasnikov // Computer Optics. - 2012. - Vol. 36(3). - P. 429-438. -ISSN 0134-2452.
3. Ilyasova, N.Y. Computer technology for the spatial reconstruction of the coronary vesels structure from angigo-graphic projections / N.Y. Ilyasova, N.L. Kazansky, A.O. Ko-repanov, A.V. Kupriyanov, A.V. Ustinov, A.G. Khramov // Computer Optics. - 2009. - Vol. 33(3). - P. 281-317. -ISSN 0134-2452. - (In Russian).
4. Crum, W.R. Non-rigid image registration: theory and practice / W.R. Crum, T. Hartkens, D.L.G. Hill // The British Journal of Radiology. - 2014. - Vol. 77. - P. 140-153.
5. Chui, H. A new point matching algorithm for non-rigid registration / H. Chui, A. Rangarajan // Computer Vision and Image Understanding. - 2003. - Vol. 89, Issue 2. -P. 114-141.
6. Loeckx, D. Nonrigid image registration using free-form deformations with a local rigidity constraint / D. Loeckx, F. Maes, D. Vandermeulen, P. Suetens // Medical Image Computing and Computer-Assisted Intervention-MICCAI 2004. - Springer Berlin Heidelberg, 2004. - P. 639-646.
7. Ke, Y. PCA-SIFT: A more distinctive representation for local image descriptors / Y. Ke, R. Sukthankar // Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on. - IEEE, 2004. - Vol. 2. - P. 506- 513.
8. Bay, H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L. Van Gool // Computer Vision-ECCV 2006. - Springer Berlin Heidelberg, - 2006. - P. 404-417.
9. Pratt, W. Digital Image Processing. - 4th ed. - Wiley, 2007.
10. Raguram, R. A comparative analysis of RANSAC techniques leading to adaptive real-time random sample consensus / R. Raguram, J.M. Frahm, M. Pollefeys // Computer Vision-ECCV 2008. - Springer Berlin Heidelberg, 2008. -P. 500-513.
TWO-STAGE FORMATION OF A SPATIAL TRANSFORMATION FOR IMAGE MATCHING
Ye. V. Goshin1, A.P. Kotov2, V.A. Fursov12
1 Samara State Aerospace University,
2 Image Processing Systems Institute, Russian Academy of Sciences
Abstract
In this paper a problem of image matching is considered. We consider the matching of images, which represent the same scene recorded by different sensors. In this paper we discuss problems arising when there are uninformative areas on the images, in which points matching errors occur frequently. In the proposed technology a projective transform is constructed from reliable corresponding points in an informative area. And then this transform is used to determine and adjust the corresponding points in an uninformative area. Experimental results illustrate the effectiveness of the proposed technology.
Key words: image processing, image informativity estimation, image matching, projective transform, Delaunay triangulation, affine transform.
Сведения об авторах
Гошин Егор Вячеславович, ассистент кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение.
E-mail: [email protected] .
Yegor Vyacheslavovich Goshin. Currently works as a teaching assistant at SSAU's Supercomputers and General Informatics sub-department. Research interests are image processing, recognition algorithms, parallel computations and stereovision.
Котов Антон Петрович, стажёр-исследователь Института систем обработки изображений РАН, магистр прикладной математики и информатики, аспирант кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение.
E-mail: antonykotov@gmail. com .
Anton Petrovich Kotov, trainee-researcher of the Image Processing Systems Institute of the RAS, master of Applied Mathematics and Computer Science, post-graduated student of SSAU's Supercomputers and General Informatics sub-department. Research interests are image processing, recognition algorithms, parallel computations and stereovision.
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельных алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем. E-mail: _ [email protected] .
Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of Supercomputers and General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of highperformance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.
Поступила в редакцию 19 ноября 2014г.
