CC BY
8
УДК 004.932.72
DOI: 10.33764/2618-981X-2020-8-2-107-112
ВЫБОР ФРАГМЕНТОВ ДЛЯ ПРИВЯЗКИ МНОГОКАНАЛЬНЫХ ИЗОБРАЖЕНИЙ
Ирина Валентиновна Борисова
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. Маркса, 20, кандидат технических наук, доцент кафедры автономных информационных и управляющих систем, тел. (383)346-26-23, e-mail: i.v.borisova@corp.nstu.ru
Игорь Сергеевич Гибин
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. Маркса, 20, доктор технических наук, профессор кафедры оптических информационных технологий, тел. (383)333-25-74, e-mail: gibin@corp.nstu.ru
Владимир Николаевич Легкий
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. Маркса, 20, доктор технических наук, профессор кафедры автономных информационных и управляющих систем, тел. (383)346-26-23, e-mail: sniios@mail.ru
Рассматривается метод выбора реперных фрагментов для привязки изображений из разных каналов наблюдения, в том числе разных спектральных диапазонов. Предлагаемый метод основан на вычислении спектра Фурье в локальных окрестностях точек фрагментов и анализе анизотропности спектра. В качестве реперных фрагментов выбираются фрагменты изображения с максимальным суммарным значением анизотропности. Процедура выполняется автоматически и не требует введения пороговых значений. Для поиска координат фрагмента, соответствующего реперному, используется экстремум критериальной функции. Показана зависимость невязки изображений от суммарного значения анизотропности реперных фрагментов для разных мер близости.
Ключевые слова: обработка изображений, спектр Фурье, мера близости, реперный фрагмент, многоканальные оптико-электронные системы.
FRAGMENT SELECTION METHOD FOR BINDING MULTI-CHANNEL IMAGES
Irina V. Borisova
Novosibirsk State Technical University, 20, Prospekt K. Marksa, Novosibirsk, 630073, Russia, Ph. D., Assoc. Prof. of Department of Autonomous Information and Control Systems, phone: (383)346-26-23, e-mail: i.v.borisova@corp.nstu.ru
Igor S. Gibin
Novosibirsk State Technical University, 20, Prospekt K. Marksa, Novosibirsk, 630073, Russia, D. Sc., Prof. of Department of Photonics and Optoinformatics, phone: (383)333-25-74, e-mail: gibin@corp.nstu.ru
Vladimir N. Legkiy
Novosibirsk State Technical University, 20, Prospekt K. Marksa, Novosibirsk, 630073, Russia, D. Sc., Prof. of Department of Autonomous Information and Control Systems, phone: (383)346-26-23, e-mail: sniios@mail.ru
The method of selecting reference fragments for coordinate matching of images from different observation channels, including images from different spectral ranges, is considered. The proposed method is based on calculating the Fourier spectrum in the local vicinity of fragment points and analyzing the anisotropy of the spectrum. Image fragments with the maximum summary anisotropy value are assigned as reference fragments. The procedure is performed automatically and does not require entering threshold values. A reference fragment is detected by searching for the extremum of the target function. It is shown that the error of image coordinate binding depends on the total value of the anisotropy of reference fragments.
Key words: image processing, Fourier spectrum, measure of proximity, reference fragment, multi-channel optical electronic systems.
Введение
Необходимость координатной привязки изображений возникает при решении задач слияния изображений [1], анализа движения [2, 3], анализа изменений в серии изображений, текстурного анализа и т.д. Основные подходы к привязке изображений основаны на использовании корреляционного совмещения репер-ных фрагментов [4, 5], совмещения с помощью проективных преобразований [6, 7] и сопоставления реперных точек по их дескрипторам [8, 9, 10].
Методы, основанные на описании особых точек [11, 12], обладают большей инвариантностью к аффинным преобразованиям изображений по сравнению с корреляционным подходом. Однако в случае разноспектральных или разновременных изображений, некоторые особые точки могут не иметь пары [13]. Использование методов, основанных на алгоритме SURF [11], ограничено размерами обрабатываемых изображений. Для изображений больших размеров поиск особых точек выполняется на фрагментах, размеры которых согласованы с моделью аффинного преобразования [14].
В методах корреляционной привязки первым этапом является выбор эталонных (реперных) фрагментов. Выбор эталонов может выполняться в ручном режиме оператором или автоматически. Эталоны выбираются в окрестности некоторых характерных объектов, точечных или протяженных. Чаще всего для привязки используются протяженные объекты с характерными очертаниями: реки, дорожная сеть, береговая линия, населенные пункты и т.д. Этот подход предполагает, что имеется информация о содержании изображений. В случае отсутствия такой информации в реперные фрагменты должны попадать границы между относительно однородными областями [15]. В большинстве работ при совмещении разнородных изображений эталонные фрагменты приводят к бинарному виду и выполняют корреляционный поиск [4], контурный анализ [16] или поиск ключевых точек [17, 18].
В данной работе рассматривается выбор реперных фрагментов на основе анализа спектра Фурье локальных окрестностей без предварительного поиска границ областей.
Фасетная модель изображения
Рассмотрим представление изображения в виде фасетной модели [19, 20]. Для этого разобьем изображение на двумерные фрагменты, в пределах которых функция яркости аппроксимируется наклонными плоскостями - фасетами. Каж-
дый фасет составляет с горизонтальной плоскостью двугранный угол, который характеризуется значением угла наклона к горизонтали и ориентацией в плоскости координат. Если фрагмент изображения содержит контуры объектов, то спектр Фурье этого фрагмента будет анизотропным. В направлении, взятом вдоль прямоугольного контура, энергия спектра существенно ниже, чем в перпендикулярном направлении, т.е. в направлении градиента яркости. Значение угла наклона фасета к горизонтали определяет степень анизотропии спектра.
Размер фрагмента, в пределах которого строится фасет, выбирается в зависимости от сюжета изображения от 3х3 элементов до 8х8. По сути, это локальная окрестность точки изображения. Поскольку для обработки поступает уже оцифрованное изображение, вычислим двумерное дискретное преобразование Фурье матрицы отсчетов текущей окрестности изображения V:
1 N-1N-1 г 2л ]
Е(и,V) = — V V V(I,п)ехр—(и1 + уп) к
N£^=0 I ^ Т (1)
и, V = 0,..., N -1, 12 =-1,
где V(l, п) - яркость элемента текущей окрестности, NхN - размер окрестности.
Найдем суммы элементов энергетического спектра в направлениях, составляющих углы 0, я/4, л/2, 3я/4 с горизонталью, с помощью следующего оператора:
JN-1 N-1
V Е2(0,V);Ех = V р2(и,и);
V=о V и=0 (2)
JN-1 N-1
V Е2(и,0);Ез = V р2(и,N - и)
и=0 V и=0
Ориентацию фасета 0 мы рассматриваем как дискретную величину с шагом дискретизации я/4. Направление, в котором будет получена максимальная суммарная энергия, определяет ориентацию фасета:
я
Ет = тах Е:, 0 = т •— . (3)
т ]=0,...3 ] 4
Для определения степени анизотропии окрестности будем использовать отношение максимальной суммарной энергии Ет и энергии, полученной в перпендикулярном направлении Еп:
Е
А = 1 . (4)
Ет
Значение анизотропности для каждой точки лежит в интервале [0, 1]. Суммируя значения анизотропности для точек в пределах выбранного размера эталона, получаем суммарное значение анизотропности. Выбор реперных фрагментов производится в областях с максимальным суммарным значением анизотропности.
Экспериментальные результаты
Задача взаимной привязки рассматривалась для изображений разных спектральных диапазонов, приведенных к одному масштабу. В одном из изображений, согласно описанному методу, выбирался реперный фрагмент. Для поиска соответствующего фрагмента в других изображениях применялись бинарная корреляция, компарационная мера близости [20, 21] с разделением окрестностей на пять классов, а также метрика расстояний до границ Chamfer Distance [22]. После этого производилась обратная привязка найденного фрагмента с изображением, из которого выбирался эталон, и фиксировалась невязка относительных координат.
На рис. 1а и рис. 1в приведен пример парных изображений, использовавшихся для исследования метода. На рис. 1б в виде яркости показаны значения анизотропности, соответствующие изображению рис. 1 а. Выделенный рамкой фрагмент на рис. 1 а соответствует максимальному суммарному значению анизотропности. На парном изображении, приведенном на рис. 1 в, рамкой выделен обнаруженный эталон. В данном случае при использовании всех рассмотренных мер близости была получена нулевая невязка.
Рис. 1. Пример выделения реперного фрагмента и привязки изображений:
а) первое из пары изображений с выбранным реперным фрагментом; б) значения анизотропности; в) второе из пары изображений с найденным эталоном
£
Я 80
£? 60
Й 40
20
W о
Коыпарация Бинарная корреляция
Значения невязки: Ю 1-2
Chamfer Distance
о 60 "
шш
Комиарация Бинарная корреляция
Значения невязки: ■ 0 ■ 1 -2 ■ больше 2
Chamfer Distance
а) _ _ б)
Рис. 2. Статистика значений невязки для разных мер близости:
а) реперный фрагмент выбран предложенным методом; б) случайный выбор репер-ного фрагмента
В проводимом исследовании использовались пары телевизионных и теп-ловизионных изображений, и пары тепловизионных изображений разных поддиапазонов. Общий объем базы данных - более ста пар изображений. Все меры близости показали стабильную привязку при выборе реперного фрагмента предложенным методом. Статистика значений невязки приведена на рис. 2. По оси ординат в процентах к общему числу экспериментов отложено количество пар изображений, давших нулевую невязку, невязку в один - два элемента и невязку больше двух элементов. Исследования показали, что лучшее качество привязки получается, если реперный фрагмент выбирается из менее детального изображения. Для сравнения проводился анализ привязки с использованием случайно выбранного эталона. Качество привязки резко упало, практически в половине экспериментов невязка составляла больше пяти пикселей. Анализ эталонов, с которыми были получены малые значения невязки, показал, что их суммарные значения анизотропности близки к максимальным.
Заключение
Проведенное исследование показало, что предложенный метод выбора ре-перных фрагментов обеспечивает устойчивую привязку изображений разных спектральных диапазонов при корреляционном совмещении с использованием разных мер близости. Полученные значения невязки оказались меньше при использовании реперных фрагментов с большими значениями суммарной анизотропности.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Кокошкин, А.В. Оценка ошибок синтеза изображений с суперразрешением на основе использования нескольких кадров / А.В. Кокошкин, В. А. Коротков, К.В. Коротков, Е.П. Нови-чихин // Компьютерная оптика. - 2017. - Т. 41, № 5. - С. 701-711.
2. Алпатов, Б.А. Выделение движущихся объектов в условиях геометрических искажений изображения / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов. - 2004. - №4. -С. 9-14.
3. Казбеков, Б.В. Метод сопоставления изображений с эталонами как метод идентификации подвижных наземных объектов / Б.В. Казбеков, Н. А. Максимов, А.В. Шаронов // Научный Вестник МГТУ ГА. - 2014. - № 207. - С. 61-66.
4. Кирпичников, А.П. Решение задачи корреляционной привязки изображения и цифровой карты местности / А.П. Кирпичников, Д.И. Мифтахутдинов, И.С. Ризаев //Вестник технологического университета. - 2015. - Т.18, №17. - С. 186-189.
5. Потапов, А. С. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции / А. С. Потапов, И. А. Малышев, В.Р. Луцив // Оптический журнал. - 2004. - Т. 71, № 5. - С. 31-36.
6. Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений / Е.В. Гошин, А.П. Котов, В. А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891.
7. Алпатов, Б.А. Электронная юстировка изображений при мультиспектральном наблюдении / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов. - 2003. - № 1. - С. 24-26.
8. Кузнецов, А.Е. Технология автоматического контроля точности геопривязки спутниковых изображений по опорным снимкам от КА «LANDSAT-8» / А.Е. Кузнецов, В.И. Поше-хонов, А. С. Рыжиков // Цифровая Обработка Сигналов. - 2015. - №3. - С. 37-42.
9. Wang, W. Contour matching using the affine-invariant support point set / W. Wang, Y. Jiang,
B. Xiong, L. Zhao // IET Computer Vision. - 2014. - Vol. 8, № 1. - P. 35-44.
10. Казбеков, Б.В. Локализация местоположения БЛА на основе распознавания изображений подстилающей поверхности / Б.В. Казбеков, Н.А. Максимов, И.С. Пуртов, Д.П. Синча // Научно-технический вестник Поволжья. - 2011. - № 5. - С. 157-160.
11. Herbert, B. Speeded-Up Robust Features (SURF) / B. Herbert, E. Andreas, T. Tinne, L. Van Gool // Computer Vision and Image Understanding. - 2008. - Vol. 110, № 3. - P. 346-359.
12. Lowe, D.G. Object recognition from local scale-invariant features // Proc. of the International Conference on Computer Vision. - 1999. - Vol. 2. - P. 1150-1157.
13. Ефимов, А. И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. - 2016. -Т. 40, № 2. - С. 258-265.
14. Совмещение изображений с российских спутников «Ресурс-П» / А.И. Алексанин,
C.М. Краснопеев, М.А. Морозов, Е.В. Фомин // Современные проблемы дистанционного зондирования Земли из космоса. - 2018. -Т. 15, № 1. - С. 18-28
15. Цифровая обработка изображений в информационных системах: Учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых и др. - Новосибирск: Изд-во НГТУ, 2002. - С. 166.
16. Новиков, А. И. Применение контурного анализа для совмещения изображений / А.И. Новиков, В.А. Саблина, Е.О. Горячев // Известия ТулГУ. Технические науки. - 2013. -Вып. 9, Ч.1 - С. 260-270.
17. Hast, A. Optimal RANSAC - Towards a Repeatable Algorithm for Finding the Optimal Set / A. Hast, N. Johan, A. Marchetti // Journal of WSCG. - 2013. - № 1(21). - P. 21-30.
18. Novikov, A.I. The Contour Analysis and Image-Superimposition Problem in Computer Vision Systems / A.I. Novikov, V.A. Sablina, M.B Nikiforov, A.A. Loginov // Pattern Recognition and Image Analysis. - 2015. - №1(25). - P. 73-80.
19. Haralick, R.M. A facet model for image data / R.M. Haralick, L. Watson // Computer Graphics and Image Processing. - 198l. - V. 15, № 2. - P. 113-129.
20. Попов, П.Г. Практическое применение эффекта «отскока» в обработке изображений / П.Г. Попов, И.В. Борисова // Оптический журнал. - 1999. - Т. 66, № 4. - С. 94-101.
21. Анализ мер близости для поиска объектов по шаблону / И. В. Борисова, В. Н. Легкий, Д. А. Утев, С. А. Кравец, Д. Е. Демидов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2018.- № 3 (47). - С. 36-46.
22. Borgefors, G. Distance transformations in digital images // Computer Vision, Graphics, and Image Processing. - 1986. - Vol. 34, № 3. - P. 344-371.
© И. В. Борисова, И. С. Гибин, В. Н. Легкий, 2020
