CC BY
50
Применение вейвлет-преобразования для слияния многоспектральных изображений
И. В. Борисова1
'Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. Маркса, 20
Аннотация
Рассматривается метод слияния изображений одной и той же сцены, полученных в разных спектральных диапазонах, с формированием интегрированного монохромного изображения. Метод слияния основан на вейвлет-преобразовании исходных изображений. Предлагается стратегия объединения высокочастотных коэффициентов путём сравнения отношений их значений для всех исходных изображений. Процедура слияния не требует введения каких-либо пороговых значений и может выполняться для любого количества входных изображений. Предложенный алгоритм может быть использован в многоканальных оптико-электронных системах автоматической обработки изображений.
Ключевые слова: обработка изображений, слияние изображений, многоспектральные изображения, вейвлет-преобразование, многоканальные оптико-электронные системы.
Цитирование: Борисова, И.В. Применение вейвлет-преобразования для слияния многоспектральных изображений / И.В. Борисова // Компьютерная оптика. - 2020. - Т. 44, № 2. - С. 259-265. - DOI: 10.18287/2412-6179-CO-592.
Citation: Borisova IV. Application of a wavelet transform for multispectral image fusion. Computer Optics 2020; 44(2): 259-265. DOI: 10.18287/2412-6179-CO-592.
Введение
Комплексные многосенсорные системы наблюдения и обнаружения целей получили в настоящее время широкое распространение, прежде всего из-за способности работать в условиях сильных помех естественного и искусственного происхождения. Каждый отдельно взятый канал не в состоянии удовлетворить техническим требованиям в условиях плохой видимости, маскировки целей и применения средств радиоэлектронного противодействия. Однако эффективность системы увеличивается за счёт совместного использования информации, получаемой от различных каналов. Обычно в состав оптико-электронной аппаратуры включаются телевизионный, тепловизи-онный (в нескольких диапазонах), лазерный и другие каналы [1, 2].
Слияние информации из разных каналов может выполняться на различных уровнях: слияние на уровне решений, слияние признаков, слияние данных. Слияние на уровне данных часто называется слиянием низкого уровня. Оно больше всего применимо для интеграции данных от датчиков с совместимым темпом получения, размерностью и форматами данных. В свою очередь, алгоритмы слияния данных можно разделить на две группы: формирующие псевдоцветные изображения и формирующие изображения в натуральных цветах. Псевдоцветные изображения по большей части используются при обработке данных дистанционного зондирования Земли и в медицинских приложениях [3, 4].
В данной работе рассматривается слияние изображений одной и той же сцены, полученных в разных спектральных диапазонах, с формированием интегрированного монохромного изображения.
Главной проблемой компиляции изображений для визуального отображения является «сохранение рисунка» [5]: на результирующем изображении должны быть представлены важные детали из всех объединяемых изображений, а сама процедура компиляции не должна вносить искажений. Визуальное качество компилированного изображения должно быть, по крайней мере, не хуже качества исходного изображения при блокировании остальных каналов наблюдения. Метод компиляции должен обеспечивать работу с любым количеством каналов наблюдения, независимо от их спектрального диапазона и сочетания.
Ранние алгоритмы компиляции монохромных изображений были основаны на взвешенном суммировании исходных изображений с некоторыми весовыми коэффициентами. Объединение существенных деталей сводилось к добавлению в эту линейную комбинацию максимальных контрастов из всех каналов [6].
Более поздние алгоритмы основаны на выделении тем или иным методом яркостных перепадов в каждом из исходных изображений и объединении их в интегрированном изображении. При объединении изображений разных спектральных диапазонов хорошие результаты были получены при анализе спектра Фурье [5]. Также известны алгоритмы компиляции, основанные на многомасштабном разложении, включающем различные пирамидальные алгоритмы (например, пирамиды Лапласа), контурлет-преобра-зование [7], курвлет-преобразование и дискретное вейвлет-преобразование [8-11]. Вейвлет-преобразо-вание, в отличие от преобразования Фурье, позволяет проводить локальный спектральный анализ. Спектральные вейвлет-коэффициенты соответствуют не
только амплитудам различных частот, но и различным пространственным участкам на изображении. К достоинствам вейвлет-анализа также стоит отнести возможность использования для комплексирования изображений разного пространственного разрешения, что уменьшает объём обрабатываемой информации.
Ещё одно направление компиляции на основе многомасштабного разложения - представление исходного изображения в виде совокупности пространственно-ориентированных деревьев, составленных из коэффициентов вейвлет-разложения [12]. Такое представление позволяет комплексировать зашумлённые изображения без пороговой обработки вейвлет-коэффициентов [13].
Методы компиляции на основе вейвлет-анализа
Методы компиляции на основе вейвлет-анализа описаны в [6, 9, 10]. В качестве базиса в этих работах выбрана система вейвлетов Хаара, требующая минимума вычислений. Используется разделимый двумерный базис, получаемый с помощью целых сдвигов и двоичных изменений масштаба одномерных функций.
Двумерная масштабирующая функция ф (х, у) и три двумерные вейвлет-функции ун(х, у), у¥(х, у), У(х, у) формируются из произведений одномерных масштабирующих функций ф(х), ф(у) и вейвлет-функций у(х), у (у):
Ф (X, у) = Ф (х)ф (у), УH (y) = У (х)ф (у),
Y (х, у) = ф (х)у (у), уD (х, у) = у (х)у (у).
(1)
Двумерные вейвлет-функции чувствительны к изменениям яркости изображения в разных направлениях: ун(х, у) чувствительна к перепадам вдоль столбцов, которые соответствуют горизонтальным краям объектов, уг(х, у) чувствительна к перепадам вдоль строк, а у°(х, у) - вдоль диагоналей.
Объединяемые изображения подвергаются двумерному дискретному вейвлет-разложению: каждая строка делится на низкочастотную и высокочастотную половины, далее аналогично обрабатывается каждый столбец. В результате получаются матрицы вейвлет-коэффициентов, т.е. четыре изображения половинного размера от исходного: ^ф - низкочастотное по горизонтали и вертикали (НЧНЧ), Wv - низкочастотное по горизонтали и высокочастотное по вертикали (НЧВЧ), - высокочастотное по горизонтали и низкочастотное по вертикали (ВЧНЧ), - высокочастотное по горизонтали и вертикали (ВЧВЧ).
После формирования матриц вейвлет-коэффи-циентов сформировать единое изображение можно несколькими способами. Значения коэффициентов НЧНЧ части вейвлет-спектра могут поступать из одного канала (заранее выбранного) или могут собираться как среднее или взвешенное среднее по всем каналам. Собирая матрицы коэффициентов высоко-
частотных частей спектра, можно сравнить соответствующие коэффициенты из каждого канала и выбрать коэффициент с максимальным абсолютным значением. Также высокочастотные коэффициенты могут выбираться на основе некоторого признака. В любом случае перед обработкой необходимо выполнять нормализацию. Изображения, поступающие от всех датчиков, должны иметь одинаковый диапазон яркостей.
Наиболее простой способ слияния описан в работах [6, 8, 10-11]. Авторы формировали низкочастотные коэффициенты ^ф как среднее по двум каналам, а матрицы WF, Wн и собирали, выбирая из пар вейвлет-коэффициентов максимальный по модулю.
В работе [9] авторы проверяют корреляцию коэффициентов НЧНЧ части для изображений разных каналов. Для каждой точки (т, п) рассматривается окрестность Бт,п, размер окрестности авторы выбирали 3x3 и 5x5. По этой окрестности рассчитывается локальная энергия е (т, п) и аналог коэффициента нормированной корреляции С (т, п):
C (m, n) =
2 X , l)Щ2(к, l)
(k ,l )eSmn
e1(m, n) + e2(m, n)
(2)
s(m, n) = X X К (k, l )|2
(k,l)eSm n
где Wpi, Wcp2 - коэффициенты НЧНЧ части для изображений из первого и второго канала.
Полученный коэффициент С (m, n) сравнивается с заранее заданным порогом T, авторы [9] рассматривают порог в интервале (0,5, 1). Если С (m, n) < T, то вейвлет-коэффициент объединенного изображения рассчитывается по следующей формуле
ГWM (m, n), if e, (m, n) > e2 (m, n),
W (m, n) = <| Ф (3)
(m, n), otherwise.
Если С(m, n) > T, то вейвлет-коэффициент представляет собой линейную комбинацию коэффициентов из двух каналов:
Wф (m, n) = ю, W^j (m, n) + (m, n),
ax, if e,(m,n) >e2(m,n),
Oj + ю2 = 1, Qj =
_ 1 1 - C (m, n)
^^mrn ,
2 2(1 - T)
O
otherwise,
= 1 — ®n
(4)
Следует отметить, что слияние на основе анализа корреляции коэффициентов по формулам (2-4) применяется не только для НЧНЧ части спектра, но и для высокочастотных вейвлет-коэффициентов [14].
Поскольку высокочастотная составляющая содержит подробную информацию о границах объектов и значения высокочастотных коэффициентов в пределах окрестности могут существенно отличаться, то
со
для формирования WV, WH и WD в [9] используется стратегия слияния на основе дисперсии, рассчитанной по локальной окрестности. Авторы [9] использовали размер окрестности от 3x3 до 7x7. Для каждой из частей НЧВЧ, ВЧНЧ и ВЧВЧ в локальной окрестности каждой точки (пп, п) вычисляется весовой коэффициент слияния:
T4 (m, n) =
2d| d
(dl )2 + (d2 )2
(5)
где d1, d2 - дисперсия значений вейвлет-коэффициен-тов в локальной окрестности точки (п, п) для первого и второго изображения, верхний индекс показывает, для какой части спектра выполняются вычисления,
I=Н, V, D.
Если коэффициент слияния Т^т больше заранее заданного порога то вейвлет-коэффициент вычисляется как линейная комбинация коэффициентов из двух каналов, в противном случае он выбирается из канала с максимальной дисперсией:
W' (m, n) = <
w
wiW ' (m, n) + wW' (m, n), T^ > t', Wj (m, n), ifdl > W2 (m, n), ifdj <
1 =уЩ/[Jdî + M), wj' + w2 = 1,
(6)
где WI - высокочастотные коэффициенты объединенного изображения, WlI, W2I - высокочастотные коэффициенты для изображений из первого и второго канала, I=Н, V, D.
Описанные алгоритмы были промоделированы на тестовых и реальных изображениях. Результаты моделирования показали, что при выборе максимальных по модулю высокочастотных коэффициентов [8] на синтезированное изображение попадает слишком много мелких деталей, что затрудняет его анализ. Особенно критичным подход выбора по максимуму становится при зашумлении одного из изображений, так как синтезированное изображение оказывается искажено шумами.
Метод слияния высокочастотных компонент на основе анализа дисперсии значений вейвлет-коэффи-циентов по формулам (5, 6) даёт хорошие результаты, но требует задания пороговых значений, с которыми сравниваются весовые коэффициенты слияния Туат. При моделировании пороговые значения рассчитывались при предварительном проходе по изображению. Таким образом, процедура слияния становилась двухпроходной. При зашумлении одного из изображений результаты слияния оказались близкими к методу выбора по максимуму. Это объясняется тем, что при больших значениях дисперсии в областях с шумом и, следовательно, малых значениях Туат вейвлет-коэффициенты выбираются из канала с максимальной дисперсией.
На рис. 1 показан пример тестового изображения и изображения, искажённого Гауссовым шумом. На рис. 2 приведены результаты слияния этих изображений. Коэффициенты НЧНЧ части выбираются из исходного тестового изображения (рис. 1а). На рис. 2а показан результат слияния при выборе максимальных по модулю высокочастотных коэффициентов, на рис. 2б - результат слияния по формулам (5, 6), размер окрестностей для расчёта дисперсии - 5x5. Принципиальных различий между изображениями, синтезированными этими двумя методами, нет. За-шумлёнными оказываются не только области постоянной яркости и плавно изменяющейся яркости (серый клин), но и структурированные области (шахматная доска и горизонтальные полосы).
Рассмотренные методы слияния позволяют объединять изображения из разных каналов, однако они не устойчивы к шуму. Требуется разработать новый подход, который бы, наряду с объединением существенных деталей входных изображений, обеспечивал фильтрацию помех.
Рис. 1. Исходное и зашумлённое изображения
a)
Рис. 2. Результаты слияния: методом максимальных значений (а), методом расчёта коэффициентов Туаг (б), методом расчёта коэффициентов анизотропии (в)
Метод слияния высокочастотных коэффициентов
Для двумерного дискретного вейвлет-разложения на базисе вейвлетов Хаара рассмотрим новый метод слияния высокочастотных коэффициентов, не требующий задания пороговых значений.
Обратим внимание на то, что двумерные функции ф (х,у), ун(х,у), у¥(х,у) и у°(х,у) совпадают с матрицами 2x2 двумерного дискретного преобразования Фурье:
Рк1 = —
N
- ] N (к-0+1-0)
е
- ] N (к-1+1 -0)
е л1
- ] N ( к-0+1 -( N-1)) е л
- > N ( к+1)-( N-1) е л
где к, I = 0 -г- N-1, / = -1. При N = 2
1
Рк = 2
008 л(к - 0 +1 - 0) 008 л(к - 0 +1-1) 008 Л (к-1 +1 - 0) 008 л (к-1 +1-1) к, I = 0 г 1,
Ф(х, у) = Fo,o, у^ (х, у) = , ун (х, у) = ^1,0, уБ (х, у) = ^д .
(7)
Если фрагмент изображения содержит контуры объектов, то спектр Фурье этого фрагмента будет анизотропным. В направлении, взятом вдоль прямоугольного контура, энергия спектра Фурье существенно ниже, чем в перпендикулярном направлении, т.е. в направлении градиента яркости.
В [5] вводится степень анизотропии фрагмента на основе анализа дискретного двумерного спектра Фурье фрагментов размером от 3x3. Энергия спектра рассчитывается в четырёх направлениях, составляющих углы 0, л/4, л/2, 3л/4 с горизонталью. Направление, в котором будет получена максимальная суммарная энергия, принимается за ориентацию градиента яркости. Формула для расчёта степени анизотропии имеет следующий вид:
А =
Е Е
(8)
где Ет, Еп - суммы элементов энергетического спектра Фурье в направлении с максимальной энергией и в перпендикулярном направлении соответственно.
Но в спектре фрагмента размером 2x2 для диагонального направления нельзя найти перпендикулярное. Энергию в диагональном направлении можно сравнивать только с энергией по вертикали и горизонтали. Поэтому, возвращаясь к терминологии вейвлет-преобразования, введём коэффициенты анизотропии в горизонтальном Ан, вертикальном Ау и диагональном АБ направлениях:
Ан =
=и А=к
к
, АБ = -
тах (|н|, К |)
К
(9)
В отличие от степени анизотропии (9), коэффициенты анизотропии по направлениям могут быть больше 1, что говорит об отсутствии перепада яркости в данном направлении. Для шумовых фрагментов значения коэффициентов анизотропии будут близки
к 1. Чем меньше значение коэффициента анизотропии, тем существеннее перепад яркости в данном направлении. Исключением служат идеальные ступенчатые перепады в направлениях л / 4 и 3 л / 4, когда все три высокочастотных вейвлет-коэффициента имеют одинаковые абсолютные значения и коэффициенты анизотропии будут равны 1. Чтобы избежать деления на 0, в формуле (9) к знаменателю следует прибавлять малую константу (машинную точность).
Введём правило слияния высокочастотных вейвлет-коэффициентов, используя коэффициенты анизотропии по направлениям:
К' =
К/, if А/ < А2, А/ < 1, К2', if А2 < А1, А2 < 1, Ка, otherwi8e,
' = н V, Б,
(10)
где а = а^тш(|К/1, |К2' |).
На рис. 2в приведены результаты слияния тестового и зашумлённого изображений (рис. 1) предложенным методом по формуле (10). Зашумлёнными оказываются области плавно изменяющейся яркости, кроме того, присутствуют искажения на границах объектов (зашумляется область постоянной яркости, примыкающая к объектам). На структурированных областях по сравнению с рис. 2а и рис. 2б шумов существенно меньше.
Для проверки устойчивости методов слияния к шуму рассматривался набор исходных реальных изображений, разделённых на фрагменты. Анализируются три группы фрагментов. Фрагменты первой группы не содержат визуально значимых перепадов яркости, фрагменты второй группы содержат перепады с малой амплитудой (меньше средней амплитуды по всему изображению), а фрагменты третьей группы - перепады с большой амплитудой. Изображения искажаются аддитивным Гауссовым шумом, пиковое отношение сигнал / шум равно 23. Выполнялось слияние исходных изображений с искажёнными копиями. Коэффициенты НЧНЧ выбирались из исходных изображений. Высокочастотные коэффициенты выбирались как максимальные по модулю, по формулам (5), (6) и предложенным методом по формуле (10).
Для всех результатов слияния были рассчитаны коэффициенты корреляции с исходным изображением. Общее количество фрагментов в эксперименте -по 50 в каждой группе. Примеры полученных значений коэффициентов корреляции (К) приведены на рис. 3. По оси абсцисс откладываются значения среднеквадратичного отклонения яркости фрагмента. По оси ординат - значения коэффициентов корреляции исходного изображения с зашумлённой копией и с синтезированными изображениями.
Все три метода слияния дают результат более близкий к исходному изображению, чем искажённая копия. Однако коэффициенты корреляции с синтези-
рованными изображениями, полученными предложенным методом, выше, чем у аналогов. Кроме того, прослеживается зависимость результатов слияния от амплитуды перепадов яркости. Для фрагментов третьей группы корреляция синтезированных изображений с исходными выше, чем для первой и второй групп.
К
Л 00 0 ^ 0,9 ■ л » л Л " V -
0,8 • 0,7 ■ 0,60,5 ■ 0,4 ■ 0,3 0,2 0,1 О ■
0,13 0,18 0,40 1,10 1,60 фрагменты фрагменты фрагменты из группы 1 из группы 2 из группы 3
Рис. 3. Коэффициенты корреляции с исходным изображением зашумлённой копии (1) и результатов
слияния методом расчёта коэффициентов анизотропии (2), методом максимальных значений (3), методом расчёта коэффициентов Туаг (4)
Как отмечено в [12], слияние максимальных по модулю высокочастотных коэффициентов хорошо работает с относительно качественными (слабо искажёнными) изображениями. В случае комплексирова-ния зашумлённых изображений необходимо предусматривать дополнительные средства шумоподавления. В предложенном методе таким средством является проверка на анизотропию. Значения высокочастотных коэффициентов в спектре зашумлённого изображения могут быть больше, чем в спектре исходного, однако случайные шумы снижают анизотропию. Высокий коэффициент корреляции синтезированного изображения с исходным говорит о том, что большее число высокочастотных коэффициентов поступает именно из неискажённого изображения. Таким образом, рассмотренный метод является более устойчивым к зашумлению входных изображений по сравнению с аналогами.
Слияние низкочастотных коэффициентов
Формирование коэффициентов НЧНЧ части вейвлет-спектра как линейной комбинации коэффициентов из разных каналов весьма популярно. Но этот метод приводит к потере контраста ярких деталей, особенно при слиянии телевизионного и тепловизион-ного изображений. Было проведено моделирование слияния по формуле (4), как описано в работе [9]. Однако при использовании этого подхода с возможностью выбора максимальных коэффициентов НЧНЧ части спектра при объединении телевизионного и тепло-визионного изображений были получены артефакты в
виде светлых пятен, нарушающие «рисунок» синтезированного изображения.
Для слияния коэффициентов НЧНЧ части рассмотрим способ, предложенный для объединения полутоновых изображений [15].
Первоначально требуется определить наиболее информативный канал (например, с максимальной дисперсией яркости), коэффициенты НЧНЧ части спектра из этого канала обозначим Wфl. Коэффициенты НЧНЧ из второго канала обозначим Wф2.
Затем вычисляются абсолютные разности между значениями коэффициентов НЧНЧ части из второго канала и средним значением этих коэффициентов, назовём эти разности контрастом:
AWф2(п,п) = | Wф2 (п,п) - Wф21,
_ 1 М N (11)
= Т^ И^П П),
М" т=1 п =1
где М ^ - размер матриц коэффициентов НЧНЧ.
Средний контраст вычисляется по формуле
__1 М N
= — п). (12)
М" т=1 п =1
Низкочастотные коэффициенты объединённого изображения рассчитываются как
Wф (т,п) = Wф1(m,п) + ДWф2 (т,п) - Wд
' Дф2
(13)
Иными словами, в каждой точке к значению коэффициента НЧНЧ части из основного канала добавляется (или вычитается) отклонение от среднего контраста из второго канала. Данный метод зависит от порядка входных изображений, но он позволяет сохранять контраст деталей на объединённом изображении. Особо стоит отметить, что перед слиянием изображения должны быть приведены не только к одинаковому диапазону изменения значений яркости, но и к одинаковому среднему значению.
На рис. 4 представлены исходные разносюжетные изображения, а на рис. 5 - результаты слияния. Рис. 5а соответствует порядку рис. 4а, рис. 4б. Рис. 5б соответствует порядку рис. 4б, рис. 4а. Высокочастотные коэффициенты формировались по формуле (10). Для сравнения на рис. 5в приведён результат слияния при формировании коэффициентов приближения как среднего из двух каналов. Легко заметить, что при суммировании теряется контраст ярких деталей и роза и «пузырьки» выглядят блеклыми, а при слиянии по формуле (13) контраст сохранён.
Слияние произвольного количества изображений
Рассмотренные методы слияния вейвлет-коэф-фициентов могут быть легко модифицированы для слияния произвольного количества изображений. Для этого в формуле (10) вместо сравнения коэффициен-
тов анизотропии по направлениям из двух каналов нужно искать минимальный коэффициент по всем каналам:
К
к' =■
Я к = а^пипА/ , А'к < 1,
I Ка, otherwi8e,
(14)
где
а = а^ ггип |К/1
1 - число каналов, i = н, V, Б.
■ ш - Л I
Рис. 4. Исходные изображения
а)
Рис. 5. Результаты слияния: с учётом контраста по формуле (13) (а, б), - методом усреднения (в)
Для слияния низкочастотных коэффициентов в формуле (13) добавляем контраст из всех каналов:
Кф(т,п) = Кф!(т,п) +]Г |(т,п) -К^) . (15)
Пример слияния трёх спектрозональных изображений приведён на рис. 6. За первое входное взято изображение, приведённое на рис. 6а, порядок остальных изображений не имеет значения. Слияние предложенным методом может проводиться на любом уровне вейвлет-разложения. На рис. 7 показан результат слияния при разложении на два уровня.
Полученные результаты показывают, что на результирующем изображении присутствуют детали,
неразличимые в одном из диапазонов. Для удобства анализа на рис. 6 такие фрагменты выделены рамками. Синтезированные изображения выглядят более чёткими. Использование двух уровней разложения позволяет существенно уменьшить время на обработку. Однако увеличение числа уровней разложения может быть оправдано при слиянии изображений с крупными деталями или объектами. На изображениях с мелкими объектами появляется эффект мозаики, а плавные границы становятся ступенчатыми.
Рис. 6. Слияние трёх изображений: исходные изображения (а, б, в), результат слияния, один уровень вейвлет-разложения (г)
Рис. 7. Результат слияния, два уровня вейвлет-разложения
Заключение
Результирующие изображения, полученные при слиянии по рассмотренному алгоритму, удобны для восприятия оператором. Алгоритм не вносит дополнительных искажений и собирает всю необходимую информацию с исходных изображений. Процедура слияния не требует введения каких-либо пороговых значений. Предложенный алгоритм может быть использован в оптико-электронных системах автоматической обработки изображений.
В данной работе не рассматривалась возможность дополнительного улучшения качества формируемых изображений, в частности за счёт направленной фильтрации при вейвлет-разложении. Дальнейшие исследо-
вания направлены на адаптацию алгоритма слияния с
параллельным улучшением качества результата.
Литература
1. Червяков, А. Оптико-электронная станция сопровождения целей для зенитных ракетно-артиллерийских комплексов / А. Червяков, Ю. Зеленюк, Л. Костяшкин // Военный парад. - 2005. - № 3. - С. 88-90.
2. Кадерова, Г.Н. Оптико-электронная активно-пассивная система формирования яркостно-дальностных изображений фоноцелевой обстановки РФ-ЛЛК / Г.Н. Кадерова, В.Г. Каплан, В.В. Липатов, И.А. Непогодин, В.А. Семин, В.А. Степанов, В.С. Яцык // Оптический журнал. - 2007. - Т. 74, № 1. - С. 28-32.
3. Хачумов, В.М. Перспективы построения высокопроизводительной системы обработки данных дистанционного зондирования Земли / В.М. Хачумов, В.П. Фраленко, C.G. Xiang, Z.G. Liang // Программные системы: теория и приложения. - 2015. - Т. 6, № 1. - С. 121-133. - DOI: 10.25209/2079-3316-2015-6-1-121-133.
4. Грязнов, А.Ю. Методика получения псевдоцветных рентгеновских изображений в двухэнергетичной рентгенографии / А.Ю. Грязнов, К.К. Жамова, В.Б. Бессо-нов,
A.О. Лившиц, Е.С. Кунашик // Биотехносфера. - 2014. -№ 3(33). - С. 17-20.
5. Борисова, И.В. Модуль комплексирования каналов / И.В. Борисова, В.Н. Горенок, А.Н. Опарин, П.Г. Попов // Прикладная физика. - 2002. - № 6. - С. 89-93.
6. Фролов, В.Н. Методы информационного совмещения изображений в многоканальных оптико-электронных си-стемах / В.Н. Фролов, В.А. Тупиков, В.А. Павлова,
B.А. Александров // Известия ТулГУ. Технические науки. - 2016. - Вып. 11, Ч. 3. - С. 95-104.
7. Xin, G. Multi-focus image fusion based on the nonsubsam-pled contourlet transform and dual-layer PCNN model / G. Xin, B. Zou, J. Li, Y. Liang // Information Technology Journal. - 2011. - Vol. 10, № 6. - P. 1138-1149.
8. Тетерин, В.В. Метод комплексирования информации от многоканальной системы с использованием вейвлет-спектров / В.В. Тетерин, В.А. Павлова, В.А. Александров // Оптический журнал. - 2006. - Т. 73, № 10. -С. 47-51.
9. Xue, X. A parallel fusion algorithm of multi-spectral image and panchromatic image based on wavelet transform / X. Xue, F. Xiang, H. Wang, J. Peng // Науковий вюник НГУ. - 2016. - № 3. - С. 122-128.
10. Li, H. Multisensor image fusion using the wavelet transform / H. Li, B.S. Manjunath, S.K. Mitra // Graphical Models and Image Processing. - 1995 - Vol. 57, Issue 3. -P. 235-245.
11. Li, M. Multifocus image fusion based on morphological haar wavelet transform / M. Li // Computer Engineering. -2012. - Vol. 38, Issue 23. - P. 211-214. - DOI: 10.3969/j.issn.1000-3428.2012.23.052.
12. Бехтин, Ю.С. Комплексирование зашумленных муль-тиспектральных изображений с использованием пространственно-ориентированных деревьев вейвлет-преобразования / Ю.С. Бехтин // Цифровая обработка сигналов. - 2012. - № 1. - С. 27-31.
13. Бехтин, Ю.С. Примеры применения теории вейвлет-кодирования зашумленных изображений на практике / Ю.С. Бехтин // Вестник РГРТУ. - 2017. - № 60. - С. 4552. - DOI: 10.21667/1995-4565-2017-60-2-45-52
14. Xia, H. An improved adaptive fusion image windows based technology // International Journal of Information and Edu-ca-tion Technology. - 2013. - Vol. 3, Issue 2. - P. 249-253. - DOI: 10.7763/IJIET.2013.V3.274.
15. Пат. 2451388 Российская Федерация G 06 T 5/00. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений / Богданов А.П., Костяшкин Л.Н., Морозов А.В., Пав-лов О.В., Романов Ю.Н., Рязанов А.В.; заявитель и правообладатель Открытое акционерное общество "Государственный Рязанский приборный завод" (ОАО "ГРПЗ"); № 2010152858/08, заявл. 23.12.2010, опубл. 20.05.2012, Бюл. № 14. - 11 с.: ил.
Сведения об авторе
Борисова Ирина Валентиновна, 1967 года рождения, в 1989 году окончила с отличием Новосибирский электротехнический институт (сейчас Новосибирский государственный технический университет, НГТУ) по специальности «Прикладная математика», в 2000 г. защитила диссертацию на соискание степени кандидата технических наук. Работает доцентом кафедры автономных информационных и управляющих систем в НГТУ. Область научных интересов: математические методы обработки изображений, распознавание образов. E-mail: i.v.borisova@corp.nstu.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 2 июля 2019 г. Окончательный вариант - 10 сентября 2019 г.
Application of a wavelet transform for multispectral image fusion
I.V. Borisova1
'Novosibirsk State Technical University, 630073, Novosibirsk, Russia, Prospekt K. Marksa, 20
Abstract
A method of image fusion based on wavelet decomposition of the original images is considered. An integrated monochrome image is formed from images of the same scene obtained in different spectral ranges. A strategy for fusing detail coefficients by comparing the proportions of their magnitudes for all original images is proposed. The fusion procedure does not require any thresholds. This fusion procedure can be performed for any number of original images. The algorithm does not introduce additional distortions and collects all the necessary information from the original images. The quantitative and qualitative evaluation of the results was performed. The proposed algorithm can be used in optoelectronic systems for automatic image processing.
Keywords: image fusion, multispectral image, wavelet transform, multi-channel optical electronic systems.
Citation: Borisova IV. Application of a wavelet transform for multispectral image fusion. Computer Optics 2020; 44(2): 259-265. DOI: 10.18287/2412-6179-CO-592.
References
[1] Cherviakov A, Zeleniuk Yu, Kostiashkin L. Optical-electronic target tracking station for zenith rocket-artillery systems [In Russian]. Voennyi Parad 2005, 3: 88-90.
[2] Kaderova GN, Kaplan VG, Lipatov VV, Nepogodin IA, Semin VA, Stepanov VA, Yatsyk VS. The RF-LLK optoelectronic active-passive system for forming brightness-range images of the background-and-target situation. J Opt Tech 2007; 74(1): 20-23. DOI: 10.1364/JOT.74.000020.
[3] Khachumov V, Fralenko V, Xiang CG, Liang ZG. Construction perspectives of the remote sensing data highperformance processing system [In Russian]. Program systems: theory and applications 2015; 6(1): 121-133. DOI: 10.25209/2079-3316-2015-6-1-121-133.
[4] Griaznov AY, Zhamova KK, Bessonov VB, Livshits AO, Kunashik ES. Methods of obtaining pseudo-color X-ray im-ages in two energy radiography [In Russian]. Bio-tekhnosfera 2014; 3(33): 17-20.
[5] Borisova IV, Gorenok VN, Oparin AN, Popov PG. Image merging device. Proc SPIE 2003; 5126: 255-257.
[6] Frolov VN, Tupikov VA, Pavlova VA, Alexandrov VA. Informational image fusion methods in multichannel opt-pelectronic systems [In Russian]. Izvestiya Tula State University: Technical Sciences 2016; 11(3): 95-104.
[7] Xin G, Zou B, Li J, Liang Y. Multi-focus image fusion based on the nonsubsampled contourlet transform and dual-layer PCNN model. Inform Technol J 2011; 10(6): 1138-1149. DOI: 10.3923/itj.2011.1138.1149.
[8]
[9]
Teterin VV, Pavlova VA, Aleksandrov VA. Method of combining information from a multichannel system, using wavelet spectra. J Opt Tech 2006; 73(10): 698-701. DOI: 10.1364/JOT.73.000698.
Xue X, Xiang F, Wang H, Peng J. A parallel fusion algorithm of multi-spectral image and panchromatic image based on wavelet transform. Naukovyi Visnyk Natsional-noho Hirnychoho Universytetu 2016; 3: 122-128.
[10] Li H, Manjunath BS, Mitra SK. Multisensor image fusion using the wavelet transform. Graph Models Image Process 1995; 57(3): 235-245.
[11] Li M. Multifocus image fusion based on morphological haar wavelet transform. Computer Engineering 2012; 38(23): 211214. DOI: 10.3969/j.issn.1000-3428.2012.23.052.
[12] Bekhtin YS. Wavelet-based fusion of noisy multispectral images using structure-oriented trees [In Russian]. Digital Signal Processing 2012, 1: 27-31.
[13] Bekhtin YS. Practical issues of the theory for wavelet-based encoding of noisy signals and images [In Russian]. Vestnik of Ryazan State Radio Engineering University 2017, 60: 45-52. DOI: 10.21667/1995-4565-2017-60-2-45-52.
[14] Xia H. An improved adaptive fusion image windows based technology. Int J Inform Educat Technol 2013, 3(2): 249253. DOI: 10.7763/IJIET.2013.V3.274.
[15] Bogdanov AP, Kostjashkin LN, Morozov AV, Pavlov OV, Romanov JN, Rjazanov AV. Method of integrating digital grayscale television and thermal images [In Russian]. Pat RF of Invent N2451338 of May 20, 2012, Russian Bull of Inventions N14, 2012.
Author's information
Irina V. Borisova (b. 1967) graduated with honour (1989) from Novosibirsk Institute of Electrical Engineering (presently, Novosibirsk State Technical University), majoring in Applied Mathematics. She received her PhD in Engineering in 2000. Currently she works as associate professor at Autonomous Information and Control Systems department in NSTU. Research interests are currently focused on computer image processing and pattern recognition. E-mail: i.v.borisova@corp.nstu.ru .
Received July 2, 2019. The final version - September 10, 2019.
