CC BY
76
УДК 004; 004.93 DOI: 10.21122/2309-4923-2022-2-10-19
Ю.И. ГОЛУБ
ОЦЕНКА РЕЗУЛЬТАТОВ ПОВЫШЕНИЯ РАЗРЕШЕНИЯ МУЛЬТИСПЕКТРАЛЬНЫХ СПУТНИКОВЫХ ИЗОБРАЖЕНИЙ МЕТОДОМ
СЛИЯНИЯ
Государственное научное учреждение "Объединенный институт проблем информатики
Национальной академии наук Беларуси"
При обработке цифровых изображений, полученных при дистанционном зондировании Земли, используются различные способы повышения их разрешения. Однако при этом на изображениях могут появиться искажения разного характера. Например, яркостные искажения (цвета, контраста, резкости) и геометрические (границ объектов). Перед разработчиками автоматизированных систем обработки изображений возникает задача из десятков методов выбрать тот, который вносит наименьшие визуально заметные искажения, т.е. создает изображения наилучшего качества.
В данной статье решалась следующая задача: определить функции оценки качества изображений, формируемых в результате слияния мультиспектральных снимков с панхроматическим изображением, зарегистрированных одним спутником. Подобные преобразования называют - паншарпенинг. Полученный результат слияния невозможно сравнить с эталоном, поскольку его не существует. Для оценки качества таких изображений предлагается использовать так называемые безэталонные оценочные меры.
В статье кратко описаны методы синтеза нового цветного изображения высокого разрешения из четырех снимков дистанционного зондировании Земли. Обсуждаются особенности количественной оценки качества получаемых изображений. Приведены результаты преобразования космических изображений различными методами увеличения разрешения. Построены графики количественных оценок качества изображений. Для оценки результатов панхроматического слияния рекомендуется использовать следующие безэталонные оценки качества: FISH, LOCC, LOEN, NATU, SHAR и WAVS. При повышении разрешения мультиспектральных спутниковых изображений методом слияния с панхроматическим изображением лучшие результаты (четкие границы и естественные цвета) показал метод, в основе которого используется линейная комбинация спектральных каналов.
Ключевые слова: мультиспектральное изображение; панхроматическое изображение; увеличение разрешения методом слияния; количественная оценка качества изображения.
Введение
С момента запуска первого космического спутника прошло почти 65 лет. За это время данные получаемые со спутников стали активно использоваться в различных областях деятельности человека, например, экологический мониторинг и анализ состояний земель в сельском хозяйстве, анализ воздушных масс и прогнозирование погоды, спутниковая связь, навигация, мониторинг чрезвычайных ситуаций и т.д. Только в 2020 году было запущено около 1300 спутников [1, 2]. На момент проведения экспериментов (апрель 2022) на орбите уже находилось около восьми с половиной тысяч спутников [2].
Массовые запуски космических спутников в разных странах дают стимул для активного развития автоматизированных систем, использующих данные дистанционного зондирования Земли
(ДДЗ). Космические датчики поставляют огромные объемы данных в различных форматах, разрешениях и спектральных диапазонах. Для того, чтобы в полной мере использовать получаемые данные, активно развиваются различные подходы к их обработке, например, методы получения мультиспектральных изображений с высоким пространственным разрешением, синтезируемых путем объединения мультиспектральных изображений низкого разрешения с панхроматическим изображением высокого разрешения (рисунки 1, 2). Такой процесс в англоязычной литературе называют «pansharpening», «image fusion», «multiresolution images merging» [3-5]. На русском языке известны разные трактовки данного термина - «паншарпенинг», «слияние изображений», «панхроматическое слияние».
Рисунок 1 — Схема получения мультиспектрального изображения высокого разрешения
системный анализ и прикладная информатика
2, 2022
Рисунок 2 - Пример исходных данных для получения мультиспектрально-го изображения высокого разрешения: а) красный (Я), зеленый и голубой (В) каналы и их цветовая композиция, разрешение - 2,8 м/пиксель; б) панхроматический канал, разрешение - 0,7 м/пиксель
Панхроматический канал обычно имеет более высокое пространственное разрешение, чем мульти-спектральный (чаще всего в четыре раза). В результате объединения каналов получается цветное изображение с увеличенным разрешением до разрешения панхроматического изображения. Все используемые изображения должны соответствовать одной и той же территориальной зоне. При повышении разрешения объединяются высокочастотная пространственная информация (геометрические детали) панхроматического изображения и спектральная информация трех мультиспектральных изображений (рисунок 3). Таким образом, применение синтезированных изображений
с высоким разрешением расширяет возможности данных ДДЗ. Специалисты в различных областях, работая с такими данными, получают более точные расчеты. На рисунке 3 представлен пример исходного цветного изображения с низким разрешением и результаты повышения его разрешения за счет масштабирования на основе фильтра Ланцоша (Lanczos3) [6] и панхроматического слияния на основе преобразования Бровея (Brovey transform) [4, 7, 8]. Рассматривая результаты повышения разрешения, можно отметить, что применение слияния дает более подробную и четкую информацию об объектах на изображении.
Рисунок 3 - а) Исходное цветное изображение; б) результат масштабирования исходного изображения в 2 раза; в) результат слияния исходного изображения с панхроматическим
Однако процедура слияния с панхроматическим снимком может приводить к искажению цветопередачи, размытию и потере некоторых деталей [3, 9, 10], если метод увеличения разрешения выбран неверно для решаемой разработчиками и исследователями задачи. Для минимизации негативных последствий из существующих многочисленных методов обработки необходимо выбрать наилучший. Оценку результатов панхроматического слияния проводят визуально или используют эталонные количественные оценки качества, сравнивая два изображения. Визуальный анализ - это длительный и дорогостоящий процесс, который
зависит от опыта оператора, а при использовании эталонных количественных оценок качества приходится снижать разрешение оцениваемых изображений после процедуры паншарпенинга [3, 8, 9, 10], тем самым ухудшая его качество. На рисунке 4 представлена одна из схем получения изображения с высоким разрешением на основе мультиспектральных каналов низкого разрешения и панхроматического изображения с высоким разрешением [9]. Можно отметить, что при оценке качества анализируется два изображения, при этом разрешение панхроматического канала было снижено, тем самым снизилось и его качество.
Рисунок 4 - Схема получения изображения с высоким разрешением на основе мультиспектральных каналов низкого разрешения (MS) и панхроматического изображения с высоким разрешением (Pan) [9]
Использование количественных безэталонных оценок качества изображения для выбора метода панхроматического слиянии, очень актуальная задача. В данной статье ставится задача - найти безэталонные оценки качества изображений, которые можно использовать для выбора подходящего метода повышения разрешения. Упрощение выбора подходящего метода обработки, ускорит процесс работы и увеличит достоверность результатов в автоматизированных системах обработки ДДЗ.
а)
Исходные данные для экспериментов
Для экспериментов использованы мультиспек-тральные и панхроматические данные спутника Landsat 7 (Enhanced Thematic Mapper Plus, ETM+). Снимки были получены по данным Геологической службы США [11]. Увеличение разрешения выполнялось с использованием фрагментов мультиспектральных изображений размером 400 х 400 пикселей и панхроматического изображения размером 800 х 800 пикселей. Для иллюстрации обрабатываемых данных на рисунке 5 показаны фрагменты одного из изображений, используемого в экспериментах.
б)
Рисунок 5 - Фрагменты исходных данных: а) фрагмент мультиспектраль-ного изображения с разрешением 200 х 50 пикселей, б) фрагмент панхроматического изображения с разрешением 400 х 100 пикселей
Для повышения разрешения мультиспектраль-ных спутниковых снимков методом слияния были использованы:
- подход на основе метода главных компонент (PCA pansharpening, PCA - principal component analysis) [12, 13],
- метод на основе вейвлет-преобразования [4,
5, 13],
- метод на основе преобразования Бровея (Brovey Transform) [4, 7, 8, 11, 13],
- метод на основе преобразования мультиспек-трального изображения из RGB модели в представление IHS (IHS pansharpening, IHS - Intensity (интенсивность), Hue (оттенок), Saturation (насыщенность)) [4,
14],
- метод, использующий пирамиду Лапласа [5,
13],
- метод на основе фильтра с сохранением краев,
- метод на основе линейной комбинации спектральных каналов (P+XS pansharpening [3]),
- метод, описанный в статье [15] (pansharpening with matting model).
На рисунке 6 представлены результаты, полученные на основе перечисленных выше методов. Разрешение получаемого мультиспектрального изображения с высоким разрешением - 800 х 800 пикселей, разрешение представленных фрагментов - 400 х 100 пикселей.
a)
в)
д)
ж)
б)
г)
е)
з)
Рисунок 6 - Фрагменты изображений, полученные после увеличения разрешения следующими способами: а) алгоритм на основе сглаживающего фильтра, б) алгоритм на основе пирамиды Лапласа, в) алгоритм на основе метода главных компонент, г) pansharpening with matting model, д) алгоритм на основе преобразования Бровея, е) алгоритм на основе вей-влет-преобразования, ж) алгоритм на основе преобразования изображения в IHS представление, з) алгоритм на основе линейной комбинации каналов
Оценка результатов повышения разрешения
Далее будут использованы следующие обозначения: А - исходное мультиспектральное изображение низкого разрешения, Pan - исходное панхроматическое изображение с высоким разрешением, Ал - изображение А после повышения разрешения (паншарпенинг) до разрешения изображения Pan, A* - изображение Ал после уменьшения разрешения до исходного.
Существуют различные подходы, которые используются для оценки качества изображений после увеличения разрешения [5, 9, 13].
Первый подход (Wald's protocol [5, 9, 13, 16, 17]) включает следующие свойства:
1) постоянство (consistency): любое изображение Ал единожды уменьшенное до исходного разреше-
ния А, должно быть, как можно более похоже на исходное изображение А.
2) единство (synthesis): любое изображение Ал (или набор мультиспектральных изображений после паншарпенинга) должно быть максимально похоже на изображение, которое спутник сможет зарегистрировать с таким же высоким пространственным разрешением.
Последнее свойство не используется чаще всего, т.к. недостаточно данных со спутника. Поэтому используется схема на рисунке 4 или аналогичная, где разрешение панхроматического изображения уменьшается до разрешения мультиспектрального. Мультиспек-тральное изображение в этом случае служит эталоном для оценки качества.
Второй подход (Zhou's protocol [4, 5, 9]) - спек-
тральные и пространственные искажения оцениваются отдельно по имеющимся данным без пространственной деградации, т. е. используются исходные мультиспек-тральные каналы с низким разрешением и панхроматическое изображение с высоким разрешением. Спектральное искажение оценивается для каждого канала как средняя абсолютная разница между Ал (результат паншарпенинга) и увеличенным исходным изображением А к размеру Ал. Пространственное качество измеряется коэффициентом корреляции (в англоязычной литературе используется обозначение «СС») между пространственными деталями Ал (каждого из спектра) и деталями изображения Pan. При использовании данного подхода предполагается, что в идеальном случае значение корреляции равно единице. Однако было отмечено [18], что значение CC между деталями изображений Pan и Ал может быть не равно единице. Иногда появляются детали, которые присутствуют на изображении Ал и которые отсутствуют на изображении Pan, и наоборот.
Подходы, описанные в [5, 18] также используют оценки качества, где сравнивается информация (детали), получаемая из мультиспектрального изображения низкого разрешения и панхроматического высокого разрешения (SAM, ERGAS, Q4, QNR, UIQI и др.).
В данной статье предлагается для оценки результатов слияния с панхроматическим снимком вместо эталонных количественных оценок (RMSE, CC, UIQI, Q4, SAM, ERGAS и т.д.) [5, 9, 13, 18] и визуального анализа использовать безэтолонные количественные оценки изображений. При данном подходе оценивается единственное изображение, которое получено в результате увеличения разрешения Aл.
Результаты экспериментов
Оценка результатов повышения разрешения мульти-спектральных спутниковых изображений проводилась визуально, а также при помощи следующих безэталонных количественных оценок качества: PIQE, NIQE, BRISQUE, NATU [19], ENIQE [20], M [21] и еще около десятка оценок из статей [22, 23]. Необходимо определить количественную оценку качества, которая позволяет отбраковывать изображения по резкости, контрасту и цветовым искажениям. Т.к. в предыдущих работах автора [22, 23] было показано, что параметры распределения Вейбулла (form и scale) могут служить для обобщения локальных оценок качества и являются более универсальными, чем параметр mean (среднее) нормального распределения, то в данной работе будут исследованы в качестве
Таблица 1
глобальной оценки три указанных параметра.
Визуальный анализ результатов
В таблицу 1 сведены результаты визуального анализа мультиспектральных изображений после повышения разрешения (по четырем параметрам - цвет, резкость, контраст, шум). Последний столбец - сумма балов для каждого метода. Визуальный анализ результатов (исходные данные - на рисунке 5) показал, что подходы, основанные на использовании пирамиды Лапласа и сглаживающего фильтра, дают самые плохие результаты после увеличения разрешения исходных мультиспектральных снимков (рисунок 6а, 6б) - границы объектов и сами объекты смазаны и искажены, мелкие объекты удалены, появляются разрывы в тонких линиях и т.п. Использование метода на основе вейвлет-преобразования вносит шум в виде квадратов на границах объектов, затирая мелкие объекты, однако цвета и контраст остаются неизменными (рисунок 6е). При использовании метода главных компонент результат низкоконтрастный и с искажением цветов (рисунок 6в). Методы, основанные на преобразовании Бровея и преобразовании изображений из RGB в IHS представление, дают неестественные цвета в результирующем изображении. Визуальный анализ показал, что при увеличении разрешения мультиспектральных изображений лучший метод - это использование линейной комбинации спектральных каналов (рисунок 6з, таблица 1). При использовании данного метода сохраняется резкость, контраст, цвет и не появляется шум на результирующих изображениях.
По данным таблицы 1 можно разделить анализируемые методы паншарпенинга на три группы - отличный, удовлетворительный и неудовлетворительный результат (таблица 2). Методы второй группы возможно использовать в зависимости от задачи, для решения которой они будут применятся. Например, если цвет не имеет значение, а имеют значения только четкие границы объектов. Методы, которые попадают в третью группу, требуют доработки или настройки параметров, т.к. они вносят сильные искажения (например, нарушение цветопередачи переход пикселей из одного класса объектов в другой) и их использование может дать непредсказуемые результаты при сегментации, идентификации объектов и т.д. В идеальном случае необходимо найти количественную оценку качества, которая позволяет разделить соответствующие методы паншарпенинга на группы, представленные в таблице 2.
- Визуальная оценка искажений, которые вносят различные способы панхроматического слияния
Метод паншарпенинга Цвет Резкость Контраст Шум Сумма
на основе метода главных компонент + - + - 1
на основе вейвлет-преобразования - - + 1
на основе преобразования Бровея (Brovey Transform) + - - 1
на основе преобразования изображения из RGB в IHS представление + - - 1
использующий пирамиду Лапласа - ++ - 2
на основе сглаживающего фильтра с сохранением краев - ++ - 2
на основе линейной комбинации спектральных каналов - - - - 0
метод, описанный в статье Г151 - + - - 1
Примечание: если в ячейке стоит «+», значит соответствующий способ вносит указанное искажение в результирующее изображение. Столбец «Сумма» - это количество плюсов в строке. Жирным шрифтом выделен лучший алгоритм, на основе визуального анализа.
Таблица 2 - Разделение методов паншарпенинга на группы
Отличный результат Удовлетворительный результат Неудовлетворительный результат
алгоритм на основе линейной комбинации спектральных каналов - алгоритм на основе вейвлет-преобразования - алгоритм на основе преобразования Бровея (Brovey Transform) - алгоритм на основе преобразования изображения из RGB в IHS представление - описанный в статье Г151 - алгоритм на основе метода главных компонент - алгоритм, использующий пирамиду Лапласа - алгоритм на основе сглаживающего фильтра с сохранением краев
Численный анализ результатов
Для оценки резкости и контраста мультиспектральных изображений с высоким разрешением необходимо было перевести их в полутоновое представление. Для этого была использована стандартная функция матлаба rgb2gray (используется взвешенная сумма каналов мультиспектрального изображения), а также по-канальная оценка мультиспектральных изображений с высоким разрешением. Результаты количественных оценок не отличались, поэтому можно использовать наиболее быстрый способ перевода цветного изображения в полутоновое.
В статье [19] описывается количественная оценка качества NATU, которую предлагают использовать для оценки натуральности изображения после преобразования динамического диапазона яркости.
Эксперименты на описанных выше исходных данных показали, что данную оценку можно использовать для оценки натуральности цветов на изображениях после увеличения разрешения. На рисунке 7а) представлен график изменения значений количественной оценки качества NATU для восьми способов повышения разрешения.
Контраст можно оценивать при использовании параметра form распределения Вейбулла, вычисленного для локальных оценок CURV (рисунок 7б)). На рисунке 7б) видно, что максимальное значение параметра form соответствует низкоконтрастному изображению, а графики параметров mean (параметр нормального распределения) и scale (параметр распределения Вейбулла) слились в единую линию и не соответствуют визуальной оценке.
Рисунок 7 - Графики количественных оценок для одного космического снимка: pansharp_10.png: а) оценка NATU, б) оценка CURV
Большинство из используемых в статье безэталонных количественных оценок качества имеют минимальные значения для методов, основанных на использовании пирамиды Лапласа и сглаживающего фильтра, т.к. они дают самые размытые результирующие изображения.
Лучшие результаты при оценивании мультиспектральных изображений высокого разрешения (после процедуры слияния с панхроматическим изображением) показали оценки - FISH,
LOCC, LOEN, SHAR, WAVS. На рисунке 8 представлены графики их значений, которые коррелируют с визуальной оценкой (таблица 1). Нецелесообразно использовать оценки BISH, HELM, KURT, MLV, PIQE, SVDB. Их графики представлены на рисунке 9. Остальные безэталонные оценки в некоторых случаях давали хорошие результаты, но в некоторых результаты, которые не соответствуют визуальному анализу.
Рисунок 8 - Графики количественных оценок для одного космического снимка: pansharp_10.png: а) FISH, б) LOCC, в) LOEN, г) SHAR, д) WAVS
а)
в)
Рисунок 9 - Графики количественных оценок для одного космического снимка: pansharp_10.png: а) BISH, б) HELM, г) KURT, д) MLVX
Заключение
При использовании того или иного способа панхроматического слияния есть свои положительные и отрицательные стороны (например, сохранение правильной передачи цветов, сохранение границ объектов и т.д.). Данная работа демонстрирует возможность применения безэталонных оценок качества для выбора способа повышения разрешения мультиспектральных изображений, получаемых при ДЗЗ. В результате эксперимен-
тального анализа были определены безэталонные оценки качества, которые можно использовать для анализа результатов паншарпенинга и которые коррелируют с визуальным восприятием человека.
Дальнейшее направление развития работы - исследование количественных оценок качества, которые могут оценить искажение оттенков цвета в изображениях, преобразованных методом паншарпенинга. Одним из кандидатов является оценка, описанная в статье [24], которая оценивает распределение цвета на изображении.
ЛИТЕРАТУРА
1. Популярная механика [Электронный ресурс]. - Режим доступа: https://www.popmech.ru/editorial/750813-skolko-sputnikov-vrashchaetsya-vokrug-zemli/. - Дата доступа : 15.04.2022.
2. United Nations Office for Outer Space Affairs (UNOOSA) [Электронный ресурс]. - Режим доступа: https://www. unoosa.org/oosa/osoindex/search-ng.jspx?lf_id=. - Дата доступа : 15.04.2022.
3. Amro, 1 A survey of classical methods and new trends in pansharpening of multispectral images / I. Amro [et al.] // EURASIP Journal on Advances in Signal Processing. - 2011. - Т. 2011, № 1. - С. 1-22.
4. Zhou, J. A wavelet transform method to merge Landsat TM and SPOT panchromatic data / J. Zhou, D.L. Civco, J.A. Silander // International journal of remote sensing. - 1998. - Т. 19, № 4. - С. 743-757.
5. Alparone, L. Multispectral and panchromatic data fusion assessment without reference / L. Alparone [et al.] // Photogrammetric Engineering & Remote Sensing. - 2008. - Т. 74, № 2. - С. 193-200.
6. Burger, W. Principles of digital image processing: core algorithms / W. Burger, M.J. Burge // Springer Science & Business Media. - 2010.
7. Gillespie, A.R. Color enhancement of highly correlated images-II. Channel ratio and "Chromaticity" Transform techniques / A.R. Gillespie, A.B. Kahle, R.E. Walker // Remote Sensing of Environment. - 1987. - Т. 22, № 3. - С. 343-365.
8. Zhang, Y. Problems in the fusion of commercial high resolution satellite images as well as Landsat 7 images and initial solutions / Y. Zhang // International Archives of Photogrammetry and Remote Sensing. - 2002. - Vol. 34. - Part 4.
9. Aiazzi, B. Quality assessment of pansharpening methods and products / B. Aiazzi [et al.] // IEEE Geoscience and Remote
Sensing Society Newsletter. - 2011. - Т. 1, № 161. - С. 10-18.
10. Коберниченко, В.Г. Методы синтеза изображений на основе данных дистанционного зондирования Земли различного разрешения / В.Г. Коберниченко, В.А. Тренихин // Успехи современной радиоэлектроники. - 2007. - № 4. - С. 22-31.
11. Геологическая служба США [Электронный ресурс]. - Режим доступа: https://earthexplorer.usgs.gov/. - Дата доступа : 15.04.2022.
12. Schowengerdt, R.A Remote sensing: models and methods for image processing. - Elsevier. - 2006.
13. Vivone, G. A critical comparison among pansharpening algorithms / G. Vivone [et al.] // IEEE Transactions on Geoscience and Remote Sensing. - 2014. - Т. 53, № 5. - С. 2565-2586.
14. Carper, W. The use of Intensity-Hue-Saturation transformations for merging SPOT panchromatic and multispectral image data / W. Carper, T. Lillesand, R. Kiefer // Photogrammetric Engineering and Remote Sensing. - 1990. - Т. 56, № 4. - С. 459-467.
15. Kang, X. Pansharpening with matting model / X. Kang, S. Li, J.A. Benediktsson // IEEE transactions on geoscience and remote sensing. - 2013. - Т. 52, № 8. - С. 5088-5099.
16. Wald, L. Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images / L. Wald, T.
17. Ranchin, M Mangolini // Photogrammetric Engineering and Remote Sensing. - 1997. - Т. 63, № 6. - С. 691-699. Ranchin, T. Image fusion - the ARSIS concept and some successful implementation schemes / T. Ranchin [et al.] // ISPRS Journal of Photogrammetry & Remote Sensing. - 2003. - Т. 58. - С. 4-18.
18. Khan, M M Pansharpening quality assessment using the modulation transfer functions of instruments / M.M. Khan, L. Alparone, J. Chanussot // IEEE transactions on geoscience and remote sensing. - 2009. - Т. 47, № 11. - С. 3880-3891.
19. Yeganeh, H Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image processing. - 2013. - Т. 22, № 2. - С. 657-667.
20. Chen, X. No-reference color image quality assessment: From entropy to perceptual quality / X. Chen [et al.] // EURASIP Journal on Image and Video Processing. - 2019. - Т. 2019, № 1. - С. 1-14.
21. Hasler, D. Measuring colorfulness in natural images / D. Hasler, S.E. Suesstrunk // Human vision and electronic imaging VIII. - International Society for Optics and Photonics. - 2003. - Т. 5007. - С. 87-95.
22. Голуб, Ю.И Сравнительный анализ безэталонных оценок резкости цифровых изображений / Ю.И. Голуб, Ф.В. Старовойтов, В.В. Старовойтов // Доклады Белорусского государственного университета информатики и радиоэлектроники. -2019. - №7(125). - С. 113-120.
23. Голуб, Ю.И. Оценка качества цифровых изображений / Ю.И. Голуб // Системный анализ и прикладная информатика. - 2021. - №4. - С. 4-15. https://doi.org/10.21122/2309-4923-2021-4-4-15
24. Ouni S., Zagrouba E., Chambah M A new no-reference method for color image quality assessment / S. Ouni, E. Zagrouba, M. Chambah // International Journal of Computer Applications. - 2012. - Т. 40, № 17. - С. 24-31.
REFERENCES
1. Populjarnaja mehanika [Online]. - Available : https://www.popmech.ru/editorial/750813-skolko-sputnikov-vrashchaet-sya-vokrug-zemli/. - Date of access : 15.04.2022.
2. United Nations Office for Outer Space Affairs (UNOOSA) [Online]. - Available : https://www.unoosa.org/oosa/osoin-dex/search-ng.jspx?lf_id=. - Date of access : 15.04.2022.
3. Amro, I A survey of classical methods and new trends in pansharpening of multispectral images / I. Amro [et al.] // EURASIP Journal on Advances in Signal Processing. - 2011. - Vol. 2011, № 1. - P. 1-22.
4. Zhou, J. A wavelet transform method to merge Landsat TM and SPOT panchromatic data / J. Zhou, D.L. Civco, J.A. Si-lander // International journal of remote sensing. - 1998. - Vol.19, № 4. - P. 743-757.
5. Alparone, L. Multispectral and panchromatic data fusion assessment without reference / L. Alparone [et al.] // Photogrammetric Engineering & Remote Sensing. - 2008. - Vol.74, № 2. - P. 193-200.
6. Burger, W. Principles of digital image processing: core algorithms / W. Burger, M.J. Burge // Springer Science & Business Media. - 2010.
7. Gillespie, A.R. Color enhancement of highly correlated images-II. Channel ratio and "Chromaticity" Transform techniques / A.R. Gillespie, A.B. Kahle, R.E. Walker // Remote Sensing of Environment. - 1987. - Vol. 22, № 3. - P. 343-365.
8. Zhang, Y. Problems in the fusion of commercial high resolution satellite images as well as Landsat 7 images and initial solutions / Y Zhang // International Archives of Photogrammetry and Remote Sensing. - 2002. - Vol. 34. - Part 4.
9. Aiazzi, B. Quality assessment of pansharpening methods and products / B. Aiazzi [et al.] // IEEE Geoscience and Remote Sensing Society Newsletter. - 2011. - Vol. 1, № 161. - P. 10-18.
10. Kobernichenko, VG. Methods for fusing images based on different resolution remote sensed data / VG. Kobernichenko, VA. Trenikhin // Journal Achievements of Modern Radioelectronics. - 2007. - №4. - P. 22-31.
11. U.S. Geological Survey [Online]. - Available : https://earthexplorer.usgs.gov/. - Date of access : 15.04.2022.
12. Schowengerdt, R.A Remote sensing: models and methods for image processing. - Elsevier. - 2006.
13. Vivone, G. A critical comparison among pansharpening algorithms / G. Vivone [et al.] // IEEE Transactions on Geoscience and Remote Sensing. - 2014. - Vol. 53, № 5. - P. 2565-2586.
14. Carper, W. The use of Intensity-Hue-Saturation transformations for merging SPOT panchromatic and multispectral image data / W. Carper, T. Lillesand, R. Kiefer // Photogrammetric Engineering and Remote Sensing. - 1990. - Vol. 56, № 4. - P. 459-467.
15. Kang, X. Pansharpening with matting model / X. Kang, S. Li, J.A. Benediktsson // IEEE transactions on geoscience and remote sensing. - 2013. - Vol. 52, № 8. - P. 5088-5099.
16. Wald, L. Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images / L. Wald, T. Ranchin, M. Mangolini // Photogrammetric Engineering and Remote Sensing. - 1997. - Vol. 63, № 6. - P. 691-699.
17. Ranchin, T. Image fusion - the ARSIS concept and some successful implementation schemes / T. Ranchin [et al.] // ISPRS Journal of Photogrammetry & Remote Sensing. - 2003. - Vol. 58. - P. 4-18.
18. Khan, M M Pansharpening quality assessment using the modulation transfer functions of instruments / M.M. Khan, L. Alparone, J. Chanussot // IEEE transactions on geoscience and remote sensing. - 2009. - Vol. 47, № 11. - P. 3880-3891.
19. Yeganeh, H Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image
processing. - 2013. - Vol. 22, № 2. - P. 657-667.
20. Chen, X. No-reference color image quality assessment: From entropy to perceptual quality / X. Chen [et al.] // EURASIP Journal on Image and Video Processing. - 2019. - Vol. 2019, № 1. - P. 1-14.
21. Hasler, D. Measuring colorfulness in natural images / D. Hasler, S.E. Suesstrunk // Human vision and electronic imaging Vm. - International Society for Optics and Photonics. - 2003. - Vol. 5007. - P. 87-95.
22. Golub, Y. I Comparative analysis of no-reference measures for digital image sharpness assessment / Y.I. Golub, F.V Staro-voitov // Doklady BGUIR. - 2019. - №7 (125). - P. 113-120.
23. Golub, Y. I Image quality assessment / Y.I. Golub // System analysis and applied information science. - 2021. - № 4. - P.
4-15.
24. Ouni S., Zagrouba E., Chambah M A new no-reference method for color image quality assessment / S. Ouni, E. Zagrouba, M. Chambah // International Journal of Computer Applications. - 2012. - Vol. 40, № 17. - P. 24-31.
Y.I. Golub
EVALUATION OF THE RESULTS OF PANSHARPENING MULTISPECTRAL IMAGES
United Institute of Informatics Problems of the National Academy of Sciences of Belarus
When processing digital images obtained by remote sensing of the Earth, various methods are used to increase their resolution. However, in this case, some distortions of a different nature may appear on the images. For example, luminance distortion (color, contrast, sharpness) and geometric (object boundary deformations). Developers of automated image processing systems face the task of choosing from dozens of methods the one that introduces the least visually noticeable distortions, i.e. creates images of the best quality.
In this article, the following problem was solved: to determine the functions for assessing the quality of images formed as a result ofmultispectral satellite image pansharpening. The pansharped image cannot be compared with the template one, since it does not exist. To assess quality of such images, we proposed to use the so-called no-reference evaluation measures.
The article briefly describes methods for synthesizing a new high-resolution color image from four images of Earth remote sensing. Functions for calculating quantitative estimates of the quality of the resulting images are discussed. Results of some space image pansharpening by different methods are presented. Graphs of these assessments of image quality are constructed. To evaluate panchromatic fusion results, the following non-reference quality scores are recommended: FISH, LOCC, LOEN, NATU, SHAR, and WAVS. The clearest boundaries and natural colors of objects were demonstrated by the P+XS pansharpening algorithm based on a linear combination of spectral channels.
Keywords: multispectral image; panchromatic image; resolution increase; pansharpening; quantitative image quality assessment.
Голуб Юлия Игоревна, кандидат технических наук, доцент, старший научный сотрудник государственного научного учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси».
Golub Y. I., PhD, Associate Professor, Senior Research Fellow at the United Institute of Informatics Problems, National Academy of Sciences of Belarus.
Email: 6423506@ gmail.com.
