Моделирование алгоритма повышения разрешающей способности гиперспектральной системы

Гареев В. М.; Гареев М. В.; Корнышев Н. П.; Серебряков Д. А.; Быстров Н. Е.

РАДИОФИЗИКА

УДК 621.397.3:543.42:004.94 ГРНТИ 47.51.39+50.51.19

DOI: 10.34680/2076-8052.2023.5(134).671-679 Специальность ВАК 1.3.4

Научная статья

МОДЕЛИРОВАНИЕ АЛГОРИТМА ПОВЫШЕНИЯ РАЗРЕШАЮЩЕЙ СПОСОБНОСТИ ГИПЕРСПЕКТРАЛЬНОЙ СИСТЕМЫ

Гареев В. М., Гареев М. В., Корнышев Н. П., Серебряков Д. А., Быстров Н. Е.

Новгородский государственный университет имени Ярослава Мудрого (Великий Новгород, Россия)

Аннотация В статье рассматриваются вопросы компьютерного моделирования алгоритмов обработки спектральных изображений, а именно: процедура повышения их четкости. Для этой цели используется спектральное изображение, получаемое от гиперспектрометра, а также дополнительная информация с цветной видеокамеры высокого разрешения. Гиперспектрометр и цветная видеокамера образуют гипеспектральную систему, в которой возможна реализация различных процедур обработки. В статье рассмотрен сравнительно несложный алгоритм обработки, использующий теорию ретинекса Э. Лэнда. Приводится структурная схема этапов обработки изображения, а также результаты компьютерного моделирования с использованием реальных спектральных изображений. Анализируются сравнительные количественные характеристики эталонных и обработанных изображений. Показано путем моделирования, что при незначительных пространственных искажениях количество особых точек (градиентов) изображения, а, следовательно, и четкость исходного спектрального изображения возрастает в несколько раз.

Ключевые слова: гиперспектральная система, обработка изображений, ретинекс алгоритм

Для цитирования: Гареев В. М., Гареев М. В., Корнышев Н. П., Серебряков Д. А., Быстров Н. Е. Моделирование алгоритма повышения разрешающей способности гиперспектральной системы // Вестник НовГУ. 2023. 5(134). 671-679. DOI: 10.34680/2076-8052.2023.5(134).671-679

Research Article

SIMULATION OF AN ALGORITHM FOR INCREASING THE RESOLUTION OF A HYPERSPECTRAL SYSTEM

Gareev V. M., Gareev M. V., Kornyshev N. P., Serebriakov D. A., Bystrov N. E. Yaroslav-the-Wise Novgorod State University (Veliky Novgorod, Russia)

Abstract The article deals with the issues of computer simulation of algorithms for processing spectral images, namely: the procedure for increasing their clarity. For this purpose, a spectral image obtained from a hyperspectrometer is used, as well as additional information from a high-resolution color video camera. The hyperspectrometer and the color video camera form a hyperspectral system in which various processing procedures can be implemented. The article considers a relatively simple processing algorithm with use of E. Land's retinex theory. A block diagram of the image processing stages is presented, as well as the results of computer modeling using real spectral images. Comparative quantitative characteristics of reference and processed images are analyzed. It is shown by modeling that with insignificant spatial distortions, the number of singular points (gradients) of the image, and, consequently, the clarity of the original spectral image increase by several times.

Keywords: hyperspectral system, image processing, retinex algorithm

For citation: Gareev V. M., Gareev M. V., Kornyshev N. P., Serebriakov D. A., Bystrov N. E. Simulation of an algorithm for increasing the resolution of a hyperspectral system // Vestnik NovSU. 2023. 5(134). 671679. DOI: 10.34680/2076-8052.2023.5(134).671-679

Введение

Гиперспектромеры (ГС) распределяют входной поток фотонов по спектральным каналам. Каждый пиксель в спектральном канале несет также информацию о распределение коэффициента отражения объекта. Объект имеет свою собственную характеристику отражения или излучения со спектральной информацией. ГС обладают высокой различительной способностью для спектральных и пространственных изображений. Существует компромисс между пространственным разрешением и высоким спектральным разрешением.

Из-за узкой полосы пропускания ГС фотоны, характеризующие пространственные характеристики объекта, попадают в соседние спектральные области. Для получения требуемого отношения сигнал/шум необходимо увеличить чувствительность сенсора или увеличить его размер [1]. По многим причинам выполнить эти требования не всегда удается, поэтому гиперспектральное изображение всегда имеет относительно низкое пространственное разрешение.

Для повышения пространственного разрешения ГС применяют методы обработки, основанные на слиянии дополнительных, с более высоким пространственным разрешением, изображений, панхроматических или мультиспектральных, с изображениями ГС [2-7].

Остановимся на методе слияния изображений, который основан на теории ретинекса и достаточно прост в реализации [5]. Теория ретинекса - теория цветовой константности зрения, сформулирована Эдвином Г. Лэндом в 1971 году. Согласно теории Э. Лэнда, изображение, которое попадает в глаз человека или в видеокамеру S(x,y) можно разложить на два разных изображения: отраженное изображение R(x,y) и падающее изображение L(x,y).

На рисунке 1 показана процедура образования изображения согласно теории Э. Лэнда.

Рисунок 1. Процедура образования изображения по теории ретинекса

Математически процедура образования изображения выглядит следующим образом:

8(х,у) = Цх,у)Я(х,у)

Первоначальный (истинный) вид объекта можно, после логарифмирования, получить в виде:

Ь^[Щх,у)] = Ь^Сх,у)] - ^[Цх,у)]

Цх,у) можно получить путем аппроксимации 8(х,у) гауссовым ядром О(х,у). Тогда Щх,у) можно выразить следующей формулой:

ЬаЕ[Я(х,у)] = ЬоЕМху)] - 1юЕ[8(х,у)*0(х,у)] В приведенной формуле * обозначает свертку, а О (х,у) обозначает ядро

Гаусса.

Целью статьи является ознакомление с результатами компьютерного моделирования алгоритма слияния изображений, формируемых гиперспектральной системой.

Гиперспектральная система

Гиперспектральная система (ГСС), содержит телевизионную цветную камеру (КТЦ) высокого разрешения, которая является источником дополнительной информации в видимом диапазоне спектра, гиперспектрометр (ГС) - источник спектральной информации в узких спектральных диапазонах с пониженной пространственной разрешающей способностью и блок электронной обработки (БЭО), рисунок 2.

Рисунок 2. Структурная схема ГСС

На рисунке 3 приведена структурная схема моделирования процесса обработки информации ГСС. Будем считать, что ГС формирует сигнал -спектральный сигнал, содержащий отраженное и падающее изображения. Яркостная составляющая КТЦ У - падающее изображение L Пусть форматы изображений ГС и КТЦ отличаются на т, где т = 2, 4, ...

Если сжать формат изображения КТЦ до формата ГС, а потом поделить, то можно определить отраженное изображение истинный вид объекта в данной

спектральной полосе. Увеличив формат изображения в т раз и умножив на его падающее изображение ^ получим изображение Э в спектральной полосе.

Рисунок 3. Процедура обработки ГСС Результаты моделирования

На рисунке 4 показаны результаты обработки на ГСС изображения «Солдаты в камуфляже» [9]. Показаны результаты обработки для ГСС, в котором формат ГС меньше формата КТЦ в четыре и два раза. При т = 2 спектрограмма имеет практически такое же разрешение, что и КТЦ.

На рисунке 5 показаны результаты обработки на ГСС изображения «Ткань мозга, онкология» [10].

На рисунке 6 показаны результаты обработки на ГСС изображения «Желтая ржавчина пшеницы» [11].

ейгас^У)

Изображение КТЦ

Спектрограмма Л=570 нм, ДЛ=5 нм

Яркость У

т= 4Исходная спектрограмма

т=4 После обработки т = 2 Исходная

спектрограмма

Рисунок 4. Изображение «Солдаты в камуфляже»

т=2 После обработки

V

И

\

Изображение КТЦ

Спектрограмма Л=570 нм, ДЛ=5 нм

Яркость У

т=4 Исходная спектрограмма

т=4 После обработки

т=2 Исходная спектрограмма

Рисунок 5. Изображение «Ткань мозга, онкология»

т=2 После обработки

ейгас И(У)

Изображение КТЦ

Спектрограмма Л=600нм, ДЛ=5нм

Яркость У

т = 4 Исходная спектрограмма

т = 4 После обработки

т= 2 Исходная спектрограмма

Рисунок 6. Изображение «Желтая ржавчина пшеницы»

т = 2 После обработки

Для объективной оценки качества обработки оценим кросс-корреляцию СС (взаимную корреляцию) спектральных изображений и в. Лучший случай, когда СС = 1.

где СС5(5,51) =

, , М51 - математическое ожидание.

£¿=1 115У(Б1и-1151)

У2

*'1

У2

и

Карта спектральных углов (spectral angle mapper (SAM)) показывает расхождение спектральных углов спектральных изображений S1 и S. Лучший случай, когда SAM = 0.

SAM = cos

у¥ yN с. .•С1 . . yM yN С 2 yM yN С 2

¿ji=lljj=l^i,j 2-ti=iZjj=i^i,j

СКО (root mean squared error (RMSE)) оценивает разницу между S b S1.

RMSE =

_ \

yi=1yJ=1(Sij Slij)2

В таблице 1 приведены расчеты по приведенным выше формулам. Таблица 1. Результаты расчетов

Изображение (рисунок 4) Изображение (рисунок 5) Изображение (рисунок 6)

m=2 m=4 m=2 m=4 m=2 m=4

CC 0,86 0,74 0,98 0,94 0,93 0,85

SAM 0,43 0,59 0,08 0,14 0,34 0,5

RMSE 0,12 0,16 0,18 0,19 0,10 0,13

Для оценки улучшения разрешающей способности можно использовать функцию передачи модуляции (Modulation Transfer Function (MTF)).

Рассмотрим возможность применения для этой цели функцию выделения особых точек на изображении при использовании Гессиана:

d2f d2f

H(f(x, у)) =

dx2 d2f

dxdy d2f .dxdy dy2 .

^ dx2dy2 \dxdy)

Детерминант матрицы Гессе достигает экстремума в точках максимального изменения градиента яркости. Вычисление Гессиана проводилось при помощи матрицы 9х9. Подсчитывались положительные экстремумы для спектрограмм Э1 и Э. Результаты вычислений приведены в таблице 2, где п - количество особых точек спектрограммы Э1, т - количество особых точек спектрограммы Э.

Таблица 2. Результаты расчета количества особых точек

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Изображение (рисунок 4) Изображение (рисунок 5) Изображение (рисунок 6)

m=2 m=4 m=2 m=4 m=2 m=4

n 3,5 103 3,4 103 213 182 1,5 103 1,4 103

m 1,1 104 7,4 103 1,4 103 1,2 103 5,7 103 3,7 103

Выигрыш 3 2 6 6 4 3

Результаты, приведенные в таблице, показывают, что применение обработки, использующей теорию ретинекса Э. Лэнда, дает существенный выигрыш в количестве особых точек, а, следовательно, в разрешающей способности. При этом сохраняется достаточно высокая взаимная корреляция между эталонным и обработанным изображениями.

Заключение

Обработка изображений на основе теории ретинекса дает заметный выигрыш при формировании комбинированных изображений с различной спектральной и пространственной разрешающей способностью. Оперируя понятиями отражения и освещенности, можно повысить разрешающую способность спектрального изображения при незначительных его искажениях.

Данный метод дает определенный разброс оценки количественных параметров при обработке различных изображений. В частности, для специфического изображения «Ткань мозга, онкология», отличающегося плавными яркостными переходами и значительной протяженностью равномерных участков выигрыш получается больше.

Список литературы

1. Akgun T., Altunbasak Y., Mersereau R. M. Super-resolution reconstruction of hyperspectral images // IEEE Transactions on Image Processing. 2005. 14(11). 1860-1875. DOI: 10.1109/tip.2005.854479

2. Tian C., Xu Y., Fei L., Yan K. Deep Learning for Image Denoising: A Survey // Genetic and Evolutionary Computing (ICGEC 2018): Advances in Intelligent Systems and Computing. 2019. 834. 563-572. DOI: 10.1007/978-981-13-5841-8_59

3. Zhong P., Gong Z., Li S., Schonlieb C-B. Learning to Diversify Deep Belief Networks for Hyperspectral Image Classification // IEEE Transactions on Geoscience and Remote Sensing. 2017. 55(6). 3516-3530. DOI: 10.1109/TGRS.2017.2675902

4. Shen L., Yeo C., Hua B. Intrinsic Image Decomposition Using a Sparse Representation of Reflectance // IEEE Transactions on Pattern Analysis and Machine Intelligencel. 2013. 35(12). 2904-2915. DOI: 10.1109/TPAMI.2013.136

5. Kang X., Li S., Fang L., Benediktsson J. A. Pansharpening Based on Intrinsic Image Decomposition // Sensing and Imaging. 2014. 15(1). 94. DOI: 10.1007/s11220-014-0094-8

6. Yue H., Yang J., Sun X., Wu F., Hou C. Contrast Enhancement Based on Intrinsic Image Decomposition // IEEE Transactions on Image Processing. 2017. 26(8). 3981-3994. DOI: 10.1109/TIP.2017.2703078

7. Kahu S. Y., Raut R. B., Bhurchandi K. M. Review and evaluation of color spaces for image/video compression // Color Research and Application. 2018. 44(1). 8-33. DOI: 10.1002/col.22291

8. Ghamisi P., Rasti B., Yokoya N., Wang Q., Hofle B., Bruzzone L., Bovolo F., Chi M., Anders K., Gloaguen R., Atkinson P., Benediktsson J. Multisource and Multitemporal Data Fusion in Remote Sensing: A Comprehensive Review of the State of the Art // IEEE Geoscience and Remote Sensing Magazine. 2019. 7(1). 6-39. DOI: 10.1109/MGRS.2018.2890023

9. Li W., Wu G., Zhang F., Du Q. Hyperspectral Image Classification Using Deep Pixel-Pair Features // IEEE Transactions on Geoscience and Remote Sensing. 2017.

55(2). 844-853. DOI: 10.1109/TGRS.2016.2616355

10. Бельский А. Б. Применение гиперспектрометров для решения задач по обнаружению, распознаванию объектов в составе вертолетов // Актуальные вопросы исследований в авионике: теория, обслуживание, разработки: сборник докладов VI Международной научно-практической конференции «АВИАТОР», Воронеж, 14-15 февраля 2019 г. Воронеж: ВВС ВВА, 2019. 91-97.

11. Lu G., Fei B. Medical hyperspectral imaging: a review // Journal of Biomedical Optics. 2014. 19(1). 010901. DOI: 10.1117/1.JB0.19.1.010901

References