CC BY
81
ИЕРАРХИЧЕСКАЯ СЕТОЧНАЯ ИНТЕРПОЛЯЦИЯ ПРИ СЖАТИИ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ
Гашников М.В., Глумов Н.И.
Институт систем обработки изображений РАН
Аннотация
Исследуются возможности использования метода компрессии на основе иерархической сеточной интерполяции для сжатия гиперспектральных изображений. Предложено использование аппроксимации спектральных каналов для повышения эффективности метода. Приведены рекомендации по установке параметров метода. Проведены вычислительные эксперименты по сравнению предлагаемого метода компрессии с методом JPEG.
Ключевые слова: гиперспектральные изображения, сжатие, контроль погрешности, максимальная погрешность, иерархическая сеточная интерполяция.
Введение
В настоящее время при дистанционном зондировании земной поверхности всё большее распространение получают гиперспектральные системы [1]. Основной спецификой таких систем является большое количество спектральных каналов в результирующем изображении, которое может достигать нескольких сотен.
Генерируемые такими системами гиперспектральные изображения фактически являются «полноценными» трёхмерными данными, в которых две координаты являются пространственными, а третья - представляет собой номер спектральной компоненты. Объём информации, соответствующий таким трёхмерным данным, может достигать гигантских значений, что порождает ряд проблем:
1. Ёмкость канала связи может оказаться недостаточной для передачи гиперспектральных данных с летательного аппарата в центр приёма.
2. Помехи в канале связи могут затруднить или сделать невозможной передачу большого объёма данных.
3. Объём накопленных в центре приёма гиперспектральных данных может повлечь за собой непомерные требования к ёмкости запоминающих устройств и неприемлемо низкую скорость доступа к этим данным.
Традиционным подходом к решению указанных проблем является использование компрессии как при передаче данных с летательного аппарата, так и при хранении этих данных на Земле. При этом для достижения требуемой степени сжатия обычно приходится использовать методы компрессии с потерями, которые обеспечивают повышенный коэффициент сжатия за счёт внесения погрешности в сжимаемые данные.
Специфика внесения погрешности в космические изображения, даже не являющиеся гиперспектральными, заключается в чрезвычайной ценности, уникальности этих данных, а также в неопредёленности круга задач, которые на основе этих данных впоследствии будут решаться. Следствием этого является важное требование к методу компрессии космических изображений: вносимая погрешность должна быть контролируема, причём должен использоваться достаточно строгий показатель качества, позволяющий в дальнейшем использовать как можно более широкий круг алгоритмов обработки.
Гиперспектральные космические изображения обладают, кроме описанных, и другими важными особенностями, также накладывающими ограничения на используемые методы компрессии. Одной из основных целей использования гиперспектральных изображений является предоставление исследователю информации о различиях, проявляющихся при наблюдении некоторого участка местности в большом количестве обычно близких спектральных диапазонов.
При этом как раз из-за близости спектральных диапазонов указанные различия могут быть небольшими, но именно они могут нести наиболее важную информацию. Другими словами, «малые» особенности распределения интенсивности по спектральным каналам, образующие так называемый «спектральный портрет» пиксела, при сжатии не должны быть потеряны. Таким образом, требования к «строгости» показателя качества метода компрессии гиперспектральных изображений являются ещё более жёсткими, чем соответствующие требования, касающиеся космических изображений с небольшим количеством компонент.
В описанной ситуации актуальной является задача адаптации известных методов компрессии изображений для сжатия гиперспектральных данных. При этом в первую очередь интересно развитие методов, особенности которых делают их перспективными именно для космических изображений. Одним из таких методов является метод на основе иерархической сеточной интерполяции (hierarchical grid interpolation, HGI) [2], обладающий целым радом достоинств в указанной ситуации. В частности, метод позволяет:
1. Управлять вносимой погрешностью: максимальной либо среднеквадратической.
2. Обнаруживать и с высокой вероятностью устранять последствия сбоев в канале связи [3] при передаче информации в центр приёма.
3. Управлять скоростью формирования выходного потока сжатых данных [4], что позволяет использовать его в системах реального времени, в том числе в системах сжатия данных дистанционного зондирования на борту летательного аппарата.
4. Организовать иерархический доступ [2] к сжатым данным, при котором скорость декомпрессии фрагмента изображения практически не зависит от масштаба и положения этого фрагмента на изображении.
Указанные особенности делают метод HGI весьма перспективным для использования при компрессии гиперспектральных данных как на борту летательного аппарата, так и в хранилище данных в центре приёма. Использование метода HGI для компрессии гиперспектральных данных впервые было рассмотрено в работе [5]. Однако в этой работе при сжатии методом HGI трёхмерные спектральные данные рассматривались как набор независимых двумерных изображений, т.е. взаимозависимость данных по третьей координате никак не использовалась. Для гиперспектральных данных эта взаимосвязь существенна, в результате чего оценки эффективности метода HGI оказались сильно занижены. В данной работе предлагается использовать аппроксимацию спектральных каналов для учёта их взаимозависимости. Приводятся результаты экспериментов, показывающие существенный выигрыш такого подхода по сравнению с независимым сжатием компонент. Также приводятся рекомендации по настройке параметров метода и результаты сравнения с методом JPEG [6].
1. Метод компрессии HGI для однокомпонентного изображения
Рассмотрим метод HGI, изначально предназначенный для компрессии однокомпонентного двумерного изображения. Метод HGI основан на специальном иерархическом представлении исходного изображения X = { х(m,n)] в виде объединения иерархических уровней X
X = U X,,
l=0
XL-1 ={ XL-1 (^ n )]:
X
= { xl (m, n )] \ { хм (m, n )], l < L -1,
(1)
(2) (3)
где Ь - количество иерархических уровней, а { х1 (т,п)} - массив отсчётов изображения, взятых
с шагом 21 по каждой координате.
Представление (1)-(3) даёт возможность при компрессии и декомпрессии обрабатывать уровни последовательно, начиная со старшего уровня ХЬ_1, причём отсчёты каждого менее детального уровня будут использоваться для интерполяции отсчётов более детального уровня.
Количество уровней выбирается таким образом, чтобы объём старшего (наиболее прореженного) уровня был пренебрежимо мал по сравнению с объёмом данных всего изображения, поэтому старший уровень может быть записан в сжатое изображение и без компрессии. Процедура компрессии любого из следующих уровней X', '<Ь-1 включает этапы:
1) Интерполяция
Производится интерполяция отсчётов { х1 (т, п)} уровня X' на основе отсчётов { Хк (т,п), к >'}
уровней { Xk, к > l] , уже прошедших компрессию и
восстановление :
х1 ( m, n ) = P I U { Хк (m, n) ]
(4)
где Х' ( т,п ) - интерполирующие значения отсчётов,
а Р (..) - функция, задающая в общем виде некоторый
интерполятор. В качестве интерполятора обычно используется простое усреднение по ближайшим, уже восстановленным отсчётам.
2) Вычисление постинтерполяционных остатков
Вычисляется массив разностей истинных и интерполирующих значений отсчётов («постинтерполяционных остатков»):
/1 (т,п) = х1 (т,п)-Х1 (т,п). (5)
3) Квантование постинтерполяционных остатков
Выполняется квантование постинтерполяционных остатков (5). В данной работе используется квантователь, гарантирующий, что декомпрессированное изображение будет отличаться от исходного не более чем на величину заданной максимальной ошибки ешах :
q,(m,n) = sign ( / (m,n))
|/l n)| + £„ 2e„„+1
(6)
где [..] обозначает выделение целой части.
4) Вычисление восстановленных значений отсчётов
По квантованным значениям постинтерполяционных остатков вычисляются восстановленные значения Х' (т,п) отсчётов уровня. Очевидно, что для этого необходимо сначала вычислить восстановленные значения постинтерполяционных остатков:
7, (т, п) = (т, п) (2ешах +1) , (7)
а затем осуществить собственно восстановление:
Х1 (т,п) = 7, (т,п) + Х1 (т,п) . (8)
Эти восстановленные отсчёты будут нужны для интерполяции отсчётов менее прореженных иерархических уровней { Хк, к < 1} .
5) Статистическое кодирование
Осуществляется статистическое кодирование квантованных постинтерполяционных остатков. Поскольку распределение их вероятностей, как правило, является существенно неравномерным, в результате кодирования можно достичь значительного сокращения объёма данных, которое и является целью выполняемой обработки изображения.
Завершая описание метода ЫШ, следует отметить, что при сжатии больших изображений их целесообразно разбивать на блоки, которые обрабатываются независимо друг от друга. Такое разбиение позволяет статистическому кодеру приспосабливаться к ло-
к=l+1
кальным особенностям на изображении. При этом размер блока Я является параметром алгоритма.
2. Аппроксимация спектральных компонент для метода НО!
Описанный выше вариант метода ЫШ предназначен для сжатия однокомпонентных изображений. Стандартным подходом для сжатия цветных изображений является переход в какое-либо цветоразност-ное пространство, но такой приём неприемлем для гиперспектральных изображений. Причина в том, что, во-первых, у гиперспектральных изображений количество спектральных каналов гораздо больше трёх, и, во-вторых, компрессия в цветоразностном пространстве не позволяет контролировать погрешность в исходном пространстве.
В данной работе предлагается использовать зависимость между спектральными компонентами за счёт предсказания компонент. Собственно предсказание предлагается осуществлять как аппроксимацию компоненты на основе уже прошедших компрессию и восстановление других компонент. Высокая межкомпонентная корреляция должна обеспечить хорошую точность предсказания, а сжатие разности между исходной и предсказанной спектральной компонентами вместо сжатия исходной спектральной компоненты должно существенно повысить коэффициент сжатия. Опишем алгоритм формально.
Пусть { X* ,0 < 5 < £ } - ^-компонентное гиперспектральное изображение, состоящее из двумерных спектральных компонент - однокомпонентных изображений X 5. Указанные компоненты будем сжимать последовательно, от меньших номеров к большим. При сжатии каждой компоненты X5 сначала будем вычислять её предсказанное (аппроксимирующее) значение:
N-1 . .
Л х—^ -5-1-1
X5 = £ к1Х ,0 < 5 < £ ,
1=0
где X ,, > 0 - уже прошедшие компрессию и восстановление предыдущие компоненты, на основе которых производится аппроксимация,
X , , < 0 - заполненные нулями матрицы, введённые для упрощения записи формул,
N - количество предыдущих восстановленных спектральных компонент, используемых для аппроксимации (параметр алгоритма),
{ к1,0 < , < N } - коэффициенты аппроксимации, которые, исходя из метода наименьших квадратов, являются решением системы линейных уравнений:
Як = В ,
где к = { к1,0 < , < N } - искомый вектор коэффициентов аппроксимации,
Я = {Я,.,у,0 < ,, у < N } - матрица коэффициентов корреляции между декомпрессированными компонента-5-1-1 -5 -
ми X и X ,
В = {В,,0 <, < N} - вектор коэффициентов корреляции между текущей предсказываемой компонентой
5 -5-,-1
X и декомпрессированной компонентой X .
Собственно компрессии методом ЫШ (с заданной максимальной погрешностью) будем подвергать не компоненту X5, а разность между X5 и предсказанной (аппроксимирующей) компонентой X5 . После описанной процедуры компрессии компоненты X5 необходимо сразу же осуществить её декомпрессию. Это необходимо для обратной связи: восстановленная
-5
компонента X будет использована при аппроксимации последующих спектральных компонент.
Описанный подход предназначен для увеличения коэффициента сжатия за счёт использования межкомпонентных зависимостей при сохранении контроля максимальной погрешности.
3. Тестовые изображения
В качестве тестовых изображений при проведении вычислительных экспериментов в данной работе использовались гиперспектральные изображения спектрометра ЛУ1Я1Б (224 спектральных компоненты в диапазоне 380-2500 нм), размещённые в открытом доступе на сайте научно-исследовательского центра по разработке ракетных двигателей Калифорнийского технологического института [7]. Примеры компонент таких изображений показаны на рис. 1-2.
4. Показатели качества
В качестве меры погрешности при оценке эффективности методов компрессии в данной работе использовалась максимальная
етах = ™аХ
(т,п,5)
и квадратичная
х5 (т,п) -х (т,п)
е2 =-
Н £ (х5 (тп)- х' (тп))
8УИ
погрешности [8], где х5 (т,п), х (т,п) - отсчёты
компоненты номер 5 исходного и декомпрессированного изображений соответственно, £ - количество спектральных компонент, V х И - пиксельный размер компонент изображений.
5. Настройка параметров метода НО!
Из приведённого выше описания метода ЫШ нетрудно видеть, что, кроме основного управляющего параметра етах (максимальной погрешности), у метода есть ещё несколько параметров:
1) количество иер архических уровней Ь;
2) размер независимо сжимаемых блоков изображения Я;
3) количество спектральных компонент, используемых для аппроксимации каждой сжимаемой спектральной компоненты N.
2
Для того чтобы выдать рекомендации по выбору этих параметров, были проведены вычислительные эксперименты. Некоторые результаты показаны на рис. 3-5. На рисунках здесь и далее используются следующие сокращённые обозначения:
«HGI» - независимое сжатие спектральных компонент методом HGI;
«HGI+A» - сжатие гиперспектрального изображения методом HGI с использованием аппроксимации спектральных компонент;
«JPG» - независимое сжатие спектральных компонент методом JPEG.
1 3 5 7 9 N
Рис. 3. Зависимость коэффициента сжатия К от количества N компонент, используемых для аппроксимации (Я=224, Ь=б, изображение №1)
2 3 4 5 б 7 8 Ь
Рис. 4. Зависимость коэффициента сжатия К от количества Ь иерархических уровней (Я=25б, N=7, изображение №1)
К 1,9 1,7 1,5 1,3 1,1 0,9
- HGI+A
---HGI
О 100 200 300 Д
Рис. 5. Зависимость коэффициента сжатия К от размера Я независимо сжимаемых блоков (Ь=5, N=7, изображение №2)
Опираясь на полученные результаты, можно сделать следующие выводы:
1. При увеличении количества N компонент, используемых для аппроксимации, коэффициент сжатия сначала увеличивается, а затем наступает насыщение. Рекомендуемые значения: N > 6. Для ускорения процедуры сжатия можно брать N > 2.
2. При увеличении количества L иерархических уровней коэффициент сжатия сначала быстро растёт, затем начинает медленно падать. Рекомендуемые значения 3 < L < 7. С незначительной потерей эффективности можно брать L > 2.
3. При увеличении размера R независимо сжимаемого блока коэффициент сжатия сначала быстро растёт, а затем наступает насыщение. Рекомендуемые значения R > 200. Для уменьшения размера памяти можно брать R > 80.
6. Оценка эффективности метода HGI
Для оценки эффективности предложенной модификации метода HGI были проведены вычислительные эксперименты по сравнению этой модификации с методом JPEG, а также с «базовым» методом HGI, в котором спектральные компоненты сжимаются независимо. Некоторые результаты показаны на рис. 6-7. К 25-
20 15 10 5
0
- HGI+A ---HGI JPG
/ __-J...-"®-"'"
/ __— -------
ЩГ
50
100
150
200
Рис. б. Зависимость коэффициента сжатия К от квадратичной погрешности е (Ь=б, N=5, Я=512, изображение №1)
0 20 40 етш
Рис. 7. Зависимость коэффициента сжатия K от максимальной погрешности £mx (L=6, N=5, R=512, изображение №2)
Опираясь на полученные результаты, можно сделать следующие выводы:
1. В зависимости от используемой модификации, метод HGI сравним либо существенно превосходит JPEG в координатах «погрешность - коэффициент сжатия».
2. Следовательно, метод HGI достаточно эффективен при сжатии гиперспектральных изображений.
3. Использование аппроксимации компонент при сжатии гиперспектральных изображений позволяет существенно увеличить коэффициент компрессии метода HGI (в 1,8-2,5 раза).
4. Выигрыш от использования аппроксимации компонент растёт с увеличением коэффициента сжатия.
Заключение
В работе показана эффективность использования метода HGI для сжатия гиперспектральных изображений. Показан существенный выигрыш от использования аппроксимации гиперспектральных компонент при сжатии методом HGI. Полученные экспериментальные результаты позволяют сделать вывод о перспективности использования метода HGI в области сжатия гиперспектральных данных.
Благодарности
Работа выполнена при частичной финансовой поддержке:
• грантов РФФИ (проекты 1З-01-12080-офи_м, 1З-07-9700б-р_поволжье_а, 12-07-00751-а)
• Министерства образования и науки Российской Федерации (в рамках постановления Правительства Российской Федерации от 09.04.2010 г. № 218).
Литература
1. Borengasser, M. Hyperspectral Remote Sensing - Principles and Applications / M. Borengasser [et al]. - CRC Press, 2004. - 128 p.
2. Сергеев, В.В. Метод иерархической компрессии космических изображений / М.В. Гашников, Н.И. Глумов,
B. В. Сергеев // Автоматика и телемеханика. - 2010. -№ З. - C. 147-1б1.
3. Сергеев, В.В. Иерархическая компрессия изображений в системах реального времени / М.В. Гашников, Н.И. Глумов, В.В. Сергеев // Научно-теоретический журнал «Искусственный интеллект» (Украина). - 200З. - № З. -
C. 218-222.
4. Сергеев, В.В. Информационная технология компрессии изображений в системах оперативного дистанционного зондирования / М.В. Гашников, Н.И. Глумов, В.В. Сергеев // Известия Самарского научного центра Российской академии наук. - 1999. - № 1. - С. 99-107.
5. Glumov, N.I. Comparison of HGI and JPEG efficiency for hyperspectral image compression / N.I. Glumov, E.I. Timbai // Proceedings of the 11-th International Conference on Pattern Recognition and Image Analysis: New Information technologies (PRIA-H^D). - Russian Federation, Samara, September 2З-28, 201З. - Samara: IPSI RAS, 201З. -V. 2. - P. 559-5б2.
6. Wallace, G. The JPEG Still Picture Compression Standard / G. Wallace // Communications of the ACM. - 1991. -V. 34, Issue 4. - P. 30-44.
7. AVIRIS Data - Ordering Free AVIRIS Standard Data Products / Jet Propulsion Laboratory // http://aviris.jpl.na-sa. gov/data/ free_data. html
8. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичёва, В.А. Фурсов. - Под ред. В.А. Сойфера. - 2-е изд., испр. - М.: Физматлит, 2003. - 784 с.
References
1. Borengasser, M. Hyperspectral Remote Sensing - Principles and Applications / M. Borengasser [et al]. - CRC Press, 2004. - 128 p.
2. Sergeev, V.V. A hierarchical compression method for space images / M.V. Gashnikov, N.I. Glumov, V.V. Sergeev // Automation and Remote Control. - 2010. - V. 71(3). -P. 501-513.
3. Sergeev, V.V. Hierarchical image compression for real-time systems / M.V. Gashnikov, N.I. Glumov, V.V. Sergeev // Scientific and theoretical journal "Isskusstvenny Intellect" (Ukraine). - 2003. - V. 3. - P. 218-222. - (In Russian).
4. Sergeev, V.V. Information technology compression of images in operational remote sensing / M.V. Gashnikov, N.I. Glumov, V.V. Sergeev // Proceedings of the Samara Scientific Center of the Russian Academy of Sciences. -1999. - V. 1. - P. 99-107. - (In Russian).
5. Glumov, N.I. Comparison of HGI and JPEG efficiency for hyperspectral image compression / N.I. Glumov, E.I. Timbai // Proceedings of the 11-th International Conference on Pattern Recognition and Image Analysis: New Information technologies (PRIA-11-2013). - Russian Federation, Samara, September 23-28, 2013. - Samara: "IPSI RAS" Publisher, 2013. - V. 2. - P. 559-562.
6. Wallace, G. The JPEG Still Picture Compression Standard / G. Wallace // Communications of the ACM. - 1991. -V. 34, Issue 4. - P. 30-44.
7. AVIRIS Data - Ordering Free AVIRIS Standard Data Products / Jet Propulsion Laboratory // http://aviris.jpl.na-sa. gov/data/free_data. html.
8. Computer Image Processing, Part II: Methods and algorithms / A.V. Chernov, V.M. Chernov, M.A. Chicheva, V.A. Fursov, M.V. Gashnikov, N.I. Glumov, N.Yu. Ilyaso-va, A.G. Khramov, A.O. Korepanov, A.V. Kupriyanov, E.V. Myasnikov, V.V. Myasnikov, S.B. Popov, V.V. Ser-geyev, V.A. Soifer. - VDM Verlag. - 2009. - 584 p.
HIERARCHICAL GRID INTERPOLATION FOR HYPERSPECTRAL IMAGE COMPRESSION
M. V. Gashnikov, N.I. Glumov Image Processing Systems Institute of the Russian Academy of Sciences
Abstract
We consider the use of compression method based on hierarchical grid interpolation to compress the hyperspectral images. Approximation of the spectral channels is proposed to improve the efficiency of the method. Recommendations for setting the parameters of the method formulated. Numerical experiments compared to JPEG method implemented.
Key words: hyperspectral images, compression, control of deviation, maximum deviation, hierarchical grid interpolation.
Сведения об авторах
Гашников Михаил Валерьевич, 1975 года рождения, в 1998 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (СГАУ), кандидат наук, доцент, работает старшим научным сотрудником лаборатории математических методов обработки изображений Института систем обработки изображений РАН (ИСОИ РАН). Область научных интересов: сжатие изображений, обработка космических снимков, геоинформационные технологии. E-mail: mgash@smr.ru .
Mikhael Valeryevich Gashnikov (b. 1975) graduated from S.P. Korolyov Samara State Aerospace University (SSAU), PhD and associate professor. He is the senior researcher of Mathematical Methods laboratory of Image Processing Systems Institute of the RAS. His research interests are currently focused on image compression, space images processing, geoinformation technologies.
Глумов Николай Иванович, родился в 1962 году. В 1985 году окончил Куйбышевский авиационный институт (ныне Самарский государственный аэрокосмический университет (СГАУ). В 1994 году защитил диссертацию на соискание степени кандидата технических наук. В настоящее время работает старшим научным сотрудником в Институте систем обработки изображений РАН. Круг научных интересов включает обработку изображений и распознавание образов, компрессию изображений, моделирование систем формирования цифровых изображений. Имеет свыше 100 публикаций, в том числе более 40 статей, две монографии (в соавторстве). E-mail: nglu@smr.ru .
Nikolay Ivanovich Glumov (b. 1962) graduated with honours (1985) from S. P. Korolyov Kuibyshev Aviation Institute (presently, S. P. Korolyov Samara State Aerospace University - SSAU). He received his Candidate in Technics (1994) degree from Samara State Aerospace University. He is the senior research scientist at Image Processing Systems Institute of the Russian Academy of Sciences (IPSI RAS). His current research interests include image processing and pattern recognition, images compression, digital images forming systems modelling. He has more than 100 publications, including more than 40 scientific papers, 2 monographs (in co-authorship).
Поступила в редакцию 28 октября 2013 г.
