CC BY
63
№ 5 (47) 2013
А. В. Замятин, канд. техн. наук, доцент Института кибернетики Томского политехнического университета
А. Ж. Саринова, старший преподаватель Инновационного Евразийского университета,
Республика Казахстан, г. Павлодар
Алгоритм сжатия гиперспектральных аэрокосмических изображений с учетом междиапазонной корреляции1
Современные центры космического мониторинга и системы дистанционного зондирования Земли (ДЗЗ) позволяют оперативно принимать, обрабатывать, архивировать и распространять объемы данных, составляющие порой десятки и сотни гигабайт [1-9]. При этом одной из ключевых является задача сжатия данных ДЗЗ с целью повышения эффективности передачи данных по каналам связи ограниченной пропускной способности и их архивирования в подсистемах хранения данных ДЗЗ ограниченной емкости.
введение
Учитывая необходимость последующей автоматизированной классификации данных ДЗЗ, наибольшую ценность представляет сжатие без потерь, не допускающее искажений статистических яр-костных характеристик восстановленных данных.
Наиболее доступное для практического использования решение задачи сжатия предполагает использование универсальных и широко известных алгоритмов и средств сжатия, например, в архиваторах WinRar, WinZip или компрессоре Losless JPEG на основе стандарта сжатия изображений JPEG [10 -15]. Однако данные ДЗЗ характеризуются различными характеристиками — спектральным, радиометрическим, пространственным разрешениями, геометрическими размерами сцены, не всегда учитываемыми вышеуказанными универсальными средствами сжатия [16-19]. Так, выделяют муль-тиспектральные и гиперспектральные аэрокосмические изображения (АИ), имеющие
1 Работа выполнена при поддержке РФФИ (грант № 11 -07-00027а) и Госзадания «Наука» (№8.8113.2013).
существенно различные параметры спектрального разрешения и характеризующиеся наличием зависимости (корреляции) между данными различных диапазонов [20]. Если для мультиспектральных АИ коэффициент взаимной корреляции R е (0,3;0,8), то для гиперспектральных АИ, которые представляют собой значения яркостей, полученные в различных спектральных диапазонах с высоким спектральным разрешением, корреляция соседних каналов R = 1,0. Это свидетельствует о высокой избыточности данных и целесообразности использования данного свойства при сжатии [21, 22].
Кроме того, зная величину корреляции (междиапазонной зависимости) между каналами гиперспектральных АИ целесообразно оперировать значениями отклонений (разницы) между ней и фактическими исходными значениями, что позволит уменьшить диапазон изменения данных, а, следовательно, потребует меньшего числа разрядов для их хранения.
Все это позволяет предположить, что возможно эффективное использование специализированных средств сжатия, учитывающих вышеуказанные особенности гиперспектральных АИ.
№ 5 (47) 2013
Программное обеспечение, предназначенное для анализа пространственных данных и обработки АИ, такое как ERDASImagine, ERDASERMapper, ArcView GIS, GeoExpress, все чаще наделяют специализированными модулями для сжатия АИ. Так, пакет ERDASImagine имеет инструмент сжатия изображений в формате MrSID (IMAGINE MrSIDDesktopEncoder и IMAGINE MrSIDWorkstationEncoder), основанный на вейвлетах и предназначенный для сжатия изображений большого объема с потерями. Система ERDASERMapper имеет модули сжатия с потерями данных на основе стандартов JPEG2000 и ECW [23]. В пакете ArcView GIS имеется модуль MrSID, использующий специальную мощную техно-<3 логию сжатия файлов растровых изображе-^ ний с потерями [24]. Программный продукт >§ GeoExpress предназначен для сжатия рас-Í тровых данных с использованием популяр-I ных форматов MrSID и JPEG2000 [25]. Таким § образом, все распространенные коммерче-Ц ские системы обработки данных ДЗЗ наде-J лены средствами сжатия с потерями на ос-£ нове известных стандартов.
На сегодняшний день для сжатия гипер->!g спектральных АИ без потерь исследователи ли в России и за рубежом делают попыт-S^ ки применения самых различных подходов
0 и методов [26-30]. Обсуждаются отдельные | этапы преобразования данных при сжатии «S АИ, возможности снижения энергозатрат is и алгоритмической сложности, делаются § различные попытки адаптации стандартов ^ для сжатия гиперспектральных АИ, положительно зарекомендовавших себя при сжа-
jg тии обычных изображений. Однако при этом | часто остаются неясными некоторые детали реализации оригинальных алгоритмов | сжатия, а также насколько предлагаемые Ü подходы превышают возможности распро-S страненных средств сжатия при их приме-Й нении к гиперспектральным АИ с различны-S ми характеристиками. Все это способству-
1 ет дальнейшему поиску подходов к сжатию Л гиперспектральных АИ без потерь, в значительной степени свободных от недостатков
существующих универсальных и специализированных средств сжатия.
В связи с вышеизложенным, учитывая особенности гиперспектральных АИ и некоторые детали существующих аналогов, наиболее целесообразным представляется решение задачи сжатия гиперспектральных АИ путем многоэтапных преобразований, позволяющих использовать преимущества универсальных традиционных подходов к сжатию данных и при этом учесть существенную специфику таких данных. Алгоритм, реализующий именно такой подход, а также результаты его исследований предлагается обсудить в настоящей работе.
Описание алгоритма
Алгоритм сжатия гиперспектральных АИ, учитывающих их специфику, предлагается реализовать в несколько этапов:
1. Учет функциональной зависимости значений яркости между различными каналами изображений путем подсчета корреляции и формирования массивов отклонений (разностей) исходных данных от значений найденной функциональной зависимости.
2. Формирование вспомогательной структуры данных на основе исходного гиперспектрального АИ, хранящей уникальные парные группы значений элементов в байтовом представлении, а также адресные ссылки на эти уникальные парные группы.
3. Сжатие полученных после преобразований данных стандартным энтропийным алгоритмом путем обработки сформированных вспомогательных структур данных.
Рассмотрим детали реализации указанных этапов.
На первом этапе расчитывается величина отклонений линейной зависимости от матрицы значений 1[т, п, и\.
Для пошагового описания первого этапа, заключающегося в поиске корреляции и отклонений от нее, необходимо ввести в рассмотрение следующие объекты:
— исходное изображение — матрица значений изображения 1^, п, и\, где
№ 5 (47) 2013
т, п, к— индексы строк, столбцов и каналов исходного изображения, т = 1,2,..., М, п = 1, 2,.., N к = 1, 2,.., К;
— R[k] — массив для «послойного» сохранения значений корреляции Я между соседними диапазонами (слоями);
— Q[k] — массив для размещения значений математического ожидания для каждого канала I [т, п, к];
— L[k] — массив для сохранения линейной зависимости;
— 1'[т, п, к] — массив для размещения значений разностей (отклонений) между L[k] и 1[т, п, к].
Шаг 1. Рассчитать математическое ожидание тк каждого канала исходного изображения 1[т, п, к] и значения разместить
в массив
V т,п
(1[т, п, к] - Q [к ])2
1'[т, п, к] =
при R[к] > 0, 1[т,п,к]- L[k-1]
товом представлении, так как числа со знаком требуют большего количества битов, чем без знака:
I' [т, п, к] =
при 1[т,п,к] > 0, 2 х 1[т,п,к] при 1[т,п,к] < 0,-2 х 1[т,п,к]-1
Q[k], Q[k] = £ 1[т, п,к] хрк, где
рк — относительная частота встречаемости значений изображения I, к = 1, 2, ..., К.
Шаг2. Рассчитать (на основе Q[k] и I [т, п, к]) корреляцию Я для каждой пары из всех имеющихся К каналов исходного изобра-
£ (Цт,п,к ] - Q [к])
жения I [т, п, к] R [к] = -
Результат разместить в R[k], к = 1, 2, ..., К - 1.
Шаг 3. Рассчитать (на основе Q [к] и R [к]) линейную зависимость вида L = ткх Я для каждой пары из имеющихся К каналов исходного изображения Цт, п, к]. Результат разместить в L [к],L[к] = Q[к]хR[к]' к = 1, 2, ..., К - 1.
Шаг4. Рассчитать (на основе R[k] и L[k]) разность между элементами L [к] и соответствующими значениями исходного изображения I [т, п, к] в каждом из К каналов
[при R[к] < 0, I[m,п,к] для т = 1...М, п = 1...М
Результат разместить в I'[m, п, к]. Шаг 5. Преобразовать отрицательные значения Г[т, п, к] в положительные в би-
В результате сформировали массив Г[т, п, к] с учетом значений междиапазонной корреляции R [к].
Суть второго этапа заключается в формировании массива уникальных парных групп значений исходного изображения в байтовом представлении. Затем формируется массив, содержащий адресные ссылки на них. Для рассмотрения пошаговой детализации данного этапа необходимо ввести в рассмотрение следующие дополнительные объекты:
— М [/', к] — массив уникальных парных групп значений исходного изображения в байтовом представлении;
— D [], к] — массив для записи адресных ссылок (на уникальные парные группы значений).
Пошаговая детализация второго этапа алгоритма преобразований имеет вид, представленный на рис. 1.
Шаг 1. Сформировать на основе Г[т, п, к] массив М [], к], для каждого канала К добавляя уникальные парные группы значений в битовом представлении из массива Г[т, п, к]. Результат разместить в М [/', к], \ = 1, 2,.., J. Если повторяющиеся парные группы значений отсутствуют, то J = (М х N х к)/2, к= 1, 2,.., К.
Шаг2. Сформировать (на основе М [/', к]) массив D [/', к], записывая адресные ссылки на уникальные парные группы значений из массива М [/', к] в D [/', к]. Результат разместить в D [/', к], \ < J, так как\ = М х N х К, к = 1, 2,.., К.
На заключительном третьем этапе использовалось контекстное моделирование с известным арифметическим кодированием путем сжатия данных массива D [/', к] в архив D' [/', к].
Для формирования исходного гиперспектрального АИ I [т, п, к] из D' [/', к] необходи-
со 1
л
3
37
№ 5 (47) 2013
I'[m, n, k] исходные данные
M \j, k] уникальные группы
D j, k]
адресные ссылки
Рис. 1. Процедура формирования вспомогательной структуры данных
Î I
'S о
lg
0 to
s §
1
§
о
to 1
II
£
0
3
1
s
1 u
s
I
I
t
i
g
s
s
мо выполнить ряд преобразований, обратных вышеизложенным:
— произвести арифметическое декодирование массива D' [/', к\, восстановив массив D [], к\;
— найти в массиве D [/', к\ соответствующие адресные ссылки на уникальные парные группы из сформированной структуры данных М [/', к\;
— восстановить массив 1'[т, п, к\, содержащий массив зависимостей L [ к\, рассчитав абсолютные значения массива 1'[т, п, к\, восстановив исходное изображение I [т, п, к\.
Экспериментальные исследования
Для определения эффективности предлагаемого алгоритма с точки зрения степени сжатия, а также пределов его применимости проведен ряд экспериментов с использованием гиперспектральных АИ системы ДЗЗ AVIRIS (табл. 1) в формате данных растровой геоинформационной системы IdпsiKШmanjaro. Система AVIRIS (AirborneVisible/InfraredImagingSpectrometer) обеспечивает одновременное принятие 224 спектральных изображений с длиной волны в диапазоне от 400 нм и 2500 нм. Также выполнено сравнение предложенного алгоритма с результатами экспериментов, полученных для универсальных алгоритмов
сжатия архиваторов WinRar, WinZip и компрессора Lossles JPEG, использующего расширение стандарта сжатия JPEG, широко применяемого в коммерческих системах обработки данных ДЗЗ. Эксперименты выполнены на ПЭВМ с процессором IntelCore i5 2,5 ГГц и объемом оперативной памяти 4 Гб под управлением операционной системы Windows 7 (пакет обновления 3).
Предложенный алгоритм может быть реализован в различных последовательностях этапов:
I. Учет корреляции (1) ^ формирование вспомогательной структуры данных с уникальными парными группами и адресными ссылками на них (2) ^ арифметическое кодирование (3).
II. Формирование вспомогательной структуры данных с уникальными парными группами и адресными ссылками на них (1) ^ арифметическое кодирование (2).
III. Учет корреляции (1) ^ арифметическое кодирование (2).
IV. Формирование вспомогательной структуры данных с уникальными парными группами и адресными ссылками на них (1) ^ учет корреляции (2) ^ арифметическое кодирование (3).
Для оценки наиболее результативной последовательности c учетом вклада каждого из этапов проведен ряд экспериментов с различными вариантами (рис. 2).
38
№ 5 (47) 2013
Таблица1 [g
§
Примеры характеристик тестовых данных (систем ДЗЗ AVIRIS) s
Название гиперспектрального АИ K M x N, пикс. Размер файла, байт
f970619t01p02_r07_sc01 224 100x 100 6140096
f970619t01p02_r07_sc02 224 200 x200 36199296
f970619t01p02_r07_sc03 224 300 x300 81178496
f970619t01p02_r07_sc04 224 400 x400 144077196
f970619t01p02_r07_sc05 224 500 x500 210746396
f970619t01p02_r07_sc06 224 624 x 512 281673728
Проведенный эксперимент, фрагмент результатов которого приведен на рис. 2, показывает, что разные этапы алгоритма имеют различную весомость при формировании результата. При этом в первом, втором и четвертом вариантах реализации этапно-сти результаты в различной степени превосходят Losless JPEG (от 25 до 46%). Наибольшую ценность представляет первый вариант с наивысшим показателем степени сжатия. Реализовывать этап учета корреляции после этапа формирования вспомогательных структур данных в четвертом варианте не целесообразно, так как это приводит к увеличению диапазона изменения данных при расчете разности. Результаты реализации второго варианта показывают,
что отсутствие этапа междиапазонной корреляции приводит к незначительной степени сжатия по сравнению с Losless JPEG. Реализация этапности в соответствии с вариантом 3 приводит к наиболее незначительному результату, так как отсутствует весомое формирование уникальных парных групп и адресных ссылок на них с созданием соответствующих вспомогательных структур данных.
На рисунке 3 представлены некоторые результаты сравнительных экспериментов, демонстрирующие превосходство предлагаемого алгоритма над аналогами в степени сжатия D^ при варьируемых геометрических размерах гиперспектральных АИ. При увеличении геометрического размера сцен
^ с 160-
II III IV
Варианты реализации этапности
I II III IV
Варианты реализации этапности
б
Рис. 2. Сравнение показателей вариантов реализации алгоритма сжатия: а) по степени сжатия Dсж; б) по времени вычислительной работы
39
D 6
а
№ 5 (47) 2013
5,5 5
4,5 4
3,5 3
2,5 2
1,5 1
0,5 0
Многоэтапный алгоритм
Losless JPEG
--А-- WinRar
■ - WnZip
о о
i I
'S
о g
0
to
El §
1
§
<3
u 1
i
£
0 §
§
s
1 u
Si i
I
t I
I
s
s
о о
(M
X
о о
(M
о о со
X
о о со
о о
X
о о
о о ю
X
о о ю
о о
о о
X
о о
о о
о о
о о о
X
о о о
K = 224
Рис. 3. Сравнительная эффективность алгоритмов при различном геометрическом размере сцены
все исследуемые алгоритмы показывают устойчивый результат, который практически не изменяется.
Также проведены исследования зависимости степени сжатия Dсж от количества каналов АИ К (рис. 4). Они показали, что степень сжатия Dсж увеличивается пропорционально увеличению количества каналов К, так как избыточность данных гиперспектральных АИ с их увеличением повышается.
Как видно из рис. 4, показатели степеней сжатия многоэтапного алгоритма превосходят в степени сжатия архиваторы WinRar, WinZip и Losless JPEG до 45%.
Проводя сравнительные исследования степеней сжатия необходимо обратить внимание на вычислительные затраты алгоритмов сжатия (рис. 5).
Из рисунка 5 видно, что в предлагаемом алгоритме потери вычислительной эффективности в сравнении с аналогами
Многоэтапный алгоритм
Losless JPEG
--А-- WinRar ■ -И- - WinZip
50
100 K
150
200
Рис. 4. Зависимость степени сжатия Dсж алгоритмов от количества каналов К
40
D 6
сж
D 6
сж
5
0
№ 5 (47) 2013
550 500 450 400 350 300 250 200 150 100 50 0
Многоэтапный алгоритм
Losless JPEG
WinRar
WinZip
Размер файла, кб
0 10000 20000 30000 40000 50000 60000 70000
Рис. 5. Сравнительные вычислительные показатели алгоритмов сжатия по времени tвl
S 00
1
g
1
f.„4 600
достигают трех раз. Это объясняется тем, что в усовершенствованном многоэтапном алгоритме предусмотрено формирование вспомогательных структур данных по гиперспектральным АИ с учетом корреляции и последующим арифметическим кодированием. Универсальные архиваторы не учитывают специфику данных при сжатии и таких операций не выполняют.
Заключение
Авторами разработан многоэтапный алгоритм сжатия гиперспектральных АИ, включающий учет междиапазонной корреляции и предварительную байтовую обработку данных, позволяющие существенно (до 46%) увеличить степень сжатия данных по сравнению с аналогами.
Анализ значимости этапов показал, что этап предварительной байтовой обработки с формированием вспомогательных структур данных позволяет увеличить результат наиболее значительно — до 45%. Этап учета междиапазонной корреляции менее значим, однако позволяет снизить диапазон варьируемых значений для оперирования меньшей разрядностью, позволяя увеличить степень сжатия до значительных 26%.
Анализ вычислительной эффективности показал, что для достижения значимых ре-
зультатов сжатия в применении многоэтапного алгоритма требуются большие вычислительные затраты, уступая ближайшему аналогу Losless JPEG в 3 раза.
Список литературы
1. Бондур В. Г. Современные подходы к обработке гиперспектральных аэрокосмических изображений // Тезисы доклада НИИ аэрокосмического мониторинга «АЭРОКОСМОС». М., 2013.
2. Попов М. А., Станкевич С. А. Методы оптимизации числа спектральных каналов в задачах обработки и анализа данных дистанционного зондирования Земли // Научный центр аэрокосмических исследований Земли. 2003. № 1. С. 106-112.
3. Chengfu H, Zhang R, Yin D. Compression techniques for hyperspectral images. Department of Electronic Engineering and Information Science // University of Science and Technology of China, He-fei. China, 2010.
4. Chengfu H., Zhang R., Tianxiang P. Lossless Compression of Hyperspectral Images Based on Searching Optimal Multibands for Prediction. 2009. Vol. 6. № 2. Р. 339-343.
5. Liang Y, Jianping L., Ke G. Lossless compression of hyperspectral images using hybrid context prediction. 2012. Vol. 20. № 7. Р. 199-206.
6. Aiazzi B., Alparone L., Baronti S, Lastri C, Selva M. Spectral Distortion in Lossy Compression of Hyperspectral Data // Journal of Electrical and Computer Engineering. 2012. № 10.
№ 5 (47) 2013
9.
! I
о £
0
to
El §
1
§
о
to 1
I
£
0
3 §
■г
и
U
Si
1
i I
I
I 1
!
10
11
12
Cheng-chen L, Yin-tsung H. Lossless Compression of Hyperspectral Images Using Adaptive Prediction and Backward Search Schemes // Journal of Information Science and Engineering. 2011. № 27. P. 419-435.
Aiazzi B., Alparone L., Baronti S. Near-lossless image compression by relaxation-labeled prediction // Signal Process. 2002. № 11. Р. 1619-1631.
Magli E., Olmo G. and Quacchio E. Optimized onboard lossless and near-lossless compression of hyperspectral data using CALIC // IEEE Geo-science and remote sensing letters. 2004. № 1. Р. 21-25.
Aiazzi B., Baronti S., Alparone L. Lossless compression of hyperspectral images using multiband lookup tables // IEEE Signal Process. Letters — 2009. Vol. 6. № 16. Р. 481-484. Penna B., Tillo T., Magli E., Olmo G. Transform Coding Techniques for Lossy Hyperspectral Data Compression // IEEE Geoscience and remote sensing letters. 2007. Vol. 45. № 5. 1408-1420. RarLab. Программная система WinRar для сжатия файлов [http://www.win-rar.com/rarprod-ucts. html]. Режим доступа: свободный.
13. WinZip. Программа cжатия для Windows [http://www.winzip.Com/ru/prodpagewz.htm]. Режим доступа: свободный.
14. Tang X., Pearlman W., Modestino J. Hyperspec-tral image compression using three-dimensional wavelet coding // Proc. SPIE IS&T Electron, Imaging 1. 2003. P. 1037-1047.
15. Penna B., Tillo T., Magli E., Olmo G. Progressive 3-D coding of hyperspectral images based on JPEG 2000 // IEEE Geoscience and remote sensing letters. 2006. Vol. 1. № 3. P. 125-129.
16. Zhang J., Liu G. An efficient reordering prediction-based lossless compression algorithm for hyper-spectral images // IEEE Geoscience and remote sensing letters. 2007. Vol. 2. № 4. P. 283-287. Mielikainen J. S., Kaarna A., Toivanen P. Lossless hyperspectral image compression via linear prediction // Proc. SPIE 4725. 2002. № 8. Р. 600-608. Rizzo F., Carpentieri B., Motta G., Storer J. A. Low-complexity lossless compression of hyperspectral imagery via linear prediction // IEEE Signal Process. Lett. 2005. Vol. 2. № 12. Р. 138-141.
17
18
19. ISO/IEC 15444-1. JPEG2000 Image Coding System, 2000.
20. Kiely A., Klimesh M, Xie H., Aranki N. ICER-3D: A Progressive Wavelet-Based Compressor for Hy-perspectral Images // The Interplanetary Network Progress Report. 2006. P. 142-164.
21. Gueguen L., Trocan M., Pesquet-Popescu B., Giros A., Datcu M. A comparison of multispec-tral satellite sequence compression approaches // Signals, Circuits and Systems. 2005. № 1. P. 87-90.
22. Замятин А. В., То Динь Чыонг. Сжатие многозональных аэрокосмических изображений с использованием вейвлет-преобразования и учетом междиапазонной зависимости // Известия Томского политехнического университета. 2008. T. 313. № 5. С. 20-24.
23. Межрегиональная общественная организация содействия развитию рынка геоинформационных технологий и услуг «ГИС-Ассоциация» [http://www.gisa.ru/1489.html]. Режим доступа: свободный.
24. ArcViewGIS [http://loi.sscc.ru/gis/dataplus/esri/ MrSID.htm]. Режим доступа: свободный.
25. Геоинформационные системы [http://www.gissystem.ru/ index/lizardtech/0-73]. Режим доступа: свободный.
26. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. М.: Диалог-МИФИ, 2003. — 384 с.
27. Копылов В. Н. Основы создания центра космического мониторинга окружающей среды. Екатеринбург: ПП «Контур». 2006. — 144 с.
28. Бабкин В. Ф., Книжный И. М., Хрекин К. Е. Сжатие многоспектральных изображений без потерь или с ограниченными потерям // Современные и перспективные разработки и технологии в космическом приборостроении: Докл. М.: ИКИ РАН, 2004. № 1. С. 330-332.
29. ISO/IEC 15444-1. JPEG2000 Image Coding System, 2000.
30. Motta G., Rizzo F, Storer J. A. Hyperspectral Data Compression. Berlin: Springer, 2006. — 415 р.
42
