CC BY
14ISSN 1814-1196 Научный вестник НГТУ том 78, № 1, 2020, с. 7-24
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 78, No. 1, 2020, pp. 7-24
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
INFORMATICS, COMPPUTER ENGINEERING AND CONTROL
УДК 004.627: 004.932 Б01: 10.17212/1814-1196-2020-1-7-24
Комплексный критерий оценки эффективности сжатия видеоданных с потерями с применением вейвлет-преобразований
А.Ю. АКСЕНОВ", П.П. КОКОРИН4
199178, РФ, г. Санкт-Петербург, 14-я линия В.О., 39, Санкт-Петербургский институт информатики и автоматизации РАН
а [email protected] ь [email protected]
В статье предлагается комплексный критерий оценки кодеков, применяемых для сжатия данных с потерями, и измерительный стенд, позволяющий определить значение данного критерия. Актуальность применения такой оценки в информационных системах обусловлено тем, что в целом, несмотря на многообразие кодеков, применяемых при обработке цифровых мультимедийных данных, большинство схем сжатия можно свести к одной общей схеме. Это обеспечивает универсальность рассматриваемого комплексного критерия при оценке различных кодеков, а многоэтапность последовательности обработки данных при сжатии данных дает возможность независимого выбора метода, примененного на каждом из этапов. Взаимное согласование параметров входа и выхода последовательных этапов между собой дает возможность получить наиболее эффективные показатели работы кодека в целом.
Цель исследования заключается в разработке схемы измерения параметров сжатия видеоданных путем применения структуры гибридного кодека на примере использования вейвлет-преобразования. С целью единообразной оценки эффективности набора вейвлет-преобразований, потенциально подходящих для построения кодеков, применяемых для сжатия данных с потерями, разработан измерительный стенд, позволяющий определить значения предложенного комбинированного критерия эффективности сжатия на примере изображений. Проведена объективная и субъективная оценка результатов сжатия с использованием наиболее популярных вейвлетов. Объективная оценка по предложенному критерию, проведенная с использованием измерительного стенда, построенного на базе концепции гибридных кодеков, позволила ранжировать рассмотренные вейвлеты и выбрать наиболее эффективные для задачи сжатия. По субъективной оценке на малых уровнях преобразования (до 3-го включительно), все рассмотренные вейвлеты показали одинаково удовлетворительный результат. Визуально различия становятся заметными на уровнях преобразования 6 и выше. Преимуществом описываемого подхода является возможность его применения для нереферентной оценки параметров сжатия видеоданных, что достигается за счет использования программного измерительного стенда на базе концепции гибридных кодеков. Разработка автоматизированных систем оценки эффективности кодирования данных, с одной стороны, позволяет ускорить процесс разработки кодеков, а с другой стороны, стандартизировать результаты измерений систем компрессии данных.
Статья получена 12 февраля 2020 г. Исследование выполнено в СПИИРАН в рамках бюджетной темы № 0073-2019-0005.
Ключевые слова: гибридный кодек, сжатие данных, вейвлет-преобразование, битовый поток, комплексный критерий, обработка данных, параметры сжатия, оценка качества видеоданных
ВВЕДЕНИЕ
Современный подход к разработке алгоритмов сжатия изображений или видеоданных в информационно-измерительных системах в первую очередь направлен на получение наиболее эффективных программных или аппаратных решений, отвечающих техническим требованиям заказчика. Наиболее часто такими требованиями являются получение требуемого уровня сжатия, чтобы удовлетворить ограничениям по объему носителей данных или пропускной способности канала передачи данных, либо необходимость «вписаться» в имеющиеся аппаратные возможности.
При этом получается решение, часто состоящее из последовательности алгоритмов с тесной взаимной интеграцией, которое разрабатывается и исследуется в совокупности, иногда с вариантами настройки, именуемыми «профилями» [1].
Существуют и альтернативные подходы к построению систем компрессии мультимедийного контента.
В работах [2, 3] было показано, что большинство схем сжатия цифровых мультимедийных данных можно свести к одной общей схеме, приведенной на рис. 1. Многоэтапность последовательности обработки данных при сжатии данных дает возможность независимого выбора метода, примененного на каждом из этапов. Взаимное согласование параметров входа и выхода последовательных этапов между собой дает возможность получить наиболее эффективные показатели работы кодека в целом.
Исходные последовательность
элементы данных
Рис. 1. Обобщенная схема компрессии мультимедийных данных с потерями Fig. 1. A generalized scheme of compression of multimedia data with losses
Изменение состава используемых алгоритмов на каждом из этапов приведенной схемы, а также параметров их работы при компрессии данных дает возможность динамического управления способом передачи, получая требуемые параметры или укладываясь в необходимые ограничения канала передачи данных [3].
Наиболее ответственным этапом, влияющим на субъективное восприятие мультимедийного контента потребителем при сжатии с потерями, является этап нормализации данных, так как от него зависит не только степень сжатия, но и вид вносимых искажений.
Несмотря на то что методы сжатия, основанные на применении вейвлет-преобразований, имеют значительную историю, они не теряют своей актуальности при разработке новых перспективных типов кодеков.
В работах [4-7] предлагается применение вейвлет-преобразований для сжатия медицинских изображений и данных томографии, в [8] - исследование применимости направленного вейвлет-преобразования для сжатия цифровых голографических изображений. Достаточно активно ведутся работы в направлении сокрытия данных с применением вейвлет-преобразований в видеопотоке [9-11], сокрытия биометрических данных в изображениях [12]. Имеются исследования в создании гибридного многомасштабного вейвле-та [13]. Также актуальны прикладные исследования по применению вейвлет-преобразований в целях измерения и сбора информации об изменении величины битрейта видеофайлов h264 для дальнейшего использования в моделировании нагрузки на узлы сети видеохостингов [14].
Актуальной также является задача создания методов нереферентной объективной оценки вейвлет-преобразований вне контекста методов предобработки изображений и вторичного сжатия битового потока, рассматриваемая в данной работе.
1. ПОСТАНОВКА ЗАДАЧИ
Приведенная на рис. 1 структура гибридного кодека является модульной и реконфигурируемой [2], что позволяет использовать ее в качестве основы для оценки параметров различных преобразований, применяемых на этапе нормализации в отрыве от других этапов компрессии.
В качестве критериев оценки эффективности (частных критериев оптимальности) предлагается использовать следующие величины: коэффициент сжатия, время сжатия, время декодирования, коэффициент искажений (погрешность).
Коэффициент сжатия. Результирующий коэффициент сжатия рассчитывается для каждой из рассматриваемых вейвлет-функций по формуле Q = So / Sc , где So - объем исходных данных, составляющих матрицу яркости пикселей исходного изображения, а Sc - объем сжатых данных - сумма
объемов кодового потока Хаффмана коэффициентов ДВП, словаря Хаффма-на, матрицы коэффициентов квантования, матрицы размеров фреймов, уровень вейвлет-преобразования (рис. 2).
dict-Len = numel (de2bi (abs (dictSymb ( : ) ) ) ) + numel (nimiel (dictProb) *64) ;
42.4.Суммарный размер сжатого изображения
encodedLen = dwtCoeffLen + dict-Len + sizesLen + numel(de2bi(i));
Рис. 2. Фрагмент исходного кода вычисления результирующих параметров сжатия
Fig. 2. A fragment of the source code of the calculation of the resulting compression
settings
Время сжатия и декомпрессии. Для каждого алгоритма измеряется время работы алгоритма сжатия и декодирования. Для измерения времени работы алгоритмов применяется встроенная в Matlab специализированная функция timeit. В результате работы функции вычисляется среднее время выполнения целевой функции. Целевая функция вызывается несколько раз, время ее работы усредняется, что дает более достоверный результат (рис. 3).
' encf = @ (J^niyüTave let Encode (iirig, i, quant izationSteps, waveletinode, 0, 0) ;
Рис. 3. Фрагмент функции измерения времени работы методов сжатия
и декомпрессии
Fig. 3. A fragment of the function for measuring the operation time of compression
and decompression methods
Коэффициент искажений (погрешность). Производится сжатие исходного изображения исследуемым алгоритмом, после чего производится восстановление сжатого изображения. Исходное изображение сравнивается с восстановленным изображением. Оценка искажения проводится с помощью трех параметров (рис. 4).
1. Среднеквадратичная ошибка матрицы пикселей исходного и восста-
ной ошибки реализуется средствами МаАаЬ (встроенная функция вычисления среднеквадратичной ошибки тш8е).
2. Индекс структурного подобия исходного и восстановленного изображений рассчитывается с помощью встроенной в МаАаЬ функции
3. Пиковое отношение сигнал-шум исходного и восстановленного изображений. Вычисление производится с помощью встроенной в МаАаЬ функции р8ПГ.
% Вычисление погрешности декодирования err = iimise (dirng, irng) ; snr = psnr (dirng, irng); sirnref = ssirn(dirng, irng);
Рис. 4. Фрагмент функции вычисления погрешности декодирования
Fig. 4. Fragment of the decoding error calculation function
t СУ - У )2
n
. Вычисление среднеквадратич-
Определим порядок предпочтения параметров Qi и коэффициенты :
Ql = rmse + psnr + ssim - сумма нормированных коэффициентов искаже-
* *
ния, Xi = 3; Q* = k - нормированный коэффициент сжатия, X2 = 2;
* * - * *
Q3 = Tdec - нормированное время декодирования, Х3 = 1; Q4 = Tenc - нормированное время сжатия, X4 = 0,5 .
Нормированные величины вычисляются по следующим формулам:
*
k = norm (k), * * *
rmse = 1 - norm(rmse), psnr = norm(psnr), ssim = norm(ssim),
T*ec = 1 - norm(Tdec), T^ = 1 - norm(Tenc),
. . x - min(x)
где norm( x) =-.
max( x) - min( x)
* * *
Увеличение значения величин rmse , psnr и ssim соответствует уменьшению искажений на этапе нормализации.
При этом накладывается дополнительное ограничение на параметр k > 2. Это обосновано тем, что при меньшем коэффициенте сжатия эффективнее использовать методы сжатия без потерь. Итоговая функция полезности примет вид
1* * * * * *
3(rmse + psnr + ssim ) + 2k + Tdec + 0,5Tenc, k > 2; 0, k < 2.
2. КОМПЛЕКСНЫЙ КРИТЕРИЙ ОЦЕНКИ СЖАТИЯ С ПОТЕРЯМИ
В соответствии с [15] классической задачей многокритериальной оптимизации считают задачу вычисления вектора целевых переменных, удовлетворяющего наложенным ограничениям и оптимизирующего векторную функцию, элементы которой соответствуют целевым функциям.
Введем для задачи сжатия изображений с потерями лексикографический порядок определения оптимальности. Введенное отношение предпочтения позволяет качественно отразить тот факт, что векторный критерий Qk предпочтительнее, чем векторный критерий Qi: Qk > Qi. Для определения численного значения полезности каждого векторного критерия вводится скалярная функция U(Q) полезности, для которой справедливо условие
U(Qk) > U(Qi), когда Qk > Qi.
Рассмотрим в качестве функции полезности следующее выражение: U(Q) = max{^щ(Qi(x)) + Хо}.
В случае единственного вектора весовых коэффициентов X свертывание векторного критерия Q = (0\,---, ) сводится к операции суммирования с известными весовыми коэффициентами. Обобщенная функция полезности (комплексный критерий) примет вид
ф (0) = ех о*( х) + х 0,
*
где - нормированный частный критерий оптимальности.
3. ИЗМЕРИТЕЛЬНЫЙ СТЕНД ДЛЯ ПРОВЕРКИ
КОМПЛЕКСНОГО КРИТЕРИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ
Для проверки комплексного критерия предлагается построение измерительного стенда, представляющего собой тестовое окружение, где на этапе внесения потерь применяются различные варианты вейвлет-преобразований, в качестве этапа вторичного сжатия используются коды Хаффмана, а тестирование производится на одном канале (яркостном) с оценкой битового объема выходного потока. Накладные расходы на организацию структуры данных, формирование пакетированного потока и хранения метаданных не учитываются. В качестве образца данных целесообразно использовать изображение в серых тонах (без цветовой компоненты), чтобы сохранить возможность наглядной оценки артефактов сжатия и более адекватно оценить численные параметры влияния каждого из вариантов нормализации.
Для оценки методов сжатия используется взятое из открытых источников изображение размером 400 х 400 точек с 256 градациями серого (рис. 5).
Рис. 5. Тестовое изображение, 256 градаций серого, разрешение 400 х 400 пикселей
Fig. 5. A test image, 256 grayscale, resolution 400 x 400 pixels
Реализация и испытание методов проводится в среде Matlab R2018a. Фрагмент исходного кода тестового приложения представлен на рис. 6.
% Уровень вейвлет-преобразования
^Исходные значения для вычисления коэффициентов квантования
Рис. 6. Фрагмент исходного кода тестового приложения Fig. 6. A fragment of the test application source code
В качестве исследуемых вейвлетов рассматриваются следующие (в скобках приводится название вейвлета в пакете WaveletToolbox в Matlab):
1) вейвлет Хаара (haar, dbl);
2) вейвлет Добеши^З);
3) вейвлет Добеши (db5);
4) биортогональный CDF 5/3 LeGall 5/3 (bior2.2);
5) биортогональный CDF 9/7 (bior4.4).
Тестовое изображение кодируется / декодируется с различными уровнями вейвлет-преобразования (от 1 до 10).
Для каждого вейвлета и параметров сжатия вычисляется набор показателей для оценки эффективности метода. Результаты сводятся в таблицу для дальнейшей обработки и выбора лучшего метода сжатия с помощью комплексного критерия оценки.
Схема измерительного стенда частично повторяет базовый алгоритм JPEG 2000 [16-18] с некоторыми упрощениями. Отличия заключаются в следующем.
1. Исключен этап сдвига по яркости.
2. Исключен этап преобразования цветового пространства. Вместо полноцветного изображения в эксперименте будет использовано изображение в градациях серого.
3. Исключен этап сегментации на тайлы и управления качества отдельных областей (зон интереса).
4. На этапе кодирования используются коды Хаффмана вместо арифметического кодирования MQ.
Блок-схема алгоритма представлена на рис. 7.
На рис. 8 представлен фрагмент исходного кода метода сжатия.
Рис. 7. Конвейер операций тестового алгоритма сжатия Fig. 7. A pipeline of operations of the test compression algorithm
% сохраняем в поток горизонтальную, вертикальную и диагональную матрицу waveletCoefficients = [cH[:)' cV[:) 1 cD ( :) 1 waveletCoefficients];
waveletCoefficients = [cA(:)' waveletCoefficients];
Рис. 8. Фрагмент функции сжатия
Fig. 8. A fragment of the compression function
Функция сжатия осуществляет вычисление дискретного вейвлет-преоб-разования заданным типом вейвлета на заданном уровне с последующим квантованием. Коэффициенты квантования передаются функции сжатия в качестве входного параметра q. Функция для расчета вектора коэффициентов квантования stepsize приведена на рис. 9.
% Создает вектор коэффициентов квантования для матриц разложения ДВП % (горизонтальной, вертикальной, диагональной и последней матрицы
Рис. 9. Функция для расчета коэффициентов квантования stepsize
Fig. 9. A function to calculate the coefficients of the quantization stepsize
Энтропийное кодирование коэффициентов ДВП методом Хаффмана. На первом этапе кодирования Хаффманом вычисляется таблица вероятностей
коэффициентов [19, 20]. Затем строится словарь и выполняется таблица непосредственного формирования кодового потока (рис. 10).
%Шаг 4. Энтропийное кодирование коэффициентов ДВП методом Хаффмана counts = hist(uaveletCoefficients(:), symbols);
huffcornp = huffmanenco(waveletCoefficients, huffdict);
Рис. 10. Энтропийное кодирование коэффициентов ДВП методом Хаффмана Fig. 10. Entropie encoding of DVP coefficients by the Huffman method
Алгоритм декодирования имеет обратную последовательность шагов. Блок-схема алгоритма декодирования представлена на рис. 11.
Рис. 11. Конвейер операций тестового алгоритма декодирования Fig. 11. A pipeline of operations of the test decoding algorithm На рис. 12 представлен фрагмент исходного кода метода декодирования.
%Декодирование Хаффмана
dcQ = huf finandeco [huffcomp, huffdict)
scA = s(l);
dcA=i:eshape (dcQ(l:scA*scA) , [scA,scA] ) offset = scA*scA; for i = 1 : n
si = s(i+1, :) ; ssi = s ( i+1) Л2 ;
q(3 * n + 1) ,
end
x ■
qi = 3 * (n + 1 - i) - 2;
dcH=i:eshape (dcQ (offset + 1 : offset
dcV=i:eshape (dcQ (offset + 1 + ssi : offset
dcD=ueshape(dcQ(offset + 1 + 2*ssi : offset
dcA=dcA ( 1 : si, 1 : si) ;
% Обратное вейвлет-преобразование
dcA = idwt2(dcA, dcH, dcV, dcD, waveletllode) ;
offset = offset + 3*ssi;
uintS(dcA);
ssi) 'ssi) 'ssi)
si) si) si)
(qi) (qi ■ (qi -
i). 2) .
Рис. 12. Фрагмент исходного кода метода декодирования Fig. 12. A fragment of the source code of the decoding method
4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ
Вейвлет Хаара (haar). Преобразование Хаара устраняет константную составляющую путем перевода констант в нули. Наиболее эффективно преобразование Хаара для изображений такого типа, как рентгеновские снимки, отсканированные документы. Для других классов изображений наиболее характерно линейное увеличение значений яркости.
Результат применения к тестовому изображению разложения Хаара второго уровня представлен на рис. 13.
Рис. 13. Матрицы преобразования Хаара 2-го уровня
Fig. 13. Haar transformation matrices of level 2
Примерно после 6-го уровня преобразования визуально становятся заметны искажения, так называемый «лестничный эффект» - ступенчатое изменение яркости областей размером в несколько пикселов (рис. 14).
Рис. 14. Восстановленные изображения после сжатия Хаара 2, 6 и 10-го уровней (слева направо соответственно)
Fig. 14. Restored images after the Haar compression of level 2, 6 and 10 (from left to right, respectively)
Вейвлет Добеши (db3 и db5). С помощью вейвлета Добеши db3 можно устранять линейную составляющую сигнала, а с помощью db5 также и составляющую второй степени (рис. 15).
Как и в предыдущем эксперименте, на вход преобразования подается тестовое изображение. Преобразование выполняется для уровней от 1-го до 10-го.
Щ - i -
■ I .......... . вд-
Л „ Л......,j
vlllrW
Рис. 15. Матрицы преобразования 2 уровня db3 (слева) и db5 (справа)
Fig. 15. Transformation matrices DB3 (left) and db5 (right)of level 2
Результаты восстановленных изображений для вейвлета db3 и 2, 6 и 10-го уровней приведены на рис. 16.
Рис. 16. Восстановленные изображения после сжатия вейвлетами Добеши (db3) 2, 6 и 10-го уровней и Добеши (db5) (слева направо, сверху вниз)
Fig. 16. Restored images after compression by the Daubeshies wavelets (db3) of levels 2, 6 and 10 and Daubeshies (db5) (from left to right, from top to bottom)
Визуально вейвлет db5 дает большее размытие изображения по сравнению с db3 при уровнях преобразования 5 и выше. При меньших уровнях разница визуально неразличима.
Вейвлеты Коэна-Добеши-Фово (bior2.2 и bior4.4). Биортогональные вейвлеты Добеши используются в формате сжатия JPEG 2000: CDF 5/3 (bior2.2) в режиме сжатия без потерь, CDF 9/7 (bior4.4) в режиме сжатия с потерями (рис. 17 и 18).
Рис. 17. Восстановленные изображения после сжатия вейвлетами Ыог2.2 2, 6 и 10-го уровней (слева направо)
Fig. 17. Restored images after compression by wavelets bior2.2 of levels 2, 6 and 10 (from left to right)
Рис. 18. Восстановленные изображения после сжатия вейвлетами Ыог4.4 2, 6 и 10-го уровней (слева направо)
Fig. 18. Restored images after wavelets compression by bior4.4 of levels 2, 6 and 10 (from left to right)
В соответствии с выбранными критериями для каждого варианта вейвлет-функции были вычислены нормализованные значения параметров, приведенные в табл. 1.
Из всех результатов экспериментов отобраны 6 лучших методов, показавших наивысшие значения комплексного критерия Ф(0 (табл. 2): преобразование 4-го уровня haar, db3, преобразование 5-го уровня haar, db3.
Таблица 1 Table 1
Результаты работы алгоритмов сжатия и декодирования с потерями Results of compression and decoding algorithms with losses
Эксперимент k сжатия k* * rmse * ssim * psnr * T dec * T 1 enc Ф(0
1-haar 1,270 0,000 1,000 1,000 0,996 0,815 0,420 0,000
1-db3 1,285 0,003 1,000 1,000 1,000 0,802 0,399 0,000
1-db5 1,269 0,000 1,000 1,000 1,000 0,795 0,394 0,000
1-bior4,4 1,285 0,003 1,000 1,000 0,992 0,810 0,427 0,000
1-bior2,2 1,329 0,010 0,999 0,999 0,932 0,804 0,435 0,000
2-haar 1,704 0,069 0,997 0,994 0,812 0,431 0,147 0,000
2-db3 1,723 0,072 0,997 0,994 0,824 0,368 0,120 0,000
2-db5 1,675 0,064 0,997 0,994 0,826 0,355 0,091 0,000
2-bior4,4 1,707 0,069 0,997 0,994 0,818 0,382 0,126 0,000
2-bior2,2 1,780 0,081 0,995 0,991 0,764 0,326 0,105 0,000
3-haar 2,280 0,160 0,988 0,977 0,642 0,235 0,162 8,420
3-db3 2,258 0,156 0,989 0,979 0,659 0,073 0,060 8,290
3-db5 2,164 0,141 0,990 0,980 0,663 0,000 0,000 8,183
3-bior4,4 2,222 0,150 0,989 0,979 0,653 0,031 0,038 8,219
3-bior2,2 2,294 0,162 0,986 0,975 0,616 0,003 0,047 8,102
4-haar 3,075 0,285 0,964 0,937 0,488 0,682 0,606 8,686
4-db3 3,008 0,275 0,969 0,944 0,508 0,596 0,519 8,629
4-db5 2,804 0,242 0,970 0,946 0,514 0,439 0,403 8,398
4-bior4,4 2,910 0,259 0,968 0,944 0,505 0,495 0,443 8,458
4-bior2,2 3,005 0,274 0,963 0,937 0,484 0,543 0,486 8,461
5-haar 4,137 0,453 0,908 0,848 0,352 0,883 0,829 8,501
5-db3 3,933 0,420 0,921 0,868 0,374 0,797 0,749 8,477
5-db5 3,617 0,371 0,922 0,869 0,376 0,709 0,667 8,264
5-bior4,4 3,766 0,394 0,918 0,864 0,369 0,733 0,696 8,302
5-bior2,2 3,880 0,412 0,911 0,855 0,356 0,771 0,731 8,306
6-haar 5,278 0,633 0,791 0,692 0,231 0,940 0,911 7,790
6-db3 4,866 0,568 0,824 0,738 0,257 0,872 0,846 7,876
6-db5 4,441 0,501 0,824 0,736 0,257 0,808 0,784 7,639
6-bior4,4 4,597 0,525 0,818 0,729 0,251 0,818 0,801 7,654
6-bior2,2 4,744 0,548 0,806 0,727 0,242 0,852 0,832 7,682
Таблица 2 Table 2
Количественные результаты работы методов сжатия Quantitative results of compression methods
Эксперимент k сжатия k* * rmse * ssim * psnr T * 1 dec T * ■l enc Ф(0
4-haar 3,074 0,285 0,964 0,937 0,488 0,681 0,606 8,685
4-db3 3,007 0,274 0,968 0,944 0,508 0,596 0,519 8,629
5-haar 4,136 0,452 0,908 0,848 0,352 0,883 0,828 8,501
5-db3 3,932 0,420 0,920 0,868 0,373 0,797 0,749 8,476
4-bior2.2 3,005 0,274 0,963 0,937 0,484 0,543 0,486 8,460
4-bior4.4 2,909 0,259 0,968 0,943 0,505 0,494 0,442 8,458
По субъективной оценке на малых уровнях преобразования (до 3-го включительно) все вейвлеты показывают одинаково хороший результат. Визуально различия становятся заметными на уровнях преобразования 6 и выше (рис. 19).
Рис. 19. Восстановленные изображения после сжатия вейвлетами bior2.2, bior4.4, db3, db5, haar уровня 8 (слева направо сверху вниз)
Fig. 19. Restored images after wavelet compression by bio r2.2, bior 4.4, db3, db5, haar of level 8 (from left to right from top to bottom)
На высоких уровнях преобразования (от 8-го до 10-го) лучший результат показывает вейвлет bior2.2, худший результат - вейвлет haar.
Полученный результат согласуется с тем, что вейвлет bior2.2 (CDF 5/3) используется в формате JPEG 2000 в режиме сжатия без потерь.
Субъективная оценка изображений, полученных методами-лидерами по результатам векторного критерия, дает согласованный результат. Изображение 4-db3 сохраняет больше высокочастотных деталей, 4-haar дает большее размытие. Субъективно 4-db3 лучше, чем 4-haar на заданном тестовом изображении.
ЗАКЛЮЧЕНИЕ
С целью единообразной оценки эффективности существующих вейвлет-преобразований, потенциально подходящих для построения кодеков, применяемых для сжатия данных с потерями в работе, разработан измерительный стенд, позволяющий определить значения предложенного комбинированного критерия эффективности сжатия на примере изображений.
Предложенный измерительный стенд реализован в среде Matlab R20l8a, проведены его испытания на примере наиболее популярных в системах сжатия вейвлетов Хаара (dbl), Добеши (db3, dbS), Коэна-Добеши-Фово (bior2.2, bior4.4).
По результатам определения комбинированного критерия оценки наилучшие результаты показали методы сжатия 4-го уровня haar, db3 и S-го уровня haar, db3. Субъективная оценка изображений, полученных методами-лидерами по результатам векторного критерия, дает согласованный результат. Изображение 4-db3 сохраняет больше высокочастотных деталей, 4-haar дает большее размытие. Субъективно результат 4-db3 выглядит лучше, чем 4-haar на заданном тестовом изображении.
По субъективной оценке на малых уровнях преобразования (до 3-го включительно) все вейвлеты показывают одинаково хороший результат. Визуально различия становятся заметными на уровнях преобразования б и выше. На высоких уровнях преобразования (от 8-го до 10-го) лучший результат показывает вейвлет bior2.2, худший результат - вейвлет haar. Полученный результат согласуется с тем, что вейвлет bior2.2 (CDF S/3) используется в формате JPEG 2000 в режиме сжатия без потерь.
СПИСОК ЛИТЕРАТУРЫ
1. Richardson I.E.G. The H.264 advanced video compression standard. - 2nd ed. - Chichester: Willey, 2010. - 316 p.
2. Кулешов С.В. Гибридные кодеки и их применение в цифровых программируемых каналах передачи данных // Информационно-измерительные и управляющие системы. - 2012. -Т. 10, № S. - С. 41-4S.
3. Кулешов С.В. Методы и технология построения цифровых программируемых инфо-коммуникационных систем: дис. ... д-ра техн. наук. - СПб., 2011. - 240 с.
4. Bruylants T., Munteanu A., Schelkens P. Wavelet based volumetric medical image compression // Signal Processing: Image Communication. - 201S. - Vol. 31. - P. 112-133. -DOI: I0.l0l6/j.image.20l4.l2.007.
5. Астафьева Н.М. Вейвлет-анализ: основы теории и примеры применения // Успехи физических наук. - 1996. - Т. 166, № 11. - С. 114S-1170.
6. Medical video coding based on 2nd-generation wavelets: performance evaluation / M. Ferroukhi, A. Ouahabi, M. Attari, Y. Habchi, A. Taleb-Ahmed // Electronics. - 2019. - Vol. 8 (1). -P. 88. - DOI: l0.3390/electronics80l0088.
7. Krivoshein A.V. From frame-like wavelets to wavelet frames keeping approximation properties and symmetry // Applied Mathematics and Computation. - 2019. - Vol. 344-34S. - P. 204-218. -DOI: I0.l0l6/j.amc.20l8.l0.004.
8. Compression of digital holographic data: an overview / F. Dufaux, Y. Xing, B. Pesquet-Popescu, P. Schelkens // Proceedings of SPIE. - 2015. - Vol. 9599. - DOI: 10.1117/12.2190997.
9. Masoumi M, Rezaei M., Hamza A.B. A blind spatio-temporal data hiding for video ownership verification in frequency domain // AEU - International Journal of Electronics and Communications. - 2015. - Vol. 69, iss. 12. - P. 1868-1879. - DOI: 10.1016/j.aeue.2015.09.015.
10. Mstafa R.J., Elleithy K.M., Abdelfattah E. A robust and secure video steganography method in DWT-DCT domains based on multiple object tracking and ECC // IEEE Access. - 2017. - Vol. 5. -P. 5354-5365. - DOI: 10.1109/ACCESS.2017.2691581.
11. Wijaya B.A., Nasution M.K.M., Zamzami E.M. The steganographic video analysis uses combination of discrete cosine transform and discrete wavelet transform algorithms // Journal of Physics: Conference Series. - 2018. - Vol. 1116 (2). - P. 022046. - DOI: 10.1088/17426596/1116/2/022046.
12. Ntalianis K., Tsapatsoulis N. Remote authentication via biometrics: a robust video-object steganographic mechanism over wireless networks // IEEE Transactions on Emerging Topics in Computing. - 2016. - Vol. 4 (1). - P. 156-174. - DOI: 10.1109/tetc.2015.2400135.
13. Kekre H.B., Sarode T.K., Vig R. A new multi-resolution hybrid wavelet for analysis and image compression // International Journal of Electronics. - 2015. - Vol. 102 (12). - P. 2108-2126. -DOI: 10.1080/00207217.2015.1020882.
14. Hiba H.S.M. Ali, Sharif S.M. Comparison between discrete wavelet transform and maximal overlap discrete wavelet transform as an analysis tool for H.264/AVC video // 2018 International Conference on Computer, Control, Electrical, and Electronics Engineering (ICCCEEE 2018). - Khartoum, Sudan, 2018. - P. 8515873. - DOI: 10.1109/ICCCEEE.2018.8515873.
15. ТрифоновА.Г. Многокритериальная оптимизация. - URL: http://matlab.exponenta.ru/ optimiz/book_1/16.php (дата обращения 22.12.2019).
16. ЛивакЕ.Н. Алгоритмы сжатия. Обзор алгоритмов сжатия с потерями. Алгоритм JPEG2000. - URL: http://mf.grsu.by/UchProc/livak/po/comprsite/theory_jpeg2000.html (дата обращения: 22.12.2019).
17. JPEG 2000. - URL: http://www.jpeg.org/jpeg2000/index.html (accessed: 22.12.2019).
18. JPEG 2000 Quantization. - URL: http://www.whydomath.org/node/wavlets/jpeg2000 quantization.html (accessed: 22.12.2019).
19. Ливак Е.Н. Алгоритмы сжатия. Обзор алгоритмов сжатия без потерь. Метод Хафф-мана. - http://mf.grsu.by/UchProc/livak/po/comprsite/theory_huffman.html (дата обращения 22.12.2019).
20. Padmavati S., Mesharam V.DCT combined with fractal quadtree decomposition and Huffman coding for image compression // International Conference on Condition Assessment Techniques in Electrical Systems (CATCON 2015). - Bengaluru, India, 2015. - Art. 7449503. - P. 28-33. -DOI: 10.1109/catcon.2015.7449503.
Аксенов Алексей Юрьевич, кандидат технических наук, старший научный сотрудник лаборатории автоматизации научных исследований Санкт-Петербургского института информатики и автоматизации РАН. Основное направление научных исследований - обработка данных различной природы. Имеет более 30 публикаций. E-mail: a_aksenov@ iias.spb.su
Кокорин Павел Петрович, кандидат технических наук, научный сотрудник лаборатории автоматизации научных исследований Санкт-Петербургского института информатики и автоматизации РАН. Основное направление научных исследований - инфологи-ческие информационные системы. Имеет 14 публикаций. E-mail: [email protected]
Aksenov Alexey Yu, PhD (Eng.), senior researcher in the laboratory of scientific research automation in the Saint Petersburg Institute of Informatics and Automation of the Russian Academy of Sciences. The main field of his scientific research is processing of data of various nature. He has more than 30 publications. E-mail: [email protected]
Kokorinb Pavel P., PhD (Eng.), research associate in the laboratory of scientific research automation in the Saint Petersburg Institute of Informatics and Automation of the Russian Academy of Sciences. The main field of his scientific research is infological information systems. He has 14 publications. E-mail: [email protected]
DOI: 10.17212/1814-1196-2020-1-7-24
A complex criterion for the evaluation of the video data lossy compression efficiency based on wavelet transforms *
A.Yu. AKSENOVa, P.P. KOKORIN
Saint-Petersburg Institute for Informatics and Automation of RAS, 39, 14 Line, Saint-Petersburg, 199178, Russian Federation
a [email protected] b [email protected]
Abstract
The paper proposes a complex criterion of codec evaluation used to compress lossy video data and a test bench to determine this criterion value. Earlier it was shown that the majority of multimedia coding algorithms could be described by a general multistage scheme. The multiple stage data processing provides an independent algorithm choice for any of the stages but requires interstage parameter coherence to increase the overall codec efficiency. The purpose is to develop an algorithm to evaluate the video data compression efficiency by implementing the hybrid codec architecture on the example of the wavelet transform. A software test bench was developed to evaluate the efficiency of various potentially applicable wavelet transforms for lossy compression and to determine the values of the proposed compression efficiency criteria. The subjective and objective evaluations of compression results for various wavelet function implementation were made. The objective evaluation made on the developed software test bench by the proposed criteria made it possible to range the given wavelet functions by applying to the lossy image compression task. The subjective evaluation showed that on the low level of transformation (3 and lower) all the given wavelets were giving satisfactory visual results. The visual differences are becoming obvious on wavelet transforms of level 6 and higher. The advantage of the proposed approach is an ability to implement a software test bench for the non-reference evaluation of video data compression parameters based on the hybrid codec concept. The development of automated systems for the evaluation of video data compression efficiency makes it possible to speed up the process of video codec development and to standardize the results of video compression system evaluation.
Keywords: hybrid codecs, data compression, wavelet-transform, bit stream, complex criteria, data processing, compression parameters, video data quality measurement
REFERENCES
1. Richardson I.E.G. The H.264 advanced video compression standard. 2nd ed. Chichester, Willey, 2010. 316 p.
2. Kuleshov S.V. Gibridnye kodeki i ikh primenenie v tsifrovykh programmiruemykh kanalakh peredachi dannykh [Hybrid codecs and their use in digital programmable data channels]. Infor-matsionno-izmeritel'nye i upravlyayushchie sistemy = Information-measuring and Control Systems, 2012, vol. 10, no. 5, pp. 41-45.
3. Kuleshov S.V. Metody i tekhnologiya postroeniya tsifrovykh programmiruemykh infokom-munikatsionnykh system. Diss. dokt. tekhn. nauk [Methods and technology for digital programmed infocommunication systems building: thesis. Dr. eng. sci. diss.]. St. Petersburg, 2011. 240 p.
4. Bruylants T., Munteanu A., Schelkens P. Wavelet based volumetric medical image compression. Signal Processing: Image Communication, 2015, vol. 31, pp. 112-133. DOI: 10.1016/j.image.2014.12.007.
5. Astafeva N.M. Wavelet analysis: basic theory and some applications. Uspekhi fizicheskikh nauk = Physics-Uspekhi, 1996, vol. 166, no. 11, pp. 1145-1170. (In Russian).
*
Received 12 February 2020. The research was carried out in SPIIRAN within the framework of the budget theme № 00732019-0005.
6. Ferroukhi M., Ouahabi A., Attari M., Habchi Y., Taleb-Ahmed A. Medical Video Coding Based on 2nd-Generation Wavelets: Performance Evaluation. Electronics, 2019, vol. 8 (1), p. 88. DOI: 10.3390/electronics8010088.
7. Krivoshein A.V. From frame-like wavelets to wavelet frames keeping approximation properties and symmetry. Applied Mathematics and Computation, 2019, vol. 344-345, pp. 204-218. DOI: 10.1016/j.amc.2018.10.004.
8. Dufaux F., Xing Y., Pesquet-Popescu B., Schelkens P. Compression of digital holographic data: an overview. Proceedings of SPIE, 2015, vol. 9599. DOI: 10.1117/12.2190997.
9. Masoumi M, Rezaei M., Hamza A.B. A blind spatio-temporal data hiding for video ownership verification in frequency domain. AEU - International Journal of Electronics and Communicationss, 2015, vol. 69, iss. 12, pp. 1868-1879. DOI: 10.1016/j.aeue.2015.09.015.
10. Mstafa R.J., Elleithy K.M., Abdelfattah E. A robust and secure video steganography method in DWT-DCT domains based on multiple object tracking and ECC. IEEE Access, 2017, vol. 5, pp. 5354-5365. DOI: 10.1109/ACCESS.2017.2691581.
11. Wijaya B.A., Nasution M.K.M., Zamzami E.M. The steganographic video analysis uses combination of discrete cosine transform and discrete wavelet transform algorithms. Journal of Physics: Conference Series, 2018, vol. 1116 (2), p. 022046. DOI: 10.1088/1742-6596/1116/2/022046.
12. Ntalianis K., Tsapatsoulis N. Remote authentication via biometrics: a robust video-object steganographic mechanism over wireless networks. IEEE Transactions on Emerging Topics in Computing, 2016, vol. 4 (1), pp. 156-174. DOI: 10.1109/tetc.2015.2400135.
13. Kekre H.B., Sarode T.K., Vig R. A new multi-resolution hybrid wavelet for analysis and image compression. International Journal of Electronics, 2015, vol. 102 (12), pp. 2108-2126. DOI: 10.1080/00207217.2015.1020882.
14. Hiba H.S.M. Ali, Sharif S.M. Comparison between discrete wavelet transform and maximal overlap discrete wavelet transform as an analysis tool for H.264/AVC video. 2018 International Conference on Computer, Control, Electrical, and Electronics Engineering (ICCCEEE 2018), Khartoum, Sudan, 2018, p. 8515873. DOI: 10.1109/ICCCEEE.2018.8515873.
15. Trifonov A.G. Mnogokriterial'naya optimizatsiya [Multi-criteria optimization]. Available at: http://matlab.exponenta.ru/optimiz/book_1/16.php (accessed 22.12.2019).
16. Livak E.N. Algoritmy szhatiya. Obzor algoritmov szhatiya s poteryami. Algoritm JPEG2000 [Compression algorithms. Overview of lossy compression algorithms. Algorithm JPEG2000]. Available at: http://mf.grsu.by/UchProc/livak/po/comprsite/theory_jpeg2000.html (accessed 22.12.2019).
17. JPEG 2000. Available: http://www.jpeg.org/jpeg2000/index.html (accessed 22.12.2019).
18. JPEG 2000 Quantization. Available at: http://www.whydomath.org/node/wavlets/ jpeg2000quantization .html (accessed 22.12.2019).
19. Livak E.N. Algoritmy szhatiya. Obzor algoritmov szhatiya bez poter'. Metod Khaffmana [Algorithms of compression. Overview of lossless compression algorithms. Huffman method]. Available at: http://mf.grsu.by/UchProc/livak/po/comprsite/theory_huffman.html (accessed 22.12.2019).
20. Padmavati S., Mesharam V. DCT combined with fractal quadtree decomposition and Huffman coding for image compression. International Conference on Condition Assessment Techniques in Electrical Systems (CATCON2015), Bengaluru, India, 2015, art. 7449503, pp. 28-33. DOI: 10.1109/catcon.2015.7449503.
Для цитирования:
Аксенов А.Ю., Кокорин П.П. Комплексный критерий оценки эффективности сжатия видеоданных с потерями с применением вейвлет-преобразований // Научный вестник НГТУ. -2020. - № 1 (78). - С.7-24. - DOI: 10.17212/1814-1196-2020-1-7-24.
For citation:
Aksenov A.Yu., Kokorin P.P. Kompleksnyi kriterii otsenki effektivnosti szhatiya video-dannykh s poteryami s primeneniem veivlet-preobrazovanii [A complex criterion for the evaluation of the video data lossy compression efficiency based on wavelet transforms]. Nauchnyi vestnik Novosi-birskogo gosudarstvennogo tekhnicheskogo universiteta = Science bulletin of the Novosibirsk state technical university, 2020, no. 1 (78), pp. 7-24. DOI: 10.17212/1814-1196-2020-1-7-24.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 78, No 1, 2020, pp. 7-24
