Исследование алгоритмов кодирования преобразованием в задачах сжатия кадров видеопоследовательности Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.627

И. C. Рубина, А. Ю. Тропченко

ИССЛЕДОВАНИЕ АЛГОРИТМОВ КОДИРОВАНИЯ ПРЕОБРАЗОВАНИЕМ В ЗАДАЧАХ СЖАТИЯ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Предложен быстрый алгоритм кодирования видеоданных преобразованием при сжатии опорных и остаточных кадров, основанный на трехмерном преобразовании Хартли с фиксированным и переменным размером матрицы преобразования.

Ключевые слова: кодирование преобразованием, преобразование Хартли, трехмерный алгоритм, матрица переменного размера, пространственная модель.

Введение. Алгоритмы кодирования преобразованием широко используются для сжатия изображений, а также видеопоследовательностей. Этап кодирования преобразованием является частью пространственной модели видеокомпрессора [1]. Исходными данными для этого этапа являются отсчеты кадров видеопоследовательности. Обрабатываемые кадры подразделяются на:

1) опорные, или intra-кадры [1], не обрабатываемые блоком компенсации движения. Чем больше таких кадров выделяется в процессе сжатия видеопоследовательности, тем выше качество воспроизводимого видеоряда и меньше степень сжатия;

2) остаточные, представляющие собой разность исходного кадра и кадра-прогноза, полученного в процессе компенсации движения. Такие кадры определяют погрешность временной модели. В результате выполнения кодирования формируются коэффициенты разложения сигнала по базису, состоящему из функций, локализованных по частоте, а также в пространстве. Полученные коэффициенты преобразования поступают на вход квантователя и переупорядочиваются. Процесс сжатия завершается поэлементной обработкой потока энтропийным кодером.

Алгоритмы кодирования преобразованием подразделяются на блочные и глобальные, когда преобразованию подвергается все изображение [2]. В настоящей работе анализируется блочный тип преобразования.

Блочные преобразования выполняются над квадратными блоками опорного или остаточного кадра и после ряда операций формируют блоки коэффициентов таких же размеров. Элементами таких блоков служат сэмплы. Любой блок кадра можно восстановить с помощью линейной комбинации N х N базисных шаблонов [1], умножаемых на соответствующие весовые множители (коэффициенты преобразования). Достоинством блочных преобразований являются низкие требования к объему памяти. Среди недостатков можно выделить возможность возникновения артефактов на стыках блоков.

При кодировании на основе блоков используются ортогональные преобразования в различных функциональных базисах, например, дискретное косинусное преобразование (ДКП) и преобразование Хартли. Достоинством преобразования Хартли является то, что в отличие от преобразования Фурье оно вещественное. Преобразование Хартли определяется как

ж

H(?) = J f (x)cas2nsxdX, (1)

—ж

где cas2nsx = sin 2nsx + cos 2nsx [3].

Схемы алгоритмов. В ходе исследования был проведен анализ следующих алгоритмов преобразования.

1. Двумерное дискретное преобразование Хартли (2D-ДПХ), определяемое формулой:

1 ^ М-*,. , (2п— 2пу/ Н(и,V) =-> > /(, 1 )casI-+ —-

1=0^ V N М ,

(2)

где N х М— размеры матрицы преобразования, а Ху) — значение яркости кадра в точке с координатами (7, 1).

2. Двумерное дискретное косинусное преобразование (2D-ДКП), определяемое формулой:

N-1М-1

у(— v)=сис ЕЕ /(7,1) cos

7=0 1=0

хи(27 +1) уп(2 1 +1)

2 N

2М

(3)

где Си ^^ (и=0)> С— = ^^ ^и>0), а Ду) — коэффициенты разложения.

3. Трехмерное дискретное преобразование Хартли (3D-ДПХ), определяемое в соответствии с выражением:

х(— V о = Е ЕЕ Еcas I 7и+М 1+р ыV(7, к),

7=0 1=0 к=0 ^ ^ М Р '

(4)

где Р — число кадров, индекс * определяет номер двумерной страницы в трехмерном блоке разложения, а _/(7,/,к) — значение яркости отсчета в точке с координатами (у) к-го кадра.

Рассмотренные двумерные алгоритмы преобразования реализуются строчно-столб-цовым методом. В матричном виде это может быть записано следующим образом:

^ =[ENXN ] % , (5)

где EN — матрица ядра дискретного ортогонального преобразования.

Дискретное многомерное преобразование Хартли реализовывалось в соответствии с алгоритмом, описанным в работе [4]. Такой подход позволяет существенно снизить вычислительные затраты.

4. Быстрое трехмерное дискретное преобразование Хартли с фиксированным размером матрицы преобразования (3D-БПХФ). Разработанный быстрый алгоритм основан на вычислении коэффициентов меньших 3D-блоков через коэффициенты более крупных.

Данный алгоритм быстрого преобразования получен в результате декомпозиции исходной суммы основного соотношения на восемь частичных сумм, для каждой из которых 7, 1, к либо четные, либо нечетные, и применения тригонометрических преобразований функций:

х0 = Х000 (u, ^ *) х1 = Х0 01 (—V * )са^-р»

х2 = Х010 (—v, *)

са8-

2-^ ~М '

= Х011 (—V*)са§2п[ М + Р I'

х4 = Х100 (—V )

са8-

2 пи

х5 = Х101 (—V *)са§2п| ^ + р

х

6=х110 (и, v, *) саэ2п | N+М ]'

= Х,'п (и,V,*)са82п[ — + — + — I, 11и ' V N М Р)

(6)

где

N/2-1M / 2-1P/2-1 (

X'abc (u, v, t) = S S S X(27 + a,2j + b,2k + c)cas

i=0 j=0 k=0

„ . 2iu 2 jv 2kt

l N M P

abc — трехбитный двоичный код, определяющий номер формируемой суммы.

Блок промежуточной размерности формируется на основе вычисляемых частичных сумм по формуле:

X (u', v', t ') = S(± xr ), (7)

r=0

где u', v', t' — размерность вычисляемого промежуточного блока, а r — номер частичной суммы. Промежуточный блок может иметь размерность, уменьшаемую вдвое хотя бы по одной из координат. Если размер блока уменьшается по одной или по всем координатам, то знак суммы считается отрицательным. При уменьшении размеров по двум координатам знак не изменяется.

5. Быстрое трехмерное дискретное преобразование Хартли с переменным размером матрицы преобразования (ЗБ-БПХП). Выбор размера матрицы преобразования определяется на этапе компенсации движения по следующему алгоритму [5]:

— все изображение делится на блоки равного размера;

— для каждого блока выполняется проверка условия: если величина ошибки (соответствие) обрабатываемого блока с наиболее схожим блоком ссылочного кадра выше некоторой пороговой, то блок делится на четыре промежуточных фрагмента меньшего размера;

— если достигнуто заданное число промежуточных блоков или получена требуемая точность совпадения, процесс для исходного блока останавливается.

Экспериментальные результаты. Для анализа описанных ранее алгоритмов кодирования преобразованием были выбраны стандартные тестовые последовательности группы MPEG: „Теннис", „Бригадир" и „Береговая охрана" [6].

Для количественного сравнения эффективности рассматриваемых преобразований были использованы следующие характеристики:

1) пиковое соотношение сигнал/шум (PSNR, peak signal to noise ratio) (рис. 1), вычисляемое в соответствии с формулой:

(2q -1)2

PSNR = 10log10 --—, (8)

10 MSE

где q=8 — разрядность цветовой схемы, а MSE — среднеквадратичное отклонение яркости исходного изображения от восстановленного, определяемое формулой:

1 M-1N-1 л 2

MSE = Т7Г S Si \f (U j) - j J , (9)

MN i=0 j=0

где f (i, j) и f(i, j) — яркость соответствующих пикселов исходного и восстановленного кадра;

2) характеристика, выражающая зависимость искажения сигнала (PSNR) от степени его сжатия Ксж (рис. 2, 1 — 2Б-ДКП; 2 — 2Б-ДПХ; 3 — ЗБ-ДПХ, ЗБ-БПХФ; 4 — ЗБ-БПХП);

3) вычислительная сложность алгоритма, измеряемая числом операций умножения Q1 и сложения Q2 на пиксел (рис. 3, а и б соответственно). На рис. 4 представлены зависимости числа операций Q от размера блока V с учетом возможного приращения его размерности.

Все эксперименты проводились для 256 уровней квантования.

РБШ, дБ п 60

59

58 57 56 55 54 53

1

I

1

I

I

1

4

8

16

32 V

]— 2Б-ДКП; Е1 — 2Б-ДПХ; Ц — 3Б-ДПХ, 3Б-БПХФ Рис. 1

Ксж

15 10

5

53

а) Ql 60

50

40

30

20

10 0

57

Рис. 2

б) 02

60 50 40 30 20

60 РВМЯ, дБ

8 16 32 V

И — 2Э-ДКП: [Щ] — 2Э-ДПХ: |

Рис. 3

О

10 0

4 8 16

— ЗБ-ДПХ; И — ЗБ-БПХФ

32 V

16

12

8 4

1

I

II

1

1

I

4,+4 4,+14 8,+<3 ^ ^ ^ 4,+28 8,+24 16,+16 V Рис. 4

0

4

0

Заключение. В ходе анализа было установлено следующее:

1) алгоритм 2Э-ДПХ превзошел 2D-ДКП по качеству восстановленной видеопоследовательности на 5 %, но уступил ему в степени сжатия;

2) алгоритм 3Э-Д11Х позволил вдвое увеличить степень сжатия видеопоследовательности при незначительном ухудшении ее качества при восстановлении. Это объясняется тем, что алгоритм выполняет преобразование не только в пространстве, но и во времени, устраняя соответствующую избыточность;

3) алгоритм 3D-БПХФ позволил на 30 % сократить число операций сложения/умножения на пиксел кадра видеопоследовательности за счет иерархического расчета коэффициентов преобразования;

4) алгоритм 3D-БПХП обеспечил повышение качества восстановленной видеопоследовательности на 2 %, а также степень ее сжатия на 1,5 %, что объясняется использованием адаптивно выбираемого размера матрицы преобразования для областей с мелкими деталями и для областей фона соответственно.

Таким образом, при использовании предложенных алгоритмов получено более высокое качество восстановленной видеопоследовательности и большее значение коэффициента сжатия при меньших вычислительных затратах за счет применения алгоритмов быстрого преобразования и переменного размера матрицы преобразования.

список литературы

1. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 — стандарты нового поколения. М.: Техносфера, 2005.

2. Ватолин Д., Ратушняк А., СмирновМ., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: ДИАЛОГ-МИФИ, 2003.

3. БрейсуэллP. Преобразование Хартли. М.: Мир, 1990.

4. Yonghong Z., Guoan B., Abdul R. L. New algorithms for multidimensional discrete Hartley transform // Signal Processing. 2002. Vol. 82. P. 1086—1095.

5. Ribas-Corbera J., Neuhoff D. L. On the optimal block size for block-based, motion compensated video coders // SPIE Proc. of Visual Communications and Image Processing. 1997. Vol. 3024. P. 1132—1143.

6. Рубина И. С., Тропченко А. Ю. Исследование алгоритмов выбора опорных пикселов в задачах выделения сегментов кадра видеопоследовательности // Изв. вузов. Приборостроение. 2012. Т. 55, № 1. С. 9—14.

Сведения об авторах

Ирина Семеновна Рубина — аспирант; Санкт-Петербургский национальный исследовательский

университет информационных технологий, механики и оптики, кафедра вычислительной техники; E-mail: [email protected] Александр Ювенальевич Тропченко — д-р техн. наук, профессор; Санкт-Петербургский национальный

исследовательский университет информационных технологий, механики и оптики, кафедра вычислительной техники; E-mail: [email protected]

Рекомендована кафедрой Поступила в редакцию

вычислительной техники 08.02.12 г.