CC BY
116
УДК 004.627
DOI: 10.17586/0021-3454-2015-58-7-520-526
МЕТОД СЖАТИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ НА ОСНОВЕ ВНУТРИКАДРОВОГО ПРЕДСКАЗАНИЯ ЯРКОСТИ ПИКСЕЛОВ
И. C. Рубина
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: rubren@mail.ru
Представлен анализ используемых в стандартах сжатия видеоданных H.265 и VP9 алгоритмов внутрикадрового предсказания яркости пикселов, исследованы особенности алгоритмов и выработаны рекомендации по их применению. Устранение информационной избыточности опорных кадров — одна из главных задач процесса видеокомпрессии, а основой кодирования опорных кадров является построение прогноза для отдельных пикселов или их групп. Показано, что эффективность алгоритмов устранения информационной избыточности обеспечивается путем повышения эффективности алгоритмов внутрикадрового предсказания. Особое внимание уделено изучению таких показателей, как качество и степень сжатия видеоданных и вычислительная сложность процесса сжатия. Установлено, что повышение гибкости механизма выбора процедуры прогнозирования позволяет существенно уменьшить вычислительные затраты при сохранении качества работы алгоритма предсказания. Предложен адаптивный метод внутрикадрового предсказания, базирующийся на алгоритме предсказания, введенном стандартом H.265, и инвариантный к изменению свойств видеосцены за счет относительного снижения качества получаемого видеоряда. Для оценки разработанного метода использован ряд видеопоследовательностей из тестового набора JCT-VC для стандарта H.265.
Ключевые слова: сжатие видеоданных, HEVC, VP9, внутрикадровое предсказание, адаптивный режим.
Введение. Современный этап развития информационно-вычислительных систем характеризуется широким внедрением технологий мультимедиа, что обусловливает необходимость разработки методов и алгоритмов сжатия цифровых видеоизображений и видеопотоков. Такие алгоритмы основаны на обработке групп изображений, имеющих информационную избыточность [1, 2].
Первый кодек согласно стандарту нового поколения HEVC (High Efficiency VideoCoding) высокопроизводительного кодирования видеоданных [3] был представлен в феврале 2012 г. Тем не менее для широкого круга специалистов представляет интерес разработка эффективных алгоритмов в рамках различных этапов кодирования.
Существующие системы обработки видеоданных используют методы сжатия с потерями за счет передачи опорных (I) кадров, сжатых по пространственным координатам, а также ссылочных (P и B) кадров, сжатых по пространственно-временным координатам [4]. При этом учитываются особенности восприятия подобного типа данных человеком [5]. На сегодняшний день устранение информационной избыточности опорных кадров — одна из главных задач процесса видеокомпрессии.
Основой кодирования опорных кадров является построение прогноза яркости для отдельных пикселов или их групп [6]. Проблеме обеспечения качества работы алгоритмов устранения информационной избыточности путем повышения эффективности алгоритмов внутрикадрового предсказания и посвящена настоящая статья.
Схемы алгоритмов. Схематичное представление существующих алгоритмов [7] внут-рикадрового предсказания яркости пикселов приведено на рис. 1.
В частности, на рис. 1, а, б представлены режимы V_PRED и H_PRED, при реализации которых прогнозирование осуществляется дублированием значения соответствующей строки или столбца, а на рис. 1, в, г — режимы DC_PRED и TM_PRED кодека VP8 [8].
а)
б)
Со А0 Ai Аз А3 Ci с2
to ■ ?00 ■ $01 ■ ■ ?03
Li ■ £ю in in L
■ Х20 ■ Х21 ■ 5-22 ■ Х23
к * ■»■30 У ^^2 У Л33
Со 4 Ci c2
Ао Ai A2 Wi
L0 Хц» ■ ■ ■ ■ iigj ■
Li ^мо ■5fiT" ■ v ■ ■ Л. 12
L2 V" "V" Л.21 ■ Ml- Л.22
L3 ■ ■ ■ Л-30 ■ u ■ ■ Л-31 ■ *,« ■ ■ Л.32 '^33
в)
г)
Co. д Л Л ЯфГТ Ci С:
- A(( -"Ч
L ( ) Xoo Xfll XQ2 Хоз
L Хш х„ X12 Х13
L > X20 X21 X22 Х23
L X30 X31 X32 Х33
Co A0 Ai a2 A3 Ci C2
L0 Xoo X01 X02 Хаз
Li X10 x„ X12 X13
Lj X20 X21 X22 X23
U X30 X31 X32 X33
д)
31 29 27
Рис. 1
В ходе предсказания по алгоритму DC_PRED прогнозируемое значение яркости каждого пиксела блока вычисляется как среднее арифметическое яркости пикселов, находящихся на границе (выше и левее) прогнозируемых семплов. В ходе обработки по алгоритму TM_PRED прогнозируемое значение яркости каждого из семплов вычисляется по формуле [1]
X , = L + Л, -C, 1,J 1 j
(1)
где Ьи А] и С — яркости семплов, расположенных по горизонтали и вертикали относительно текущего семпла и диагонали для блока, /, ] = 0, 1, ..., 3.
Как показали исследования, эти алгоритмы не могут быть эффективно применены для кадров с однородной текстурой и малым градиентом яркости. Однако благодаря малой вычислительной сложности данные алгоритмы нашли свое применение при кодировании видеокадров с предельной эффективностью.
Для улучшения показателя качества сжатия в рамках алгоритма H.264 был предложен алгоритм внутрикадрового предсказания с 9 возможными режимами [9], представленный на рис. 1, д. Благодаря учету градиента яркости по 9 направлениям эффективность предсказания повышена на 10 % за счет более высоких вычислительных затрат [10]. Малая значимость полученных результатов связана с тем, что при высоких степенях сжатия, на которые ориентирован алгоритм H.264, наиболее вероятными, несмотря на более широкий диапазон режимов, оказались основные 4 режима кодека VP8.
В этой связи в рамках стандарта HEVC подлагается использовать 35 режимов предсказания INTRA_ANGULAR (рис. 1, е), а именно 2 режима, „унаследованные" из алгоритма H.264, которые являются наиболее вероятными при высоких степенях сжатия, и 33 новых режима, основанные на выборе градиента яркости. При этом стандарт HEVC предусматривает выбор трех наиболее вероятных прогнозов для блока в зависимости от прогнозов для соседних блоков [11] путем подсчета RD-характеристики для всех режимов. Следует отметить, что использование RD-характеристики позволяет выбрать оптимальный режим внутрикадрового предсказания, однако расчет значения имеет высокую вычислительную сложность. Поэтому разработка менее вычислительно сложного подхода к выбору режимов внутрикадрового предсказания является оправданной.
Разработанный метод. В ходе исследования было сделано предположение, что повышение гибкости механизма выбора процедуры прогнозирования позволит существенно уменьшить вычислительные затраты при сохранении качества работы алгоритма предсказания.
Выбор режима предсказания предлагается осуществлять следующим образом.
1. Осуществляется проход по всем семплам кадра. Если определенный семпл не последний, то осуществляется переход к шагу 2.
2. Первые два наиболее подходящих режима предсказания, обозначенные как A и B, выбираются способом, описанным в тестовой модели кодека HEVC [12].
3. Если А != В, то среди всех режимов, отличающихся от А и В, выбирается режим C, для которого используется критерий F: F(C) > max(F(A), F(B)). Если A=B и A= =Intra_Angular[x], то поиск осуществляется только среди режимов Intra_Angular[x].
4. Выбор среди угловых режимов предсказания осуществляется методом последовательного перебора в направлениях 1—8 и 17—33 одновременно (см. рис. 1, е). В качестве критерия F в настоящем исследовании используется оценка среднеквадратического отклонения яркости пикселов исходного изображения от предсказанного [2]:
где т, п — размеры кадра; /(г, у) и К(/, у) — яркости соответствующих пикселов прогнозируемого и ссылочного кадров.
5. В случае увеличения МБЕ в течение двух шагов выбирается режим предсказания, наиболее близкий по критерию Е.
Эксперимент. Для тестирования разработанного метода был использован ряд видеопоследовательностей из тестового набора 1СТ-УС для стандарта Н.265 [13—15]:
1) Реор1еОп81хее1;, разрешение 2560x1600, 50 кадров/с;
2) БОТеггаее, разрешение 1920x1080, 50 кадров/с;
3) РаГуБеепе, разрешение 832x480, 60 кадров/с.
m-1 n-1
(2)
На рис. 2 приведена диаграмма, отражающая вероятность (Р) выбора конкретных режимов предсказания при сжатии указанных тестовых видеопоследовательностей. Как видно, наиболее вероятными для всех видеопоследовательностей являются режимы предсказания 1п1ха_ВС и 1п1ха_Р1апаг. Однако для каждой видеопоследовательности существуют несколько угловых режимов предсказания с вероятностью Р > 4 %, что в целом оправдывает использование такого количества угловых режимов предсказания в стандарте Н.265.
Р.%
25 20 15 10
■ вО.Теггасе
□ РеоркОг^ге □ РаЛу5с«№ е!
: к л 1 J и ] Л Л1 п № № 1 1) Г л 1 1< 11 ¡ь Й Й1 Й1 Л1
л с. " Л л а. з ¡■3 3 ^ " л га га га л з "р з з з се о ч-4 " " 4=11 К Л 'ь.' 3 3»« ¡4 *—1 га л с& о? н н н н н га га л л га о «М: га ■и <м га 7 т М СМ 5 га ГМ ГМ га га о л N л В гч л От Г4! га сГ Гг-1 га '—г пг. га ГМ !*Л гг, гл га га
С. О - С. О С I
<<<<<<<<<
Ц у Ь.О Км (.О к/. щ ьд к^, к,.,;, Щ ^ ^С М ^С и "1! Щ ЬО Ь.О Км (.О К/.
< ч 4 ч <
< < < < ч <
Рис. 2
На рис. 3 показано количество (в процентах) проанализированных режимов предсказания от общего числа просчитанных в тестовой модели НМ 13.0 режимов для видеопоследовательностей с различной степенью сжатия. При использовании разработанного метода в среднем приходится просчитывать на 35 % режимов меньше, чем по тестовой модели НМ 13.0, что является существенным снижением вычислительной сложности этапа внутрикадрового сжатия изображения.
100 90 80 70 60 50 40 30 20 10 0
Рис. 3
КО-зависимости для рассматриваемых тестовых видеопоследовательностей представлены на рис. 4, а—в: наибольшие потери в 1,05 % по качеству сжатия (пиковому отношению сигнал/шум — РБЫК) были выявлены на видеопоследовательности Реор1еОп81хее1;, а в среднем такие потери составили 0,77 % от качества сжатия с использованием тестовой модели НМ 13.0; наибольший выигрыш в 2,07 % по скорости сжатия (битрейт) был также получен на
5
0
видеопоследовательности Реор1еОп81хее1;, а в среднем выигрыш составил 1,89 % от скорости сжатия с использованием тестовой модели НМ 13.0.
а)
Рис. 4
Заключение. Представленный метод выбора режима внутрикадрового предсказания яркости пикселов для сжатия видеопоследовательностей позволяет значительно снизить вычислительные затраты. На основе полученных результатов можно утверждать, что путем дальнейшей оптимизации процедуры поиска может быть улучшено соотношение скорости сжатия к его качеству.
СПИСОК ЛИТЕРАТУРЫ
1. Generic Coding of Moving Pictures and Associated Audio Information: Video: MPEG-2 ISO/IEC 13818-2. Intr. 1998.04.28. ITU, 1998. 202 p.
2. Тропченко А. Ю, Тропченко А. A. Методы сжатия изображений, аудиосигналов и видео: Учеб. пособое. СПб: СПбГУ ИТМО, 2009. 108 с.
3. Bross B. High Efficiency VideoCoding (HEVC) — Text Specification Draft 10 [Электронный ресурс]: <http://phenix.int-evry.fr/jct/>, 24.12.2014.
4. Ватолин Д., Ратушняк А., Смирнов М. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: ДИАЛОГ-МИФИ, 2003. 384 с.
5. Сэломон Д. Сжатие данных, изображений и звука. М.: Техносфера, 2004. 368 с.
6. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 — стандарты нового поколения. М.: Техносфера, 2005. 368 с.
7. Grois D., Marpe D., Mulayoff Л., Hadar O. Performance comparison of H.265/MPEG-HEVC, VP9, and H.264/MPEG-AVC encoders // Proc. of the 30th Picture Coding Symp. 2013. Vol. 6, N 4. P. 122—143.
8. Bankoski J., Wilkins P., Xu Ya. Technical overview of VP8, an open source videocodec for the Web // Proc. of the IEEE Intern. Conf. on ICME. 2011. Vol. 14, N 4. P. 343—358.
9. Richardson I. White Paper: H.264/AVC Intra Prediction [Электронный ресурс]: <http://www.vcodex.com/ files/H264_intrapred_wp.pdf>, 16.12.2014.
10. H.264: Advanced Videocoding for Generic Audiovisual Services: Recommendation ITU-T. Intr. 2011.03.14. ITU, 2011. 686 p.
11. Recommendation ITU-T H.265: High Efficiency Videocoding [Электронный ресурс]: <http:// www.itu.int/ dms_pubrec/itu-t/rec/h/T-REC-H.265-201304-S!! SUM-HTM-E.htm>, 01.02.2015.
12. Тестовая модель кодека HM 13.0 стандарта H.265/HEVC [Электронный ресурс]: <https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/>, 11.01.2015.
13. Тестовые видеопоследовательности исследовательской группы JCT-VC [Электронный ресурс]: <ftp://ftp.tnt.uni-hannover.de/testsequences>, 15.12.2014.
14. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
15. Bossen F. Common Test Conditions and Software Reference Configurations [Электронный ресурс]: <http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F900-v1.zip>, 16.12.2014.
Сведения об авторе
Ирина Семеновна Рубина — канд. техн. наук; Университет ИТМО; кафедра вычислительной техни-
ки; E-mail: rubren@mail.ru
Рекомендована кафедрой Поступила в редакцию
вычислительной техники 24.02.15 г.
Ссылка для цитирования: Рубина И. C. Метод сжатия видеопоследовательностей на основе внутрикадрового
предсказания яркости пикселов // Изв. вузов. Приборостроение. 2015. Т. 58, № 7. С. 520—526.
ALGORITHM OF VIDEO SERIES COMPRESSION BASED ON INTRA-FRAME PREDICTION OF PIXEL BRIGHTNESS
I. S. Rubina
ITMO University, 197101, Saint Petersburg, Russia E-mail: rubren@mail.ru
Existing algorithms of intra-frame pixel brightness prediction are considered. The algorithms used in video compression standards H.265 and VP9 are analyzed, characteristics of the algorithms are studied, and recommendations on their application are formulated. It is shown that a fundamental problem in video compression is the referent frame redundancy, and reduction in spatial redundancy may be improved by increasing the efficiency of intra-frame prediction algorithms. Particular attention is paid to indicators such as quality, compression ratio and computational complexity of compression process. Improving the flexibility of the mechanism of prediction procedure selection is found to reduce significantly the computational expenses while retaining the prediction algorithm performance. An adaptive method of in-tra-frame prediction based on the algorithm introduced by H.265 standard is proposed. The method is invariant to variations in video scene properties and reduces significantly the computational cost at the expense of a slight decrease in the video series quality. Results of testing the developed method with the use of a number of video sequences from JCT-VC test set for the H.265 standard are presented.
Keywords: video series compression, HEVC, VP9, intra-frame prediction, adaptive mode.
Data on author
Irina S. Rubina — PhD; ITMO University, Department of Computation Technologies; E-mail: rubren@mail.ru
Reference for citation: Rubina I. S. Algorithm of video series compression based on intra-frame prediction of pixel brightness // Izvestiya Vysshikh Uchebnykh Zavedeniy. Priborostroenie. 2015. Vol. 58, N 7. P. 520—526 (in Russian).
DOI: 10.17586/0021-3454-2015-58-7-520-526
