CC BY
10УДК 621.397.037.373.2
Оценка качества сжатой видеоинформации
А.В. Черепанова
В данной статье рассматриваются методы объективного анализа работы видеокодеков с использованием только закодированных последовательностей. Данные методы анализа позволяют оценить качество работы видеокодека без применения знаний о внутренней структуре кодека. Основное достоинство такого подхода заключается в возможности автоматизировать процесс тестирования. Это позволяет измерить качество обработки видео при большом количестве различных настроек и тестовых видео или измерить качество в реальном времени. При измерениях получаются точные и воспроизводимые данные.
Ключевые слова: анализ видеокодеков, битрейт, ЯС-кривая.
1. Введение
С широким распространением таких технологий, как цифровое телевидение, потоковое видео через Интернет, компрессия видеоданных, т.е. их обработка с целью сокращения объёма информации стала существенным компонентом широковещательного и развлекательного медиа. Успешное внедрение цифрового телевидения стало возможным, в частности, благодаря стандарту MPEG-2, разработанному более 15 лет назад и широко используемому в настоящее время, но морально устаревшему [1]. На данный момент созданы более совершенные стандарты видеокодирования, например, H.264/AVC, или MPEG-4. На основании анализа рынка аппаратных разработок в области видеокодирования и направлений научных исследований можно сделать вывод, что MPEG-4 займёт лидирующее положение среди форматов сжатия видео в ближайшее время. Однако применение более совершенных методов кодирования не позволяет в полной мере избежать появления характерных для видеокодеков искажений [2].
Задачи увеличения эффективности кодирования неразрывно связаны с задачами повышения качества изображения, поэтому проведение исследований в области оценки качества сжатых изображений является актуальным направлением исследований.
Оценивать качество сжатого видео можно различными способами: как среднюю оценку мнений людей о сжатом видео или как среднюю оценку попарного сравнения каждого из параметров видеокодека. Существует два подхода к решению этой задачи: субъективная и объективная оценка качества видео.
Субъективное тестирование - это альтернативный способ получить оценку качества. Идея субъективного тестирования состоит в том, что видео, пропущенное через сравниваемые системы, демонстрируется группе экспертов, которые выставляют оценки, основываясь на своих впечатлениях от качества. Существует много методов демонстрации последовательностей и сбора оценок, многие из них описаны в рекомендациях ITU . Но в основном они рассчитаны на сравнение видео в телевизионном формате и не очень удобны для проведения тестирования на ПК.
Объективное тестирование - это процесс создания математической модели, которая удачно имитирует результаты субъективной оценки качества, они основаны на критериях и метриках, которые могут быть измерены количественно. Главное достоинство этого под-
хода - в возможности автоматизировать процесс тестирования, что позволяет измерить качество обработки видео при большом количестве различных настроек и тестовых видео или измерить качество в реальном времени. При измерениях получаются точные и воспроизводимые данные.
В последнее время в области объективного тестирования появились некоторые улучшения: активно разрабатываются новые метрики, адекватно отражающие восприятие видеопотока с точки зрения системы человеческого зрения [3, 4].
В данной статье рассматриваются методы объективного анализа работы видеокодеков с использованием только закодированных последовательностей. При этом, без применения знаний о внутренней структуре кодека, можно оценить качество его работы и оценить количество определённых артефактов, возникающих в процессе кодирования.
2. Методы объективного сравнения видеокодеков
2.1. Построение RD-кривой
Простейшим методом оценки эффективности видеокодека по закодированным им последовательностям является построение RD-кривой (Rate - Distortion Curve) для данной последовательности. RD-кривая - это зависимость количества искажений от степени сжатия для данной последовательности.
В теории кодирования сигналов с потерями функция зависимости размера данных от искажений сигнала определяется следующим образом [2]:
R(D)= mm I(X;X) (1)
p(xx,xY\ Л р(х) p(x;x)d(x;x)<D
где:
R(D) - искомая RD-функция,
X - исходный сигнал,
X - декодированный сигнал,
I - взаимная информация,
р - плотность вероятности сигнала,
d - расстояние между исходным и декодированным сигналом в некоторой метрике.
Смысл этой формулы в том, что ищется такой код для сигнала, чтобы среднее искажение не превосходило заданной величины D, а на передачу тратилось минимальное количество ресурсов [5, 8].
Существуют различные аналитические выражения этой функции для различных распределений исходных данных. Некоторые из них успешно используются в алгоритмах управления кодеком. Однако в случае оценки итогового качества аналитические выражения используются редко, что связано, в первую очередь, со значительной коррелированностью исходных данных и сложностью алгоритмов видеокодеков.
Аппроксимацию зависимости между коэффициентами сжатия данных и внесёнными искажениями удобно проводить с использованием кусочно-линейной функции [6].
Для построения этой кривой выбранная последовательность сжимается с различными заданными значениями битрейта, и замеряется качество полученных после кодирования последовательностей с использованием одной из выбранных метрик качества сжатого видео. По полученным точкам строится RD-кривая. Этот метод применяется достаточно давно и является одним из самых распространённых при разработке кодеков. Однако он обладает рядом недостатков: не учитывает качество кодирования отдельных кадров из-за усреднения по всей последовательности, не позволяет проследить работу кодека во времени.
Можно использовать покадровые значения метрики или размеры отдельных кадров, но в действительности эти величины сильно зависят друг от друга. В литературе предложено множество формул, аппроксимирующих эту зависимость, но все они зависят от параметров видеопоследовательности. Поэтому удобно использовать в качестве аппроксимации такой зависимости экспериментально полученную КО-характеристику для данной видеопоследовательности и мерить качество сжатия отдельных кадров относительно данной характеристики (рис.1). Точнее, на график Битрейт/Качество наносятся точки, соответствующие отдельным кадрам, и считается расстояние со знаком до усреднённой КО-кривой (если точка находится выше кривой, то знак «плюс», если ниже, то со знаком «минус»), т.е.
£> = £ • шп пт\гР, + (1 - - Р\ , (2)
/=0..и-1 р,1_
где
р, = 4 , - экспериментально полученные точки усреднённой кривой,
р= Ад — точка, соответствующая данному кадру,
5 = ±1 в зависимости от того, лучше этот кадр среднего значения или хуже.
Рис. 1 Усреднённая RD-кривая и RD-характеристики отдельных кадров
Полученные значения можно считать мерой относительного качества кадров, которые учитывают как размер, так и количество потерь при сжатии. Этот метод позволяет понять, какие из кадров были закодированы лучше, а какие хуже, учитывая как размер, так и качество. Чем выше проходит кривая кодека на графиках, тем лучшее качество он показывает с точки зрения используемой метрики [7].
Для замеров качества или степени внесённых искажений, как правило, применяют метрики PSNR (Peak Signal-to-Noise Ratio - пиковое отношение сигнала к шуму) и SSIM (Structural Similarity - структурное сходство сигналов). Следует отметить, что используемая метрика качества является изменяемым параметром данной методики. Вместо используемых сейчас метрик качества PSNR и SSIM могут быть реализованы другие алгоритмы оценки качества видеопоследовательностей, в том числе более адекватные с точки зрения системы человеческого зрения.
2.2. Относительный битрейт/Относительное время
Для анализа эффективности видеокодека с помощью данных, полученных при построении КО-кривой, можно оценить отношение Относительный битрейт/Относительное время. Это отношение показывают, как зависит средний битрейт при одинаковом качестве от относительного времени кодирования. Оценить работу видеокодека можно, сравнивая отношение битрейтов данного и эталонного кодеков при одинаковом качестве относительно времени кодирования. Чем меньше данное отношение для отдельно взятого кодека, тем меньше кодек отличается от эталонного и тем лучше характеризуется работа кодека. Относительное время кодирования для данного кодека показывает, на сколько дольше работает кодек по сравнению с эталонным.
Как видно на рис. 2, кодек, изображённый на графике пунктирной линией, кодирует со значительно лучшим качеством по сравнению с кодеком, изображённым сплошной линией.
Усреднённая ЯС-кривая
со
Рч
41
40
39
38
37
36
35
34
33
А
4 1
1 >
' г
4 /
/ А
У Г
/
600 800 1000 1200 1400 1600 1800
Битрейт, кбит/сек
Рис. 2 Пример построения КО-кривой для двух видеокодеков
Однако если посмотреть на график абсолютного времени кодирования (рис.3), становится понятным, что кодек, изображённый пунктиром, несколько медленней. Как раз для анализа таких ситуаций требуется анализ с точки зрения относительного битрейта/относительного времени: на рис. 4 хорошо видно, что один из кодеков медленней и лучше по визуальному качеству, а второй быстрее, но уступает по качеству кодирования.
Следует отметить, что для большинства графиков используется метрика У-РБЫК Данная метрика измеряется в цветовом пространстве УИУ, но для построения графика необходима только компонента У.
Абсолютное время кодирования
Рис. 3 Пример построения зависимости относительного времени кодирования для двух видеокодеков
/I--------------------------------------,
Уменьшение времени кодирования
Рис. 4 Пример построения зависимости относительный битрейт/относительное время
для двух видеокодеков
2.3. Отношение битрейтов при одинаковом качестве
Рассмотрим ещё один метод усреднения, с помощью которого можно оценить эффективность видеокодека - это отношение битрейтов при одинаковом качестве. Пример графика Битрейт/Качество представлен на рис. 5.
Следует обратить внимание, что при построении данного графика для получения среднего отношения битрейтов при одинаковом качестве необходимо «перевернуть» оси графика Битрейт/Качество (рис. 6). Все дальнейшие действия будут происходить с «перевёрнутым» графиком. Таким образом, значение битрейт откладывается по оси У, а значение качества по оси X для удобства анализа. Далее необходимо выбрать интервал усреднения по оси качест-
ва, производить усреднение стоит только в области, где доступны результаты обоих кодеков. Это связано с тем, что для классической КО-кривой очень сложно подобрать методы, позволяющие экстраполировать эти кривые, в то время как для интерполяции подходят линейные методы.
Рис. 5 Исходные данные двух кодеков Битрейт/Качество
Рис. 6 Переворачивание осей и выбор интервала для усреднения
Далее вычисляются площади под полученными кривыми в выбранной области интерполяции, а также отношение площадей (рис. 7). Это отношение и является средним отношением битрейта при одинаковом качестве для двух кодеков.
Рис. 7 Отношение площадей под графиками
Для вычисления относительного времени кодирования для двух кодеков на одной последовательности вычисляется время кодирования каждого из этих двух кодеков на данной последовательности и складываются времена кодирования для всех битрейтов, а дальше делят их друг на друга. Для трёх и более кодеков выбирается один эталонный кодек и рассматриваются отношение его времени кодирования и времени кодирования других кодеков. В случае нескольких последовательностей вычисляется среднее арифметическое средних относительных времён кодирования кодеков на каждой из последовательностей.
3. Объективное сравнение видеокодеков
На основе представленных методов объективного сравнения видеокодеков был проведён анализ некоторых популярных видеокодеков. Для анализа решено применять видеокодеки и стандартные последовательности. Видеокодеки и последовательности представлены в табл. 1 и 2 соответственно. Следует отметить, что кодек О1уХ выбран неслучайно и выбран в качестве эталонного кодека предыдущего поколения для сравнения с кодеками более нового стандарта МРЕО-4 ЛУС/Н.264.
Таблица 1 - Сводная таблица кодеков
Кодек Производитель Версия кодека Обозначение на графиках
VSS H.264 Codec Pro 3.0 Vanguard Software Solutions 6.2.7.5 VCC
Apple QuickTime 7.6 Apple Computers Inc. for Windows 7.6.8 Apple
MainConcept H.264/AVC Main Concept 8.5.0.12837 MainConcept
Sorenson Spark Sorenson Media, Inc 6 Sorenson
DivX DivXNetworks, Inc 6.8.4.5 DivX
Весь тестовый набор разделён на три области применения. Области применения отличаются разрешением, битрейтами и требованиями по скорости кодирования, для каждой области установлены свои настройки, отвечающие одним и тем же условиям работы, и ограничения по скорости:
1. Видеоконференции (битрейты 30 - 300 кбит/сек, требования по скорости для 200
кбит/сек для CIF последовательности). Из табл. 2 соответствует файл Video 6.
2. Кинофильмы (битрейты 500 - 2000 кбит/сек, требования по скорости для 750 кбит/сек
для CIF последовательности). Из табл. 2 соответствует файл Video 3.
3. Видео высокой чёткости (HDTV; битрейты 1 - 10 Мбит/сек, требования по скорости
для 3 Мбит/сек для 1920x1080 последовательности). Из табл. 2 соответствует файл
Video 1.
Таблица 2 - Сводная таблица последовательностей
Название файла и область применения Длина [кадры] Длительность [секунды] Разрешение Глубина цвета [биты] Битрейт
Video 1 («HDTV») 270 10.8 800 X 600 24 2.77 Мбит/с
Video 3 (фильмы) 270 10.8 800 X 600 24 1.22 Мбит/с
Video 6 (видеоконференции) 269 10.8 800 X 600 24 256 кбит/с
При проведении тестирования измерялась метрика SSIM (Y компонента) как одна из самых адекватных метрик с точки зрения человеческого восприятия.
На основе проведённого исследования можно сделать вывод, что из протестированных видеокодеков стандарта MPEG-4 AVC/H.264 наилучшими по соотношению качества и скорости для кодирования видео в формате HDTV являются кодек от компании MainConcept и кодек Apple Quick Time.
Полученные результаты представлены на рис. 8 и 9. Для их построения использовались усреднённые данные каждой области применения. В качестве эталонного кодека выбран DivX как представитель стандарта предыдущего поколения. На рис. 8 критерием усреднения служит установочный параметр «высокое качество», на рис. 9 критерием усреднения - «высокая скорость». Выделены результаты лидеров в каждой из областей применения и в среднем по всем областям.
Удержание битрэйта
Среднее время кодирования
Рис. 9 Среднее время кодирования видеопоследовательности на всём тестовом наборе
Стоит заметить, что при построения графика, представленного на рис. 8, не учитывалась скорость кодеков, а только визуально качество их результатов; на рис. 9, наоборот, учитывалась только скорость работы видеокодеков.
По результатам в трёх протестированных областях применения кодеки можно распределить по местам следующим образом:
1. MainConcept;
2. Apple Quick Time;
3. VSS;
4. DivX (MPEG-4 ASP);
5. Sorenson.
При этом следует заметить, что для разных областей применения разные кодеки по-разному эффективны.
На всех последовательностях из тестового набора лидерами по скорости является кодеки от компаний Sorenson и VSS. Возможно, именно по этой причине эти кодеки показали такие низкие результаты по качеству. Лидерами по качеству оказались кодеки от MainConcept и Apple.
4. Заключение
В представленном объективном тестировании применяются новые методы анализа кодеков. Применение метрики SSIM для оценки величины возникших при сжатии артефактов вместе с новыми подходами к оценке качества работы позволяют собрать намного больше информации о поведении кодеков. Использование новых методов визуализации результатов позволяет удачно проводить сравнения видеокодеков различных стандартов сжатия.
Литература
1. Coded Representation of Pictures and Audio Information/ Test Model 5 - ISO-IEC/JTC1/SC29/WG11, 1993. - С. 139.
2. Mitra S., He Z. Optimum Bit Allocation and Accurate Rate Control for Video Coding via p-Domain Source Modeling// IEEE CSVT. - 2002 - С. 238-346.
3. International Telecommunication Union. Methodology for the subjective assessment of the quality of television pictures /ITU-R BT.500-11, 2002 - С. 168.
4. Ватолин Д., Москвин А. MSU Video Quality Measurement Tool. [Электронный ресурс]
//Всё о сжатии ^аот] URL: http ://www. compression. ru/video/quality measure/ video measurement tool.html. (дата обращения 29.11.2010 г.)
5. Feng Xiao. DCT-based Video Quality Evaluation// Final Project for EE392J. - 2000 -с.769.
6. Image Quality Assessment: From Error Visibility to Structural Similarity. Wang Z., Bovik A. C., Sheikh H. R., Simoncelli E. P.// IEEE Transactions on Image Processing, vol. 13, no. 4. 2004.
7. Ватолин Д., Паршин А. Методы для объективной оценки качества видеокодеков по сжатым ими видеопоследовательностям// Материалы девятого научно-практического семинара «Новые информационные технологии в автоматизированных системах». - М.,2006 г. - С. 4-12.
8. Yun Q. Shi, Huifang Sun. Image and Video Compressing for multimedia Engineering// Taylor
& Francis Group. - 2008 - С.387-463.
Статья поступила в редакцию 13.12.2010; переработанный вариант - 24.03.2011
Черепанова Анастасия Владимировна
Аспирант, ассистент кафедры РВ и ТВ СибГУТИ, (630102, Новосибирск, ул. Кирова, 86) e-mail: cherepanova_a@mail.ru
Estimation of quality of compressed videodata A. V. Cherepanova
We consider the methods of objective analysis of video codec operation based on encoded sequences only. These methods allow for estimation of codec's quality without knowledge of its internal structure. The main advantage of this approach is the possibility to automate the process of testing. We can estimate the codec's quality under a large number of parameters and test videos, as well as measure the quality in real time. The figures obtained are exact and reproducible.
Keywords: video codec's analysis, bit rate, RD-curve.
