CC BY
35
DOI: 10.15514/ISPRAS-2020-32(1)-5
BSQ-rate: новый подход к сравнению производительности видеокодеков и недостатки существующих решений
1 А.В. Звездакова, ORCID: 0000-0001-9253-1826 <azvezdakova@graphics.cs.msu.ru> 1,2Д.Л. Куликов, ORCID: 0000-0003-1264-2118 <dkulikov@graphics.cs.msu.ru> 1 С.В. Звездаков, ORCID: 0000-0002-5320-0060 <szvezdakov@graphics.cs.msu.ru> 1 Д.С. Ватолин, ORCID: 0000-0002-8893-9340 <dmitriy@graphics.cs.msu.ru> 1 Московский государственный университет имени М.В. Ломоносова, 119991, Россия, Москва, Ленинские горы, д. 1 2 Государственный университет «Дубна», 141982, г. Дубна Московской обл., ул. Университетская, 19
Аннотация. В данной статье рассматриваются существующие подходы к сравнению видеокодеков, показываются недостатки некоторых популярных методов и предлагаются новые методики. С помощью анализа коллекции пользовательских видео показано, что один из популярных среди исследователей и разработчиков видеокодеков открытый набор видео не является репрезентативным с точки зрения соответствия реальным пользовательским видео. Также предложен метод создания репрезентативных наборов видео, покрывающих все сегменты пространственной и временной сложности пользовательских видеопоследовательностей. В разделе статьи, посвященном алгоритмам оценки качества видео, используемым в сравнениях видеокодеков, показаны недостатки популярных методов VMAF и NIQE. Также в статье показаны недостатки общепринятого метода финального ранжирования видеокодеков при проведении сравнений (BD-rate), и с учетом выявленных недостатков предложен алгоритм ранжирования, названный BSQ-rate. Данные результаты были получены в процессе исследований, проводимых в рамках ежегодных сравнений, организуемых видеогруппой лаборатории компьютерной графики и мультимедиа МГУ.
Ключевые слова: сравнение видеокодеков; кодирование видео; качество видео; нереференсная оценка качества; измерение качества видео; методология сравнения видеокодеков; bsq-rate
Для цитирования: Звездакова А.В., Куликов Д.Л., Звездаков С.В., Ватолин Д.С. BSQ-rate: новый подход к сравнению производительности видеокодеков и недостатки существующих решений. Труды ИСП РАН, том 32, вып. 1, 2020 г., стр. 89-108. DOI: 10.15514/ISPRAS-2020-32(1)-5
Благодарности. Исследования выполнены при финансовой поддержке РФФИ в рамках научного проекта 19-01-00785а. Особая благодарность выражается Георгию Осипову и Денису Кондранину, которые помогли проанализировать обнаруженные проблемы и улучшили реализацию NIQE в программном комплексе MSU VQMT, Михаилу Ерофееву, который участвовал в улучшении методологии сравнения видеокодеков и провел субъективные сравнения, и команде Лаборатории компьютерной графики и мультимедиа МГУ за ценные советы и поддержку наших проектов.
BSQ-rate: a new approach for video-codec performance comparison and drawbacks of current solutions
1 A.V. Zvezdakova, ORCID: 0000-0001-9253-1826 <azvezdakova@graphics.cs.msu.ru> 1,2 D.L. Kulikov, ORCID: 0000-0003-1264-2118 <dkulikov@graphics.cs.msu.ru> 1 S.V. Zvezdakov, ORCID: 0000-0002-5320-0060 <szvezdakov@graphics.cs.msu.ru> 1 D.S. Vatolin, ORCID: 0000-0002-8893-9340 <dmitriy@graphics.cs.msu.ru> Lomonosov Moscow State University, GSP-1, Leninskie Gory, Moscow, 119991, Russia 2 Dubna State University, 19, Universitetskaya, Dubna, Moscow region, 141982, Russia
Abstract. This paper is dedicated to the analysis of the existing approaches to video codecs comparisons. It includes the revealed drawbacks of popular comparison methods and proposes new techniques. The performed analysis of user-generated videos collection showed that two of the most popular open video collections from media.xiph.org which are widely used for video-codecs analysis and development do not cover real-life videos complexity distribution. A method for creating representative video sets covering all segments of user videos the spatial and temporal complexity is also proposed. One of the sections discusses video quality estimation algorithms used for video codec comparisons and shows the disadvantages of popular methods VMAF and NIQE. Also, the paper describes the drawbacks of the BD-rate - generally used method for video codecs final ranking during comparisons. A new ranking method called BSQ-rate which considers the identified issues is proposed. The results of this investigation were obtained during the series of research conducted as part of the annual video-codecs comparisons organized by video group of computer graphics and multimedia laboratory at Moscow State University.
Keywords: video quality; no-reference metric; quality measuring; video-codec comparison; comparison methodology; bsq-rate
For citation: Zvezdakova A.V., Kulikov D.L., Zvezdakov S.V., Vatolin D.S. BSQ-rate: a new approach for video-codec performance comparison and drawbacks of current solutions. Trudy ISP RAN/Proc. ISP RAS, vol. 32, issue 1, 2020. pp. 89-108 (in Russian). DOI: 10.15514/ISPRAS-2020-32(1)-5
Acknowledgments. The studies were carried out with the financial support of RFBR in the framework of the scientific project 19-01-00785a. Special thanks go to George Osipov and Denis Kondranin, who helped analyze the problems found and improved the implementation of NIQE in the MSU VQMT software package, to Mikhail Erofeev, who participated in improving the video codec comparison methodology and made subjective comparisons, and the team of the Moscow State University of Computer Graphics and Multimedia Laboratory for valuable advice and support for our projects.
1. Введение
На сегодняшний день видео занимает более 70% всемирного интернет-трафика. По прогнозам Cisco [1], к 2022 году доля видеотрафика вырастет до 82%. Снижение затрат на передачу видео становится одним из важнейших направлений исследований и разработок во многих университетах и компаниях. В связи с ростом стоимости лицензирования решений для кодирования видео, многие крупные компании проводят разработку собственных видеокодеков и объединяются для сотрудничества, чтобы внести вклад в разработку новых стандартов кодирования. Так как реализации существующих стандартов кодирования видео непрерывно совершенствуются, а также разрабатываются новые стандарты как в открытых, так и в коммерческих решениях, технологии в этой области развиваются очень быстро. Для того, чтобы помочь пользователям выбрать кодек для различных задач (например, облачное кодирование, проведение онлайн-трансляций, видеонаблюдение или любое другое практическое применение), независимые лаборатории и специалисты проводят аналитические сравнения различных решений для кодирования видео. Организация таких сравнений
требует решения нескольких фундаментальных задач, которые влияют на репрезентативность получаемых результатов.
В данной статье рассматриваются общие подходы для сравнения видеокодеков, приведены выводы о преимуществах и недостатках различных методов, а также дано описание предлагаемых новых методов выбора видео, применения алгоритмов оценки качества видео и вычисления общих результатов сравнения. Данная статья организована следующим образом: в разделе 2 описаны общие этапы сравнения видеокодеков; в разделе 3 подробно представлены особенности построения наборов видео для применения в сравнениях видеокодеков, а также описаны недостатки открытых коллекций видео и предлагаемый подход к выбору видео; в разделе 4 рассмотрены особенности применения различных видов алгоритмов измерения качества видео в задаче сравнения видеокодеков; в разделе 5 описаны недостатки общепринятого подхода для вычисления итогового рейтинга видеокодеков и предлагается новый метод для решения данной задачи; раздел 6 содержит общие выводы.
2. Этапы сравнения видеокодеков
Существует множество подходов для проведения сравнений видеокодеков, которые отличаются используемыми алгоритмами измерения качества, форматами видео и кодеков, способом финального ранжирования участников сравнения. Однако все они имеют следующие общие этапы: выбор видео, выбор значений параметров кодирования, непосредственно кодирование тестовых видео, измерение качества закодированных видео, подведение итогов и ранжирование участников. Подготовка к проведению аналитического сравнения видеокодеков включает в себя разработку методологии, резервирование вычислительных ресурсов, выбор видео, которые будут использоваться для тестирования кодеков, поиск и привлечение участников, ведение переговоров с участниками. Получение исполняемого файла видеокодека от участников для тестирования не означает возможность проведения его тестирования, так как современные видеокодеки имеют много параметров, влияющих на производительность кодирования, и требуют специальной настройки. Базовый способ установки параметров - использование стандартных конфигураций, но не все видеокодеки имеют такую опцию. Даже если видеокодек имеет предустановленные наборы параметров, эти наборы могут быть слишком разными и не сопоставимыми в рамках проводимого анализа. Более адекватный способ установки параметров заключается в их запросе у разработчиков видеокодека, при этом обычно удается получить параметры, удовлетворяющие заданным ограничениям сравнения. Наконец, если нет возможности получить параметры кодирования от разработчиков, можно найти оптимальные конфигурации с использованием различных алгоритмов оптимизации. Для устранения различий в производительности используемого для измерений времени работы видеокодеков оборудования, запуски проводятся на одном или нескольких одинаковых серверах. Для устранения влияния других внешних факторов, таких как перегрев оборудования или работы системных процессов, необходимо выполнить несколько запусков и выбрать среднее или лучшее время кодирования каждого видеофайла. В масштабных сравнениях запуск видеокодеков занимает значительное время, так как иногда кодеки дают сбои во время кодирования, и разработчикам требуется время для внесения необходимых исправлений.
Видеогруппа лаборатории компьютерной графики и мультимедиа МГУ на протяжении 16 лет проводит международные сравнения видеокодеков. За эти годы наша команда выпустила 44 отчета с более чем 230 видеокодеками. В следующих разделах описаны результаты проведенных исследований о некоторых недостатках широко распространенных подходов и описываются новые предлагаемые подходы.
3. Выбор видео
Существует ряд общедоступных коллекций видео, которые широко используются для разработки и сравнения алгоритмов обработки видео. Например, наборы видео на ресурсе media.xiph.org [2] часто используются для сравнения и разработки видеокодеков. Другие наборы видео включают в себя тестовые последовательности Video Quality Experts Group [3], MPEG-2 Transport Stream Test Patterns and Tools [4], Sveriges Television: The SVT High Definition Multi-Format Test Set [5], Columbia Consumer Video (CCV) Database [6], CDVL The Consumer Digital Video Library [7], база данных субъективного качества видео объектов LIVE [8], примеры из KODI Wiki [9], тестовые последовательности Ultra Video Group [10]. В данном разделе показывается, что одна из самых популярных открытых коллекций, используемых для оценки качества кодирования видео, значительно отличается от реальных видео, производимых пользователями, и предлагается метод создания репрезентативных наборов видео.
3.1 Недостатки открытых наборов видео
Многие из популярных и доступных наборов видео были сформированы таким образом, чтобы быть репрезентативными с точки зрения сложности видео. Однако реальные пользовательские видео имеют неравномерное распределение пространственной и временной сложности. Для оценки данного распределения был собран набор реальных видеопоследовательностей, созданных обычными пользователями и размещенных на видеохостинге Vimeo. Набор состоит из 18418 коротких видеороликов длиною примерно 30-60 секунд каждый, все видеоролики имеют высокий битрейт и разрешение FullHD/4K. Пространственная и временная сложности были вычислены для каждого видео с использованием алгоритмов, описанных в [11]. Пространственная сложность представляет собой нормализованный средний размер I-кадра в байтах, а временная сложность представляет собой средний размер P-кадра, деленный на средний размер I-кадра.
2 Y- -
1.5
Просгрйнстае^ная сложность Другие видео "FullHD" с сайта Kiph.org "Gaming" с сайта xiph.org
Рис. 1. Сравнение 18 418 пользовательских видео с популярными открытыми коллекциями видео
ресурса media.xiph.org Fig. 1. Comparison of 18,418 user videos with popular open collections of the video resource
media.xiph.org
Полученное распределение было сопоставлено с двумя наборами видео «Gaming» и «FullHD», расположенными на ресурсе media.xiph.org [2] - одними из самых
популярных видео коллекций, используемых для измерения качества кодирования видео. Пространство из всех 18418 видео было разбито в соответствии с размером коллекций на 30 кластеров. Результат кластеризации представлен на рис. 1. На нем показано, что большинство видеопоследовательностей из коллекции xiph.org имеют высокую пространственную и временную сложность и в целом высокую репрезентативность среди сложных видео, но не охватывают область наиболее часто встречаемых видео (ближе к началу координат). Эта область представляет видео, с которыми обычно сталкиваются видеокодеки в повседневных задачах кодирования. Согласно результатам сопоставления, только 14 из 30 полученных сегментов включали в себя видео с сайта media.xiph.org, а другие сегменты (в том числе наиболее популярная область ближе к нулю) не охватывались виделпоследовательностями из данных наборов. В то же время в некоторые кластеры попало много видео, например, один из кластеров содержит 7 видео и еще один - 5 видео. Такое неравномерное распределение по пространственно-временной сложности, а также отсутствие примеров простых видео, которые чаще всего встречаются в реальных данных, показывает, что данные коллекции не являются репрезентативными для анализа производительности видеокодеков.
3.2. Предлагаемый метод выбора видео
В данном подразделе предлагается методика создания репрезентативных наборов видеопоследовательностей для оценки качества кодирования. Описываемых подход использовался в нескольких аналитических сравнениях видеокодеков, проведенных видеогруппой лаборатории компьютерной графики и мультимедиа в МГУ. Для того, чтобы повысить достоверность сравнений, необходимо иметь возможность менять тестовые наборы видео в каждом новом сравнении. Для создания коллекции, из которой можно составлять наборы тестовых видео, было проанализировано 384946 видео на видеохостинге Vimeo с целью получения 4K и FullHD видео с битрейтом выше 50 Мбит/с. Выбрав видео с лицензией, разрешающей их использование, было получено 2091 видео в формате 4K и 4945 видео в формате FullHD. На рис. 2 показано распределение битрейта видео полученной коллекции по годам в процессе ее пополнения.
2000
f i f i # f # i # i # i Ni> # <F> ^ ^ # # „f
Видео, добавленные в 2016 Видео, добавленные я 2017 V Видео, добавленные в 2018
9 Видео, добавленные в 2019
Рис. 2. Изменение распределения битрейта видео в используемой коллекции с 2016 по 2019 год Fig. 2. Change in the distribution of video bitrate in the used collection from 2016 to 2019 Большинство среди загруженных видеопоследовательностей были длиною 10-15 минут, в то время как для тестирования качества кодирования обычно достаточно 30-60 секунд. Поэтому полученные видеопоследовательности были разбиты на фрагменты длиной около 1000 кадров. Из всех FullHD видео было получено 12402 фрагмента, а из видео 4K - 6016 фрагментов. Общий размер нашей коллекции видеофрагментов достиг 18418. Для оценки пространственной и временной сложности полученных фрагментов они были закодированы видеокодеком x264 с фиксированным параметром квантования (QP),
а затем для них были вычислены временная и пространственная сложности по методу, описанному в предыдущем подразделе. Кроме того, был добавлен дополнительный этап предварительной обработки видео для унификации его цветности, так как это влияет на оценку сложности видео: все видео были преобразованы в цветовой формат YUV 4:2:0. Следующий шаг для построения репрезентативного набора видео заключается в разделении (кластеризации) всего пространства видео на группы, содержащие похожие видео с точки зрения пространственной и временной сложности. На данном этапе может использоваться любой метод кластеризации, при этом количество кластеров определяется необходимым размером составляемого набора видео. После кластеризации видео, находящиеся ближе всего к центру каждого кластера, помечаются как кандидаты для финального набора. Последний шаг заключается в проверке отмеченных кандидатов. Этот шаг выполняется при наличии каких-либо ограничений на используемые видео, таких как тип содержания.
При подготовке первой части аналитического отчета о производительности видеокодеков на FuИHD видео [12] были привлечены эксперты из видеоиндустрии для участия в отборе видео с помощью голосования за предложенных видео -кандидатов в финальный набор. Этот шаг потребовал дополнительного времени, но позволил создать более репрезентативный набор, учесть предпочтения разработчиков кодеков и помог сделать отчет о проведенном анализе более репрезентативным. На рис. 3 набор видео, созданный автоматически, сравнивается с финальным набором, созданным после получения голосов экспертов.
Рис. 3. Финальные видео после голосования экспертов и автоматически выбранные видео на фоне
всей видеоколлекции
Fig. 3. Final videos after expert voting and automatically selected videos against the background of the
entire video collection
Созданная коллекция из более чем 18000 видео занимает около 15,4 Тб. Ссылки на видео из предыдущих тестовых наборов, использованных в сравнениях, доступны в отчетах [13].
4. Измерение качества закодированного видео
Методы оценки качества видео можно разделить на 3 категории [14]: полные референсные, сокращенные референсные и нереференсные методы. Полные референсные методы наиболее распространены, поскольку их результаты легко
интерпретируются. Как правило, такие методы используются для оценки степени искажений в видео и их заметности для зрителя. Основным недостатком данного подхода по сравнению с сокращенным референсным и нереференсным подходами является необходимость наличия оригинального видео для сопоставления со сравниваемым, что часто неосуществимо.
Наиболее популярные алгоритмы для оценки качества кодирования имеют полный референсный тип: PSNR, SSIM [15], VIF [16], VMAF [17]. В этом разделе обсуждается проблема повышения результатов работы алгоритмов оценки качества с помощью изменения видео для получения более высоких объективых показателей при ухудшении визуального качества. В качестве примера продемонстрирован подход изменения видео, который позволяет фальсифицировать результаты метода VMAF, популярного полного референсного метода оценки качества видео. Кроме того, в разделе описаны проблемы применения нереференсных подходов измерения качества видео для аналитических сравнений видеокодеков на примере популярной метрики NIQE [18] и предложена методика фильтрации ее значений, которая позволяет повысить релевантность результатов NIQE для оценки качества видеопоследовательностей.
4.1. Модификация видео для увеличения показателей качества
Многие видеокодеки имеют возможность модифицировать качество выходного видеопотока для повышения показаний определенного алгоритма объективного качества. Например, видеокодеки x265 и x264 имеют опции для увеличения значений PSNR и SSIM. Эти опции обычно используются для достижения более высоких позиций в рейтингах объективных сравнениях, в то время как в повседневных сценариях кодирования чаще используются параметры психовизуальной адаптации. Однако недавнее исследование, проведенное в лаборатории компьютерной графики и мультимедиа посвященное субъективному сравнению видеокодеков [19], показало, что опция «--tune ssim» также увеличивает и субъективное качество закодированного видео. В данном подразделе описаны результаты проведенного исследования по модификации цвета и контрастности видеопоследовательностей, которые повышают значения алгоритма оценки качества VMAF. VMAF - это полный референсный метод для оценки качества изображений, разработанный компанией Netflix, который быстро завоевал популярность благодаря техническому блогу Netflix на Medium [17] и большому количеству публикаций в других блогах. Согласно заявлениям авторов, метод показывает высокую корреляцию с субъективным качеством по результатам множества аналитических сравнений и исследований. Несмотря на популярность алгоритма VMAF, ни один из видеокодеков на данный момент еще не имеет возможности модификации выходного потока для увеличения показаний VMAF.
VMAF имеет открытый исходный код и имеет возможность подключения пользовательских моделей, обученных на различных наборах данных для оценки визуального качества. Недостаток возможности настройки видео для VMAF заключается в том, что для полных референсных алгоритмов оценки качества видео любые искажения видео должны приводить к ухудшению значений качества, прогнозируемых алгоритмом. Эту особенность следует учитывать в задаче сравнения видеокодеков, так как преобразования выходного видеопотока для повышения показаний алгоритмов качества может привести к неверным выводам о победителях сравнения. Чтобы доказать возможность «обмана» алгоритма VMAF, был проведен анализ способов искажения видео, которые сохраняют показатели других алгоритмов оценки качества на том же уровне и в то же время увеличивают VMAF. В качестве контрольного алгоритма качества видео был использован метод SSIM.
Для исследования преобразований видео, которые могут увеличить показания VMAF, было выбрано четыре видеофрагмента различного содержания и с разной пространственной и временной сложностью, яркостью и контрастностью. Все видефрагменты имели разрешение FullHD и высокий битрейт. Три видеопоследовательности (Crowd Run, Red Kayak и Speed Bag) были взяты из открытой коллекции видео media.xiph.org и еще одна (Bay timelapse, сцена залива с волнами и колышущейся травой) взята из созданной коллекции, описанной в предыдущем разделе. Для преобразования цвета и контрастности были выбраны два известных и широко распространенных алгоритма обработки изображений: unsharp mask и выравнивание гистограммы. Для нахождения оптимальных конфигураций параметров данных методов использовался многоцелевой алгоритм оптимизации NSGA-II [20].
Согласно результатам проведенного исследования, для некоторых конфигураций метода выравнивания гистограммы оценка качества алгоритмом VMAF становится выше (увеличивается с 68 до 74), при этом SSIM изменяется слабо (уменьшается с 0,88 до 0,86). Результаты немного отличаются для некоторых протестированных видеопоследовательностей. Для видеопоследовательности Crowd Run значение VMAF не было увеличено при помощи алгоритма unsharp mask, однако оно было увеличено при помощи выравнивания гистограммы. Для видеофрагментов Red Kayak и Speed Bag с помошью unsharp mask были значительно увеличены значения VMAF и при этом значения SSIM уменьшились незначительно.
<
s
>
• . s* • • m ^ •« * VA
. .. t . . • i
* * *..
* •
• * • ■
• Unsharp mask •1
оетдги utrs
0,948 0,950 0,952 0.954 0.956 0.958 0,960 0,962 0,964
Y-SSIM
Рис. 4. Сравнение результатов измерения качества видео, измененного алгоритмом unsharp mask с разными параметрами для видео Speed bag. Каждая точка представляет собой качество одной
конфигурации
Fig. 4. Comparison of the results of measuring the video quality, modified by the unsharp mask algorithm with different parameters for the video Speed bag. Each point represents the quality of one configuration.
На рис. 4 представлены результаты применения unsharp mask с разными настройками на одном из тестовых видеофайлов. Применение unsharp mask к кадрам видеопоследовательности отдаляет его от оригинала, поэтому снижение качества должно отражаться на снижении значений VMAF и SSIM аналогичным образом. На графике же показано, что существуют конфигурации, которые сохраняют значение SSIM и увеличивают VMAF. Примеры кадров после применения unsharp mask визуально не различимы, но есть небольшое различие при применении выравнивания гистограммы. На Рис. 5 показана разница между исходным и измененным кадрами (до и после выравнивания гистограммы) видеопоследовательности Crowd Run, в этом примере VMAF был повышен с 51,005 до 53,083 при незначительном снижении SSIM (с 0,715 до 0,712). Более подробные результаты данного исследования описаны в [21]. Хотя VMAF стал значимым алгоритмом для оценки качества видео, широко используемым разработчиками видеокодеков, в его применении все еще имеется ряд нерешенных
вопросов. Именно поэтому 881М до сих пор используется во многих сравнениях видеокодеков как основной объективный показатель качества видео.
Рис. 5. Сравнение в виде шахматной доски кадра №1 из видеопоследовательности Crowd run до и после выравнивания гистограммы с параметрами kernelsize = 8 и cliplimit = 0.00419. Обведены области, где разница наиболее заметна Fig. 5. Comparison in the form of a chessboard offrame No. 1 from the Crowd run video sequence before and after aligning the histogram with the parameters kernelsize = 8 and cliplimit = 0.00419. The areas where the difference is most noticeable are circled
4.2. Проблемы применения нереференсных метрик
Нереференсные методы оценки качества видео незаменимы для задач, требующих визуальной оценки качества, в которых невозможно получить исходную версию видеофайла для контроля степени его искажения. Примерами таких задач являются облачное кодирование видео, восстановление фона видео, преобразование частоты кадров [22] и многие другие. Алгоритмы оценки качества видео и изображений данного типа часто создаются специально для определенной задачи (например, определения степени зашумленности, размытия или наличия блочных искажений) и нацелены на оценку восприятия зрителями данного искажения. Однако в задаче оценки качества кодирования видео данный тип алгоритмов может использоваться только как дополнение к полным референсным методам.
Нереференсные методы не могут стать основным показателем для анализа видеокодеков, так как иначе видеокодеки смогут быть настроены на выдачу визуально идеального результата, но при этом выдаваемое видео будет иметь мало общего с входным видео. В данной работе проанализировано применение нереференсного метода NIQE (Natural Quality Quality Evaluator) [18] к задаче аналитического сравнения видеокодеков. Данный метод популярен в настоящее время и показывает высокую корреляцию с визуальными оценками качества для изображений. Основная идея метода NIQE основана на построении набора функций качества видео и их использовании с помощью многомерной Гауссовой модели. Значение NIQE отражает степень искажений в кадре, и чем ниже значение, тем выше качество кадра.
Для оценки применимости метода NIQE для анализа видеокодеков было использовано 28 различных видеопоследовательностей разрешения FullHD с разной частотой кадров (от 24 до 60). Данные видеофрагменты были выбраны с использованием предложенной методики выбора видео, описанной во второй секции статьи. Каждый видеофрагмент был закодирован с помощью видеокодеков x264 и x265 с тремя разными предустановками («medium», «slow» и «placebo» для x264; «ultrafast», «medium» и «veryslow» для x265) и c 7 различными битрейтами (от 1 Мбит/с до 12 Мбит/с). Общее количество закодированных видеопотоков, использованных для анализа NIQE, составило 1176.
Для большинства закодированных видео алгоритм NIQE показал адекватные результаты, сопоставимые с другими алгоритмами оценки качества и с обычным распределением зависимости качества от величины битрейта. Но были случаи, когда NIQE показал неверные результаты. Ряд ситуаций, когда метод выдавал ошибочные значения, появлялся в видео с шумом или множеством мелких и текстурированных деталей, таких как песок, волны и трава. Например, на видеопоследовательности Bay timelapse, закодированной видеокодеком x265 с предустановкой «medium», оценка качества более высоких битрейтов согласно NIQE была хуже, чем низких битрейтов. Данный видеофрагмент содержал сцену морской бухты с движущейся водой и травой, снятую в режиме замедленной съемки
В другом похожем примере - видеопоследовательности Playground - для результатов кодирования обоими видеокодеками оценка качества NIQE была хуже на битрейте 4000 кбит/с, чем на 2000 кбит/с. Это видео содержало высокодетализированные фрагменты, такие, как яркая трава и песок. Подобные текстуры сложны для кодирования, и поэтому на низких битрейтах присутствовали видимые артефакты компрессии. При этом оценка качества NIQE для них оказалась выше, чем для высоких битрейтов, лишенных видимых артефактов компрессии (рис. 6). Это произошло из-за того, что алгоритм NIQE воспринял области с мелкой текстурой как шум, в то время как при кодировании трава стала размытой и менее детализированной. Другим примером ошибок данного алгоритма стали результаты оценки качества видеопоследовательностей с полностью черными кадрами (например, в начале).
state: ш иьз» фияй^ «leaps' рщ в mmmfaj
Рис. 6. Кадр 58 из видеопоследовательности Playground. Более низкие оценки NIQE означают
более высокое качество (пример ошибки метода) Рис. 6. Кадр 58 из видеопоследовательности Playground. Более низкие оценки NIQE означают более высокое качество (пример ошибки метода) Подобные кадры имели низкие показатели качества согласно NIQE. Данная особенность могла возникнуть из-за отсутствия подобных примеров в обучающих данных, используемых для создания NIQE. В некоторых случаях NIQE показывал корректный результат, несмотря на ошибки самих видеокодеков. На рис. 7 показаны кадры из видеопоследовательности Hera, где на более высоком битрейте видны артефакты компрессии, отсутствующие на низком битрейте. При анализе алгоритма была обнаружена еще одна особенность, которая не совпадала с данными, заявленными в оригинальной статье про NIQE. Авторы утверждали, что алгоритм не применим к
кадрам, созданным с помощью компьютерной графики, но в проведенном исследовании было обнаружено, что метод работает для некоторых типов реалистичной анимации (особенно для записей видеоигр).
Рис. 7. Кадр 208 из видеопоследовательности Hera. Согласно NIQE, левое изображение визуально
имеет лучшее качество (пример правильной работы метода) Fig. 7. Frame 208from the Hera video sequence. According to NIQE, the left image visually has the best quality (an example of the correct operation of the method)
Рис. 8. Корреляция между объективными показателями качества и субъективными оценками Fig. 8. The correlation between objective quality indicators and subjective assessments Полученные показатели качества NIQE были сопоставлены с субъективными оценками на части протестированных видеопоследовательностей (рис. 8). Попарное субъективное сравнение качества закодированных видеофрагментов было проведено на платформе Subjectify.us, где в общей сложности было получено 22542 оценок от 473 экспертов. Подробное описание и методологию можно найти в отчете [23]. Усредненные по всем видео значения корреляции Пирсона показывают, что NIQE имеет самую низкую корреляцию с субъективными оценками (0,85), в то время как версия для смартфонов метрики VMAF v.0.6.1 имеет самую высокую корреляцию (0,99). Следует также отметить, что в настоящее время NIQE имеет даже более низкую корреляцию с субъективным качеством, чем PSNR (0,98), который, как считается, имеет низкую схожесть с субъективным качеством видео в задаче сравнения алгоритмов кодирования.
Некоторые из перечисленных проблем с ошибочными значениями NIQE могут быть решены с помощью фильтрации. В ходе покадрового анализа результатов NIQE было замечено, что значения, превышающие 40, встречаются крайне редко. Высокие значения результатов алгоритма часто встречаются в зашумленных или черных кадрах. Для повышения релевантности результатов оценки качества видео значения алгоритма NIQE на подобных кадрах не учитывались при получении усредненной оценки качества видеопоследовательностей. Таким образом, с учетом особенностей метода оценка NIQE для видео V была рассчитана следующим образом:
( 1,rn¿ 6 [0,15),
Score¡ = Zi™l*ki,i 6 [0,N], k¡ = {-0.04 * m¿ + 1.6,m¿ 6 [15,40), ífc¡ ( 0,mi 6 [40,+^),
где mi - значение NIQE для кадра i, ki - весовой коэффициент для mi, N - количество кадров.
Предложенный метод взвешенного усреднения оценок повысил релевантность результатов NIQE для некоторых видеопоследовательностей. Рис. 9 и 10 содержат примеры скорректированных RD-кривых (кривых битрейт-качество), где качество было измерено с помощью NIQE до и после фильтрации. С предложенной техникой усреднения RD-кривая для видеопоследовательности Forest Dog была избавлена от выбросов (рис. 9). Другим примером, где значения NIQE для обоих видеокодеков были исправлены предлагаемым усреднением, является видеопоследовательность Music Clip (рис. 10). Немонотонность RD-кривой кодека x264 вызвана высокой временной и пространственной сложностью этого видео. В статье [24] содержится подробное описание проведенного исследования.
Рис. 9. График битрейт-качество видеопоследовательности Forest Dog до и после
предложенного усреднения Fig. 9. Bitrate-quality graph of Forest Dog video sequence before and after the proposed averaging
Рис. 10. График битрейт-качество для видеопоследовательности Music Clip до и после
предложенного усреднения Fig. 10. Bitrate-quality graph for the Music Clip video sequence before and after the proposed averaging
В проведенном исследовании алгоритм NIQE показал адекватные результаты для большинства видео. Однако все же был обнаружен ряд случаев, для которых алгоритм не применим. Результаты проведенного сравнения помогли выявить недостатки NIQE, которые необходимо учитывать при его использовании, например, неприменимость к анимационным роликам, к видео с полностью черными кадрами, шумным и высокодетализированным/текстурированным кадрам видео. По этим причинам алгоритм NIQE в настоящее время не является универсальным и показывает низкую корреляцию с субъективными оценками в задаче анализа качества кодирования видео. При необходимости использования данного алгоритма для анализа и сравнения видеокодеков или в других задачах, для повышения достоверности результатов алгоритма в описанных проблемных случаях может быть использован предложенный метод постобработки результатов NIQE.
5. Интерпретация результатов сравнения видеокодеков
Под интерпретацией результатов сравнения в данной статье подразумевается способ получения финальных оценок производительности видеокодеков с точки зрения соотношения битрейта, скорости кодирования и качества закодированных видео. После вычисления оценок качества для всех закодированных видео проводится сравнение степени сжатия и обеспеченное им качество видео. Существует несколько подходов для выполнения этого сравнения. Базовый способ заключается в вычислении значений качества для каждого видео и усреднении результатов по всем видео для каждого видеокодека. Однако данный метод не отражает производительности видеокодека при кодировании с разными битрейтами: производительность может быть высокой на всех битрейтах, кроме какого-либо определенного диапазона.
Более точный способ, называемый BD-rate (Bjontegaard Metric) [25], заключается в сравнении результатов кодирования по всем битрейтам. Метод основан на построении кривой полученных значений качества в зависимости от полученных значений битрейта. Данные кривые называются RD-кривыми (кривыми битрейт-качество). Значение BD-rate представляет собой среднее расстояние между двумя RD-кривыми сравниваемых кодеков, и сравнение обычно выполняется попарно между одним кодеком, выбранным в качестве референсного, и другими, называемыми тестовыми. В настоящее время BD-rate является наиболее популярным показателем, используемым для комплексной оценки производительности видеокодеков. Он может быть интерпретирован как процент снижения битрейта, обеспечиваемый тестовым видеокодеком по сравнению с референсным видеокодеком при сохранении качества закодированного видео.
5.1. Недостатки BD-Rate - метода ранжирования видеокодеков в сравнениях
В данном подразделе показаны недостатки подхода BD-rate на примерах ситуаций, возникающих в сравнениях видеокодеков, а другой подход для оценки производительности кодеков, учитывающий обнаруженные особенные случаи, описан в следующем подразделе.
Вычисление BD-rate включает в себя несколько этапов, каждый из которых может быть использован в разных вариациях. Алгоритм состоит из следующих шагов.
1. Вычисляются RD-значения (точки на графике битрейт-качество) для референсного и тестового видеокодеков. Эти точки представляют результаты кодирования тестового видео с разными целевыми битрейтами. Должно быть вычислено как минимум четыре точки, а дополнительные точки, не попавшие в определенный правилами диапазон битрейтов, должны быть удалены из рассмотрения.
2. Для полученных показателей вычисляется логарифм.
3. Проводится интерполяция кубическим полиномом для получения КО-кривых из полученных на предыдущем шаге точек.
4. Определяется диапазон значений метрики качества как диапазон пересечения полученных двух кривых, ограниченный выбранными значениями битрейта (также в качестве границ могут использоваться значения метрики третьего видеокодека с фиксированными значениями параметра квантизации).
5. Полученные кривые численно интегрируются в диапазоне значений метрики качества
6. Результирующие интегрированные логарифмические значения преобразуются обратно в линейные с помощью взятия экспоненты, а затем вычисляется разница в процентах между референсным и тестовым кодеками.
Во время проведения сравнений видеокодеков было обнаружено несколько случаев, в которых ВБ-га1е не может быть вычислен. Первый случай довольно распространен в масштабных сравнениях кодеков, особенно при сравнении представителей разных стандартов. Он заключается в ситуации, в которой для очень разных кодеков две КО-кривые не имеют пересечения по показателям качества в диапазоне битрейтов, используемом для сравнения. ВБ-га1е не может быть вычислен для этих кодеков, в то время как возможное решение заключается в добавлении результатов на дополнительных битрейтах, необходимых для получения требуемого пересечения. Другая проблема связана со стратегией интерполяции кривых, используемой в ВБ-га1е. Графики ниже на рис. 11 показывают, как кубический полином неверно определяется полученными точками, в то время как обычная линейная интерполяция строит более реалистичную КО-кривую. Обычно КО-кривая монотонна и имеет форму параболы: качество видео плавно увеличивается с увеличением битрейта.
Еще одна проблема с ВБ-га1е заключается в том, что в данном методе не рассматривается случай наличия немонотонных КО-кривых и его обработка. Подобная ситуация возникает, когда получившийся битрейт закодированного видеофрагмента сильно отличается от целевого или качество видео с большим битрейтом оказывается хуже, чем качество видео с меньшим битрейтом, из-за особенностей работы видеокодека. В методологии ВБ-га1е не упоминается, какой порядок точек (по возрастанию целевого битрейта или отсортированный по фактическому битрейту) следует использовать, или такие точки в таком случае должны быть удалены из рассмотрения.
ВБ-га1е - более показательный метод сравнения производительности видеокодеков, чем, например, получение простого среднего значения качества. Однако у него существует ряд недостатков, описанных выше. Кроме того, непрофессионалам может быть сложно интерпретировать оценки ВБ-га1е: он показывает процентную разницу двух интегралов, разделенную на диапазон интегрирования, и отражает битрейт, скорость или качество для одной «единицы» соответствующего показателя. Такое соотношение не всегда верно отражает прирост производительности, так как многие объективные алгоритмы качества имеют нелинейное соответствие значений с субъективным качеством. Например, небольшая разница в высоких значениях метрики 881М обычно менее заметна, чем в средних значениях. Что еще более важно, все проблемы с интерпретацией ВБ-га1е, описанные выше, могут повлиять на результаты сравнений видеокодеков и изменить распределение победителей. По этой причине предлагается иной алгоритм вычисления рейтинга видеокодеков, который описан в следующем подразделе.
Рис. 11. Сравнение линейной (пунктирная линия) и кубической полиномиальной (сплошная линия) интерполяции по заданным точкам битрейта/качества. Линии ограничены границами сравниваемых областей референсного и тестового кодеков (учитывается только область
пересечения)
Fig. 11. Comparison of linear (dashed line) and cubic polynomial (solid line) interpolation at given bitrate / quality points. The lines are limited by the boundaries of the compared areas of the reference and test codecs (only the intersection area is taken into account)
5.2. БЭО-га1е - предлагаемый метод построения общего рейтинга видеокодеков
С учетом недостатков ББ-га1е предлагается новый алгоритм вычисления рейтинга видеокодеков по соотношению битрейта и качества закодированных видео. В новом подходе к сравнению видеокодеков также учитывается скорость кодирования на этапе определения правил аналитического сравнения: все видеокодеки сравниваются в определенных сценариях, имеющих ограничения на скорость кодирования. Предлагаемый подход для ранжирования видеокодеков имеет несколько шагов, аналогичных с ББ-га1е, таких как интеграция КО-кривых референсного и тестового видеокодеков, но отличается стратегией интерполяции и определением разницы между кривыми.
Кроме того, предлагаемый алгоритм учитывает ряд особых случаев, которые встречаются в реальных сравнениях, таких как немонотонные и непересекающиеся КО-
кривые видеокодеков. Данный алгоритм использовался для проведения исследований и подготовки аналитических отчетов о производительности видеокодеков, проводимых видеогруппой лаборатории компьютерной графики и мультимедиа МГУ ежегодно в течение нескольких лет. Предлагаемый метод был назван «BSQ-rate» (bitrate for the same quality, битрейт для одинакового качества), и его вычисление состоит из следующих этапов.
1. Вычисляются RD-значения (точки на графике битрейт-качество) для референсного и тестового видеокодеков
2. (опционально) При наличии значительных выбросов, которые приводят к образованию немонотонной RD-кривой, они удаляются из рассмотрения
3. Оси битрейта и качества видео инвертируются
4. Применяется линейная интерполяция к полученным точкам. Точки должны быть связаны в порядке реального (не целевого) битрейта видео
5. Устанавливается интервал для интегрирования как граница пересечения сегментов полученных кривых
6. (опционально) Если пересечение отсутствует или точки референсного кодека не полностью покрыты значениями тестового кодека, выполняются дополнительные измерения для получения необходимых точек для пересечения
7. Вычисляются площади под кривыми в выбранном интервале интегрирования и определяется их соотношение: BSQ-rate = S1/S2 (см. рис. 12). Результатом является среднее соотношение битрейта при фиксированном качестве для двух видеокодеков. При сравнении более, чем двух кодеков, один из них определяется как референсный кодек, а качество остальных сравнивается с его качеством.
Рис. 12. Основные этапы вычисления BSQ-rate Fig. 12. The main stages of calculating the BSQ-rate В данном алгоритме описано два дополнительных шага, которые учитывают реальные ситуации, возникающие при сравнении видеокодеков. Первый случай - когда не существует общего сегмента качества видео, для которого два видеокодека имеют вычисленные результаты. В этом случае проводятся дополнительные измерения видеокодеков для дополнительных более высоких и/или более низких битрейтов. Схематический пример (рис. 13) показывает, что, когда результаты для дополнительных битрейтов (пунктирная часть линии) пересекаются с референсным кодеком, они позволяют провести сравнение двух кривых. В зависимости от ситуации дополнительные измерения могут проводиться как для референсного, так и для тестовых видеокодеков.
Другой опциональный шаг описывает случай, когда результаты кодирования для соседних битрейтов сильно различаются из-за особенностей работы кодека. Такая ситуация иногда возникает при перегреве серверов или влиянии внешних процессов, что решается проведением и усреднением нескольких измерений. Однако существуют случаи, когда немонотонная RD-кривая была построена по результатам серии измерений. 104
Битрейт Бшрейт
Рис. 13. Измерение кодека на дополнительных битрейтах для достижения пересечения с другими
кодеками по оси качества Fig. 13. Measurement of the codec at additional bitrates to achieve intersection with other codecs along
the quality axis
Подобные случаи возникают из-за сбоев и особенностей работы видеокодеков и часто случаются при обработке какого-либо сложного видео. Данные ситуации обрабатываются следующим образом: при интерполяции для каждой точки используется следующая точка, соответствующая целевому битрейту, которая имеет большее или равное качество. Предложенный метод дает возможность получить монотонную кривую (рис. 14).
бшрейт Битрейт
Рис. 14. Обработка немонотонных RD-кривых Fig. 14. Processing nonmonotonic RD-curves
6. Заключение
В данной статье рассмотрены основные этапы подготовки и проведения аналитических сравнений видеокодеков, показаны недостатки некоторых распространенных подходов и предложены новые решения для сравнения видеокодеков. Собрана коллекция из 18418 фрагментов пользовательских видео на видеохостинге Vimeo и показано, что открытые наборы видео "FullHD" и "Gaming" ресурса media.xiph.org, популярные среди исследователей и разработчиков видеокодеков, не является репрезентативным с точки зрения соответствия реальным пользовательским видео. Большинство видео данных наборов являются сложными и наборы не покрывают область с самым распространенным среди видео соотношением пространственно-временной сложности.
105
Предложен метод создания репрезентативных наборов видео, покрывающих все сегменты пространственной и временной сложности пользовательских видео, основанный на кластеризации большой коллекции видео.
В разделе, посвященном алгоритмам оценки качества закодированных видео, показаны недостатки популярных методов VMAF и NIQE. Для первого из них в результате исследований выявлены способы нечестного повышения показателей, а для второго обнаружены случаи, приводящие к получению нерелевантных оценок и предложен способ их устранения. Также в статье показаны недостатки общепринятого метода BD-rate ранжирования результатов сравнения видеокодеков. С учетом выявленных недостатков предложен алгоритм ранжирования, названный BSQ-rate, включающий в себя корректный для получения RD-кривых способ интерполяции кривых и учитывающий обработку необычных результатов, полученных в ходе сравнения. Данные результаты были получены в процессе исследований производительности видеокодеков и подготовки аналитических отчетов, организуемых видеогруппой лаборатории компьютерной графики и мультимедиа МГУ, и предлагаемая в данной статье методология валидировалась и дорабатывалась и на протяжении нескольких лет. Хотя существует множество способов сравнения видеокодеков и предлагаемые методы не являются единственно правильными, любая методология должна подвергаться всевозможным разнообразным проверкам и улучшаться с учетом обнаруженных недостатков. Таким образом мы будем стремиться к повышению качества и репрезентативности проводимых исследований производительности видеокодеков.
Список литературы / References
[1] Cisco VNI Report 2017-2022, 2018 update. Available at: https://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/white-paper-c11-741490.html.
[2] Xiph.org Test Media, 2019. Available at: https://media.xiph.org/.
[3] Video Quality Experts Group Test Sequences, 2019. Available at: ftp:// ftp .crc.ca/crc/ vqeg/TestSequences/.
[4] MPEG-2 Transport Stream Test Patterns and Tools, 2019. Available at: http://www.w6rz.net/.
[5] Sveriges Television: The SVT High Definition Multi-Format Test Set, 2019. Available at: ftp://vqeg.its.bldrdoc.gov/HDTV/SVT_MultiFormat.
[6] Columbia Consumer Video (CCV) Database, 2019. Available at: .http://www.ee.columbia.edu/ln/dvmm/CCV.
[7] CDVL The Consumer Digital Video Library, 2019. Available at: https://www.cdvl.org/.
[8] LIVE Public-Domain Subjective Video Quality Database, 2019. Available at: http://live.ece.utexas.edu/research/quality/live_video.html.
[9] Video samples from KODI Wiki, 2019. Available at: https://kodi.wiki/view/Samples.
[10] Ultra Video Group test sequences, 2019. Available at: http://ultravideo.cs.tut.fi/#testsequences
[11] C. Chen, S. Inguva, A. Rankin, A. Kokaram. A subjective study for the design of multi-resolution ABR video streams with the vp9 codec. In Proc. of Electronic Imaging Symposium. Visual Information Processing and Communication VII, 2016, pp. 1-5.
[12] D. Vatolin, D. Kulikov, M. Erofeev, A. Antsiferova, S. Zvezdakov, D. Kondranin, S. Grokholsky. 2019. MSU FullHD Video Codec Comparison 2019. Available at: http://compression.ru/video/codec_comparison/hevc_2019/#main_report.
[13] MSU Video Codecs Comparisons, 2019. Available at: http://compression.ru/video/codec_comparison/index_en.html.
[14] S. Chikkerur, V. Sundaram, M. Reisslein, L. J. Karam. Objective video quality assessment methods: A classification, review, and performance comparison. IEEE Transactions on Broadcasting, vol. 57, issue 2, 2011, pp. 165-182.
[15] Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, vol. 13, issue 4, 2004, pp. 600-612.
[16] H.R. Sheikh, A.C. Bovik. Image information and visual quality. IEEE Transactions on image processing, vol.15, issue 5, 2006, pp. 430-444.
[17] VMAF: Perceptual video quality assessment based on multi-method fusion, 2016. Available at: https://medium.com/netflix-techblog/toward-a-practical-perceptual-video-quality-metric-653f208b9652
[18] A. Mittal, R. Soundararajan, A. C. Bovik. Making a «completely blind» image quality analyzer. IEEE Signal Processing Letters, vol. 20, issue 3, 2012, p. 209-212.
[19] D. Vatolin, D. Kulikov, M. Erofeev. MSU Video Codec Comparison 2017 Part III: Full HD Content, Subjective Evaluation,
http://www.compression.ru/video/codec_comparison/hevc_2017/MSU_HEVC_comparison_2017_P 3_subjective.pdf
[20] K. Deb, A. Pratap, S. Agarwal, T. Meyarivan. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE transactions on evolutionary computation, vol. 6, issue 2, 2002, pp.182-197.
[21] A. Zvezdakova, S. Zvezdakov, D. Kulikov, D. Vatolin. Hacking VMAF with Video Color and Contrast Distortion. In Proc. of the 29th International Conference on Computer Graphics and Vision (GraphiCon 2019). CEUR Workshop Proceedings, vol. 2485, 2019, pp. 53-57.
[22] Ватолин Д.С., Гришин С.В. Двукратное увеличение частоты кадров видео на основе двунаправленной компенсации движения. Программирование, том 35, no. 6, 2009, стр. 67-80 / D.S. Vatolin, S. V. Grishin. Double up-conversion of video frame rate based on bidirectional motion compensation. Programming and Computer Software, vol. 35, no. 6, 2009, pp. 351-364.
[23] D. Vatolin, D. Kulikov, M. Erofeev, A. Antsiferova, S. Zvezdakov, D. Kondranin. 2018. MSU Video Codec Comparison 2018, Subjective Report. Available at: http://compression.ru/video/codec_comparison/hevc_2018/#subjective_report.
[24] A. Zvezdakova, D. Kulikov, D. Kondranin, D. Vatolin. Barriers Towards No-reference Metrics Application to Compressed Video Quality Analysis: on the Example of No-reference Metric NIQE. In Proc. of the 29th International Conference on Computer Graphics and Vision (GraphiCon 2019). CEUR Workshow Proceedings, 2019, Vol. 2485, p. 22-27.
[25] G. Bjontegaard. Calculation of average PSNR differences between RD-curves. ITU-T VCEG, Document VCEG-M33, 2001.
Информация об авторах / Information about authors
Анастасия Всеволодовна ЗВЕЗДАКОВА (Анциферова), аспирантка факультета ВМК, участник видеогруппы лаборатории компьютерной графики и мультимедиа. Сфера научных интересов включает анализ и оптимизацию видеокодеков, оценку субъективного качества стереоскопического видео.
Anastasia Vsevolodovna ZVEZDAKOVA (Antsiferova), postgraduate student of the CMC faculty, a member of the video group of the computer graphics and multimedia laboratory. Her research interests include analysis and optimization of video codecs, assessment of the subjective quality of stereoscopic video.
Дмитрий Леонидович КУЛИКОВ, кандидат физико-математических наук, доцент Института системного анализа и управления Государственного университета «Дубна», участник видеогруппы лаборатории компьютерной графики и мультимедиа МГУ. Научные интересы: проблемы обработки видео: удаление шумов, улучшение яркости, контраcтности и улучшение цвета и т.д.; анализ видеокодеков.
Dmitry Leonidovich KULIKOV, Candidate of Physics and Mathematics, Associate Professor of the Institute for System Analysis and Management of Dubna State University, member of the video group of the Laboratory for Computer Graphics and Multimedia, Moscow State University. Research interests: video processing problems: noise removal, brightness and contrast enhancement, color enhancement, etc.; video codec analysis.
Сергей Васильевич ЗВЕЗДАКОВ, аспирант факультета ВМК, участник видеогруппы лаборатории компьютерной графики и мультимедиа. Его научные интересы связаны с анализом и оптимизацией работы видеокодеков, анализом качества видео, построением математических моделей видеокодеков.
Sergey Vasilievitch ZVEZDAKOV, postgraduate student of the faculty of the VMK, a member of the video group of the laboratory of computer graphics and multimedia. His research interests are related to the analysis and optimization of video codecs, analysis of video quality, the construction of mathematical models of video codecs.
Дмитрий Сергеевич ВАТОЛИН, кандидат физико-математических наук, старший научный сотрудник лаборатории компьютерной графики и мультимедиа МГУ. Научные интересы: сжатие видео и данных, обработка видео, 3D-видео.
Dmitry Sergeevich VATOLIN, Candidate of Physics and Mathematics, Senior Researcher, Laboratory of Computer Graphics and Multimedia, Moscow State University. Research interests: video and data compression, video processing, 3D-video.
