CC BY
7УДК 621.37:621.391, 621.37:621.392
СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ МНОГОДЕСКРИПТОРНОГО ВИДЕОКОДИРОВАНИЯ С ПРОСТРАНСТВЕННЫМ И ВРЕМЕННЫМ РАЗДЕЛЕНИЕМ НА СУБПОТОКИ
Тараканов Алексей Николаевич
кандидат технических наук, доцент
ФГБОУ ВПО "Ярославский государственный университет им. П.Г. Демидова". E-mail: tano@uniyar.ac.ru. Балашова Ольга Николаевна
аспирант ФГБОУ ВПО "Ярославский государственный университет им. П.Г. Демидова". E-mail: obalashova90@gmail.com. Ненахов Илья Сергеевич
аспирант ФГБОУ ВПО "Ярославский государственный университет им. П.Г. Демидова".
E-mail: zergoodsound@gmail.com.
Адрес: 150000, г. Ярославль, ул. Советская, 14.
Аннотация: Рассмотрены вопросы передачи видеоизображений через сети с потерями. Описаны детали используемой компьютерной модели системы передачи видео и условия проведения экспериментов. Проведен сравнительный анализ алгоритмов многодескрипторного видеокодирования с пространственным и временным разделением на субпотоки. В качестве критериев анализа использованы метрики ПОСШ и VQM. Результаты экспериментов показали, что по критерию ПОСШ каждый из алгоритмов имеет преимущество относительного другого только в определенном диапазоне значений вероятности потери пакетов, а по критерию VQM во всем рассматриваемом диапазоне вероятности потерь пакетов преимуществом обладает алгоритм многодескрипторного видеокодирования с временным разделением на субпотоки. Оба алгоритма многодескрипторного видеокодирования показывают значительное преимущество над однопоточной схемой передачи видео через сеть с потерями.
Ключевые слова: многодескрипторное видеокодирование, передача видео-трафика, видеоконферен-цсвязь, сети с потерями, многопутевая маршрутизация, качество видеоизображения.
Введение
Современное развитие услуг и сервисов, предоставляемых системами связи, связано с двумя важными трендами: увеличением скорости каналов «последней мили» и повышением вычислительной мощности абонентских устройств. Такое сочетание позволило массово внедрить такие типы услуг, как IP - телевидение, видео по запросу, аудио- и видеозвонки через IP-сети, видеоконференцсвязь и т.п.
Внедрение новых услуг привело к быстрому росту объемов передаваемого трафика. Так, по данным компании Cisco, объем видео, ежемесячно передаваемого по сети в 2014 году, составил 20 ПтБ, что составляет 77% всего интернет трафика [1]. Более того, компания предсказывает количественный рост видео-трафика более чем в два раза к 2018 году. Данный рост связан не только с увеличением числа пользо-
вателей новых видов связи, но и с повышением требований к качеству передаваемых аудио- и видеосигналов [2-4].
Основными параметрами №-сети, которые оказывают влияние на качество передаваемых сигналов, являются: задержка, джиттер и потеря пакетов [5, 6]. В Рекомендации Y.1541 Международного союза электросвязи определены конкретные значения каждой из этих величин и их соответствие определенному типу сети [4]. Наиболее высокие требования предъявляются к сетям, предназначенным для интерактивного общения абонентов в режиме реального времени, типичным примером которых могут служить системы видеоконферен-цсвязи.
Однако даже полное выполнение требований Рекомендаций Y.1541 не позволяет полностью избежать потерь пакетов, особенно при
передаче больших объемов видео-трафика, характерного для систем многоточечной ви-деоконференцсвязи. Для борьбы с потерями пакетов с видеоинформацией в современных сетях используют методы прямой коррекции ошибок, методы автоматического перезапроса потерянных данных и алгоритмы многоде-скрипторного видеокодирования (МДВК) [6,7]. Из перечисленного списка подходов к решению проблемы потери пакетов наиболее актуальным и современным является последний, так как он практически не увеличивает возможные задержки при передаче информации и объем дополнительного трафика.
Работа алгоритмов МДВК заключается в разделении исходного видеопотока на несколько субпотоков, каждому из которых присваивается свой идентификатор - дескриптор [8, 9]. После разделения субпотоки передаются через сеть по независимым путям и собираются обратно в один видео-поток на приемной стороне.
Научные исследования в данном направлении начаты более тридцати лет назад и продолжаются до сих пор [10-22]. Необходимо отметить, что большинство работ в этой области выполняются с помощью методов моделирования, т.к. крайне затруднительно сделать аналитическое описание, учитывающее вопросы разделения и кодирования видеоизображений, передачу пакетов через сеть с потерями и обработку принятых субпотоков на приемной стороне.
В большинстве опубликованных работ представлены результаты исследований, которые были проведены лишь при одном фиксированном числе субпотоков (как правило, двух), только в одной из областей разделения на субпотоки (пространственной или временной) и при использовании упрощенной модели сети (предполагалась полная потеря всех пакетов в одном или нескольких субпотоках, а не случайная потеря пакетов с определенной вероятностью). Кроме того, в этих работах для оценки качества видео использовалась только метрика пикового отношения сигнал/шум
(ПОСШ), но проведенные исследования показали, что результаты, полученные при оценке качества видео с помощью ПОСШ не всегда коррелируют с результатами субъективного визуального восприятия [23-24].
Таким образом, актуальной представляется задача сравнения качества принимаемого видеоизображения при использовании алгоритмов МДВК с временным и пространственным разделением на субпотоки. При этом в ходе экспериментов будем изменять как число субпотоков, так и вероятность потерь пакетов при их передаче через сеть. В качестве критериев оценки качества видео на приемной стороне воспользуемся метриками ПОСШ и VQM (Video Quality Metric). Использование первой из них позволит соотнести полученные результаты с результатами предыдущих исследований, а вторая более точно определит качество видеоизображения.
Особенности работы алгоритмов МДВК
Как было сказано выше, основная идея работы алгоритмов МДВК заключается в разделении исходного видеопотока на стороне передачи на несколько субпотоков, которые по независимым путям передаются через сеть, а затем на приемной стороне субпотоки опять объединяются в единый видеопоток. Поэтому эффект от использования МДВК в наибольшей мере будет заметен при совместном использовании МДВК и алгоритмов многопутевой маршрутизации [25-27].
В работе [15] предлагается ввести классификацию алгоритмов МДВК и разделить их на класс А и класс В. Разница между классами заключается в том, где выполняется демультиплексирование исходного видеопотока на субпотоки. Так, в алгоритмах класса А демульти-плексор включается после видеокодера, а в классе В - до него. К настоящему времени наибольшее распространение получили схемы построения МДВК класса B (пример такой схемы представлен на рис. 1). Прежде всего, это связано с её более простой реализацией, т.к. в такой схеме не требуется учитывать осо-
Кодер МДВК
Источник видео
Н.264 кодер
Н.264 кодер
Канал 1
*■ Канал N
Декодер МДВК
Н.264 декодер
Н.264
декодер
Восстановленное видео
Рис. 1. Схема МДВК кодеков класса В
бенности работы видеокодеков с компенсацией движения. Далее будем рассматривать только такую схему построения МДВК.
Так как в классе В процесс разделения на субпотоки выполняется до видеокодирования, то способов разделения исходной видеопоследовательности может быть несколько. К простейшим и наименее затратным с точки зрения вычислительной сложности относятся методы пространственного и временного разделения [12, 20-22]. При пространственном разделении исходная видеопоследовательность может разделяться на субпотоки по строкам, столбцам или отдельным пикселям изображения каждого кадра. При временном разделении каждый ь й кадр исходной видеопоследовательности поступает в ьй субпоток. Схематично указанные способы разделения приведены на рис. 2.
По сравнению с временным разделением пространственный подход требует несколько большего числа вычислений на передающей стороне из-за необходимости геометрических преобразований для каждого кадра, но это позволяет более гибко определять объем трафика, передаваемого в каждом из субпотоков и формировать практически неограниченное число субпотоков. Временное разделение не требует дополнительных вычислений на передающей стороне (кадр видеопоследовательности целиком отправляется в соответствующий субпоток), но при таком подходе существует ограничение сверху на максимальное число субпотоков, связанное с уменьшением эффективно-
сти работы стандартных видеокодеров (например, К264) при уменьшении корреляции между отдельными кадрами видеопоследовательности.
1
2_
з Н
1 2 3
а) пространственное (по строкам)
б)временное Рис. 2. Разделение видеопоследовательности при МДВК с 3 субпотоками
Каждый из способов демультиплексирования позволяет разбивать видеопоследовательность на субпотоки равномерно и неравномерно, а также с перекрытием и без перекрытия. Выбор равномерного или неравномерного разделения может определяться характеристиками доступных каналов связи. Первый является наименее затратным, а второй более гибким, позволяя формировать субпотоки в соответствии с пропускной способностью каждого из маршрутов доставки пакетов через сеть. Формирование субпотоков с перекрытием позволяет разбивать исходную видеопоследователь-
ность таким образом, что часть информации из одного субпотока будет также содержаться и в другом. Это позволяет повысить надежность передачи, но увеличивает объем передаваемого трафика и ухудшает защищенность системы видеоконференцсвязи от прослушивания злоумышленниками. В случае разделения без перекрытия увеличения объема трафика не происходит, но при пропадании пакетов одного из субпотоков требуется дополнительная обработка видео на приемной стороне для формирования полного изображения.
Критерии оценки качества видеоизображения
Рассмотрим основные вычисления, связанные с формированием оценок качества видеоизображения с помощью метрик ПОСШ и VQM. Пиковое отношение сигнал/шум (ПОСШ) определяется через среднеквадратическую ошибку (СКО) следующим образом [23]:
255
ПОСШ = 201о&,
^СКО'
1 N
СКО = N X (хг - я )\
где N - число пикселей в изображении, х1 и
у1 - значения пикселей эталонного и восста-
новленного изображений соответственно.
В случае цветных изображений величина
СКО рассчитывается путем усреднения по R,G,B-каналам либо только по яркостной Y-
составляющей (в силу большей чувствительности зрительной системы человека к изменениям яркости изображения).
Также стоит учитывать, что изначально метрика ПОСШ разрабатывалась для статиче-
ских изображений, поэтому к видеопоследова-
тельности она применяется покадрово. Итоговое значение ПОСШ для конкретного видео
получается путем усреднения по всем кадрам: 1 м
ПОСШ =—X ПОСШ,
где М - общее число кадров видеопоследовательности.
Алгоритм вычисления VQM основывается на переводе видеоизображения в пространство коэффициентов дискретного косинусного преобразования (ДКП) и может быть представлен следующей блок-схемой (рис. 3).
В ходе цветового преобразования видеопоследовательность переводится в УЦУ-пространство, далее производится дискретное косинусное преобразование (ДКП), определяемое выражением:
. 4с(и )ф) ^ (2 ] + 1)и^
С (и, V) = „V ' XX f (],к )со^\ш Х
]=0 к=0 ^
х cos-
N2 (2к + 1)v^
2N
где с(и), c(v) =
1
Тг 1,
и, V = 0
и, V Ф 0
Полученные коэффициенты ДКП затем подвергаются изменению локального контра-
ста:
Ь(и, V) = С (и, V) •
1024
/ DC,
где коэффициент DC соответствует постоянной составляющей блока коэффициентов ДКП (равен коэффициенту ДКП С00).
Итоговая оценка VQM может быть получена из выражения:
X div
VQM = 10 • (1000—-+ 5 • dív^
М • N
0,65
№1
щ
Передатчик дескриптора 1
Приемник дескриптора 1
Кодер
Передатчик ГР-сеть Приемник
дескриптора 2 дескриптора 2
ЦК
Передатчик дескриптора 3
t
netem
Приемник дескриптора 3
Декодер
Рис. 4. Схема работы моделирующей программы
где divmax определяет максимальное отклонение, - разрешение кадра, а коэффициент 1000 определяет нормировку значений.
Моделирование передачи видео через сеть с потерями
В отличие от ранее проведенных исследований [28-30] в данной работе будем рассматривать модель системы передачи видеоизображений с учетом того, что информация, поступающая в каждый субпоток, разбивается на 1Р-пакеты для передачи через сеть. Такой подход в большей степени соответствует реальным условиям передачи видео и позволяет получить более точные оценки влияния потерь отдельных пакетов на качество всего видеоизображения. Блок-схема работы моделирующей системы приведена на рис. 4.
На передающей стороне использовался
субпотоки и последующим видеокодированием с помощью алгоритма сжатия H.264. Для выполнения сжатия видео по стандарту H.264 использовалась библиотека ffmpeg. Параметры кодека выбирались по умолчанию: «базовый профиль» (baseline profile) и «фактор качества» (степень сжатия), равный 23. Указанная настройка «профиля» наиболее часто используется для систем видеоконференцсвязи [31], а выбранный фактор качества соответствует «хорошей» средней экспертной оценке качества видео [17,32]. В качестве тестовых были выбраны три видеопоследовательности, видеоизображение которых характерно для систем видеоконференцсвязи (изображение типа «говорящая голова»). Кадры тестовых видеопоследовательностей приведены на рис. 5.
Передача пакетов через сеть выполнялась с помощью протоколов RTP, UDP и IP. Потеря
МДВК с предварительным разделением на пакет°в генерир°валась с п°м°щью м°дуля
ядра linux - netem. Распределение вероятности
а) «Акийо»; б) «Планирование»; в) «Мать и дочь»
Рис. 5. Видеопоследовательности, используемые для тестирования
потерь пакетов полагалось равномерным. Величина вероятности потерь пакетов в рамках тестирования варьировалась от 0 до 10%, что соответствует величине потерь в большинстве интернет каналов [33].
На приемной стороне, при использовании МДВК потерянные пакеты восстанавливались на основе полученных субпотоков и методов линейной интерполяции. В случае однопоточ-ной передачи видео потерянный кадр заменялся копией последнего полученного кадра. Оценка качества видео производилась с помощью метрик ПОСШ и VQM.
Результаты моделирования
В ходе моделирования производилась оценка качества видео на приемной стороне при использовании МДВК и вероятности потерь пакетов (ВПП, PLR, Packet Loss Ratio) в одном канале от 0 до 10%. Для всех трех тестовых видеопоследовательностей результаты моделирования оказались схожими. Поэтому на графиках приводятся данные, соответствующие видеопоследовательности «Планирование».
Полученные результаты для МДВК с пространственным и временным разделением на субпотоки приведены на рис. 6 и 7 соответственно. График «1-дескр.» соответствует од-нопоточной схеме передачи без использования МДВК.
Результаты, представленные на рис. 6 и 7, демонстрируют достаточно высокую эффективность использования МДВК по сравнению с однопоточной схемой. По обоим критериям (ПОСШ: выше - лучше , VQM: ниже - лучше) графики для МДВК при любом числе субпотоков показывают результаты лучше, чем одно-поточная передача. Данные, полученные для критерия VQM, показывают преимущество МДВК более наглядно.
Прежде всего необходимо отметить, что при отсутствии потерь (В1111=0) все графики сходятся в одну точку. Это говорит о том, что используемое при МДВК демультиплексирование и мультиплексирование не оказывает негативного влияния на качество видеоизоб-
ражения. Введение вероятности потери пакетов, отличной от нуля, приводит к снижению качества видео, причем в наибольшей степени оно деградирует при однопоточной передаче. Для МДВК величина ухудшения качества видео уменьшается при увеличении числа субпотоков, как для пространственного, так и для временного разделения на субпотоки.
1 3 5 8 10
ВПП
а) по критерию ПОСШ
СУ в
-1-дескр.
^•^2-дескр. —3-дескр. —X— 4-дескр.
впп
б) по критерию УОМ Рис. 6. Результаты моделирования при использовании алгоритма МДВК с пространственным разделением на субпотоки
Анализ графиков показывает, что по критерию ПОСШ для небольших значений ВПП (от 1% до 3%) лучшие результаты показывает МДВК с временным разделением на субпотоки. В среднем выигрыш этого варианта над МДВК с пространственным разделением составляет около 2 дБ. Для ВПП от 4% до 5% для обоих типов разделения на субпотоки значения ПОСШ оказываются близкими. Дальнейшее увеличение ВПП от 6% до 10% показывает лучшую работу МДВК с пространственным разделением на субпотоки. Его выигрыш составляет приблизительно те же 2 дБ, которые он проигрывал при малых значениях ВПП. Также хотелось бы отметить пологий характер
графиков для МДВК с пространственным разделением на субпотоки при ВПП от 3% до 10%, что особенно заметно для 4-дескрипторного разделения (см. рис. 6а). Можно говорить, что этот тип алгоритма толе-рантен к наличию потерь в данном диапазоне ВПП и обеспечивает практически неизменное качество видеоизображения. При максимальном (из рассматриваемого диапазона значений) ВПП=10% оба алгоритма МДВК обеспечивают преимущество над однопоточной передачей в диапазоне от 5 до 7-10 дБ в зависимости от числа субпотоков (большие значения соответствуют большему числу субпотоков).
Графики по критерию VQM отличаются от графиков по критерию ПОСШ в том, что на них алгоритм МДВК с временным разделением на субпотоки оказывается лучше во всем диапазоне ВПП. При этом для обоих видов МДВК сохраняется большой выигрыш по качеству видеоизображения над однопоточной передачей (от 1,7 до 3,4 раз).
Сравнение шкалы качества видеоизображений по МОS с полученными данными для ПОСШ позволяет сделать заключение о том, что однопоточная передача может использоваться только при значениях ВПП не более 2% [34]. При дальнейшем увеличении ВПП только алгоритмы МДВК способны обеспечить «хорошее» или «удовлетворительное» качество видеоизображений, причем увеличение числа дескрипторов способствует увеличению качества видео.
Выводы
Наличие потерь пакетов в IP-сетях ограничивает применимость однопоточной передачи видеоизображений через такие сети. При значениях ВПП более 2% такой способ не позволяет получить хотя бы «удовлетворительного» качества по шкале MOS. Применение алгоритмов МДВК позволяет справиться с вероятностью потерь пакетов до 10%.
Сравнение алгоритмов МДВК с пространственным и временным разделением на субпотоки по критерию ПОСШ показало, что для
ВПП от 1% до 3% небольшим преимуществом обладает схема с временным разделением, а при ВПП от 6% до 10% преимущество остается за пространственной схемой. Выигрыш обоих типов МДВК над однопоточной передачей составляет 5-10 дБ в зависимости от числа субпотоков.
ВПП
а) по критерию ПОСШ
ВПП
б) по критерию VQM Рис. 7. Результаты моделирования при использовании алгоритма МДВК с временным разделением на субпотоки
Использование дополнительного критерия VQM позволило более точно оценить визуальное качество видеоизображения. Данные, полученные по данному критерию, показывают, что, хотя оба рассмотренных типа алгоритмов МДВК имеют близкие значения качества изображения, но во всем диапазоне ВПП схема с временным разделением на субпотоки показывает небольшое преимущество. Выигрыш обоих алгоритмов МДВК над однопоточной схемой составляет 6-8 единиц VQM.
Из двух полученных оценок предпочтение следует отдать VQM, так как проведенные исследования показали, что данный критерий в большей степени коррелирует с результатами психофизиологического восприятия изображения человеком.
Литература
1. Cisco Visual Networking Index: Forecast and Methodology^eKipoHHbiiï ресурс] // URL: http://www. cisco. com/c/en/us/solutions/collateral/service-provider/ip-ngn-ip-next-generation-network/ white_ pa-per_c11-481360. Мт1(датаобращения: 16.06.2015).
2. Кучерявый А.Е., Парамонов А.И., Аль-Наггар Я.М. Сети связи с малыми задержками // Электросвязь. 2013. №12. С. 15-19.
3. Demichelis C., ChimentoP. IP packet delay variation metric for IP performance metrics (IPPM) // RFC 3393. 2002.
4. Recommendation Y.1541. Network Performance Objectives for IP-Based Services // ITU-T. 2006.
5. Таненбаум Э., Уэзеролл Д. Компьютерныесе-ти// СПб.: Питер. 2012. 960 с.
6. Wang Y., Zhu Q. Error Control and Concealment for Video Communication: a Review // Proc of IEEE.1998. V. 86. № 5. P. 974-997.
7. Tan W., Zakhor A. Video Multicast Using Layered FEC and Scalable Compression // IEEE Trans. On Circ. And Syst. For Video Techn. 2001. V. 11. № 3. P. 373-387.
8. Wang Y., Reibman A., Shunan L. Multiple Description Coding for Video Delivery // Proc. of IEEE 93. 2005. P. 57-70.
9. Vitali A., Fumagalli M. Standard-compatible Multiple-Description Coding (MDC) and Layered Coding (LC) of Audio/Video Streams [Электронный ресурс] // IETF. 2005 URL: http://www.ietf.org/proceedings/ 64/slides/avt-3.pdf (дата обращения: 07.06.2015).
10. Wolf J.K., Wyner A.D., Ziv J. Source Coding for Multiple Descriptions // The Bell System Technical Journal. 1980. V. 59. № 8. P.1417-1426.
11. Fitzek F.H.P., Can B., Prasad R, Katz M., Park D.S. Traffic Analysis of Multiple Description Coding of Video Services over IP Networks // Wireless Personal Multimedia Communications WPMC. Padova, Italy, 2004. P. 266-270.
12. Lu M., Lin C., Yao J. Multiple description coding with spatial-temporal hybrid interpolation for video streaming in peer-to-peer networks. [Электронный ресурс] // National Taiwan University, Taipei. 2006. URL: http://www.zju.edu.cn/jzus/2006/A0605/A060526.pdf (да та обращения: 24.02.2015).
13. Vitali A. Multiple Description Coding - a new technology for streaming over the Internet [Электронный ресурс] // EBU Technical Review. 2007. URL: https://tech.ebu.ch/docs/techreview/trev_312-vitali_ streaming.pdf (дата обращения: 24.02.2015).
14. Magli E., Campione S., Peraldo L. Video Multiple Description Coding (MDC) [Электронный ресурс] // The University of Illinois at Chicago. 2009. URL: http://ru. scribd.com/doc/13329246/Video-Multiple-Description-Coding-MDC#scribd (дата обращения: 24.02.2015).
15. Chen J., Wen-Jiin T. Joint temporal and spatial
multiple description coding for H. 264 video // Proc. of IEEE International Conference on Image Processing. Hong Kong, 2010. P. 1273-1276.
16. Maza'ar H.H., Elmahdy H.N. Multiple Description Coding Based Network Coding // International Journal of Computer Applications, 2010. No. 9. P. 35-40.
17. Ou Y., Zhou Y., Wang Y. Perceptual quality of video with frame rate variation // IEEE Int. Conf. on Acoustic, Speech and Signal Proces. 2010. P. 2446-2449.
18. Bai H., Wang A., Zhao Y., Pan J., Abraham A. Distributed Multiple Description Coding // London: Springer. 2011. 185 P.
19. Yoon Y., Kim M., Lee S. Performance analysis of
H.264/AVC, H.264/SVC and VP8 over IEEE 802.11 Wireless Network // IEEE Symp. on Computers and Communications (ISCC). 2012. P. 151-156.
20. Choupani R., Wong S., Tolun M., Spatial Multiple Description Coding for Scalable Video Streams // International Journal of Digital Multimedia Broadcasting. 2014. P. 1-8.
21. Seeling P., Reisslein M. Video Coding with Multiple Descriptors and Spatial Scalability for Device Diversity in Wireless Multi-hop Networks. [Электронный ресурс] // P. Seeling and M. Reisslein Dept. of Electrical Engineering, Arizona State University. URL: http://trace.eas.asu.edu/publications/cnf_MD_ccnc05.pdf (дата обращения: 24.02.2015).
22. Campana O. Multiple Description Coding Schemes for the H.264/AVC Coder. [Электронный ресурс] // URL: http://www.diegm.uniud.it/rinaldo/ PRIN/PRIN_2005/Forward_Error_Correction_codes_at_t he_packet_level_files/WiRTeP2006_md.pdf (дата обращения: 24.02.2015).
23. Павлов Е.А., Гущина О.Н., Приоров А.Л., Хрящев В.В. Неэталонный алгоритм оценки качества изображений с использованием дискретного косинусного преобразования // Успехи современной радиоэлектроники. 2013. №11. С. 3-13.
24. Wang Y. Survey of Objective Quality Measurements [Электронный ресурс] // EMC Corporation Hop-kinton. URL: ftp://ftp.cs.wpi.edu/pub/techreports/pdi706-02.pdf (дата обращения: 15.06.2015).
25. Тараканов А.Н., Савасин П.А. Модернизация процедуры вычисления метрики в алгоритме множественных деревьев // Вестник компьютерных и информационных технологий. 2014. № 5. С. 32-37.
26. Тараканов А.Н., Тупицын В.В., Приоров А.Л. Построение сети видеоконференцсвязи по алгоритму Дейкстры на основе новой метрики // Вестник компьютерных и информационных технологий. 2013. №
I. С. 34 - 40.
27. Тупицын В.В., Приоров А.Л., Тараканов А.Н. Исследование масштабируемости систем многоточечной видеоконференцсвязи на основе алгоритмов множественных деревьев // Проектирование и технология электронных средств. 2012. № 4. С. 20-24.
28. Tarakanov A., Gushchina O. Analysis of Multiple Description Coding Algorithm with Time Division of
Video Stream in Task of Multipoint Videoconferencing // First Int. Scientific-Practical Conf. Problems of Infocom-munications Science and Technology. 2014. Kharkiv, Ukraine. P. 85-87.
29. Тараканов А.Н., Гущина О.Н. Кратковременный анализ качества видео на приемной стороне при передаче двух и трех субпотоков видеоданных через сеть с потерями // Вестник ЯрГУ. Серия Естественные и технические науки. 2015. №1. С. 72-83.
30. Гущина О.Н., Ненахов И.С., Тараканов А.Н. Анализ качества изображения в системе многоде-скрипторного кодирования видео с пространственным мультиплексированием // Сб. докл. междунар. конф. «Радиоэлектронные устройства и системы для инфо-коммуникационных технологий» (REDS-2015). Москва, 2015. С. 317-321.
31. Huawei Videoconferencong White Paper. VME + H.264HP: Dual-Core Video Experience [Электронный
Поступила 12 октября 2015 г.
ресурс] // URL: http://www.actfornet.com/ HUAWEI_ UCC_D0CS/VC_ALL/Huawei%20Videoconferencing% 20VME+H.264%20HP%20Dual-Core%20Technical%20 White%20Paper.pdf (дата обращения: 18.07.2015).
32. Rao K.R. Video Coding Standards // Springer Science and Business Media Dordrecht, 2014. P. 331-345.
33. Boulos F.,Parrein B., Le Callet P., Hands D. Perceptual Effects of Packet Loss on H. 264/AVC Encoded Videos // Fourth International Workshop on Video Processing and Quality Metrics for Consumer Electronics VPQM-09. USA, 2009. 6 P.
34. Mu M., Gostner R., Mauthe A., Tyson G., Garcia F. Visibility of Individual Packet Loss on H.264 Encoded Video Stream - A User Study on the Impact of Packet Loss on Perceived Video Quality [Электронный ресурс] // URL:http://www.inf.kcl.ac.uk/research/groups/aisepcrn/ files/MMCN09-QoE.pdf (дата обращения: 14.07.2015).
English
Comparative analysis of multiple description video coding algorithms with temporal and spatial substreams division
Alexey Nikolaevich Tarakanov - Ph.D. in Telecommunications (kandidat), associate professor, P.G. Demidov Yaroslavl State University.
E-mail: tano@uniyar.ac.ru.
Olga Nikolaevna Balashova - postgraduate student, P.G. Demidov Yaroslavl State University.
E-mail: obalashova90@gmail.com.
Ilya Sergeevich Nenakhov - postgraduate student, P.G. Demidov Yaroslavl State University.
E-mail: zergoodsound@gmail.com.
Address: ul. Sovetskaya, 14, Yaroslavl, Russia, 150000.
Abstract: Increase of transmitted internet video traffic demands search for new methods of its efficient lossy network transmission. Transmission efficiency and reliability are especially significant for real-time interactive applications - video calls and a video conferences. Use of multiple description video coding (MDVC) algorithms can be highlighted as today's approach of various ones to solve this problem. Known works in this field deny to define preferable method of demultiplexing in MDVC algorithms with different substreams number. The article gives comparative analysis of MDVC algorithms with temporal and spatial substreams division on the basis of original computer model. Detailed features description of applied model and conducted experiments parameters are provided. SNPR and VQM metrics are used as criteria for obtained video image. Both algorithms surpass one video stream transmission via network. Obtained results manifest that each of algorithms has advantage by SNPR criterion in certain range of packet loss probability values (PLP). MDVC with temporal substreams division prevail in all PLP value range by VQM criterion. VQM is to be in favor between two used criteria, as more precise in view of obtained results for visual perception of video by human. Provided material will be interesting for scientists dealing with video traffic problems and for engineers developing new IP network based video communication and television systems.
Key words: multiple description video coding, video traffic transmission, videoconferencing, lossy networks, multipath routing, video image quality.
References
1. Cisco Visual Networking Index: Forecast and Methodology electronic resource]//URL: http://www.cisco.eom/c/en/us/solutions/collateral/service-provider/ip-ngn-ip-next-generation-network/white_ pa-per_c11-481360.html (dataobrashcheniya(dataobrashcheniye): 16.06.2015).
2. Kucheryaviy A.E., Paramonov A.I., Al-Naggar Ya.M. Low delay communication networks// Elektrosvyaz. 2013. No. 12. P. 15-19.
3. Demichelis C., ChimentoP. IP packet delay variation metric for IP performance metrics (IPPM)//RFC 3393. 2002.
4. Recommendation Y. 1541. Network Performance Objectives for IP-Based Services//ITU-T. 2006.
5. Tanenbaum A., Wetherall D. Computer networks//SPb.: St. Petersburg. 2012. 960 p.
6. Wang Y., Zhu Q. Error Control and Concealment for Video Communication: Review//Proc of IEEE. 1998. V. 86. No. 5. P. 974-997.
7. Tan W., Zakhor A. Video Multicast Using Layered FEC and Scalable Compression//IEEE Trans. On Circ. And Syst. For Video Techn. 2001. V. 11. No. 3. P. 373-387.
8. Wang Y., Reibman A., Shunan L. Multiple Description Coding for Video Delivery//Proc. of IEEE 93. 2005. P. 57-70.
9. Vitali A., Fumagalli M. Standard-compatible Multiple-Description Coding (MDC) and Layered Coding (LC) of Audio/Video Streams [electronic resource]//IETF. 2005 URL: http://www.ietf.org/proceedings/64/slides/avt-3.pdf (access date: 07.06.2015).
10. Wolf J.K., Wyner A.D., Ziv J. Source Coding for Multiple Descriptions//The Bell System Technical Journal. 1980. V. 59. No. 8. P.1417-1426.
11. Fitzek F.H.P., Can B., Prasad R, Katz M., Park D.S. Traffic Analysis of Multiple Description Coding of Video Services over IP Networks//Wireless Personal Multimedia Communications WPMC. Padova, Italy, 2004. P. 266-270.
12. Lu M., Lin C., Yao J. Multiple description coding with spatial-temporal hybrid interpolation for video streaming in peer-to-peer networks. [Electronic resource]//National Taiwan University, Taipei. 2006. URL: http://www.zju.edu.cn/jzus/2006/A0605/A060526.pdf (access date: 24.02.2015).
13. Vitali A. Multiple Description Coding - a new technology for streaming over the Internet [electronic re-source]//EBU Technical Review. 2007. URL: https://tech .ebu.ch/docs/techreview/trev_312-vitali_streaming.pdf (access date: 24.02.2015).
14. Magli E., Campione S., Peraldo L. Video Multiple Description Coding (MDC) [electronic resource]//The University of Illinois at Chicago. 2009. URL: http://ru.scribd.com/doc/13329246/Video-Multiple-Description-Coding-MDC#scribd (access date: 24.02.2015).
15. Chen J., Wen-Jiin T. Joint temporal and spatial multiple description coding for H. 264 video//Proc. of IEEE International Conference on Image Processing. Hong Kong, 2010. P. 1273-1276.
16. Maza'ar H.H., Elmahdy H.N. Multiple Description Coding Based Network Coding/International Journal of Computer Applications, 2010. No. 9. P. 35-40.
17. Ou Y., Zhou Y., Wang Y. Perceptual quality of video with frame rate variation//IEEE Int. Conf. on Acoustic, Speech and Signal Proces. 2010. P. 2446-2449.
18. Bai H., Wang A., Zhao Y., Pan J., Abraham A. Distributed Multiple Description Coding//London: Springer. 2011. 185 P.
19. Yoon Y., Kim M., Lee S. Performance analysis of H.264/AVC, H.264/SVC and VP8 over IEEE 802.11 Wireless Network//IEEE Symp. on Computers and Communications (ISCC). 2012. P. 151-156.
20. Choupani R., Wong S., Tolun M., Spatial Multiple Description Coding for Scalable Video Streams//International Journal of Digital Multimedia Broadcasting. 2014. P. 1-8.
21. Seeling P., Reisslein M. Video Coding with Multiple Descriptors and Spatial Scalability for Device Diversity in Wireless Multi-hop Networks. [Electronic resource]//P. Seeling and M. Reisslein Dept. of Electrical Engineering, Arizona State University. URL: http://trace.eas.asu.edu/publications/cnf_MD_ccnc05.pdf (access date: 24.02.2015).
22. Campana O. Multiple Description Coding Schemes for the H.264/AVC Coder. [Electronic resource]//URL: http://www.diegm.uniud.it/rinaldo/PRIN/PRIN_2005/Forward_Error_Correction_codes_at_the_packet_level_files/ WiRTeP2006_md.pdf (access date: 24.02.2015).
23. Pavlov E.A., Gushchina O.N., Priorov A.L., Hryashchev V. V. Nonstandard algorithm of image quality evaluation using discrete cosine transform// Uspekhi sovremennoy radioelektroniki. 2013. No. 11. P. 3-13.
24. Wang Y. Survey of Objective Quality Measurements [electronic resource]//EMC Corporation Hopkinton. URL: ftp://ftp.cs.wpi.edu/pub/techreports/pdf/06-02.pdf (access date: 15.06.2015).
25. Tarakanov A.N., Savasin P. A. Metrics computation process improvement in multiple trees algorithm// Vest-nik kompyuternykh i informatsionnykh tekhnology. 2014. No. 5. P. 32-37.
26. Tarakanov A.N., Tupitsyn V. V., Priorov A.L. Video conferencing network creation by Dejkstra algorithm on the basis of new metrics// Vestnik kompyuternykh i informatsionnykh tekhnology. 2013. No. 1. P. 34 - 40.
27. Tupitsyn V. V., Priorov A.L., Tarakanov A.N. Scalability research of multipoint video conferencing systems based on of multiple tree algorithms // Proyektirovaniye i tekhnologiya elektronnykh sredstv. 2012. No. 4. P. 20-24.
28. Tarakanov A., Gushchina O. Analysis of Multiple Description Coding Algorithm with Time Division of Video Stream in Task of Multipoint Videoconferencing//First Int. Scientific-Practical Conf. Problems of Infocommuni-cations Science and Technology. 2014. Kharkiv, Ukraine. P. 85-87.
29. Tarakanov A.N., Gushchina O. N. Short-term analysis of video quality in receiving end when transmitting two and three video data substreams elementary streams via lossy network //the YaRGU Bulletin. Seriya Yestestvennye i tekhnicheskiye nauki. 2015. No. 1. P. 72-83.
30. Gushchina O.N., Nenakhov I.S., Tarakanov A.N. Image quality analysis in multiple description video coding system with spatial multiplexing//B. rep. internat. confer. "Radio-electronic devices and systems for information communication technologies" (REDS-2015). Moscow, 2015. P. 317-321.
31. Huawei Videoconferencong White Paper. VME + H.264HP: Dual-Core Video Experience [electronic re-source]//URL: http://www.actfornet.com/HUAWEI_UCC_D0CS/VC_ALL/Huawei%20Videoconferencing%20 VME+H.264%20HP0/o20Dual-Core%20Technical%20White0/o20Paper.pdf (access date: 18.07.2015).
32. Rao K.R. Video Coding Standards//Springer Science and Business Media Dordrecht, 2014. P. 331-345.
33. Boulos F., Parrein B., Le Callet P., Hands D. Perceptual Effects of Packet Loss on H. 264/AVC Encoded Videos//Fourth International Workshop on Video Processing and Quality Metrics for Consumer Electronics VPQM-09. USA, 2009. 6 P.
34. Mu M., Gostner R., Mauthe A., Tyson G., Garcia F. Visibility of Individual Packet Loss on H.264 Encoded Video Stream - A User Study on the Impact of Packet Loss on Perceived Video Quality [electronic re-source]//URL:http://www .inf.kcl.ac.uk/research/groups/aisepcrn/files/MMCN09-QoE.pdf (access date: 14.07.2015).
