Распределение и адаптация видеопотока в формате svc в гетерогенной сети Текст научной статьи по специальности «Компьютерные и информационные науки»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2016 Том 16 № 4 ISSN 2226-1494 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS

July-August 2016

Vol. 16 No 4 ISSN 2226-1494

http://ntv.ifmo.ru/en

УДК 004.4, 004.7

распределение и адаптация видеопотока в формате svc

в гетерогенной! сети Е.А. Пакулова3

a Южный федеральный университет, Таганрог, 347922, Российская Федерация Адрес для переписки: pakulova_e@mail.ru Информация о статье

Поступила в редакцию 15.05.16, принята к печати 18.06.16 doi: 10.17586/2226-1494-2016-16-4-710-715 Язык статьи - русский

Ссылка для цитирования: Пакулова Е.А. Распределение и адаптация видеопотока в формате SVC в гетерогенной сети // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 4. С. 710-715. doi: 10.17586/2226-1494-201616-4-710-715

Аннотация

Представлены результаты исследования передачи трафика в формате масштабируемого видеокодирования H.264/SVC стандарта с обеспечением требований QoS. Разработаны и экспериментально исследованы алгоритм мультипотоковой передачи данных и алгоритм адаптации видео. Алгоритм мультипотоковой передачи данных позволяет распределить видеотрафик между несколькими интерфейсами связи, в то время как алгоритм адаптации видео позволяет динамически изменять качество отправляемого видеопотока в зависимости от условий QoS в сети. Показано, что совокупная работа представленных алгоритмов позволяет агрегировать пропускную способность сетей доступа, повысить качество восприятия получателей видеопотока, а также снизить потери по сравнению с алгоритмом Round Robin. Определена и реализована экспериментальная установка в клиент-серверной архитектуре для проведения экспериментов. Для проведения экспериментов использовались трейс-файлы, содержащие данные о пропускной способности реальных публичных сетей доступа, на основе которых вводились ограничения по пропускной способности и потерям в сети. Результаты исследования применимы для исследования и организации передачи видеотрафика в гетерогенных беспроводных сетях. Ключевые слова

мультипотоковая передача видеотрафика, адаптация видео, гетерогенная сеть передачи данных, масштабируемая видеопоследовательность

svc video stream allocation and adaptation in heterogeneous

network:

E.A. Pakulova3

a Southern Federal University, Taganrog, 347922, Russian Federation Corresponding author: pakulova_e@mail.ru Article info

Received 15.05.16, accepted 18.06.16 doi: 10.17586/2226-1494-2016-16-4-710-715 Article in Russian

For citation: Pakulova E.A. SVC video stream allocation and adaptation in heterogeneous network. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 4, pp. 710-715. doi: 10.17586/2226-1494-2016-16-4-710-715

Abstract

The paper deals with video data transmission in format H.264/SVC standard with QoS requirements satisfaction. The SenderSide Path Scheduling (SSPS) algorithm and Sender-Side Video Adaptation (SSVA) algorithm were developed. SSPS algorithm gives the possibility to allocate video traffic among several interfaces while SSVA algorithm dynamically changes the quality of video sequence in relation to QoS requirements. It was shown that common usage of two developed algorithms enables to aggregate throughput of access networks, increase parameters of Quality of Experience and decrease losses in comparison with Round Robin algorithm. For evaluation of proposed solution, the set-up was made. The trace files with throughput of existing public networks were used in experiments. Based on this information the throughputs of networks were limited and losses for paths were set. The results of research may be used for study and transmission of video data in heterogeneous wireless networks. Keywords

multipath video data transmission, video adaptation, heterogeneous network, scalable video coding

Введение

В настоящее время крайне популярно использование различных персональных беспроводных устройств: ноутбуки, нетбуки, планшеты, смартфоны и другие средства с беспроводным доступом к сети. Современные устройства оборудованы несколькими интерфейсами связи (WiFi, 3G, LTE, Bluetooth). Данные технологии различаются параметрами качества обслуживания (пропускной способностью канала, коэффициентом потерь, задержкой), стоимостью услуг связи, зоной покрытия и пр.

Одним из самых распространенных сервисов является передача видео высокого качества. Согласно отчету компании Cisco [1], передача видеоконтента будет составлять 80% от передачи всего трафика в сети к 2019 году. Однако в настоящее время беспроводные технологии связи не могут предоставить достаточной пропускной способности канала и малого коэффициента потерь [2]: WiFi сети имеют крайне ограниченную зону покрытия и поддержку конечного пользователя, а мобильные сети до сих пор не могут предложить достаточной пропускной способности для передачи видеотрафика. Однако следует заметить, что современный стандарт 4G LTE призван обеспечить высокую скорость передачи видео, но этого все равно недостаточно для постоянно растущего видеотрафика [3].

Исходя из этого, задача передачи видео высокого качества (с удовлетворением требований Quality of Service, QoS) посредством беспроводных гетерогенных сетей доступа до сих пор является весьма актуальной.

Одним из направлений обеспечения высокого качества видео при передаче является распараллеливание и мультипотоковая передача видео трафика по нескольким интерфейсам связи.

За последние несколько лет был предложен ряд решений мультипотоковой передачи видеоданных. Данной проблеме посвящены работы различных зарубежных авторов [2, 4-8]. В [2] предложена классификация существующих работ на две группы: одновременную мультипотоковую передачу мультимедиа-трафика [4-6] и совместную передачу мультимедиа-трафика [7, 8]. Одновременная мультипотоковая передача мультимедиа данных предполагает одновременную передачу данных по нескольким интерфейсам связи. В то же время совместная передача мультимедиа трафика предполагает передачу видео также по нескольким интерфейсам связи, но не одновременно. Однако большинство из рассмотренных решений в англоязычных источниках не адресованы проблеме передачи масштабируемого видео, представителем которого является видео, закодированное стандартом H.264/SVC [9].

Одной из значимых работ для видео H.264/SVC является работа [8]. Однако она не адаптирована для использования в беспроводных сетях доступа.

Наиболее близкой по тематике работой на русском языке является работа [10], где авторы рассматривают возможность повышения качества видеопотока методом дублирования ключевых кадров в RTP-потоке. Однако в [10] не предложено алгоритма, который бы позволял принимать решение о дублировании кадров.

Более подробный анализ работ, посвященных данной тематике, проведен в [11].

В настоящей работе для решения задачи передачи видео высокого качества предложен комплексный подход, сочетающий в себе мультипотоковую передачу видеоданных по нескольким интерфейсам связи и адаптацию видеопотока к изменяющимся условиям сети. В результате были разработаны и им-плементированы два основных алгоритма.

1. Алгоритм мультипотоковой передачи данных (Sender-Side Path Scheduling algorithm, SSPS). Для каждого пакета видеопотока SSPS выбирает интерфейс/ интерфейсы для передачи.

2. Алгоритм видеоадаптации на отправляющей стороне (Sender-Side Video Adaptation algorithm, SSVA). Алгоритм SSVA выполняет адаптацию видео на основе качественной гранулярности видео. В данной работе использовался стандарт H.264/SVC с одним базовым и несколькими уровнями расширения для кодирования видеопотока.

Для реализации мультипотоковой передачи данных использовался мультипотоковый протокол реального времени (Multi Path Real Time Protocol, MPRTP) [12]. MPRTP предоставляет информацию о времени передачи, идентификации участников взаимодействия и о приложении посредством контрольных пакетов (RTCP-пакеты) между отправителем и получателем. Однако данный протокол отвечает только за реализацию мультипотоковой передачи, но не предоставляет алгоритм выбора интерфейсов связи для передачи данных. Используемая модель мультипотоковой передачи видеоданных подробно описана в [13]. Для описания работы алгоритмов примем, что отправитель А отправляет видеопоток получателю В.

Алгоритм мультипотоковой передачи данных

Основной целью SSPS является распределение битрейта видеопотока на доступные интерфейсы связи. Входными параметрами SSPS являются: значение битрейта видеопотока уi для каждого слоя i, значения доступной пропускной способности сети ß j и коэффициента потерь пакетов Lj для каждого

пути j. Исходящим параметром SSPS является скорость отправления бит видеопотока уj для каждого пути j.

Следует заметить, что SSPS изменяет битрейт видео для передачи только в случае, если принимается решение отправления /-фрейма, т.е. только в пределах Group of Pictures (GoP). Таким образом, видеопоток можно будет без труда декодировать на принимающей стороне В. р j и Lj для пути j определяются на стороне отправителя А, основываясь на информации, полученной из RTCP-пакетов, получаемых А, как описано в [11].

Предполагается, что алгоритм вызывается на выполнение в случае, если удовлетворены следующие условия:

- прошел интервал ожидания;

- распределяется /-фрейм;

- получен хотя бы один RTCP-пакет от В.

Как только А получает RTCP-пакет, он определяет Lj для каждого пути j, как описано в [11], и вычисляет скользящее среднее пропускной способности канала Xj для интервала т:

1 X—' n-1

x j =-* У в.,

1 n =о 1

где Bj - значение пропускной способности канала в RTCP-пакете; n - количество полученных RTCP-

пакетов от в в промежуток т.

Основываясь на информации о потерях и доступной пропускной способности сети, алгоритм SSPS рассчитывает скорость отправления бит данных у j для каждого пути j, а также для всех путей в сумме:

* х-1 n

У = У j у j .

Скорость отправления бит данных (у j) для пути j вычисляется как отношение скользящего среднего пропускной способности пути Xj к средней агрегируемой пропускной способности гетерогенной

сети X* = У . о X j, помноженной на оставшийся битрейт видео. Таким образом, вычисляются скорости

отправления бит видео для всех путей.

Если возникли потери на всех путях, вызывается алгоритм адаптации видео SSVA. Следует заметить, что SSPS распределяет пакеты на пути, начиная с того, у которого минимальна доступная пропускная способность. Это сделано для того, чтобы получить информацию обо всех путях, в том числе и о путях с потерями.

Алгоритм адаптации видео на отправляющей стороне

Основной целью алгоритма адаптации видео (SSVA) является динамическая адаптация передаваемой видеопоследовательности к текущим условиям сети. Заметим, что SSVA работает с качественной масштабируемостью видеопотока. Качественная масштабируемость означает, что видеопоток разбит на уровни представления - базовый уровень и несколько уровней усиления. Обладая этой информацией, SSVA либо понижает, либо повышает отношение сигнал/шум (SNR) для видео фреймов от слоя к слою.

Основной стратегией SSVA является выбор определенного уровня представления для следующего отправляемого фрейма (в рамках GoP).

Входными параметрами для SSVA являются:

- коэффициент потерь пакетов Lj для пути j;

- битрейт видео уi для каждого слоя i видеопоследовательности;

*

- общая скорость отправления бит видео у .

Выходными данными алгоритма SSVA является информация о следующем уровне представления j видеопоследовательности.

Алгоритм SSVA вызывается алгоритмом SSPS в случае, когда наблюдаются потери на всех доступных путях для снижения качества видео, и для повышения качества видео в случае, когда потерь не наблюдается на всех путях. На начальной фазе SSVA распределяет только базовый слой видео, поскольку не известно значение агрегационной пропускной способности сети.

Опишем работу алгоритма SSVA. В момент, когда необходимо выбрать новый слой видео для передачи, SSVA сравнивает битрейт yi текущего слоя i видеопоследовательности с общей скоростью от**

правления бит видео у , предоставленной SSPS. Если у больше, чем уi, и нет потерь на путях, SSVA

выбирает следующий слой, предоставляющий более высокое качество видео. Если наблюдаются потери

*

на путях и у меньше, чем yi, SSVA выбирает предыдущий слой видеопоследовательности, предоставляющий худшее качество видео по сравнению с текущим слоем. Однако в случае, если наблюдаются по*

тери на путях, но у больше, чем уi, SSVA оставляет текущий слой для передачи. Это необходимо, с одной стороны, чтобы сгладить влияние спонтанных потерь на путях, с другой стороны, это предотвращает резкое колебание качества видео.

Настройки экспериментальной установки

Для того чтобы оценить предложенное решение, были написаны и имплементированы программы для отправителя и получателя в клиент-серверной архитектуре с использованием двух интерфейсов связи под операционной системой Ubuntu 14.04. В ходе эксперимента были использованы трейс-файлы, представленные в [14], для Sony demo видео со следующими характеристиками: битрейт видео 30 фреймов в секунду, 3 уровня расширения в режиме Core Grace Scalability (CGS). Видео было закодировано стандартом H.264/SVC [9].

Основываясь на информации трейс-файлов, была симулирована передача реальной видеопоследовательности. Для этого были созданы RTP-пакеты, которые включали в себя фреймы того размера, которые были указаны в трейс-файле. При выполнении экспериментов предполагалось, что фреймы отправлялись в порядке, определенном при кодировании видео. Также предполагалось, что передача видео осуществляется по протоколам MPRTP [12] и IPv4.

Эксперименты были проведены с допущением задержки передачи до 1 с. Время проведения каждой сессии эксперимента составляет 5,5 мин.

Проведен ряд экспериментов с искусственным ограничением пропускной способности каналов с помощью инструмента контроля трафика (Traffic Control) пакета iproute2. Кроме того, были также проведены эксперименты с использованием трейсов пропускной способности, собранных в различных общественных сетях г. Берлина (Германия) [15]. Данные трейсы были использованы для ограничения пропускной способности каналов, эмулируя влияние TCP-трафика на UDP-трафик в пределах сети. В итоге было проведено 45 экспериментов.

Результаты экспериментов

Критерии оценки. Одной из основных целей адаптации при передаче видео является повышение качества восприятия видео. Среди параметров качества восприятия видео, которые могут влиять на политику адаптации видео, можно выделить количество прерываний воспроизведения видео и качество видеопоследовательности на принимающей стороне. В [15] было показано, что данные параметры нельзя рассматривать по отдельности. Следует также заметить, что большое количество переходов между уровнями видео также ведет к ухудшению качества восприятия видео. Принимая это во внимание, в настоящей работе критерии оценки были сведены к следующим.

- Качество видео с точки зрения параметра PSNR. В [16] было показано, что PSNR является валидной метрикой для оценки качества видео для одной и той же видеопоследовательности и с одним и тем же видеокодеком.

- Средняя скорость отправления бит видео, которая сравнивается со средним битрейтом видеопоследовательности для выбранных уровней.

- Количество прерываний воспроизведения видео с точки зрения потерь GoP.

Агрегация пропускной способности. Была симулирована среда, где пропускная способность обоих каналов была ограничена. Эксперименты позволяют показать чувствительность алгоритма SSPS к изменениям пропускной способности сети. Как видно на рис. 1, а, путь 0 ограничен 35 Мбит/с, путь 1 меняется каждые 45 с. Очевидно, что алгоритм SSPS позволяет распределять трафик среди доступных путей, достигая агрегации пропускной способности. SSPS распределяет меньше трафика на путь, который показывает меньшую пропускную способность, и больше трафика на путь, который показывает большую пропускную способность. На рис. 1, б, представлен сценарий, где оба пути ограничены (путь 0 ограничен 8 Мбит/с, путь 1 ограничен данными из трейс-файла). Черная линия на графиках показывает введенные ограничения.

Сравнение скорости отправления бит видео и битрейта видео. В ходе экспериментов были

*

сделаны сравнения средней общей скорости отправления бит видео у с общим средним битрейтом

* П

у = ^ ^ у1 , где п - число уровней качества в видеопоследовательности.

Из рис. 2, а, можно заключить, что SSPS определяет большую скорость для отправления на путь, чем необходимо. Однако это не означает, что именно эта скорость будет применена. Отчасти это сделано потому, что отправитель должен проверить доступность пропускной способности сети, повышая количество данных для отправления.

н s

ая а

к

W о

уп

о р

С

so 4o 30

2o io

— щ [ill

i il \ ¥

-и m i1 ii it

m j1 fuf\ ' \

2s

I 100 200 300 400

Время получения RTCP-пакетов отправителем, с путь 0 путь 1

л

т

S 2o

н

ю

о

g ^ is

G H

си

Silo

н

w

I s

о р

G o

100 200 300 400 Время получения RTCP-пакетов отправителем, с путь 0 путь 1

Рис. 1. Адаптация скорости отправления бит видео: с искусственным ограничением пропускной способности (а); с ограничением с помощью трейс-файла

а т

«

е р

т и б

8

« 7,6

т и

иб ниМб

е

F ~ ао ане

^

и в

е

н

д

р С

6,6

6

48

46

S 44

g 42

ГЛ 4o

Рч

38

36

6,5 7 7,5 8 8,5 9 Средняя скорость отправления бит, Мбит/с

a b c Алгоритмы

Рис. 2. Сравнение: скорости отправления видео и битрейта видео (а); PSNR-характеристик. Обозначения

алгоритмов даны в тексте (б)

Оценка качества видео. Для оценки качества видео было проведено 30 экспериментов с различными сценариями. Замечено, что PSNR резко падает при увеличении количества прерываний воспроизведения видео.

Было также проведено сравнение средней характеристики PSNR для предложенного решения и для алгоритма Round Robin. На рис. 2, б, представлены результаты измерения для предложенного решения и для Round Robin: PSNR-характеристика для SSVA+SSPS на отправляющей стороне (a); PSNR-характеристика для SSVA+SSPS на принимающей стороне (b); PSNR-характеристика для Round Robin на отправляющей стороне (с); PSNR-характеристика для Round Robin на принимающей стороне (d). Предложенное решение показало лучшую характеристику PSNR с меньшим ее разбросом, чем при алгоритме Round Robin.

3 и

SX R u U гр И

К S о а с о о и

SSPS+SSVA

Round Robin

Рис. 3. Сравнение прерываний воспроизведения видео

Прерывания воспроизведения видео. Прерывания воспроизведения видео на принимающей стороне возникают, когда потеряны фреймы всей GoP. В данной работе прерывания воспроизведения видео выражены в процентах от общего количества GoP передаваемой видеопоследовательности (рис. 3). Очевидно, что предложенное решение имеет меньшее количество прерываний в среднем по сравнению с алгоритмом Round Robin. Однако, как видно из (рис. 3), количество прерываний воспроизведения видео для алгоритмов SSPS и SSVA имеет довольно большой разброс значений. Это может привести к деградации

7

d

s

PSNR в условиях жестких ограничений пропускной способности сети. Следует заметить, что нами не было это замечено в среднем, однако необходимо провести большее количество экспериментов.

Заключение

В работе разработано и экспериментально подтверждено решение распределения и адаптации видеопотока в формате SVC в гетерогенной сети. Реализованы алгоритм мультипотоковой передачи данных (SSPS) и алгоритм адаптации видео (SSVA). Проведено 45 экспериментов, выполнено сравнение с алгоритмом Round Robin, который предполагает попеременное распределение пакетов видеопоследовательности на пути. Предложенное решение распределяет пакеты видеопоследовательности на пути, основываясь на данных о доступной пропускной способности сети и фиксированных потерях. Можно утверждать, что совокупная работа алгоритмов SSPS и SSVA определяет довольно точно скорость отправления бит видео на потоки. Показано, что предложенное решение позволяет достичь агрегации пропускной способности сетей доступа и распределения нагрузки между ними. Показано, что алгоритм SSVA позволяет адаптировать видеопоследовательность к условиям сети. SSVA избегает резких перемен качества видео путем выбора других уровней качества. Продемонстрировано, что предложенное решение показывает лучшую характеристику PSNR по сравнению с алгоритмом Round Robin.

Для дальнейшего исследования планируется провести экспериментальное сравнение предложенных алгоритмов с аналогами, в частности, с [8].

Литература

1. Index C.V.N. Forecast and Methodology, 2014-2019 White Paper. Technical Report. Cisco, 2015.

2. Wu J., Cheng B., Yuen C., Shang Y., Chen J. Distortion-aware concurrent multipath transfer for mobile video streaming in heterogeneous wireless networks // IEEE Transactions on Mobile Computing. 2015. V. 14. N 4. P. 688-701. doi: 10.1109/TMC.2014.2334592

3. Yoon J., Banerjee S., Zhang H., Rangarajan S. MuVi: a multicast video delivery scheme for 4G cellular networks //Proc. 18th Annual Int. Conf. on Mobile computing and networking. Istanbul, Turkey, 2012. P. 209-220. doi: 10.1145/2348543.2348571

4. Chebrolu K., Rao R.R. Bandwidth aggregation for real-time applications in heterogeneous wireless networks // IEEE Transactions on Mobile Computing. 2006. V. 5. N 4. P. 388-403. doi: 10.1109/TMC.2006.1599407

5. Jurca D., Frossard P. Video packet selection and scheduling for multipath streaming // IEEE Transactions on Multimedia. 2007. V. 9. N 3. P. 629-641. doi: 10.1109/TMM.2006.888017

6. Ramaboli A.L., Falowo O.E., Chan A.H. Bandwidth aggregation in heterogeneous wireless networks: a survey of current approaches and issues // Journal of Network and Computer Applications. 2012. V. 35. N 6. P. 1674-1690. doi: 10.1016/j.jnca.2012.05.015

7. Nightingale J., Wang Q., Grecos C. Optimised transmission of H. 264 scalable video streams over multiple paths in mobile networks // IEEE Transactions on Consumer Electronics. 2010. V. 56. N 4. P. 2161-2169. doi: 10.1109/TCE.2010.5681086

8. Singh V., Ahsan A., Ott J. MPRTP: multipath considerations for real-time media // Proc. 4th ACM Multimedia Systems Conference. Oslo, Norway, 2013. P. 190-201. doi: 10.1145/2483977.2484002

9. Information technology. Coding of audio-visual objects. Part 10: Advanced video coding // ISO/IEC 1449610. 2010.

10. Сагатов Е.С., Сухов А.М. Повышение качества интернет-видеопотоков методом дублирования ключевых кадров // Вестник СГАУ. 2011. № 2. C. 260-268.

11. Пакулова Е.А. Распределение мультимедиа-трафика в гетерогенной сети // Известия ЮФУ. Технические науки. 2014. №8 (157). C. 250-258.

12. Singh V. et al. Multipath RTP. Internet draft, IETF, 2013.

13. Рындин А.В., Пакулова Е.А. Архитектура системы мультипотоковой передачи мультимедиа данных // Фундаментальные и прикладные аспекты компьютерных технлогий и информационной безопасности. Ростов-на-Дону, Россия, 2015. С. 231-234.

14. Video Traces for Network Performance Evaluation [Электронный ресурс]. - Режим доступа: trace.eas.asu.edu/tracemain.html, свободный. Яз.англ. (дата обращения 15.06.2016).

15. Miller K., Al-Tamimi A.K., Wolisz A. QoE-Based low-delay live streaming using throughput predictions // arXiv preprint arXiv:1603.00859. 2016. 41 p.

16. Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment // Electronics Letters. 2008. V. 44. N 13. P. 800-801. doi: 10.1049/el:20080522

Пакулова Екатерина Анатольевна - инженер, Южный федеральный университет, Таганрог, 347922,

Российская Федерация, pakulova_e@mail.ru

Ekaterina A. Pakulova - engineer, Southern Federal University, Taganrog, 347922, Russian

Federation, pakulova_e@mail.ru