CC BY
73
УДК 681.3.07
Влияние пространственно-временных характеристик потокового видео на качество передачи по беспроводным телекоммуникационным сетям
Олег Иванович Шелухин, д.т.н., проф., e-mail: [email protected],
Российский государственный университет туризма и сервиса (РГУТиС), Москва Юрий Алексеевич Иванов, аспирант, e-mail: [email protected] Чувашский государственный университет, г.Чебоксары Алексей Викторович Понкин, аспирант, e-mail: [email protected] РГУТиС, Москва
Представлены результаты имитационного моделирования передачи потокового видео по беспроводным сетям связи с учетом пространственно-временных характеристик различных сюжетных групп; показано, что особенности различных типов сюжетные группы по-разному влияют на воспринимаемое качество при передаче по сетям; рассмотрена зависимость качества декодирования видеопоследовательностей от числа битовых ошибок.
The authors discuss the results of simulation for video streaming in wireless communication networks, taking into account spatial and temporal characteristics of plot groups. The typological characteristics of the groups affect the perceived quality differently when transmitting over networks. The authors examine the dependence of decoding quality of video sequences on the number of bit errors.
Ключевые слова: потоковое видео, кодеры, декодеры, качество видео, видеотрассы, имитационное моделирование, пространственно-временные характеристики, сюжетные группы.
Keywords: streaming video, encoders, decoders, video quality, video path, simulation, spatial-temporal characteristics, plot group.
Постановка задачи
Растущая популярность передачи мультимедийных приложений привела к необходимости оптимизации распределения полосы пропускания телекоммуникационных сетей. В определенной степени качество воспроизведения видео зависит от типа сюжета этих приложений. Например, при просмотре таких высокодинамичных видеороликов, как спортивные игры или кинофильмы, необходимо обеспечивать более высокое качество, чем при просмотре статических сюжетов - новостей или видеоконференций, где более важно содержание. Современные телекоммуникационные сети должны уметь поддерживать различные приложения с разным уровнем QoS [1]. Требования QoS, как правило, определяются параметрами сетевого и прикладного уровней [2]. На прикладном уровне QoS зависит от разрешения, битрейта, скорости кадров, типа видео - и аудиокодека и т.д., а на сетевом уровне - от таких искажений, как задержка, джиттер, потеря пакета и т.д.
Как правило, передача данных по проводным сетям, в которых полоса пропускания не ограничена, характеризуется очень низкой вероятностью появления ошибочных битов. Однако вследствие непредсказуемости условий передачи при трансляции приложений в реальном времени передача
данных по беспроводному каналу имеет ряд особенностей [3, 4, 5]. Беспроводные каналы связи характеризуются случайно распределенными и независимыми битовыми ошибками. В связи с этим при имитации беспроводного канала часто применяют модель «белого шума», при которой определенный бит в последовательности искажается (инвертируется) с заданной вероятностью. В [6, 7, 8] показано влияние битовой ошибки при передаче на качество видео.
Однако в известных источниках практически не рассматривается зависимость качества видео от типа сюжета, с учетом параметров сетевого и прикладного уровней сети. В связи с этим целью данной статьи является определение двух следующих величин:
1) минимального значения битрейта для всех типов сюжета при передаче по телекоммуникационным сетям для приемлемого QoS при пиковом отношении сигнал/шум PSNR > 27 дБ, которое соответствует субъективной оценке качества MOS > 3 [14];
2) порогового (с точки зрения качества) числа ошибочных битов для всех типов сюжета, при котором воспринимаемое пользователями изображение остается приемлемым.
Для решения этих двух вопросов видеоролики были объединены в группы по признаку пространственной и временной избыточности [13].
Вычисление
Рис. 1. Методика оценки качества видео на основе определения типа сюжета
Затем была проведена экспериментальная трансляция видео по беспроводной сети при различных условиях передачи, в ходе которой определялся порог, соответствующий высокому, среднему и низкому качеству.
Классификация сюжета
Видеопотоки объединяются в определенную сюжетную группу из-за сходства своих характеристик, поэтому можно организовать контроль за приоритетом и, следовательно, оптимизировать распределение полосы пропускания определенного видеопотока. Автоматическая классификация видеосюжета позволит предсказать качество видео с определенной вероятностью.
Пространственно-временная характеристика видеосигнала определяет эффективность процедуры кодирования. В дополнение к методике оценки качества, представленной в [11], можно использовать вычисление временных и пространственных особенностей (рис. 1) для прогнозирования качества видео в соответствии с динамикой сюжета (т.е. пространственной сложности и временной активности изображения) на основе анализа ухудшения показателя MOS [10].
Сюжет каждого видеоклипа может существенно отличаться от других своей динамикой. В [9] был предложен пространственно-временной план, в котором каждый видеоклип (небольшой продолжительности и с однородным содержанием) может быть представлен в декартовой системе координат, где горизонтальная ось соответствует пространственной, а вертикальная ось - временной характеристике (рис. 2).
Согласно этому подходу каждый видеоклип может быть отнесен к одной из следующих четырех категорий в зависимости от динамичности сюжета:
1) малая пространственная активность - малая временная активность (верхняя левая часть сетки);
2) высокая пространственная активность - малая временная активность (верхняя правая часть сетки);
3) малая пространственная активность - высокая временная активность (нижняя левая часть сетки);
4) высокая пространственная активность -высокая временная активность (нижняя правая часть сетки).
Данная классификация неэффективна для длинных по времени видеопоследовательностей вследствие неоднородности содержимого, поэтому видеопоследовательности классифицируются в зависимости от пространственного и временного изменения элементов изображения и по этому признаку объединяются в различные группы. Вычисление временных изменений. Движение в видеоклипе характеризуется показателем суммы абсолютных различий SAD (от англ. Sum of Absolute Difference), который вычисляет попик-
Малая пространственная 2 Высокая пространственная
Малая временная активность к Малая временная активность
0 Пространственные 0,5 изменения в кадре 1
Малая пространственная х Высокая пространственная
высокая временная активность Высокая временная активность
____________________________1_____________________________
Рис. 2. Пространственно-временная сетка, используемая для классификации видео
сельную сумму абсолютных различий между двумя сравниваемыми кадрами и выражается формулой
N M
SADnm = ^| Bn (i, j) - Bm (i, j )|
i=1 j=1
(1)
где В„, Вт - два кадра размером Ы*М; I, у - координаты пикселя.
Вычисление пространственных изменений.
Пространственные особенности вычисляются на краях блока по изменению контрастности и яркости между текущим и предыдущим кадром. Яркость вычисляется как модуль разности между средним значением яркости предыдущего и текущего кадра:
N M
(2)
Рис. 3. Примеры характерных статических видеопоследовательностей (представлены видеоклипы Akiyo, Hall)
Малоподвижная сюжетная группа (МПСГ), содержащая видеопоследовательности с непрерывным и однородным изменением изображения (например, художественный фильм) (рис. 4).
Высокодинамичная сюжетная группа (ВДСГ), в которую входят видеопоследовательности, где
Вгп = ^^ I Бгау (п) <л Л - Вгау (п-1) <Л Ї ) , і=1 ] =1
где Втау(п) и Вгау(п-]) - средняя яркость п- и п-го кадров размером Ы*М; і, Л - координаты пикселя.
На основании проведенных вычислений видеопоследовательности были сгруппированы по трем типам сюжетов [10].
Статичная сюжетная группа (ССГ), которая включает в себя последовательности с небольшой областью наблюдения (например, лицо диктора) на статическом фоне (рис. 3).
Рис. 5. Примеры характерных высокодинамичных видеопоследовательностей (представлены видеоклипы Football, Soccer)
локальные или глобальные участки изображения изменяются резко и неоднородно (например, спортивные игры) (рис. 5).
Результаты моделирования передачи потокового видео через беспроводную сеть
В ходе моделирования в качестве исходных тестовых видеопоследовательностей использовались 12 стандартных тестовых видеоклипов в формате YUV с разрешением CIF (352x288), доступные в [12] и рекомендованные для проведения тестовых испытаний организацией ITU [17]. Схема эксперимента показана на рис. 6.
Рис. 6. Структурная схема эксперимента
Исходные видеопоследовательности формата YUV кодировались кодеком MPEG-2 с типом GOP IBBPBBPBB. При этом каждое видео кодировалось с различным битрейтом (128, 384, 768 и 1150 кбит/с).
Кодирование/декодирование исходных видеопоследовательностей и моделирование беспроводной сети со случайными битовыми ошибками в канале производилось с помощью программы VCDemo [16]. Имитация передачи видеопотока через беспроводную сеть выполнялась согласно модели OSI на прикладном, транспортном, сетевом, канальном и физическом уровнях.
На прикладном уровне модели OSI производится кодирование/декодирование и пакетирование видеопотока. Видеопоток делится на пакеты переменной длины размером до 1500 байтов с добавлением при этом 12-байтового заголовка RTP. При добавлении заголовка RTP к данным битовый поток MPEG сегментируется таким образом, что-
Рис. 7. Средние значения PSNR тестовых последовательностей в зависимости от BER при различном битрейте: а - 128 кбит/с; б - 384 кбит/с; в - 768 кбит/с; г - 1150 кбит/с (1 - akiyo; 2 - hall; 3 - foreman; 4 - highway; 5 - football; 6 - soccer)
бы стартовые коды MPEG содержались в начале пакетов данных.
На транспортном уровне моделируется протокол UDP, при соответствующем добавлении заголовка и контрольной суммы (8 байт).
На сетевом уровне добавляется 20-байтовый заголовок IP.
На канальном уровне связи моделируется протокол IEEE 802.11. Пропускная способность канала устанавливается равной 20 Мб/с.
На физическом уровне производится имитация случайной битовой ошибки в канале (гауссовский шум) с заданной вероятностью BER, равной 10-6, 10-5, 10-4 и 10-3.
Таким образом, в ходе эксперимента было произведено изменение параметров передаваемого видео по беспроводной сети как на прикладном (изменение скорости битрейта), так и на сетевом (изменение BER) уровне.
В качестве показателя качества использовались показатели PSNR и MOS, вычисленные с помощью инструментов программно-аппаратного
комплекса [14]. Передача каждого видеоклипа по сети имитировалась 16 раз с учетом различных настроек. В результате проведенных работ было получено большое количество экспериментальных данных.
На рис. 7 представлены средние значения PSNR в зависимости от вероятности появления битовых ошибок (BER) для различных значений битрейта. Из этого рисунка видно, что с увеличением BER до 10-4 при различных битрейтах среднее значение PSNR практически не меняется, что говорит о неизменном качестве передаваемых видеоклипов и способности декодера исправлять такое количество ошибок. При BER^IO-4 наблюдается незначительное изменение качества только у видеопоследовательностей ВДСГ. Однако при BER=10-3 наблюдается уменьшение среднего значения PSNR практически всех видеоклипов. Наибольшее ухудшение, равное 10 дБ, демонстрирует видео Soccer.
Кроме усредненных значений, для каждой вероятности нужно оценивать значение распределения
Рис. 8. Гистограммы распределения значений PSNR видеоклипов ССГ при различных условиях моделирования: а - Akiyo; б - Hall
Рис. 9. Гистограммы распределения значений PSNR видеоклипов МПСГ при различных условиях моделирования: а - Foreman; б - Highway
показателя PSNR для каждого эксперимента, так как усредненное значение не отражает изменение качества при различных условиях моделирования. На рис. 8 - 10 приведены гистограммы распределения значения PSNR видеоклипов для 16 запусков моделирования. Каждому эксперименту соответствуют следующие данные: 1-й - 128 кбит/с, BER^IO-6; 2-й - 128 кбит/с, BER=10-5; 3-й - 128 кбит/с,
ББЯ^Ю-4; 4-й - 128 кбит/с, ББЯ=10-3; 5-й -384 кбит/с, ББЯ^Ю-6; 6-й - 384 кбит/с, ББЯ=10-5; 7-й - 384 кбит/с, ББЯ^Ю-4; 8-й - 384 кбит/с, ББЯ=10-3; 9-й - 768 кбит/с, ББЯ^Ю-6; 10-й -768 кбит/с, ББЯ=10-5; 11-й - 768 кбит/с, ББЯ^Ю-4; 12-й - 768 кбит/с, ББЯ=10-3; 13-й - 1150 кбит/с, ББЯ^Ю-6; 14-й - 1150 кбит/с, ББЯ=10-5; 15-й -1150 кбит/с, ББЯ^Ю-4; 16-й - 1150 кбит/с, ББЯ=10-3.
Рис. 10. Гистограммы распределения значений PSNR видеоклипов ВДСГ при различных условиях моделирования: а - Football; б - Soccer
Рис. 11. Зависимость среднего значения PSNR от значения битрейта и BER видеоклипов ССГ: а - Akiyo; б - Hall
Из рис. 8-10 видно, что при BER^IO-6 и BER=10-5 распределение показателей практически идентично и расположено преимущественно в области высоких значений PSNR. При BER^IO-4 изменяется распределение значения PSNR у ВДСГ в сравнении с видеоклипами других сюжетных групп. В случае BER=10-3 при различных значениях битрейта распределение рассеивается и смещается в область с меньшими значениями, что говорит об ухудшении качества передаваемой видеопосле-
довательиости. Наличие составляющих малых значений РБКЯ позволяет судить о присутствии кадров с наименее приемлемым качеством. Например, самое плохое качество восприятия (РБКЯ < 20 дБ) меньше всего в ССГ, в МПСГ их больше, а наибольшее количество наблюдается в ВДСГ.
Также можно заметить, что с увеличением битрейта распределение перемещается в область с более высокими значениями РБКЯ. Особенно это заметно для видеопоследовательностей ССГ, где
PSNR, дБ
а)
Рис. 12. Распределение вероятности экспериментальных данных при 128 кбит/с: а - BER=10 4; б - BER=10 3: 1 - aklyo; 2 - hall; 3 - foreman; 4 - highway; 5 - football; 6 - soccer.
a)_____________________________________________________________________________________________________________________________________________________________________6)
Рис. 13. Распределение вероятности экспериментальных данных при 384 кбит/с: а - BER=10 4; б - BER=10 3: 1 - aklyo; 2 - hall; 3 - foreman; 4 - highway; 5 - football; 6 - soccer.
a)_____________________________________________________________________________________________________________________________________________________________________6)
Рис. 14. Распределение вероятности экспериментальных данных при 768 кбит/с: а - BER=10 4; б - BER=10 3 :1 - aklyo; 2 - hall; 3 - foreman; 4 - highway; 5 - football; 6 - soccer.
разница между средним значением PSNR с битрейтами 128 Кбит/с и 1150 Кбит/с варьируется от 8 до 11 дБ для BER=10-6, BER=10-5 и BER=10-4. Для видеопоследовательностей МПСГ этот показатель составляет от 4 до 7 дБ, а у ВДСГ - от 4 до 6 дБ. Это говорит о том, что увеличение битрейта в большей степени сказывается на качестве видеопоследовательностей ССГ.
На рис. 11 приведены зависимости среднего значения PSNR видеоклипов от битрейта и BER.
Общая картина изменения среднего значения PSNR при увеличении битрейта и BER позволяет
сделать следующие выводы. Для ССГ среднее значение PSNR с увеличением битрейта с 128 Кбит/с до 1150 Кбит/с растет от 32 до 41 дБ (Akiyo) и от 30 до 38 дБ (Hall). Можно заметить, что увеличение ошибки до BER=10-4 не сказывается на качестве. Однако при BER=10-3 качество видеоклипов ССГ значительно ухудшается вплоть до 27 дБ.
Для МПСГ среднее значение PSNR с увеличением битрейта от 128 до 1150 Кбит/с увеличивается от 29 до 36 дБ и от 32 до 38 дБ. Видно, что увеличение ошибки до BER=10-4 практически не сказывается на качестве при низких значениях
а)___________________________________________________________________________________________________________________________________________________________б)
Рис. 15. Распределение вероятности экспериментальных данных при 1150 кбит/с: а - BER=10 4; б - BER=10 3 : 1 - aklyo; 2 - hall; 3 - foreman; 4 - highway; 5 - football; 6 - soccer.
битрейта. При битрейте 1150 Кбит/с наблюдается небольшой спад качества в 0,5 дБ, что позволяет судить о неспособности декодера восстанавливать исходное изображение с движущимися элементами при высоких битрейтах и ББЯ^Ю-4. При ББЯ=10-3 качество МПСГ падает до 28 дБ при всех битрейтах.
Для ВДСГ среднее значение РБКЯ с увеличением битрейта от 128 до 1150 Кбит/с увеличивается от 30 до 36 дБ и от 29 до 34 дБ. Сравнивая остальные группы, можно заметить, что при ББЯ^Ю-4 наблюдается спады качества, что свидетельствует о неспособности декодера восстанавливать исходное изображение с движущимися элементами при высоких битрейтах и ББЯ^Ю-4. При дальнейшем увеличении ББЯ=10-3 средние значения РБКЯ падают до 20 дБ при битрейте 128 и 1150 Кбит/с.
На рис. 12 - 15 приведены распределения вероятности экспериментальных данных при различных значениях битрейта. Значения распределения при ББЯ^Ю-6, ББЯ=10-5 и ББЯ^Ю-4 практически идентичны и поэтому не представлены. Важным фактом является распределение данных видеоклипов различных сюжетных групп при передаче по сетям с небольшой (ББЯ^Ю-4) и высокой (ББЯ=10-3) вероятностью появления ошибок.
Распределение вероятности при 128 кбит/с и ББЯ=10-4 для шести видеоклипов лежит в области от 22 до 37 дБ. Для видеоклипов всех сюжетных групп вероятности имеют скачкообразный характер и практически не отличаются, однако для ВДСГ наблюдается более высокая вероятность появления плохого качества (качество хуже на 10 дБ). Распределение вероятности ББЯ=10-3 для всех видеоклипов смещено в область с более низким РБКЯ - от 13 до 37 дБ.
Распределение вероятности при 384 кбит/с и ББЯ=10-4 для шести видеоклипов лежит в области
от 22 до 37 дБ. Почти для всех видеоклипов вероятность имеет скачкообразный характер. Для ВДСГ характер распределения, как и при 128 Кбит/с, более пологий, что говорит о высокой вероятности появления плохого качества.
Распределение вероятности при 768 кбит/с и BER=10-4 для шести видеоклипов лежит в области от 26 до 45 дБ, что свидетельствует о повышении качества всех видеоклипов. Почти для всех видеоклипов вероятность имеет скачкообразный характер, демонстрируя неизменное качество. При BER=10-3 вероятности имеют более наклонный характер, что говорит о высокой вероятности появления плохого качества. Наибольшее изменение демонстрируют видеоклипы ССГ (Akiyo) и ВДСГ (Football).
Распределение вероятности при 1150 кбит/с, BER=10-4 для шести видеоклипов лежит в области от 17 до 45 дБ, что говорит о большом разбросе качества. Для ССГ и МПСГ вероятность имеет скачкообразный характер в области высоких значений PSNR. Для МПСГ и ВДСГ характер распределения более пологий, что является признаком неоднородности данных PSNR, смещенных к более низким значениям. Вероятность распределения всех видеоклипов имеет наклонный характер, имеет больший разброс и находится в области от 13 до 45 дБ. Для ВДСГ характер распределения наиболее вертикальный, но лежит в области с меньшими значениями, что говорит о большом количестве кадров с плохим качеством.
Таким образом, в ходе имитационного моделирования было показано, что различные сюжетные группы по-разному влияют на воспринимаемое качество при передаче по сетям. Необходимо учитывать не только качество транслируемого и впоследствии декодируемого видеопотока на прикладном (битрейт) и сетевом (BER) уровне, но и другой, не менее важный критерий - сюжет видеопотока. Так, в ус-
ловиях передачи по сети с малой вероятностью появления ошибок (BER=10-6, BER=10-5) при минимальном значении битрейта (128 кбит/с) сохраняется приемлемое качество видеопотока, соответствующее MOS > 3 для всех типов сюжета. При этом увеличение битрейта в большей степени сказывается на качестве видеопоследовательностей ССГ, тогда как для видеоизображений с движущимися элементами (МПСГ и ВДСГ) заметного выигрыша в качестве не наблюдается. Присутствие небольших ошибок (BER=10-4) не влияет на качество декодирования видеопоследовательностей ССГ, но проявляется в МПСГ и ярко выражено в ВДСГ. Это позволяет судить о способности декодера исправлять небольшие ошибки только в условиях статичного изображения. Увеличение числа ошибок до BER=10-3 сказывается на декодировании видеопоследовательностей всех сюжетных групп. При этом ССГ и МПСГ демонстрируют удовлетворительное, а ВДСГ - плохое качество, с точки зрения субъективной оценки. Таким образом, приемлемым числом ошибочных битов и, следовательно, порогом с точки зрения качества, при котором воспринимаемое пользователями изображение остается приемлемым, является BER=10-4 для всех типов сюжета.
ЛИТЕРАТУРА
1. Ghinea,G., Thomas, J. P., QoS impact on user perception and understanding of multimedia video clips // Proc. Of ACM Multimedia’98. Bristol. UK. 1998. P. 49-54..
2. Khan, A., Li Z., Sun, L., Ifeachor, E., Audiovisual quality assessment for 3G networks in support of E-healthcare // Proc. of CIMED. Plymouth. UK. 2007. 25 - 27. July.
3. Chondros, P., Prayati, A., Koulamas, C., Papadopoulos, G. 802.11 performance evaluation for multimedia streaming, Fifth International Symposium on Communication Systems // Networks and Digital Signal Processing, Patras, Greece. 2006. 19 - 21 July.
4. Munir, B., Chilamkurti, N. K., Soh, B., A comparative study of voice over wireless networks using NS-2 simulation with
an integrated error model // International Conf. on WiCOM. 2006. 22 - 24 Sept.
5. Koucheryavy, Y., Moltchanov, D., Harju, J., Performance evaluation of live video streaming service in 802.11b WLAN environment under different load conditions, MIPS, Napoli, Italy, November 2003.
6. He, Z., Xiong, H., Transmission distortion analysis for realtime video encoding and streaming over wireless networks // IEEE transactions on Circuits and Systems for Video Technology, 2006. Vol. 16. No. 9. Sept.
7. Kanumuri, S., Cosman, P. C., Reibman, A. R., Vaishampayan, V. A., Modelling packet-loss visibility in MPEG2 video // IEEE Transactions on Multimedia, 2006. Vol. 8. No. 2. April.
8. Ke, Lin C., Shieh, C., Evaluation of streaming MPEG video over wireless channels // Journal of mobile multimedia 2007. Vol. 3. No. 1. P. 047 - 064.
9. Yamagishi, K., Tominaga, T, Hayashi, T., Takahasi, A., Objective quality estimation model for videophone services // NTT Technical Review, 2007. Vol. 5. No. 6. June.
10. Khan, A., Sun, L., Ifeachor, E., Content Clustering Based Video Quality Prediction Model for MPEG4 Video Streaming over Wireless Networks // IEEE ICC CQRM 2009. 14 -18 June. Dresden. Germany.
11. Иванов Ю. А., Лукъянцев С. А. Методика оценки качества декодирования видео стандарта H.264/AVC/SVC в беспроводных сетях // Электротехнические и информационные комплексы и системы. 2009. Т. 5. № 4. С. 35-47.
12. http://trace.eas.asu.edu (дата обращения 19.12.2009).
13. Krzanowski, W. J., Principles of Multivariate Analysis. Clarendon press. Oxford. 1998.
14. Шелухин О. И., Иванов Ю. А. Оценка качества передачи потокового видео в телекоммуникационных сетях с помощью программно-аппаратных средств // Электротехнические и информационные комплексы и системы. 2009. Т. 5. № 4. С. 48-56.
15. Winkler, S., Dufaux, F., Video quality evaluation for mobile applications // Proceedings of SPIE Visual Communications and Image Processing. Lugano. Switzerland. 2003.
16. http://ict.ewi.tudelft.nl/vcdemo (дата обращения 25.01.2010).
17. ITU-R Recommendation BT.802.-1 Test pictures and sequences for subjective assessments of digital codecs converging signal produced according to Recommendation ITU-R BT.601.
Поступила 23.04.2010г.
