Оценка изменения качества видео во времени в сетях с потерями пакетов

Видов Максим Игоревич

УДК 681.3.053

Видов Максим Игоревич

ГОУ ВПО Московской области Финансово-технологическая академия

Россия, Королев1 Аспирант E-Mail: [email protected]

Оценка изменения качества видео во времени в сетях с потерями пакетов

Аннотация: Потери пакетов и ошибки канала всегда будут вызывать сложности при передаче видео, несмотря на увеличение полосы пропускания в беспроводных сетях следующего поколения. Многие стандарты кодирования видео основываются на кодировании которое использует предсказание с компенсацией движения, что приводит к распространению ошибки из-за потерь пакетов. И даже ошибки с инверсией бита могут вызвать потери пакетов, а так как такие ошибки довольно распространены в беспроводных сетях, передача сжатых видеоизображений может приводить к сильному ухудшению качества. Многие исследования в этой области были направлены на уменьшение влияния потерь пакетов. Но в предыдущих работах по оценке качества видео игнорировали изменения качества во времени. В данной работе предлагается рассмотреть временное изменение качества. Так как потери пакетов возникают в канале случайно, изменение наведенных канальных помех во времени может быть довольно существенным. Поэтому изменения качества во времени, возникающие из-за ошибок канала, также могут быть существенными. Основываясь на этих наблюдениях, было начато исследование степени искажения и изменения качества, которые возникают в видеоизображениях из-за потери пакетов. Впоследствии предлагается ввести новый критерий для измерения качества видео, который учитывает изменения качества, возникающие из ошибок канала.

Ключевые слова: Качество; изменение качества; видеоизображение; потери; пакеты; видеопоследовательность; маскирование ошибки; распространение ошибки.

Идентификационный номер статьи в журнале 58ТУЫ114

1 141070, Московская область, г. Королев, ул. Гагарина, д. 42 1

Maksim Vidov

Moscow region state budgetary educational institution of a higher vocational training the Finance

and Technology Academy Russia, Korolev E-Mail: [email protected]

Evaluation of video quality changes in time in networks with packets loss

Abstract: Packet loss and channel errors will always cause difficulties when transferring video, despite the increase in bandwidth of next generation wireless networks. Most video coding standards are based on motion-compensated prediction coding, which causes error propagation effects from packet losses. And even single bit errors can cause packet losses and bit errors are quite common in wireless networks, so the transmission of compressed video can lead to severe degradation in video quality. Many researches in this area have focused on reducing the effects of packet loss. But in previous video quality assessment work quality variations in time have been ignored. In this paper we propose to consider a temporary change in quality. This article considers the temporal quality variation. Since packet losses occur randomly in a channel, the temporal variation of the induced channel distortion can be quite large. So the temporal quality variations arising from channel errors can also be large. Based on these observations, a study of distortion degree and quality variation that occurs in video from packet losses was launched. Subsequently it is proposed to introduce a new framework for video quality measurement, which takes into account quality variations arising from channel errors.

Keywords: Quality; quality change; video image; losses; packets; videosequence; error concealment; error propagation.

Identification number of article 58TVN114

Введение

Беспроводные сети следующего поколения будут обеспечивать увеличенную полосу пропускания, которая значительно улучшит передачу видеоизображений, но все же будут существовать сложности из-за потери пакетов и ошибок канала. Многие стандарты кодирования видео, такие как MPEG-2 и H.264, основываются на кодировании, использующем предсказание с компенсацией движения, которое приводит к распространению ошибки из-за потерь пакетов [1, 2]. И даже ошибки с инверсией бита могут вызвать потери пакетов, а так как такие ошибки довольно распространены в беспроводных сетях, передача сжатых видеоизображений может приводить к сильному ухудшению качества. Многие исследования в этой области были направлены на уменьшение влияния потерь пакетов. Были предложены некоторые методы по оптимизации соотношения скорость-искажение для выбора способа кодирования в сетях с потерями пакетов [3, 4, 5]. Также были исследованы разнообразные методы неравномерной защиты от ошибок, использующие соотношение скорость-искажение, для передачи видео в сетях с потерями пакетов [6,7].

Видео - это последовательность изображений. В большинстве существующих методов для передачи видео, оптимизированных с использованием соотношения скорость-искажение, считается, что искажение видео является выборочным средним значением искажений изображения (кадра). Такие методы косвенно предполагают, что качество видео это среднее значение качеств изображений. Некоторые показатели качества видеоизображений изменяют показатели качества статичных изображений путем добавления временной фильтрации (процесса опускания промежуточных кадров и иных избыточных деталей как этап кодирования видеоинформации) [8]. Фильтрация нижних частот по временному измерению была использована в метрике цифрового качества видео (DVQ) [9] и в масштабируемом, основанном на вейвлет-преобразовании, показателе искажения [10]. Общая структура для измерения пространственного и временного искажений видео вдоль траекторий движения была предложена в основанном на движении показателе оценки чистоты видео (MOVIE) [11]. Показатель MOVIE совмещает подробную информацию о движении с измерением пространственных артефактов в процессе оценки качества видео.

Все эти методы определяют показатель качества видео как среднее значение метрики качества изображений по всем кадрам.

Изменения качества во времени игнорировали в предыдущих работах по оценке качества видео. В данной работе предлагается рассмотреть временное изменение качества. Изменения качества видеопоследовательности могут быть более раздражающими, даже больше, чем видео с постоянным качеством, но с более низким битрейтом [2].

Потери пакетов, возникающие из ошибок канала в беспроводных сетях приводят к значительным искажениям. Действительно, искажения в канале могут быть более раздражающими, чем искажения в источнике, возникающие из-за ошибок дискретизации [1]. Так как потери пакетов возникают в канале случайно, изменение наведенных канальных помех во времени может быть довольно существенным. Поэтому изменения качества во времени, возникающие из-за ошибок канала, также могут быть существенными. Основываясь на этих наблюдениях, было начато исследование степени искажения и изменения качества, которые возникают в видеоизображениях из-за потери пакетов. Впоследствии предлагается ввести новый критерий для измерения качества видео, который учитывает изменения качества, возникающие из ошибок канала.

Стандарт кодирования H.264 продемонстрировал отличную эффективность сжатия по сравнению с предыдущими стандартами кодирования видео, а также имеет особенности, которые подходят для беспроводной передачи видео. В данной работе также предлагается

использовать стандарт кодирования ^264 для исследования временных искажений и изменений качества, которые возникают в передачи видео по беспроводным каналам (рис. 1).

Рис. 1. Структурная схема кодирования и передачи видео в стандарте Н.264. Искажение и изменение качества видео

Как известно, видео - это последовательность кадров (изображений), у = {1пп = 0,1,..., К — 1} , где К - это число кадров; 1п - исходный кадр.

А ~

Пусть 1п будет восстановленным кадром в контуре обратной связи кодера, а 1п будет восстановленным кадром в декодере.

Наиболее распространенным показателем искажения является среднеквадратическая ошибка (MSE). Введем обозначение: 03 (п) и (п) - искажения источника и канала

А

соответственно. Искажение источника 03 (п) представляет собой искажение между /и и 1п, в

А ~

то время как искажение канала (п) представляет собой искажение между 1п и 1п. Если не

существует ошибки канала между кодером и декодером, тогда 1п = 1п и искажение канала Ос (п) = 0. Пусть О(п) - непрерывное искажение между исходным кадром /и и

восстановленным кадром 1п в декодере. Предположим, что искажение источника 03 (п) и искажение канала Ос (п) некоррелированы.

Дп) = (п) + Ос(п). (1)

В предыдущих моделях искажения [3-7] значения искажений оценивались априорно с точки зрения скорости потери пакетов и многих параметров кодирования источник-канал. В данной статье искажения источника и искажение канала считаются апостериорные с известными показателями потерь пакетов кадра.

Таким образом, в данной статье предлагается не рассмотрение любого источника, канала, или совместной схемы кодирования источник-канал, в котором рассматривался бы конкретный переменный канала, а исследование искажений источников и искажений каналов апостериорно для анализа их отношений с качеством видео, особенно с временным изменением качества.

Искажение канала может быть смоделировано как сумма двух искажений [7]: искажение маскирования ошибок Оес (п) и искажение распространения ошибки Ое (п)

Dc = Dec+ Dep .

(2)

Искажение маскирования ошибки Dec (n) создается потерей пакетов в кадре n.

Операция маскирования ошибок восстанавливает потерянную информацию, используя полученные данные, но также может и привести к ошибке восстановления и к искажению.

Искажение распространения ошибки D (n) возникает в результате потерь пакетов в любом из предыдущих кадров в текущей группе изображений (GOP) и распространяется через

предсказание с компенсацией движения в межкадровом кодировании. Пусть О (т ^п)

представляет собой искажения распространения ошибки в кадре п от потери пакета в кадре

т (т < п).

°ер (т ^ п) = ап-тВес(т) , (3)

где а является фактором распространения ошибки, который, как правило, меньше 1.

Ошибка не будет распространяться через 1-кадр (внутрикадровая картинка, кодируемая независимо от других типов картинок; 1-кадры содержат полные видеоданные кадра и обычно помещаются через 10-15 кадров видеопоследовательности MPEG. Содержат только независимо сжатые макроблоки. Служат точками входа в файл в режиме произвольного доступа; могут использоваться как базовые для последующих кадров.). И первый кадр группы изображений и есть 1-кадр (интракадр). Следовательно, ошибка не будет распространяться из предыдущей группы изображений в текущую.

Пусть о(п) - показатель 1-кадра кадра п который можно получить следующим образом: о(п) = [п / N] ■ N, где N - размер группы изображений. Тогда О (п) будет суммой

искажений распространения ошибки из-за потерь пакетов от 1-кадра о(п) до предпоследнего пронумерованного кадра (п-1):

п-1

Оер (п) = Ё Оер (т ^ п) . (4)

т=о(п)

Если в кадре о(п) нет потерь пакетов до кадра п , тогда:

Оес(о(п)) =... = Оес(п) = 0, Бс (п) = 0, и О(п) = (п).

Пусть /(а ) - номер кадра пакета а . Тогда:

°еР (/(аг) ^ п) = апя^)а) ■ °сс (а) при о(п) < /(а,) < п < о(п) + N. (5)

Ос (а) - это искажение маскирования ошибки в кадре /(а ) , которое возникает из-за потерь пакета а1, а а/(а ) - это фактор распространения ошибки от кадра /(а1) . Искажение

маскирования ошибки Оес (а) зависит от многих факторов, таких как пространственная

сложность и количество движения, которые могут быть довольны разными для каждой потери пакетов.

Если пакет а потерян, искажения канала увеличивались бы в кадре /(а) до кадра о(/(а)) + N-1. Пусть Ос (п, а ) - искажение канала в кадре п от потерь пакетов а . Тогда:

Ос (п а)=Оер(I (а) ^ п) > (6)

которое можно выразить через выражение (5)

п, л \аТ-1 ^) ■ Оес (а \ о(п) < /(аг) < п < о(п)+N пл

Ос (п а)=1 1 ) . (7)

I 0, иначе

Если пакет а потерян, искажения канала увеличиваются в кадрах f (а ) до o(n) + N -1 как в (7). Так как местоположение f (ai) от потерь пакетов случайно, и Dec (at) может быть довольно непостоянным, Dec (n, a ) может принимать большое количество значений.

Пусть L - множество показателей потерянных пакетов и C(L) - кардинальное число (мощность) множества L. Если M - число пакетов, то скорость потерь пакетов (PLR) -C(L) /M . На искажение канала в кадре n влияла бы любая потеря пакетов в кадре o(n) до кадра n .

Пусть Ln - подмножество L с индексами i, то есть o(n) < f (at) < n. Искажение канала в кадре n от потери пакетов может быть смоделировано в виде суммы искажений от потерь пакетов в Ln

Dc (n) = Z Dc ai ) = Z a”Z)^ ) • Dec (ai) . (8)

ie Ln in Ln

В этой модели искажения канала, искажение канала Dc (n) в (8) будет зависеть от места потери пакетов, расстояний распространения ошибок и искажений маскирования ошибок. Поэтому значение Dc (n) может варьироваться, и оно может быть намного больше, чем

искажение источника Ds (n) .

На самом деле фактор распространения ошибки а меняется и может быть различным в каждом кадре. Пусть ап будет фактором распространения ошибки в кадре n . Обычно

значения ап одинаковы для искажений распространения ошибок от одинаковых потерь пакетов. Если кадр m является последним кадром предыдущей потери пакетов кадра n, то можно аппроксимировать значение ап:

а ~ ат+1 . (9)

Значение ат+1 может быть посчитано следующим образом:

1 = Dfim+l) . m Dp (m) ( )

Когда в кадре n есть потери пакетов и ошибки распространяются от предыдущих кадров, искажения маскирования ошибок и искажения распространения ошибки смешиваются в кадре n как в (2).

Из (9) и (10), искажение распространения ошибки в кадре n может приближенно вычисляется как

Dep (n) = anDc (n -1 * am+lDc (n -1) . (11)

где кадр m - последний кадр предыдущей потери пакетов кадра n .

Искажение маскирования ошибок в кадре n можно приближенно вычислить как:

Dec (n) = Dc (n) - Dep (n) * Dc (n) - аm+1Dc (n -1) . (12)

Для видеопоследовательности у = {Inn = 0,1,..., K -1} пусть S(Dc), S(Dec) , и

S(D) - суммы искажения канала, искажения маскирования ошибок и искажения

распространения ошибки соответственно. S(Dc) может быть вычислена следующим образом:

K-1

S(Dc) = £Dc(n). (13)

П=0

Искажение маскирования ошибок возникает только в кадрах с потерянными пакетами. Пусть F - это набор индексов кадров, которые содержат потерянные пакеты. Тогда

S(Dec) = £ Dec (n) . (14)

heF

S(DP ) может быть получен следующим образом:

S(Dep) = S(Dc) - S (Dec). (15)

Определим коэффициент искажения распространения ошибки р :

S (Dep )

Pep S(Dc) . ( )

В данной работе рассматривается статистика зависимости искажений от времени: искажение источника (D5 (n) ), искажение канала (Dc (n)), непрерывное искажение (D(n) )

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

через все кадры (изображения) в видеопоследовательности. Наиболее простые статистические данные временных искажений - это среднее значение и среднеквадратическое отклонение искажений кадра.

Пусть ju(Ds) и а(Ds) - среднее значение и среднеквадратическое отклонение искажений источника:

M(DS ) = -1 S(Ds ); (17)

K

1 к-

) = , Т £ (^(") у>'

Ук п.0 . (18)

Аналогично, пусть /и(Д) и <г(Д) - среднее значение и среднеквадратическое отклонение искажений канала соответственно:

цфс) = -1 БД); (19)

к

1 K-1

°(Dc) = J Т Z (Dc (n) -К Dc )f

\K n=o . (20)

Пусть k(D) и cy(D) - среднее значение, и среднеквадратическое отклонение непрерывных искажений:

К(, D) =1S (D)

K ; (21)

I 1 к-1

°(Р) = , т / (D(n) -К(D)f

у K n=0

(22)

Определим коэффициент искажения канала рс:

u( Dc)

ju(D) . (23)

Pc =

Как правило, качество изображения - это функция Q от искажения изображения Q(D(n)). Известный индекс качества изображения, отношение сигнал-шум (PSNR - Peak Signal-to-Noise Ratio), является монотонно убывающей функцией среднеквадратической ошибки (MSE - Mean-Squared Error):

2552

PSNR(MSE) = mogw — . (24)

Пусть Qs (n) представляет качество изображения (кадра) n, страдающего только от

искажений источника. Qs(n) может быть результатом вычисления значений PSNR, SSIM

(Structural Similarity Image Measure - показатель структурной схожести изображения) или другого значения индекса качества для кадра [1].

Qs (n) = Q(Ds(n)). (25)

Пусть Q5+c (n) представляет собой качество кадра n, содержащего как искажения источника, так и искажения канала:

Qs+с (n) = Q(Ds (n) + Dc (n)) = Q(Ds (n) + / f(a) • Dec (at))

i&L„

1 + D^\n)) = Q\DV (n ) + / • D„„ (a )) (26)

Самые основные статистические данные об изменении качества во времени - это среднее значение и среднеквадратическое отклонение качества кадра (изображения). Пусть &) и (г(&) - среднее значение, и среднеквадратическое отклонение качества

изображения. Учитывается только искажение источника:

)=11 а (п)=1 £ а Дб (я»

; (27)

1 к -1

°(Qs )=J т / (Q( Ds (n)) - KQs ))г

\K n=0 . (28)

Если искажения источника D5 (n) возникает только от квантования, оно зависит от параметра квантования (QP - quantization parameter). Если QP остается постоянным с течением времени, Ds (n) может принимать одинаковые значения по всем кадрам, в то время

как среднеквадратическое отклонение качества кадра (28) будет небольшим, но будут некоторые вариации в зависимости от контента.

Аналогичным образом, пусть К Qs+c) и сг( Q5+c) - среднее значение и

среднеквадратическое отклонение качества кадров, если учитывать как и искажения источника, так и искажения канала:

U(QS+с ) = ^ / Qs+с (n) =1 // Q( Ds (n) + Dc (n))

Kt0 Kt0 ; (29)

(30)

В (26) 05+с (п) является сложной функцией от места потери пакетов (£и), расстояния распространения ошибок (п - /(а) ) и искажения маскирования ошибок ( Дес(а) ). 05+с (п) может варьироваться в большом диапазоне, в отличие от & (п), следовательно, &+с)

будет принимать большие значения, чем ст(а), если возникают потери пакетов.

Заключение

В данной статье предложено использование изменения качества видео во времени в сетях с потерями пакетов. Были получены выражения для расчета качества кадра п, содержащего как искажения источника, так и искажения канала; а также среднее значение и среднеквадратическое отклонение качества кадров с учетом искажений в источнике и канале. В дальнейшем предлагается провести испытания с моделированием передачи Н.264 видео по беспроводным каналам связи и ввести новый критерий для измерения качества видео, который учитывает изменения качества, возникающие из ошибок канала.

ЛИТЕРАТУРА

1. М. И. Видов. Использование перцепционной метрики и статистических моделей для оценки качества видеоизображений в условиях потери пакетов // Электротехнические и информационные комплексы и системы. № 1, т. 9, 2013. С 61-70.

2. В. М. Артюшенко, М. В. Марков. Оценка качества видеоинформации в

телекоммуникационных сетях. Информационные технологии.

Радиоэлектроника. Телекоммуникации ITRT-2011. Изд-во ПВГУС. С. 36 - 59.

3. Z. He, J. Cai, C.W. Chen, Joint source channel rate-distortion analysis for adaptive mode selection and rate control in wireless video coding, IEEE Trans. Circuits Syst. Video Technol. 12 (6) (2002) 511-523.

4. R. Zhang, S.L. Regunathan, K. Roth, Video coding with optimal inter/intra-mode switching for packet loss resilience, IEEE J. Sel. Areas Commun. 18 (6) (2000) 966976.

5. D. Wu, Y.T. Hou, B. Li, W. Zhu, Y.-Q. Zhang, H.J. Chao, An end-to-end approach for optimal mode selection in Internet video communication: theory and application, IEEE J. Sel. Areas Commun. 18 (6) (2000) 977-995.

6. X. Yang, C. Zhu, Z.G. Li, X. Lin, N. Ling, An unequal packet loss resilience scheme for videoover the Internet, IEEETrans. Multimedia 7 (4) (2005) 753-765.

7. H. Ha, C. Yim, Y.Y. Kim, Packet loss resilience using unequal forward error correction assignment for video transmission over communication networks, Comput. Commun. 30 (12) (2007) 3676-3689.

8. S. Winkler, Perceptual distortion metric for digital color video, Proc. SPIE 3644 (1) (1999)175-184.

9. A.B. Watson, J. Hu, J.F. McGowan III, Digital video quality metric based on human vision, J. Electron. Imaging 10 (1) (2001) 20-29.

10. M.Masry, S.S. Hemami, Y. Sermadevi, A scalable wavelet-based video distortion metric and applications, IEEE Trans. Circuits Syst. Video Technol. 16 (2) (2006) 260-273.

11. K. Seshadrinathan, A.C. Bovik, Motion tuned spatio-temporal quality assessment of natural videos, IEEE Trans. Image Process. 19 (2) (2010) 335-350

12. Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli, Image quality assessment: from error visibility to structural similarity, IEEE Trans. Image Process. 13 (4) (2004) 600612.

13. D.M. Chandler, S.S. Hemami, VSNR: awavelet-based visual signal-to-noise ratio for natural images, IEEE Trans. Image Process. 16 (9) (2007) 2284-2298.

Рецензент: Ваграменко Ярослав Андреевич, д.т.н, профессор, ФГНУ «Институт информатизации образования» РАО, заместитель директора по информационным образовательным ресурсам.

REFERENCES

1. M. I. Vidov. Ispol'zovanie percepcionnoj metriki i statisticheskih modelej dlja ocenki kachestva videoizobrazhenij v uslovijah poteri paketov // Jelektrotehnicheskie i informacionnye kompleksy i sistemy. № 1, t. 9, 2013. S 61-70.

2. V. M. Artjushenko, M. V. Markov. Ocenka kachestva videoinformacii v telekommuni-kacionnyh setjah. Informacionnye tehnologii. Radiojelektronika. Telekommuni-kacii ITRT-2011. Izd-vo PVGUS. S. 36 - 59.

3. Z. He, J. Cai, C.W. Chen, Joint source channel rate-distortion analysis for adaptive mode selection and rate control in wireless video coding, IEEE Trans. Circuits Syst. Video Tech-nol. 12 (6) (2002) 511-523.

4. R. Zhang, S.L. Regunathan, K. Roth, Video coding with optimal inter/intra-mode switching for packet loss resilience, IEEE J. Sel. Areas Commun. 18 (6) (2000) 966976.

5. D. Wu, Y.T. Hou, B. Li, W. Zhu, Y.-Q. Zhang, H.J. Chao, An end-to-end approach for op-timal mode selection in Internet video communication: theory and application, IEEE J. Sel. Areas Commun. 18 (6) (2000) 977-995.