CC BY
55
УДК 681.3.053
Видов Максим Игоревич
ГОУ ВПО «Финансово-технологическая академия»
Россия, Королев1 Аспирант E-Mail: [email protected]
Индекс оценки видео, учитывающий временные изменения качества
Аннотация. В данной работе предлагается рассмотреть временное изменение качества видео. Так как потери пакетов возникают в канале случайно, изменение наведенных канальных помех во времени может быть довольно существенным. Поэтому изменения качества во времени, возникающие из-за ошибок канала, также могут быть существенными. Основываясь на этих наблюдениях, было начато исследование степени искажения и изменения качества, которые возникают в видеоизображениях из-за потери пакетов. В обычных приложениях, таких как широковещательная передача, когда достаточная ширина полосы обеспечивается, скорость потери пакетов очень низка и искажение канала близко к нулю. Тем не менее, в современных сетевых приложениях (интернет, беспроводные каналы) необходимая пропускная способность не всегда гарантируется. В беспроводных сетях полоса пропускания значительно колеблется, также увеличивается скорость потери пакетов, когда пропускная способность становится небольшой. В этом случае искажения канала могут стать довольно большими для некоторых кадров, в результате чего будет высокая дисперсия качества. Для измерения качества видео предлагается ввести обобщенный индекс качества, который включает в себя стандартное (среднеквадратическое) отклонение качества кадра. Предлагаемый обобщенный индекс временного качества видео позволит эффективно учитывать как качество, так и его изменения во времени.
Ключевые слова: индекс оценки видео; изменение качества; видеоизображение; потери; пакеты; видеопоследовательность; маскирование ошибки; распространение ошибки.
Идентификационный номер статьи в журнале 107ТУЫ414
1 141071, Московская Область, г. Королев, ул. Садовая, д. 3, кв. 35
Введение
Многие стандарты кодирования видео, такие как MPEG-2 и Н.264, основываются на кодировании, использующем предсказание с компенсацией движения, которое приводит к распространению ошибки из-за потерь пакетов [1, 2]. И даже ошибки с инверсией бита могут вызвать потери пакетов, а так как такие ошибки довольно распространены в беспроводных сетях, передача сжатых видеоизображений может приводить к сильному ухудшению качества. Многие исследования в этой области были направлены на уменьшение влияния потерь пакетов. Были предложены некоторые методы по оптимизации соотношения скорость-искажение для выбора способа кодирования в сетях с потерями пакетов [4, 5, 6]. Также были исследованы разнообразные методы неравномерной защиты от ошибок, использующие соотношение скорость-искажение, для передачи видео в сетях с потерями пакетов [7, 8].
Видео - это последовательность изображений. В большинстве существующих методов для передачи видео, оптимизированных с использованием соотношения скорость-искажение, считается, что искажение видео является выборочным средним значением искажений изображения (кадра). Такие методы косвенно предполагают, что качество видео это среднее значение качеств изображений. Все эти методы определяют показатель качества видео как среднее значение метрики качества изображений по всем кадрам.
Изменения качества во времени игнорировали в предыдущих работах по оценке качества видео. В данной работе предлагается рассмотреть временное изменение качества. Изменения качества видеопоследовательности могут быть более раздражающими, даже больше, чем видео с постоянным качеством, но с более низким битрейтом [2].
Потери пакетов, возникающие из ошибок канала в беспроводных сетях приводят к значительным искажениям. Действительно, искажения в канале могут быть более раздражающими, чем искажения в источнике, возникающие из-за ошибок дискретизации [1]. Так как потери пакетов возникают в канале случайно, изменение наведенных канальных помех во времени может быть довольно существенным. Поэтому изменения качества во времени, возникающие из-за ошибок канала, также могут быть существенными. Основываясь на этих наблюдениях, было начато исследование степени искажения и изменения качества, которые возникают в видеоизображениях из-за потери пакетов. Был введен новый критерий для измерения качества видео, который учитывает изменения качества, возникающие из ошибок канала.
В предыдущей работе [3] были получены выражения для расчета качества кадра, содержащего как искажения источника, так и искажения канала; а также среднее значение и среднеквадратическое отклонение качества кадров с учетом искажений в источнике и канале.
Для видеопоследовательности у = {/пп = 0,1,...,К-1}, пусть Q(/n)- качество кадра (изображения) /и, где Q является индексом качества изображения, например РБКК или ЗБГМ. Если присутствуют как искажения канала, так и искажения источника, появившиеся из-за потерь пакетов, тогда Q(/n) = QS+с (п).
Пусть ц(О) - среднее значение качества кадра
1 К-1
№) = - Е Q(/п)
К п=0
(1)
(2)
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 4 (23), июль - август 2014
http://naukovedenie.ru [email protected]
В обычных приложениях, таких как широковещательная передача, когда достаточная ширина полосы обеспечивается, скорость потери пакетов (PLR) очень низка и искажение канала близко к 0. Так как изменения в искажениях источника были бы относительно небольшими в таких приложениях, дисперсия качества также была бы небольшой. Тем не менее, в современных сетевых приложениях, таких как передача видео через сеть интернет и по беспроводным каналам, необходимая пропускная способность не всегда гарантируется. В беспроводных сетях полоса пропускания значительно колеблется, также увеличивается скорость потери пакетов, когда пропускная способность становится небольшой. В этом случае искажения канала могут стать довольно большими для некоторых кадров, в результате чего будет высокая дисперсия качества.
Пусть о(О) — среднеквадратическое отклонение качества кадра:
К-1
ГТ*-1
О(0) =4 ^ Е О !п )-^О))2
\К п=0
(3)
1 К п=0
Для определения изменения качества кадра предлагается обобщенный показатель качества видео, который включает в себя стандартное (среднеквадратическое) отклонение качества кадра:
О(у) = и(О) -*°(О) (4)
где т определяет изменение качества. Этот показатель определяет декремент в объективном качестве при увеличении о (О).
Если потери пакетов возникают из-за ошибок канала, то Бс (п) может принимать очень большие значения, значительно уменьшая О5+с (п) на протяжении несколько кадров, а также существенно увеличивая с(О5+с). Предлагаемый обобщенный индекс временного качества видео (4) эффективно учитывает как качество, так и его изменение.
Если индекс качества изображения для кадра п п), то можно определить
показатель качества видео, учитывающий временную дисперсию
Р8МЯ - ТБ = ¿РЖ) - то(Р8МК) (5)
где
1 К-1
¿^Ж) = - Е PSNR(n) (6)
К и=П
и
' К-1
I 1 К-1
а(РЯЖ) = - Е (PSNR(n) - ¿РЖ))2
\К п=0
Е..............(7)
К п=0
Аналогично, если индекс качества изображения для кадра п 88ГМ( п ), то также то можно определить показатель качества видео, учитывающий временную дисперсию
ШМ - ТБ = и^Ы) - то^Ы) (8)
где
1 к-1
¡u(SSIM) = — £ SSIM (n)
K n=0 (9)
и
1 K -1
<j(SSIM) = — Е (SSIM (n)-¡u(SSIM))2 (10)
\K n=0
Когда параметр w увеличивается, воздействие временной дисперсии увеличивается. Так как большие значения «(PSNR) негативно влияют на качество видео, w > 0 . Поскольку индекс качества должен быть положительным, PSNR) -w«(PSNR) >0. Поэтому в (5) требуется 0 < w < mm(jU(PSNR) / «(PSNR)). Аналогично в (8) 0 < w < min(^(SSIM) / «(SSIM)). При моделировании значения min(^(PSNR)/«(PSNR)) и min(p(SSIM)/ «(SSIM)) были 5.8 и 29.4 соответственно. Поэтому w был ограничен в диапазонах (0, 5.8) и (0, 29.4) для метрик PSNR-TD и SSIM-TD соответственно. При моделировании значения w в диапазонах от 0.5 до 3 и от 2 до 10 были использованы для PSNR-TD и SSIM-TD соответственно.
При помощи программного обеспечения NS-2 (The Network Simulator) была смоделирована передача видео в формате H.264 по беспроводным каналам. Для моделирования были использованы видеопоследовательности в формате QCIF: «Бригадир», «Мама и дочь» и «Автобус» с 75 кадрами. Первый кадр был закодирован как I-кадр, и остальные кадры были закодированы как P-кадры. Каждый ряд макроблоков образовывал слайс и был запакован в пакет: 11 макроблоков в слайсе/пакете и 9 слайсов в QCIF кадре.
Потери пакетов увеличивают вариативность качества видео. Для захвата и определения этого явления был зафиксирован параметр квантования (QP), что привело к переменному битрейту сжатого видео.
Качество видео будет меняться в зависимости от кодирования источника, усложняя попытку выделить и проанализировать изменения, возникающие из-за потерь пакетов. В дальнейшем будет рассмотрена метрика PSNR-TD с w = 1, а также SSIM-TD с w = 4.
В данной работе рассмотрены три случая моделирования:
• Случай 1: QP = 24 без потери пакетов (без беспроводного канала).
• Случай 2: QP = 24 без кодирования канала (в беспроводном канале).
• Случай 3: QP = 30 с канальным кодированием (в беспроводном канале).
При моделировании были получены искажения источника (Ds (n)), канала (Dc (n)) и непрерывные искажения для значений n = 0,1,...,74 .
Рис. 1. График Р8ЫЯ сжатой видеопоследовательности «Бригадир»
Случай 1 (0Р=24 без потери пакетов): и^Ш) = 38.8 йВ, о(РБ^К) = 0.66 йВ , РБЖ-
ТБ=38.1 ёБ.
Случай 2 (0Р=24 без канального кодирования): и(Р8Ш) = 35.2 йВ, о(РБЫК) = 4.3 йВ , РБШ.-
ТБ=30.9 ёБ.
Случай 3 (0Р=30 с канальным кодированием): и^Ш) = 34.5 йВ, с(PSNR) = 0.91 йВ , РБШ.-
ТБ=33.6 ёБ
Рис. 2. График 881М сжатой видеопоследовательности «Бригадир»
Случай 1 (0Р=24 без потери пакетов): и^Ы) = 0.9684, о^Ы) = 0.0028, 88ГМ-ТБ=0.9574 Случай 2 (0Р=24 без канального кодирования): и^Ы) = 0.9562, о^1М) = 0.0221, ББГМ-
ТБ=0.8678.
лучай 3 (0Р=30 с канальным кодированием): и^Ы) = 0.9311, о( SSIM) = 0.0138, ББГМ-
ТБ=0.8763.
На рисунке 1 показано пиковое отношение сигнала к шуму (PSNR) для сжатых версий видеопоследовательности «Бригадир» с потерями пакетов и без них. График случая 1, построенный с помощью символа *, показывает изменение PSNR декодированного видео с QP = 24 и без потери пакетов. В случае 1 ¡РЖ) = 38.8 ёБ и ст(РЖЯ) = 0.66 ёБ . Среднее значение качества было довольно высоким, а изменение качества было небольшим.
График случая 2, построенный с использованием символа □, показывает изменение PSNR декодированного видеопоследовательности с QP = 24 и без канального кодирования. Было значительное ухудшение качества, возникшее в результате потерь пакетов в 32-м и 35-м кадрах. Эти искажения распространились через последующие кадры. Ошибка уменьшалась с течением времени и исчезла около 50 кадра из-за введения внутреннего кодирования. Также было ухудшение качества в 58-м кадре, и эта деградация распространилась до конца видео. Эти ухудшения качества не только уменьшили среднее качество видео, но и значительно увеличили дисперсию качества видео.
График случая 3, построенный с использованием символа о, показывает изменение PSNR декодированной видеопоследовательности с QP=30 и канальным кодированием. Значение ¡¡(РЗЫК) немного больше в случае 2, чем в случае 3 (на 0,7 дБ). Однако, значение PSNR-TD было значительно больше (на 2,7 дБ) в случае 3, чем в случае 2. Согласно предложенному индексу качества PSNR-TD, качество видео в случае 3 гораздо лучше, чем в случае 2, даже несмотря на то, что оно хуже в соответствии с обычным показателем качества видео ¡¡(РБЫК).
На рисунке 2 показан график метрики SSIM (индекс структурного сходства) для видеопоследовательности «Бригадир». В случае 1 (представлен символом *) /и(881Ы) = 0.9684 и а(881М) = 0.0028 . Среднее значение качества было довольно высоким, а изменение качества было небольшим. В случае 2 (представлен символом □), было существенное ухудшение качества, возникшее в результате потерь пакетов в 32-м и 35-м кадрах, и эти ухудшения распространились через последующие кадры. Эти ухудшения качества из-за потери пакетов не только уменьшили среднее значение SSIM, но и увеличили дисперсию значений SSIM.
График случая 3 (представлен символом о) показывает изменение SSIM декодированной видеопоследовательности с QP = 30 и с канальным кодированием. Значение ¡¡( ББМ) немного больше (на 0,0245) в случае 2, чем в случае 3. С другой стороны, величина SSIM-TD в случае 3 была больше (на 0,0085), чем в случае 2. Качество видео в случае 3 лучше, чем в случае 2 в соответствии с предложенным показателем качества SSIM-TD, хотя оно хуже в соответствии с обычным показателем качества видео ¡и(881М).
Заключение
В данной статье предложено использование индекса оценки видео, который учитывает временные изменения качества. Были проведены испытания с моделированием передачи ^264 видео по беспроводным каналам связи и после проведения испытаний было определено, что предложенный индекс оценки видео дает более объективную оценку качеству видео, так как учитывает временные изменения качества, возникающие из-за ошибок канала.
ЛИТЕРАТУРА
1. М. И. Видов. Использование перцепционной метрики и статистических моделей для оценки качества видеоизображений в условиях потери пакетов // Электротехнические и информационные комплексы и системы. № 1, т. 9, 2013. С 61-70.
2. В. М. Артюшенко, М. В. Марков. Оценка качества видеоинформации в телекоммуникационных сетях. Информационные технологии. Радиоэлектроника. Телекоммуникации ITRT-2011. Изд-во ПВГУС. С. 36 - 59.
3. М. И. Видов. Оценка изменения качества видео во времени в сетях с потерями пакетов. Интернет-журнал «Науковедение». Идентификационный номер статьи в журнале: 58TVN114.
4. D. Wu, Y.T. Hou, B. Li, W. Zhu, Y.-Q. Zhang, H.J. Chao, An end-to-end approach for optimal mode selection in Internet video communication: theory and application, IEEE J. Sel. Areas Commun. 18 (6) (2000) 977-995.
5. Z. He, J. Cai, C.W. Chen, Joint source channel rate-distortion analysis for adaptive mode selection and rate control in wireless video coding, IEEE Trans. Circuits Syst. Video Technol. 12 (6) (2002) 511-523.
6. K. Seshadrinathan, A.C. Bovik, Motion tuned spatio-temporal quality assessment of natural videos, IEEE Trans. Image Process. 19 (2) (2010) 335-350
7. H. Ha, C. Yim, Y.Y. Kim., Packet loss resilience using unequal forward error correction assignment for video transmission over communication networks, Comput. Commun. 30 (12) (2007) 3676-3689.
8. X. Yang, C. Zhu, Z.G. Li, X. Lin, N. Ling, An unequal packet loss resilience scheme for videoover the Internet, IEEETrans. Multimedia 7 (4) (2005) 753-765.
Рецензент: Флоров Алексей Вадимович, к.т.н, младший научный сотрудник ИКТИ
РАН.
Maksim Vidov
Moscow region state budgetary educational institution of a higher vocational training the Finance
and Technology Academy Russia, Korolev E-Mail: [email protected]
Video evaluation index taking into account the temporal quality changes
Abstract. This article considers the temporal quality variation. Since packet losses occur randomly in a channel, the temporal variation of the induced channel distortion can be quite large. So the temporal quality variations caused by channel errors can also be large. Based on these observations, a study of distortion degree and quality variation that occurs in video because of packet losses was initiated. In ordinary applications such as broadcasting, when sufficient bandwidth is ensured, the packet loss rate is very low and channel distortion is close to zero. However, in modern network applications (Internet, wireless channels) required bandwidth is not always ensured. In wireless networks bandwidth varies greatly, packet loss rate also increases when the bandwidth becomes small. In this case, the channel distortion can be quite large for some frames that will result in large variance of quality. For video quality measurement it is proposed to introduce a generalized quality index that includes standard (mean square) deviation of frame quality. The proposed generalized index of temporary video quality will allow to consider effectively both the quality and its changes in time.
Keywords: video evaluation index; quality change; video image; losses; packets; videosequence; error concealment; error propagation.
Identification number of article 107TVN414
REFERENCES
1. M. I. Vidov. Ispol'zovanie percepcionnoj metriki i statisticheskih modelej dlja ocenki kachestva videoizobrazhenij v uslovijah poteri paketov // Jelektrotehnicheskie i informacionnye kompleksy i sistemy. № 1, t. 9, 2013. S 61-70.
2. V. M. Artjushenko, M. V. Markov. Ocenka kachestva videoinformacii v telekommunikacionnyh setjah. Informacionnye tehnologii. Radiojelektronika. Telekommunikacii ITRT-2011. Izd-vo PVGUS. S. 36 - 59.
3. M. I. Vidov. Ocenka izmenenija kachestva video vo vremeni v setjah s poterjami paketov. Internet-zhurnal «Naukovedenie». Identifikacionnyj nomer stat'i v zhurnale: 58TVN114.
4. D. Wu, Y.T. Hou, B. Li, W. Zhu, Y.-Q. Zhang, H.J. Chao, An end-to-end approach for optimal mode selection in Internet video communication: theory and application, IEEE J. Sel. Areas Commun. 18 (6) (2000) 977-995.
5. Z. He, J. Cai, C.W. Chen, Joint source channel rate-distortion analysis for adaptive mode selection and rate control in wireless video coding, IEEE Trans. Circuits Syst. Video Technol. 12 (6) (2002) 511-523.
6. K. Seshadrinathan, A.C. Bovik, Motion tuned spatio-temporal quality assessment of natural videos, IEEE Trans. Image Process. 19 (2) (2010) 335-350
7. H. Ha, C. Yim, Y.Y. Kim, Packet loss resilience using unequal forward error correction assignment for video transmission over communication networks, Comput. Commun. 30 (12) (2007) 3676-3689.
8. X. Yang, C. Zhu, Z.G. Li, X. Lin, N. Ling, An unequal packet loss resilience scheme for videoover the Internet, IEEETrans. Multimedia 7 (4) (2005) 753-765.
