CC BY
87
УДК 681.3.07.
СИНЕРГЕТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ВОСПРИЯТИЯ МУЛЬТИМЕДИЙНЫХ СИСТЕМ
Шелухин Олег Иванович, доктор технических наук, профессор, sheluhin@mail.ru,
Даньшина Елена Викторовна, магистрантка, danshina_l@mail.ru,
ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва
The authors consider audiovisual model of quality evaluation of streaming video, which takes into account audio and video components of multimedia files; the article gives the notion of mutual compensation of the audio and video quality; the authors present the synergetic evaluations of quality of perception of multimedia systems.
Рассмотрена аудиовизуальная модель оценки качества потокового видео, учитывающая аудио- и видео- составляющие мультимедийных файлов; приведено понятие взаимной компенсации аудио- и видеокачества; представлены синергетические оценки качества восприятия мультимедийных систем.
Key words: MPEG, synergism, multimedia, MOS, the standard H. 264, correlation
Ключевые слова: MPEG, синергизм, мультимедиа, МОS, стандарт H. 264, корреляция
Постановка задачи
Современные мультимедийные системы характеризуются не только взаимодействием режимов видео и аудио, но и присутствием явления синергизма между медийными составляющими.
Синергизм (от греч. synergos — (syn) вместе (ergos) действующий, действие) — это взаимодействие двух или более факторов, характеризующееся тем, что их действие существенно превосходит эффект каждого отдельного компонента в виде их простой суммы.
Например, в видеотелефонии даже при низком качестве видео потока хорошее качество голосового потока может компенсировать ухудшение полного воспринимаемого качества, и наоборот [2].
Для предсказания аудиовизуального качества мультимедийных систем необходимо создать показатель, принимающий во внима-
ние качество воспроизведения аудио- и видеокомпонентов.
При оценке качества мультимедийных систем с помощью комбинированной оценки нельзя представить ее в виде простой комбинации составляющих, поскольку она не дает адекватного реальным условиям качества восприятия [1].
Аудиовизуальные тесты. 3G потоковые клипы
Рассмотрим три видеопоследовательности, обладающие принципиально различными характеристиками: кино «трейлер», «видеоклип» и «видеотелефония (звонок)» (рис. 1).
В кино «трейлере» сцены изменяются очень быстро, а съемка производится c нескольких ракурсов, кроме того, присутствует музыка. «Видеоклип» характеризуется инструментальной музыкой, сопровождающей голос. В отдельных сценах клипа имеются быстрые движения. «Видеозвонок» — самый простой
(а) (Ь) (с)
Рис. 1. Тестируемые файлы: кино «трейлер» (a), «видеоклип» (b), «видеотелефония (звонок)».
89
ИНФОРМАЦИОННЫЕ СИСТЕМЫ В СЕРВИСЕ
сценарий. Съемка осуществляется зафиксированной в пространстве камерой, а в сценах присутствуют малозначительные движения. Аудиоматериал в этом случае — речевой монолог без музыки.
Все файлы мультимедиа длиной почти 8 сек. [3]. Файлы закодированы при помощи программы QuickTime Pro version 6.5 с несколькими кодеками и комбинациями скорости передачи информации. В качестве видеокодеков использовали кодеки H. 263 и MPEG-4, а в качестве аудиокодеков AMR (Adaptive Multi Rate — автоматическая запись сообщения) и AAC (Advanced Audio Coding — перспективное звуковое кодирование).
Взаимно компенсационное свойство
Проведенные исследования совместного аудиовизуального качества [5] показали, что наблюдается явление взаимной компенсации аудио- и видео- качества. Под взаимной компенсацией подразумевается возможность получить неименное аудиовизуальное качество при различных комбинациях качества аудио и видео, это можно использовать для обеспечения гарантированно хорошего аудиовизуального качества. Рассмотрим аудиовизуальную модель оценки качества, учитывающую аудио- и видео- составляющие мультимедийных файлов.
Как правило, качество каждого сюжета оценивается с использованием оценок субъективного восприятия по пятибалльной шкале МОS (Mean Opinion Score — средняя субъективная оценка), где 1 — очень плохо, 2 — плохо, 3 — удовлетворительно, 4 — хорошо, 5 — отлично.
Будем использовать для оценки мультимедийного качества следующие оценки:
MOSa — средняя субъективная оценка аудио последовательности;
MOSv — средняя субъективная оценка видео последовательности;
MOSav — субъективное аудиовизуальное качество (качество оценки мультимедиа).
Для учета синергетического эффекта составляющих на уровне качества восприятия сформируем аудиовизуальную модель качества восприятия мультимедиа в виде комбинации показателей качества восприятия аудио MOSa и видео MOSv соответственно. Очевидно, что увеличение MOSa и соответствующее уменьшение MOSv или наоборот, не приведет к изменению MOSav и может остаться неизменным.
Рассмотрим пример взаимной компенсации качества восприятия MOSav на основе оценкок аудио MOSa и видео MOSv составляющих, представленный на рис. 2 [4]. Сравнивая столбики гистограмм с «белыми» вершинами можно видеть, что качества восприятия на уровне MOSav = 3 можно добиться как при MOSa = 4.5 и MOSv = 2.5, так и при MOSa = 3 и MOSv = 3.
Рис. 2. Взаимно компенсационное свойство для «видео телефонии».
Зависимость качества восприятия от количества информации
Показатели MOSa, MOSv и MOSav позволяют прогнозировать видео-, аудио- и аудиовизуальное качество с помощью объективных параметров.
В стандарте ANSI [3], разработан визуальный показатель, который дает возможность предсказать MOSv. Аналогичным является такой показатель качества аудио, различающийся для речи и музыки, чтобы корреляция с результатами выполненных звуковых тестов была максимальна.
На основе использования оценок предсказания MOSv и MOSa разработано несколько аудиовизуальных показателей.
Для формирования аудиовизуального показателя качества анализируемых клипов предварительно нужно изучить результаты субъективных аудиовизуальных тестов [4]. Отметим, что субъективные оценки людей различны для кино «трейлера» или «видеоклипа» с одной стороны и «видеотелефонии» с другой. «Видеозвонок» характеризуется медленными и незначительными движениями, с фиксиро-
90 научный журнал ВЕСТНИК АССОЦИАЦИИ ВУЗОВ ТУРИЗМА И СЕРВИСА 2010 / № 4
Синергетические оценки качества восприятия мультимедийных систем
ванным положением видео камеры и однородным тоном голоса. Диапазон оценок в этом случае для видео звонка в 66,7% случаев оценивается величиной 2 < MOSav < 3.
Если кодировать «видеоклип», характеризующийся быстрыми и частыми изменениями сцен при неизменной скорости передачи информации, можно увидеть, что объективные параметры не показывают столь же высокое качество как в видеотелефонии. Однако субъективная оценка выше во втором случае. Люди оценивают качество файла видеоклипа выше, потому что их мнение основано на подробной информации о сюжете.
Это различие в субъективной оценке между видеоклипом, кино «трейлер» и видео телефонией приводит к необходимости создания для речи и музыки различных аналитических соотношений.
Построение аналитических оценок
Получили распространение следующие аналитические оценки аудиовизуального качества:
(1) MOSav = K + A■ MOSa + V ■
(2) MOS’l = K + AV ■ MOSa ■
(3) MO S™ = K + A ■ MO Sa + V ■ MO Sv + A ■ MO Sa ■
(4) MO SV = K + A ■ MO Sa + V ■ MOSv +
+AV ■ MO Sa ■ MO Sv + A '■ MOSl + MO S ^
Первая модель при заданных MOSv и MOSa позволяет оценить MOSav при хорошем качестве музыки и речи. Однако при высокой корреляции между объективной и субъективной оценками MOSav используются другие оценки.
С этой целью в уравнения (2), (3) и (4) введены дополнительные элементы, что приводит к увеличению корреляции и отражает синергизм между качеством видео и аудио [6]. Синергизм составляющих хорошо описывается параболической зависимостью в уравнении (4).
Значения коэффициентов, входящих в уравнения (1) ... (4), полученные экспериментально, приведены в табл. 1 и 2 [7]. На рисунках 3—10 показаны трехмерные зависимости MOSav от MOSv и MOSa (С. 92-95).
Самые высокие корреляции соответствуют моделями (3) и (4).
Таким образом, рассмотренные соотношения для оценки субъективного качества предсказания аудиовизуального качества клипов на основе анализа их объективных характеристик, позволяют сформировать синергетические оценки качества восприятия мультимедийных систем.
Коэффициенты и корреляция для модели «видеозвонка»
Таблица 1
Номер формулы K A V AV A’ V’ корреляция
1 -0,4934 0,5420 0,4327 / / / 0,8800
2 0,9987 / / 0,1536 / / 0,8915
3 0,6313 0,2144 0,0124 0,1184 / / 0,9023
4 0,5723 9,6508 0,2686 0,2244 -0,0171 -0,0940 0,9057
Таблица 2
Коэффициенты и корреляция для моделей кино «трейлера»/«видеоклипа»
Номер формулы K A V AV A’ V’ корреляция
1 -1,5025 0,7380 0,7411 / / / 0,8879
2 0,9135 / / 0,2329 / / 0,8415
3 -0,9222 0,5691 0,5064 0,1697 / / 0,9106
4 -1,1895 0,5947 0,7126 0,0677 -0,0031 -0,0395 0,9117
91
ИНФОРМАЦИОННЫЕ СИСТЕМЫ В СЕРВИСЕ
92
Рис. 3. Модель для «видеотелефонии» (формула 1)
Рис. 4. Модель для «видеотелефонии» (формула 2)
научный журнал ВЕСТНИК АССОЦИАЦИИ ВУЗОВ ТУРИЗМА И СЕРВИСА 2010 / № 4
Синергетические оценки качества восприятия мультимедийных систем
MOSa
Рис. 5. Модель для «видеотелефонии» (формула 3)
MOSa
Рис. 6. Модель для «видеотелефонии» (формула 4)
93
ИНФОРМАЦИОННЫЕ СИСТЕМЫ В СЕРВИСЕ
Рис. 7. Модель для «кинотрейлер»/«видеоклип» (формула 1)
MOSa
Рис. 8. Модель для «кинотрейлер»/«видеоклип» (формула 2)
94 научный журнал ВЕСТНИК АССОЦИАЦИИ ВУЗОВ ТУРИЗМА И СЕРВИСА 2010 / № 4
Синергетические оценки качества восприятия мультимедийных систем
_____ MOSv
MOSa 1
Рис. 9. Модель для «кинотрейлер»/«видеоклип» (формула 3)
Рис. 10. Модель для «кинотрейлер»/«видеоклип» (формула 4)
Литература
1. American National Standard for Telecommunications. T1.801.03—2003. Working Group on Performance, Reliability, and Signal Processing. Digital Transport of One-Way Video Signals- Parameters for Objective Performance Assessment. Copyright 2004 by Alliance for Telecommunication Industy Solutions.
95
________________________ИНФОРМАЦИОННЫЕ СИСТЕМЫ В СЕРВИСЕ________________________________________
2. ISO/IEC 14496—3:2001/Amd. 2:2004, Parametric Coding for High Quality Audio, 2001.
3. ITU-T Recommendation. P. 910—1999, Subjective video quality assessment methods for multimedia application. International Telecommunication Union.
4. O. Nemethova, M. Ries, E. Siffel, M. Rupp. Quality Assessment for H. 264 Coded Low-Rate and low-Resolution Video Sequences. Proc. of Conference on Internet and Information Technologies (CIIT), St. Thomas, US Virgin Islands, Nov. 2004. P. 136-140.
5. R. Puglia. Influence of audio and video quality on subjective audiovisual quality H. 263 and adaptive multi rate (AMR) coding. P. 58-61.
6. S. Winkler. Digital Video Quality. Vision Models and Metrics. Genista Corporation, Montreux, Switzerland, Jan. 2005. P. 38-39.
7. Winkler. Digital Video Quality. Vision Models and Metrics. Genista Corporation, Montreux, Switzerland, Jan. 2005. P. 38-39.
96 научный журнал ВЕСТНИК АССОЦИАЦИИ ВУЗОВ ТУРИЗМА И СЕРВИСА 2010 / № 4
