CC BY
16
Jщ?
ЩЙ
www.volsu.ru
DOI: https://doi.org/10.15688/NBIT.jvolsu.2022.3.5
УДК 004.7 ББК 32.81
АНАЛИТИЧЕСКИЙ ОБЗОР МЕТРИК, ИСПОЛЬЗУЕМЫХ ДЛЯ ОЦЕНКИ КАЧЕСТВА МУЛЬТИМЕДИЙНОЙ ИНФОРМАЦИИ
Нина Дмитриевна Керенцева
Студент, кафедра телекоммуникационных систем, Волгоградский государственный университет tks@volsu.ru
просп. Университетский, 100, 400062 г Волгоград, Российская Федерация
Александр Игоревич Трофимов
Студент, кафедра телекоммуникационных систем, Волгоградский государственный университет trofimov.ai@volsu.ru
просп. Университетский, 100, 400062 г. Волгоград, Российская Федерация
Аннотация. Качество данных - показатель, характеризующий какую-либо передаваемую информацию, которую можно измерить. Само слово «измерить» предполагает оценку этих данных, качество которых может быть описано и количественно представлено. Метрика, в свою очередь, является по сути объективной оценкой в ходе проведения тестирования, позволяющего определить искажения данных, возникающих при передаче, кодировании, оцифровке, сжатии, декодировании видеоданных. В статье рассмотрены такие метрики, как PSNR и VQM, проведен анализ стандарта rTU-R-BT.500-8.11.
Ключевые слова: оценка качества видео, сравнение метрик, сравнение видеокодеков, PSNR, VQM.
(N (N О
(N <
«
о S s -е о а Н
tl К
л «
(D
Я
и
(D
а
(D
При проведении оценки качества передаваемой мультимедийной информации необходимо произвести измерение какой-либо метрикой, и посмотреть полученный результат, а также, сравнить его с субъективной оценкой. Объективная метрика представлена в стандарте ITU-R-BT.500-8.11, которая различными методами и свойствами определять и ставить ту оценку, которую высчитывает метрика. Самыми простыми и популярными объективными метриками являются: PSNR, VQM, PQR и SSГM. В исследовании были протестированы метрики PSNR и VQM [1].
PSNR (peak signal-to-noise ratio) является самой популярной метрикой, оценивающей потери качества изображений. При вычислении PSNR мы получаем числовое значение, указывающее на отношение максимально возможного сигнала к уровню шума. Уровень искажений в данной метрике определяется через среднеквадратичную ошибку (MSE), вычисляемую по формуле:
1 m-1n-1
MSE = — XZI1 ('',j)-K('', j)| .
mn
-- 0 j = 0
После чего PSNR вычисляется по следующей формуле:
PSNR = 10( M^) = 20( ).
MSE
VQM (Video Quality Metric) - метрика, которая дает оценку искажениям, появляющимся при прохождении сетевых пакетов через систему передачи. К ним относятся ошибки декодирования сигналов или погрешности кодирования.
Принцип действия данной метрики заключается в прохождении двух видеофрагментов (оригинал и искаженная версия) одинакового набора блоков, осуществляющих выборку данных и вычисление различных показателей качества.
Взяв из свободного доступа небольшой видеофрагмент, мы поместили его в программу MSU Video Quality Measurement Tool, предоставляющую различные методы оценки качества эталонного видео. При использовании специального программного обеспечения, MSU позволяет получить качество видео путем расчета и сравнения параметров между исходным видео и искаженным. Данная программа представлена на рисунке 1.
Для того чтобы сымитировать качество изображения реальной видеоконферен-
цсвязи, необходимо сжать исходное изображение. Так как в процессе сжатия уменьшается размер изображения, то уменьшается и количество времени, за которое данное изображение будет доставлено адресату по линии связи. Сжатие изображений подразделяют на:
- сжатие с потерями качества;
- сжатие без потерь.
Последнее часто предпочтительней для искусственно построенных изображений, таких как графики, иконки программ, либо для специальных случаев, например если изображения предназначены для последующей обработки алгоритмами распознавания изображений. Алгоритмы сжатия с потерями при увеличении степени сжатия, как правило, порождают хорошо заметные человеческому глазу недостатки [1].
Немаловажным параметром также является применение соответствующих кодеков для сжатия и обработки видеоинформации. Под конкретную услугу используется конкретный кодек. В нашем случае был выбран кодек Н264, поскольку метрика PSNR применяется для расчета потерь на изображениях невысокого качества [3].
Рис. 1. Главный экран программы MSU
Оценим данное видео метрикой PSNR, представленное на рисунке 2.
На изображении справа мы видим цветовой диапазон потерь качества. Зеленым цветом обозначены сильные запаздывания видео, обусловленные движением девушки на кадре. Красным цветом обозначены незначительные изменения, которые могут возникнуть при изменении освещения в момент движения камеры. Черный цвет говорит нам об отсутствии каких-либо изменений.
Поскольку многие сигналы имеют широкий динамический диапазон, PSNR обычно измеряется в логарифмической шкале в децибелах. PSNR наиболее часто используется для измерения уровня искажений при сжатии изображений [5].
Оценим данное видео метрикой VQM, представленное на рисунке 3.
Метрика визуального качества оценивает такие искажения, как размытие, задержка кадра, отставание звука. Числовой показатель VQM, равный 0,9, соответствует серьезным искажениям, тем не менее позволяющий рассмотреть детали изображения. Показатель, равный числу больше единицы, означает то, что изображение очень низкого качества [4].
Мы получили числовые значения / показатели объективной оценки качества видеоданных. Они используются для сравнения с объективной оценкой. Безусловно, визуальное восприятие важно для любого поставщика услуг видеоконференцсвязи, но, получив более точные данные об отклонениях в том или
[С1Я1«1] ОгкугЫ ~ [AlT.3Jvqm.yyuv ~ > Щ fr»mt 0 еГ ЗУ | 35\ X
Рис. 3. Полученные измерения метрикой VQM
ином параметре, используя объективные техники измерений, он может уже сейчас начать работать над улучшением предоставляемых услуг, а это сказывается на качестве услуги (популярность услуги, признание обществом как лучшей, масштабность приобретения услуги), а вследствие и финансовом благополучии организации [2].
СПИСОК ЛИТЕРА ТУРЫ
1. Все о сжатии данных, изображений и видео. - Электрон. текстовые дан. - Режим доступа: http://www.compression.ru/ (дата обращения: 31.08.2022). - Загл. с экрана.
2. Исследование влияния характеристик каналов связи на качество видео-конференц-связи / Н. Н. Ермакова [и др.] // Инфокоммуникацион-ные технологии. - 2021. - Т. 19, №» 4. - С. 395-400.
3. Черепанова, А. В. Оценка качества сжатой видеоинформации / А. В. Черепанова // Вестник СибГУТИ. - 2011. - №№ 1 (13). - С. 61-70.
4. Шелухин, О. И. Сравнительный анализ метрик оценки качества восприятия потоковой видеоинформации / О. И. Шелухин, М. В. Марков // Электротехнические и информационные комплексы и системы. - 2010. - Т. 6, №> 3. - С. 43-47.
5. Шубников, В. Г. Подавление шума и оценка различных изображений / В. Г. Шубников, С. Ю. Беляев // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. - 2013. - №№ 3 (174). - С. 58-66.
6. Objective Video Quality Metrics Application to Video Codecs Comparisons: Choosing the Best for Subjective Quality Estimation / A. Antsiferova [et al.] // ArXiv. - 2021. - С. 1-9. - DOI: https://doi.org/10. 48550/arXiv.2107.10220
REFERENCES
1. Vsyo o szhatii dannykh, izobrazheniy i video [Everything About the Data, Images and Videos Compression]. URL: http://www.compression.ru/ (accessed 31 August 2022).
2. Ermakova N.N., Tyukhtyaev D.A., Semenov E.S., Osipov O.V Issledovanie vlijanija harakteristik kanalov svjazi na kachestvo video-konferenc-svjazi [Study of the Impact of Communication Channel Characteristics on Video Conferencing Quality]. Infokommunikacionnye tehnologii [Infocommunication Technologies], 2021, iss. 19, no. 4, pp. 395-400.
3. Cherepanova A.V. Ocenka kachestva szhatoj videoinformacii [Quality Assessment of Compressed Video Information]. Vestnik SibGUTI [The Herald of the Siberian State University of Telecommunications and Informatics], 2011, no. 1 (13), pp. 61-70.
4. Shelukhin O.I., Markov M.V Sravnitelnyj analiz metrik ocenki kachestva vosprijatija potokovoj videoinformacii [Comparative Analysis of Metrics for Assessing the Quality of Perception of Streaming Video Information]. Jelektrotehnicheskie i informacionnye kompleksy i sistemy, 2010, iss. 6, no. 3, pp. 43-47.
5. Shubnikov VG., Belyaev S.Yu. Podavlenie shuma i ocenka razlichnyh izobrazhenij [Noise Suppression and Evaluation of Various Images]. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie [Scientific and Technical Statements of St. Petersburg State Polytechnic University. Informatics. Telecommunications. Management], 2013, no. 3 (174), pp. 58-66.
6. Antsiferova A., Yakovenko A., Safonov N., Kulikov D., Gushin A., Vatolin D.S. Objective Video Quality Metrics Application to Video Codecs Comparisons: Choosing the Best for Subjective Quality Estimation. ArXiv, 2021, pp. 1-9. DOI: https://doi.org/ 10.48550/arXiv.2107.10220
ANALYTICAL OVERVIEW OF METRICS USED TO ASSESS THE QUALITY OF MULTIMEDIA INFORMATION
Nina D. Kerentseva
Student, Department of Telecommunications Systems,
Volgograd State University
tks@volsu.ru
Prosp. Universitetsky, 100, 400062 Volgograd, Russian Federation
Aleksandr I. Trofimov
Student, Department of Telecommunications Systems,
Volgograd State University
trofimov.ai@volsu.ru
Prosp. Universitetsky, 100, 400062 Volgograd, Russian Federation
Abstract. Data quality is an indicator that characterizes any transmitted information that can be measured. The very word "measure" suggests the evaluation of these data, the quality of which can be described and quantified. The metric, in turn, is essentially an objective assessment during testing, which makes it possible to determine data distortions that occur during transmission, encoding, digitization, compression, and decoding of video data. The article considers such metrics as PSNR and VQM, and analyzes the ITU-R-BT.500-8.11 standard. A brief overview of the MSU Video Quality Measurement Tool is presented, as well as a simulated video conferencing image acquisition using one of the most popular H264 codecs. The formulas for calculating the PSNR metric, defined through the mean square error (MSE), estimating the loss of image quality by comparing the received video with the downloaded (reference video) are presented. The VQM (Video Quality Metric) metric is considered, which evaluates the distortion in the transmitted video caused by the passage of network packets through the cable line of the transmission system (decoding errors or coding errors), as well as methods for subjective and objective evaluation of images in video conferencing. The advantages and disadvantages of each of the evaluation methods are considered.
Key words: video quality rating, comparison of metrics, video codec comparison, PSNR, VQM.
