CC BY
40Д Т")ТПакулова Е.А., Рындин А.В. Методика оценки эффективности
-----------------........аътимедийных данных//Научный результат.
Информационные технологии. - Т.2, №3,2017
—^ передачи мультимедийных данных //Научный результат.
RESEARCH RESULTl
УДК 004.051 DOI: 10.18413/2518-1092-2017-2-3-38-44
Пакулова Е.А. Рындин А.В.
МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ ПЕРЕДАЧИ МУЛЬТИМЕДИЙНЫХ ДАННЫХ_
Южный федеральный университет, ул. Большая Садовая д. 105/42, г. Ростов-на-Дону, 344006, Россия
e-mail: [email protected], [email protected]
Аннотация
Целью данной работы являлась разработка методики оценки эффективности передачи мультимедийных данных на основе совокупного анализа параметров оценки качества мультимедийных данных с точки зрения двух подходов: базируясь на параметрах качества обслуживания сети (от англ. Quality of Service, QoS) и базируясь на анализе параметров закодированного мультимедийного контента (от англ. Quality of Experience, QoE). Разработанная методика оценки эффективности передачи мультимедийного потока требует полный набор информации об исходной последовательности мультимедийных данных. Особенностью разработанной методики является то, что свертка отдельных показателей эффективности не проводилась в виду сложности интерпретации общего показателя. Все рассмотренные в методике метрики являются равнозначными. В рамках данной работы для оценки эффективности передачи мультимедийных данных предложено использовать количество прерываний воспроизведения мультимедийного потока, время приема-передачи, вариацию задержки, качество мультимедийных данных на принимающей стороне в характеристике пикового отношения сигнала к шуму, а также количество переходов качества мультимедийного потока при передаче в гетерогенной беспроводной компьютерной сети.
Ключевые слова: оценка эффективности; мультимедийные данные; качество облуживания сети; качество восприятия.
UDC 004.051
Pakulova EA. Ryndin A.V.
EFFICIENCY ESTIMATION TECHNIQUE FOR MULTIMEDIA DATA TRANSMISSION
Southern Federal University, 105/42 Bolshaya Sadovaya St., Rostov-on-Don, 344006, Russia e-mail: [email protected], [email protected]
Аbstract
In the present work, we develop the efficiency estimation technique for multimedia data transmission, which is based on the common analysis of Quality of Service (QoS) and Quality of Experience (QoE) parameters. The proposed technique demands the full set of information of initial multimedia sequence. The main feature of the proposed technique is the absence of contraction of several parameters of efficiency because of the complexity of the interpretation of the common efficiency value. The considered in this work efficiency parameters are equal. In this work, it is proposed to use the following parameters for efficiency estimation of multimedia data transmission: playback interruptions, round-trip time, jitter, video quality evaluation metric in terms of PSNR and video quality transitions.
Keywords: Efficiency estimation; multimedia data; Quality of Service; Quality of Experience. ВВЕДЕНИЕ
Оценка эффективности передачи мультимедийных данных является нетривиальной задачей, т.к. унифицированного подхода к ее решению не существует. Как правило, данная оценка
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
базируется на анализе качества полученных данных на приемной стороне на основе некоторых статистических данных о них за определенный промежуток времени [15].
Целью данной работы являлась разработка методики оценки эффективности передачи мультимедийных данных на основе совокупного анализа параметров оценки качества мультимедийных данных с точки зрения двух подходов: базируясь на параметрах качества обслуживания сети (от англ. Quality of Service, QoS) и базируясь на анализе параметров закодированного мультимедийного контента (от англ. Quality of Experience, QoE).
Большая часть методик оценки качества мультимедийных данных на основе параметров QoS основывается на измерении параметров сети и призваны обеспечить контроль уровня качества приложений как для проводных, так и беспородных компьютерных систем передачи и обработки мультимедийных данных [18].
Наиболее популярными метриками для оценки качества по QoS являются:
- время приема-передачи - время, затраченное на отправку пакета для его получения, плюс время, необходимое для подтверждения о его получении;
- вариация задержки - разброс времени прихода пакетов от среднего;
- коэффициент потерь пакетов - процент потерь пакетов от общего числа отправленных.
В [19] было показано, что потери качества мультимедийных данных на 80% обусловлены потерями пакетов и только на 20% вариацией задержки. Поэтому коэффициент потерь пакетов можно также использовать и для оценки качества принятого решения, поскольку потеря пакетов непосредственно влияет на качество воспроизводимого потока. С другой стороны, коэффициент потерь пакетов характеризует плотность данных в кадре и не учитывает контент мультимедийных данных [4].
Оценки на основе контента базируются на анализе закодированного мультимедийного контента и могут быть сконфигурированы так, чтобы определить качество принятых мультимедийных данных на уровне приложений, используя различные метрики QoE от простых схем сравнения пикселей картинки между источником и получателем, до интегрированных оценок качества мультимедийных данных [14].
На данный момент предложено довольно большое количество подходов к анализу качества мультимедийных данных на основе QoE [9, 11, 13], однако до сих пор нет унифицированного набора метрик, которые необходимо брать во внимание. В общем случае различают подходы, характеризующиеся количеством доступной информации для анализа качества. Так выделяют три класса таких подходов. Первый класс характеризуется полным набором информации о передаваемой последовательности мультимедийных данных на стороне отправителя. Второй класс характеризуется отсутствием какой-либо информации об исходной последовательности мультимедийных данных. Третий класс обладает некоторой информацией об последовательности мультимедийных данных, но в меньшем количестве, чем первый класс [14].
Оценка QoE является нетривиальной задачей, поскольку у каждого пользователя свои представления о желаемом качестве воспроизводимого мультимедийного потока. Оценка данного параметра является самодостаточной областью науки с большим количеством вопросов [2].
Мультимедийные приложения, в особенности реального времени, очень чувствительны к параметрам сети. Задержки пакетов повышают задержку воспроизведения потока, а потери пакетов могут привести к деградации качества на принимающей стороне. Плохая производительность сети, в особенности колебания QoS, часто является причиной плохой QoE [1, 3, 7].
Однако оценка качества принятых мультимедийных данных, в основу который легли параметры QoS, не дает реального представления об удовлетворенности пользователя. Для этих целей предложены методы оценки удовлетворенности пользователя на основе QoE [1, 7]. С другой стороны, в [5] было показано, что если оценка качества на основе QoE и QoS проводятся одновременно, то результаты скорее всего будут сравнимы. Так, методики оценок QoS и QoE тесно взаимосвязаны.
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ ПЕРЕДАЧИ МУЛЬТИМЕДИЙНЫХ ДАННЫХ
Разработанная методика базируется на статистическом анализе параметров QoS и QoE за некоторый промежуток времени. Предполагается, что для оценки эффективности передачи мультимедийного потока имеется полный набор информации об исходной последовательности мультимедийных данных. Особенностью разработанной методики является то, что свертка отдельных показателей эффективности не проводилась в виду сложности интерпретации общего показателя. Все рассмотренные в методике метрики являются равнозначными.
В общем случае, на основе информации, имеющейся на стороне отправителя и получателя, возможно получить статистику о средней вариации задержки при передаче, среднем времени приема-передачи, количестве потерь при передаче, а также о среднем размере характеристики пикового отношения сигнала к шуму (англ. peak signal-to-noise ratio, PSNR) мультимедийных данных.
Кроме того, для задач адаптации мультимедийных данных в гетерогенной беспроводной сети необходимо рассмотреть количество переходов качества при передаче мультимедийного потока как один из параметров оценки качества предложенного решения.
Стоит заметить, что под переходом качества мультимедийного потока понимается факт выбора другого уровня улучшения мультимедийной последовательности по сравнению с текущим. Пример адаптации качества с применением кодека стандарта H.264/SVC рассмотрен в [12].
В [2, 11] было показано, что данный параметр имеет большое влияние на восприятие принятого мультимедийного потока пользователем. С одной стороны, повышение или понижение качества мультимедийной последовательности в зависимости от параметров сети должно привести к снижению потерь в сети и снижению вариации задержки. С другой стороны, частое переключение качества раздражает пользователя. В [11] показано, что вероятность того, что пользователь прервет соединение в 4 раза выше при частом переключении качества, чем при постоянной кадровой скорости, и в 3 раза выше при прерывании воспроизведении, чем при единичной смене качества последовательности мультимедийных данных.
Кроме того, в рамках данной работы примем, что передача мультимедийных данных в сети осуществляется посредством протокола транспортного уровня RTP [6].
ЗАДЕРЖКА ПРИЕМА-ПЕРЕДАЧИ
Задержка приема-передачи - это время, затраченное на отправку пакета, плюс время, которое требуется для подтверждения, что пакет получен. На рисунке 1 представлена схема вычисления задержки приема-передачи для предлагаемой структуры системы, предложенной в [12]. На стороне отправителя S фиксируется время tg отправления управляющего пакета SR. На стороне получателя R фиксируется время получения tg данного пакета SR, а также вычисляется время, от получения управляющего пакета SR и до отправления управляющего пакета RR, т.е. t[ - tg.
После получения управляющего пакета RR отправителем вычисляется задержка приема-передачи Dp как:
D = tl-( t[- tr0)-ts0 (1)
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
SR
t
1Л
t, с
RR
'0
t, с
Рис. 1. Схема вычисления задержки приема-передачи Fig. 1. The scheme of round-trip time calculation
Для оценки эффективности передачи мультимедийных данных необходимо определить среднюю задержку приема передачи для всего сеанса связи:
_ уМ |-)Ш
0 = , (2)
м
где т £ М - количество раз расчета задержки. ВАРИАЦИЯ ЗАДЕРЖКИ
Вариация задержки характеризует неравномерность прихода пакетов приложения на принимающей стороне. Она может быть обусловлена перегрузкой сети в некоторых точках, большим разбросом размеров пересылаемых пакетов, что приходит к неравномерному распределению времени обработки, различными маршрутами и пр. [10]. В любом случае, большая вариация задержки пакетов приводит к ухудшению качества мультимедийных данных.
Примем в работе, что вариация задержки между отправленными пакетами х^ и рассчитывается как среднее отклонение разности С времени прихода t полученных пакетов х\ и х'[_1 по сравнению с их отправлением:
(3)
7(i) = V(i - 1) + (|G(t - 1,0I - V(i - 1))/16, где G( i - 1,0 = ( t(*'¿-i) - t(x'j)) - №¿-1) - t(*i)).
Средняя вариация задержки для всего сеанса связи для каждого из потоков рассчитывается как:
_ уМ ит
V = , (4)
м
где т £ М - количество раз расчета вариации задержки. КОЛИЧЕСТВО ПОТЕРЬ
Как правило в современных стандартах кодирования видео применяются различные механизмы компенсации потерь, таким образом влияние единичных потерь сглаживается. Наибольший урон качеству воспроизведения приносят потери группы кадров от ключевого кадра до ключевого. В этом случае, происходит остановка воспроизведения мультимедийного потока -9(0 £ (0,1) на какой-то промежуток времени t. В рамках предлагаемой методики этот параметр определяется как отдельная метрика оценки качества.
АНАЛИЗ ХАРАКТЕРИСТИКИ PSNR
Одной из метрик оценки качества, принадлежащей классу с полным набором информации об исходной последовательности мультимедийных данных, является метрика PSNR. В [4] было
S
s
t
0
r
t
R
1
r
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
показано, что PSNR является валидной метрикой для оценки качества мультимедийного потока для одной и той же последовательности мультимедийных данных и с одним и тем же кодеком [8].
PSNR характеризует соотношение между максимумом возможного значения сигнала и мощностью шума, искажающего значения сигнала. PSNR определяется через среднеквадратичную ошибку MSE (от англ. Mean Square Error) между исходным кадром о и искаженным d:
MSE = ^Ilxx=1IlYy=1 \о(х,у) - d(x,y)\2, (5)
где каждый кадр имеет X X Y пикселей, а о(х,у) и d(x,y) - пиксели яркости на позиции (х,у) в кадре.
Тогда PSNR вычисляется как логарифмическое отношение максимального значения, принимаемого пикселем изображения, к мощности шума, искажающего изображение. Если принять (5) и максимальное значение, принимаемое пикселем в кадре L (когда пиксели имеют разрядность 8 бит, L = 255), тогда [8]
PSNR = 10 \og10 — (6)
Ь1и MSE v '
Пусть качество PSNR (3) кадра m определяется как Qm, тогда среднее значение качества для всей мультимедийной последовательности будет определяться как:
Q = l?.m=lQm (7)
Исходя из этого возможно определить коэффициент вариации качества:
CoÇ = f, (8)
где Sq - стандартное отклонение качества, т.е. Sq = — Q)2
АНАЛИЗ ПЕРЕХОДОВ КА ЧЕСТВА
Под переходом качества подразумевается доля переходов качества по отношению к общему количеству групп кадров. Стоит заметить, что переход качества осуществляется только перед началом передачи группы кадров и никогда в пределах группы кадров.
Разработанная методика оценки эффективности передачи мультимедийных данных была применена для сценария мультипотоковой передачи данных со структурой сети и алгоритмами распределения и адаптации масштабируемого мультимедийного потока, описанных в [16, 17].
В работе были проведены эксперименты с искусственным ограничением пропускной способности, а также с применением трассировок реальной пропускной способности, собранных в публичных беспроводных компьютерных сетях г. Берлина (Германия). Результаты экспериментов по разработанной методике оценки эффективности передачи мультимедийных данных приведены в [17], где была продемонстрирована эффективность методики на примере разработанных в [17, 18] алгоритмов, алгоритма распределения трафика циклического опроса и алгоритма, приведенного в [16].
ЗАКЛЮЧЕНИЕ
В рамках данной работы для оценки эффективности передачи мультимедийных данных предложено использовать количество прерываний воспроизведения мультимедийного потока, время приема-передачи, вариацию задержки, качество мультимедийных данных на принимающей стороне в характеристике PSNR, а также количество переходов качества мультимедийного потока при передаче в гетерогенной беспроводной компьютерной сети.
В работах [12, 17, 18] доказана эффективность предложенной методики, проведены серии экспериментов с применением разработанных в [12, 17, 18] алгоритмов, алгоритма распределения трафика циклического опроса и алгоритма, приведенного в [16].
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
Список литературы
1. Balachandran A. et al. A quest for an internet video quality-of-experience metric // Proceedings of the 11th ACM Workshop on Hot Topics in Networks. - ACM, 2012. - С. 97-102.
2. Clark A. D. et al. Modeling the effects of burst packet loss and recency on subjective voice quality. - 2001.
3. Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment / Q. Huynh-Thu, M. Ghanbari // Electronics letters. - 2008. - Т. 44. - №. 13. - С. 800-801.
4. "A Service-Oriented Framework of Distributed QoS Measurement Based on Multi-Agent for Overlay Network" / Jian-ren,Y., Rui-min H., Jun C., Jian-bo Z.: Feb 2009. С. 158-162.
5. Koistinen T. Protocol overview: RTP and RTCP //Nokia Telecommunications. 2000.
6. Lin C. H. et al. The packet loss effect on MPEG video transmission in wireless networks // 20th International Conference on Advanced Information Networking and Applications-Volume 1 (AINA'06). IEEE, 2006. Т. 1. С. 565-572.
7. Loguinov D., Radha H. End-to-end internet video traffic dynamics: Statistical study and analysis // INFOCOM 2002. Twenty-First Annual Joint Conference of the IEEE Computer and Communications Societies. Proceedings. IEEE. 2002. Т. 2. С. 723-732.
8. Minhas T. N. and Fiedler M. Impact of disturbance locations on video quality of experience. In Quality of Experience for Multimedia Content Sharing, EuroITV2011, June 2011.
9. Minhas T. N. et al. Mobile video sensitivity to packet loss and packet delay variation in terms of QoE // 2012 19th International Packet Video Workshop (PV). IEEE, 2012. С. 83-88.
10. Minhas T. N. Network impact on quality of experience of mobile video. 2012.
11. Nam H., Kim K. H., Schulzrinne H. QoE Matters More Than QoS: Why People Stop Watching Cat Videos // INFOCOM, 2016 (to appear). 2016.
12. Pakulova E., Miller K., Wolisz A. Adaptive low-delay video streaming in heterogeneous wireless networks using MPRTP // Wireless Communications and Mobile Computing Conference (IWCMC), 2017 13th International. -IEEE, 2017. С. 14-19.
13. Piamrat K. et al. Quality of experience measurements for video streaming over wireless networks //Information Technology: New Generations, 2009. ITNG'09. Sixth International Conference on. IEEE, 2009. С. 1184-1189.
14. Factors Influencing Quality of Experience. In Quality of Experience. / Reiter U., Brunnstr" K., Katrien De Moor, Larabi M.C., Pereira M., Pinheiro A., You J., and Zgank A., Springer International Publishing. 2014. C 55-74.
15. Serral-Gracia R. et al. An overview of quality of experience measurement challenges for video applications in IP networks // International Conference on Wired/Wireless Internet Communications. Springer Berlin Heidelberg, 2010. С. 252-263.
16. Singh V., Ahsan A. and Ott J.: MPRTP: Multipath Considerations for Real-time Media. MMSys '13, Proceedings of the 4th ACM Multimedia Systems Conference, February 26-March 1, 2013, C.190-201.
17. Пакулова Е.А. Алгоритмы и программные средства повышения эффективности передачи мультимедийных данных в беспроводных компьютерных сетях: Дис. канд. техн. наук. Санкт-Петербург, 2016. 116 с.
18. Пакулова Е.А. Распределение и адаптация видеопотока в формате SVC в гетерогенной сети // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 4. С. 710-715. doi: 10.17586/2226-1494-2016-16-4-710-715.
19. Сагатов Е. С., Сухов А. М. Повышение качества интернет-видеопотоков методом дублирования ключевых кадров / Е.С. Сагатов, А.М. Сухов // Вестник самарского государственного аэрокосмического университета им. Академика С.П. Королёва (Национального исследовательского университета). 2011. №. 2.
References
1. Balachandran A. et al. A quest for an internet video quality-of-experience metric // Proceedings of the 11th ACM Workshop on Hot Topics in Networks. - ACM, 2012. - С. 97-102.
2. Clark A. D. et al. Modeling the effects of burst packet loss and recency on subjective voice quality. - 2001.
3. Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment / Q. Huynh-Thu, M. Ghanbari // Electronics letters. - 2008. - Т. 44. - №. 13. - С. 800-801.
4. "A Service-Oriented Framework of Distributed QoS Measurement Based on Multi-Agent for Overlay Network" / Jian-ren,Y., Rui-min H., Jun C., Jian-bo Z.: Feb 2009. С. 158 -162.
5. Koistinen T. Protocol overview: RTP and RTCP //Nokia Telecommunications. 2000.
6. Lin C. H. et al. The packet loss effect on MPEG video transmission in wireless networks //20th International Conference on Advanced Information Networking and Applications-Volume 1 (AINA'06). IEEE, 2006. Т. 1. С. 565-572.
7. Loguinov D., Radha H. End-to-end internet video traffic dynamics: Statistical study and analysis //INFOCOM 2002. Twenty-First Annual Joint Conference of the IEEE Computer and Communications Societies. Proceedings. IEEE. 2002. Т. 2. С. 723-732.
8. Minhas T. N. and Fiedler M. Impact of disturbance locations on video quality of experience. In Quality of Experience for Multimedia Content Sharing, EuroITV2011, June 2011.
R E S E A RCH RFSIJLT
Пакулова Е.А., Рындин А.В. Методика оценки эффективности передачи мультимедийных данных //Научный результат.
Информационные технологии. - Т.2, №3,2017
9. Minhas T. N. et al. Mobile video sensitivity to packet loss and packet delay variation in terms of QoE //2012 19th International Packet Video Workshop (PV). IEEE, 2012. C. 83-88.
10. Minhas T. N. Network impact on quality of experience of mobile video. 2012.
11. Nam H., Kim K. H., Schulzrinne H. QoE Matters More Than QoS: Why People Stop Watching Cat Videos // INFOCOM, 2016 (to appear). 2016.
12. Pakulova E., Miller K., Wolisz A. Adaptive low-delay video streaming in heterogeneous wireless networks using MPRTP // Wireless Communications and Mobile Computing Conference (IWCMC), 2017 13th International. - IEEE, 2017. C. 14-19.
13. Piamrat K. et al. Quality of experience measurements for video streaming over wireless networks //Information Technology: New Generations, 2009. ITNG'09. Sixth International Conference on. IEEE, 2009. C. 1184-1189.
14. Factors Influencing Quality of Experience. In Quality of Experience / Reiter U., Brunnstr" K., Katrien De Moor, Larabi M.C., Pereira M., Pinheiro A., You J., and Zgank A., Springer International Publishing. 2014. C 55-74.
15. Serral-Gracia R. et al. An overview of quality of experience measurement challenges for video applications in IP networks // International Conference on Wired/Wireless Internet Communications. Springer Berlin Heidelberg, 2010.
16. Singh V., Ahsan A. and Ott J.: MPRTP: Multipath Considerations for Real-time Media. MMSys'13, Proceedings of the 4th ACM Multimedia Systems Conference, February 26-March 1, 2013, C.190-201.
17. Akulova E. A. Algorithms and software for improving the efficiency of transmission of multimedia data in wireless computer networks: Dis. Cand.tech. Sciences. Saint Petersburg, 2016. 116с.
18. Akulova E. A. Distribution and adaptation of the video stream in SVC format in heterogeneous networks // Scientific and technical journal of information technologies, mechanics and optics. 2016. T. 16. No. 4. P. 710-715. doi: 10.17586/22261494-2016-16-4-710-715.
19. Sagatov E. S., Sukhov, A. M. improving the quality of Internet video streams by the method of duplication of key frames / Sagatov E. S., Sukhov, A. M. // Vestnik of Samara state aerospace University. Academician S. P. Korolev (National research University). 2011. no. 2.
Пакулова Екатерина Анатольевна, кандидат технических наук, инженер Рындин Артем Валерьевич, аспирант
Pakulova Ekaterina Anatolievna, Candidate of Technical Sciences, engineer Ryndin Artem Valerevich, postgraduate student
С. 252-263.
