CC BY
73
АЛГОРИТМ ПРИОРИТЕТНОМ РЕТРАНСЛЯЦИИ ПОТЕРЯННЫХ ФРАГМЕНТОВ НА ПРИКЛАДНОМ УРОВНЕ ДЛЯ ПОТОКОВОЙ
ДОСТАВКИ ВИДЕОДАННЫХ
Чунаев Андрей Вячеславович,
аспирант, Кафедра "Сети связи и телекоммуникационные системы", Ижевский Государственный Технический Университет имени М.Т.Калашникова, Россия, Ижевск, [email protected]
Ключевые слова: прикладной уровень, качество видео, модель Гильберта, потоковое вещание, MPEG, ARQ, WLAN.
Методы коррекции информационных потерь могут применяться на различных уровнях модели взаимодействия открытых систем, среди них наибольшую популярность имеют FEC (прямая коррекция ошибок) и ARQ (автоматический запрос повторной передачи). Ппредложен усовершенствованный алгоритм ARQ прикладного уровня с приоритетной ретрансляции потерянных фрагментов для потоковой передачи видеоданных. Функционирование разработанного алгоритма проверено экспериментально, имитируя беспроводной канал связи с помощью модели Гильберта в беспроводной локальной сети. Эта модель позволяет задавать как пачеч-ность так и коэффициент потерь фрагментов данных. Известно, что кадры MPEG различны по типу: опорный, предсказанный и двунаправленный и имеет различное влияние друг на друга. Таким образом, алгоритм усовершенствован для вещания видеопотока MPEG путем введения приоритизации для повторной передачи потерянных фрагментов. При приоритетной ретрансляции учитывается время до "мертвой точки" (после которой воспроизведение видеокадра становится неактуальным) и тип кадра. Экспериментальная проверка алгоритма показывает, что его усовершенствование повышает качество облуживания. Сравнение проведено по коэффициенту потерь фрагментов данных и качеству восприятия видео по метрикам PSNR (пиковое соотношение сигнала к шуму), VQM (метрика качества видео), NQI (новый индекс качества) и SSIM (структурное сходство).
Для цитирования:
Чунаев А.В. Алгоритм приоритетной ретрансляции потерянных фрагментов на прикладном уровне для потоковой доставки видеоданных // T-Comm: Телекоммуникации и транспорт. - 2015. - Том 9. - №4. - С. 17-22.
For citation:
Chunaev A.V. Application layer ARQ algorithm with priority for video streaming. T-Comm. 2015. Vol 9. No.4, рр. 17-22. (in Russian).
Введение
Передама потоковых видеоданных по сети Интернет и беспроводным локальным сетям в настоящее время приобретает все большое значение в сфере телекоммуникаций. Исследованию этой теме посвящено множество зарубежных и отечественных публикаций. Качество передачи данных в WLAN подвержено влиянию множества факторов (уровень сигнала, межканальная интерференция, многолучевое распространение и другие), что может приводить к потерям передаваемых фрагментов видеоданных. Этот недостаток оказывает отрицательное влияние на восприятие транслируемого видеопотока. Коррекция потерь данных, используемая а стандартах технологии WiFi на канальном уровне, от части, решает эту проблему.
Дальнейшее улучшение качества передачи видео возможно путем применения алгоритмов коррекции потерь фрагментов данных на прикладном уровне. Одним из наиболее известных подходов является применение автоматического запроса повторной передачи (ARQ), Различные варианты применения ARQ на прикладном уровне для повышения качества доставки видеопотока рассматриваются как в зарубежных, так и отечественных научных публикациях [1-8]. Однако известные подходы не зависимы от структуры видеопотока и при повторной передаче потерянных фрагментов данных не учитывается их значимость.
Кадры MPEG видео имеют иерархическую структуру и потеря пакетов (следовательно, и фрагментов данных), с данными от одних видеокадров, может оказать более сильное влияние на ухудшение качества видео, чем от других видеокадров. Таким образом, для повышения качества видео с помощью метода ARQ прикладного уровня, используется идея приоритизации повторно передаваемых фрагментов данных на основании информации о типе кадра в буфере источника потоковых видеоданных. Эффективность алгоритма приоритетной ретрансляции потерянных фрагментов для потоковой передачи видеоданных с ARQ прикладного уровня, оценивается по коэффициенту потерь фрагментов, а также по известным метрикам качества видео NQI, VQM, SSIM, OPSNR [9-12].
1. Структура видеопотока MPEG
В исследовании важно учесть влияние структуры видеопотока при работе алгоритмов коррекции потерь фрагментов. В качестве примера рассматривается поток видеоданных формата MPEG, который состоит из следующих шести иерархических уровней (рис. 1) [13]:
— Блок содержит группу пикселей размера 848, задающих яркость и цветность элементов изображения.
— Макроблок состоит из 4 блоков, образующих окно 16416 пикселей.
— Слой включает последовательность смежных макроблоков в строке изображения.
— Кадр состоит из группы слоев, которая образует изображение, и может относиться к одному из трех типов: опорное (I), предсказанное (Р) или двунаправленное (В).
— Группа кадров (Group Of Pictures - GOP) содержит ограниченную последовательность кадров и должна начинаться с I кадра.
— Видеопоследовательность содержит минимум одну GOP, а также заголовок в начале последовательности и код конца последовательности.
Клок
□
Макроблок
Кадр
Последовательность
Слои
Группа кадров
Рис. 1. Структура потока MPEG
На рис. 2 показана группа изображений GOP. I-кадры называются опорными и содержат всю информацию об изображении. Р-кадры называются предсказанными кадрами и кодируются относительно предыдущего либо I-кадра, либо Р-кадра. В-кадры являются двунаправленными кадрами и формируются относительно окружающих их I-кадров и Р-кадров. Структуру группы кадров обычно описывают в виде дроби MIL, где М- это общее число кадров в GOP, a L - каким по счету будет очередной Р кадр после предыдущего.
В
В
В
В
VVVVVV
Рис. 2. Последовательность кадров MPEG
Таким образом, кадры GOP различных типов имеют различное влияние на другие кадры этой группы, что изображено на рис. 2 стрелками. Поэтому, например, потеря пакета, содержащего данные I-кадра окажется более значительной, чем потеря пакета, содержащего данные В-кадра с точки зрения качества восприятия видео. Следовательно, при разработке и исследовании алгоритмов коррекции потерь фрагментов видеоданных важно учитывать то, что пакеты, которые оказывают большее влияние на качество восприятия, долж-
m
ны иметь больше шансов на восстановление по сравнению с теми пакетами, которые оказывают меньшее влияние. Таким образом, большое значение имеет разделение фрагментов видеоданных по их значимости в структуре изображения.
2. Алгоритм приоритетной ретрансляции
потерянных фрагментов
При приоритетной ретрансляции потерянных фрагментов, относящихся к потоковым видеоданным, необходимо различать не только типы кадров, но так же учитывать время до «мертвой точки», по истечении которого фрагмент данных становиться не актуален для проигрываемого видео. Это происходит после того, как видеокадр, к которому относится этот фрагмент, уже воспроизведен. Такая задержка равносильна потере фрагмента. Таким образом, существует два фактора для приоритетной ретрансляции потерянных фрагментов видеоданных: тип кадра и время до «мертвой точки». Исходя из этих факторов величину р, оценивающую приоритет фрагмента, рассчитаем по следующей формуле:
p = Kld + ^i (1)
'd
где К\, Кг - нормирующие коэффициенты, d- количество видеокадров в пределах GOP, которые зависят от потери данного фрагмента, tD - время до «мертвой точки».
Коэффициенты Кх и К2 подбираются так, чтобы:
(2)
'zw
где toxp ~ критическое время до «мертвой точки», dmayL -максимальное количество видеокадров, которое может зависеть от потерянного фрагмента данных.
Критическое время до «мертвой точки» - это время, при котором фактор, учитывающий время до «мертвой точки», становится более значимым, нежели фактор, учитывающий тип видеокадра. Величина dmax соответствует количеству видеокадров в GOP. Таким образом, коэффициент, учитывающий фактор типа видеокадра определяется как К] = 1 /М , коэффициент, учитывающий фактор времени до «мертвой точки» определяется как к2 =г0кр. Следовательно, фрагменты в очереди
для повторной отправки упорядочены в соответствии с величиной р, определяющей значимость фрагмента. Наглядная схема приоритетной ретрансляции фрагментов и алгоритм функционирования для серверной части представлены на рис. 3 и 4, соответственно.
Передаваемые источником фрагменты видеопотока сохраняются в буфере источника и имеют порядковые номера SN, прописанные в заголовке фрагмента видеоданных на прикладном уровне.
Рис. 4. Алгоритм приоритетной ретрансляции фрагментов
Получатель перед воспроизведением видео принимает фрагменты видеопотока в буфер, при необходимости, сортирует их по порядковым номерам SN прикладного уровня, определяет отсутствующие (потерянные) фрагменты и высылает источнику запрос для повторной передачи виде квитанции NACK в формате прикладного уровня. При поступлении от получателя отрицательной квитанции NACK о потере одного или нескольких фрагментов данных прикладного уровня (с указанием их порядковых номеров в заголовке) источник отправляет повторно фрагменты в порядке наивысшего приоритета. Приоритет р в приоритизирован-ном списке номеров фрагментов для повторной передачи (ПСНФПП) определяется по формуле 1.
f I Л
3. Экспериментальное исследование
эффективности алгоритма
Эффективность функционирования модифицированного алгоритма ARQ прикладного уровня с приоритетной ретрансляцией потерянных фрагментов видеоданных (ARQM) была оценена путем его сравнения с алгоритмом без приоритетной ретрансляции (ARQ). Эксперимент по передаче потоковых данных был проведен в беспроводной локальной сети. Задаваемая вероятность потерь фрагментов была установлена 0,5, по модели Гильберта [14] средний размер лачки потерянных фрагментов равен 25. Согласно [15] при таких условиях алгоритм ARQ не обеспечивает необходимого качества обслуживания. В качестве тестовой видеопоследовательности для эксперимента было использовано видео «highway» [16] формата H.264/AVC с настройками фиксированной структуры GOP 15/3.
На рис. 5 приведено распределение потерянных, но не исправленных фрагментов, в соответствии с типом видеокадра, к которому они относятся, для рассматриваемых алгоритмов. В качестве одного из критериев, который оценивает эффективность алгоритма приоритетной ретрансляции на основе ARQ, использовалась величина N, определяющая количество видеокадров, зависимых от потери одного пакета, и вычисляется по формуле:
(3)
зз
30
25 20
15
10
1.L »1
OARQm ■ ARQ
PH Pill
Тип над pa
PIV
Рис. 3. Распределение фрагментов в соответствии с типом видеокадра, к которому они относятся
В таблице 1 представлены измеренное значение коэффициента потерь фрагментов (РЬК), которое определяет отношение количества успешно принятых фрагментов к количеству переданных. Показатели качества восприятия видео {табл. 1) определялись путем покадрового сравнения исходного видео с приятым. Использовались наиболее широко распространенные показатели: Г\101ф - усредненный новый индекс качества [11]; У(2МСр - усредненная метрика качества видео [12]; 551Мср - усредненное структурное сходство [9]; ОРБШ -общее пиковое соотношение сигнала к шуму [10]. Эти показатели были измерены при тестировании рассматриваемых алгоритмов с 95-процентыми доверительными интервалами.
Кроме того, для сравнения эффективности этих алгоритмов в таблице 1 приведены значения коэффициента выигрыша по различным показателям качества, который определяет, во сколько раз показатель качества для модернизированного алгоритма ARQ с приоритетной ретрансляцией (АКС5м) меньше, чем показатель качества для алгоритма АК0 без приоритетной ретрансляцией. Коэффициент выигрыша определяется по следующей формуле:
б^РЦ^/ (4)
Таблица 1
Показатели качества передачи и восприятия видео
где /'- тип видеокадра, количество зависимых видеокадров от видеокадра /-го типа, п,- количество потерянных фрагментов, которые относятся к видеокадру /-го типа.
Результаты эксперимента показывают, что для алгоритма АЯ<3 прикладного уровня без приоритетной ретрансляции = 900, а для модифицированного алгоритма (с приоритетной ретрансляцией) Л^Я(?„=5бб, что в 1,6 раза меньше. Следовательно, с точки зрения сохранности тех типов видеокадров, которые оказывают наибольшее влияние на группу изображений, алгоритм ARQ с приоритетной ретрансляцией фрагментов более эффективен.
PLR NQI VQM SS1M OPSNR
ARQ 0,0104± 0,0074 0,9671 ± 0,0065 0,1800± 0,0385 0,9885± 0,0024 27,85± 1,20
ARQM 0,0064± 0,0075 0,9911± 0,0035 0,0283± 0,0108 0,9980± 0,0008 43,87± 1,53
Gq 1,625± 2,228 0,976± 0,007 6,360± 2,783 0,990± 0,003 0,635± 0,035
Из таблицы 1 видно, что качество видео при использовании модифицированного алгоритма выше по всем показателям с учетом того, что для Р1_Р и \/0М, эффективность выше при > 1, в то время как для остальных показателей при < 1,
На рис. 4 для наглядного сравнения качества видео приведены примеры кадров, подверженных влиянию потерь фрагментов, для рассматриваемых алгоритмов ARQ. Низкое качество кадров, относящихся к алгоритму ARQ без приоритетной ретрансляции, было вызвано потерей информации об опорных кадрах. Однако при алгоритме с приоритетной ретрансляцией исправлению подвергались, в первую очередь, те фрагменты, которые относятся к опорным кадрам, что существенно сказывается на качестве видео.
Коэффициент выигрыша по потерям фрагментов для модифицированного алгоритма АкО составляет 1,625. Это связано с введением фактора, учитывающего время до «мертвой точки» по истечении которого потерянный фрагмент данных становится не актуален для проигрываемого видео. Выигрыш по метрикам объек-
тивного качества видео обусловлен также приоритетной ретрансляцией запрашиваемых фрагментов по значимости видеокадра,
■
„ 1___
Ё— ■
у р-1 t ' *
——' X ' —— " ч
■Г? К5ШШ
1
б)
Рис. 4. Примеры искаженных кадров видео:
а) алгоритм А1*0 с приоритетной ретрансляцией;
б) алгоритм АР<3 без приоритетной ретрансляции
Таблица 2 Соответствие между PSNR и MOS
PSNR, дБ MOS
>37 5(Отлично)
31-37 4 (Хорошо)
25-31 3(Удовлетворительно)
20-25 2(Плохо)
<20 1 (Очень плохо)
В таблице 2 отражено соответствие между PSNR и показателем субъективной оценки качества восприятия видео MOS (Mean Opinion Score) согласно [17]. Исходя из таблиц 1 и 2, качество восприятия видеопотока, пе-
реданного с помощью алгоритма АРСЗ без приоритетной ретрансляции можно оценить на «3», в то время как с помощью модифицированного алгоритма АРО (с приоритетной ретрансляцией) на «5».
Таким образом, хотя коэффициент потерь фрагментов в поставленном эксперименте при использовании АРСЗ с приоритетной ретрансляцией фрагментов не удовлетворяет рекомендациям [15], однако качество восприятия видео при этом остается приемлемым.
Выводы
Разработан алгоритм приоритетной ретрансляции потерянных фрагментов потокового видео на основе метода АКр прикладного уровня. Алгоритм учитывает два фактора: время до «мертвой точки» и значимость видеокадра, к которому относится повторно передаваемый фрагмент.
Эксперимент показали что, введение приоритетной ретрансляции в алгоритм АР^О прикладного уровня улучшило как качество передачи видеоданных, так и качество восприятия передаваемого видео. Улучшение качества восприятия при использовании модифицированного алгоритма АР<3 с приоритетной ретрансляцией достигнуто не только за счет повышения качества передачи данных, но и за счет того, что количество видеокадров Ымон, зависимых от потерь фрагментов, уменьшилось в 1,6 раза. Качество восприятия видео при использовании предлагаемого алгоритма остается высоким и при коэффициенте потерь фрагментов, значительно превышающим значение 0,001.
Литература
1. Argyriou A. Cross-Layer Error Control for Multimedia Streaming in Wireless/Wireline Packet Networks // IEEE Transactions on Multimedia. - 2008. - Vol. 10, №. 6. - Pp. 1121-1127.
2. Buccio/ P., Davini G., Masa/a Ew FHippi £, De Martin J.C. Cross-Layer Perceptual ARQ for H.264 Video Streaming over 802.11 Wireless Networks // IEEE Global Telecommunications Conference, 2003. GLOBECOM'04. - Pp. 3027-3031.
3. Wang C., Chang R., Ho 1, Hsu S. Rate-Sensitive ARQ For Real-Time Video Streaming // IEEE Global Telecommunications Conference, 2003. GLOBECOM'03. - Pp. 3361-3365.
4. Sachs D.G., Kozintsev L, Yeung M., Jones D.L Hybrid ARQ for robust video streaming over wireless LANs // IEEE International Conference on Information Technology: Coding and Computing, 2001.-Pp. 317-321
5. Павлова M.M., Авилов A.B. Оценка эффективности алгоритма ARQ при передаче потоковых данных в WLAN // T-Comm: Телекоммуникации и транспорт, 2012. - №7 -С. 141-146.
6. Павлова М.М., Авилов А.В. Математическая модель передачи потоковых данных прикладного уровня по беспроводным каналам связи // T-Comm: Телекоммуникации и транспорт, 2013. - №11 - С. 142-146.
7. Васильев Д.С., Чунаев А.В., Авилов А.В. Экспериментальное исследование качества передачи видео в древовидной Р2Р сети с алгоритмом ARQ прикладного уровня // T-Comm: Телекоммуникации и транспорт, 2014. - №1. - С. 10-14.
T-Comm Vol.9. #4-201 5
7ТЛ
COMMUNICATIONS
8. Чунаев А.В., Авилов А.В. Нистюк А.И. Влияние характеристик передачи потоковых данных на качество видео в WLAN // T-Comm; Телекоммуникации и транспорт, 2012. -№7 - С. 219-225.
9. Wang Z., Bovik A., Sheikh Н., Simoncelli £ Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Transactions On Image Processing. - 2004. - Vol. 13, № 4. -Pp. 600-612.
10. Peak signal-to-noise ratio // Wikipedia. The Free Encyclopedia. URL: http://en.wikipedia.org/wiki/PSNR (дата обращения: 10.09.2014).
11. Wang Z., Bovik A. Universal Image Quality Index // IEEE Signal Processing Letters. - 2002. - Vol. 9, № 3. - P. 81-84.
12. Xiao F. DCT-based Video Quality Evaluation // Final Project for EE392J. - 2000. - 10 p.
13. Chiarigtione L. MPEG-1 Video // The Moving Picture Experts Group website: сайт. - URL: http://mpeg.chiariglione.org/ stan-dards/mpeg-l/video (дата обращения: 10.09.2014).
14. Aldridge R.P., Ghanbari M. Bursty error model for digital transmission channels // IEEE Letters. - 1995. - Vol.31, N9 25. -Pp. 2144-2145.
15. Network performance objectives for IP-based services // ITU-T Rec. Y.1541. - 2011. - 57 p.
16. YUV CIF reference videos // Telecommunication Networks Group: сайт. - URL: http://www2.tkn.tu-berlin.de/research/ evalvid/cif.html (дата обращения: 10.09.2014).
17. Cross J., Klaue J., Karl H., Wotisz A. Cross-layer optimization of OFDM transmission systems for MPEG-4 video streaming // Computer Communications, - 2004. - Volume 27, Issue 11. -Pp. 1044-1055.
APPLICATION LAYER ARQ ALGORITHM WITH PRIORITY FOR VIDEO STREAMING
Chunaev A.V., Izhevsk, Russia, [email protected]
Abstract
At various levels of the OSI reference model can be used various methods of correction of information loss , the most popular among them are FEC (Forward Error Correction) and ARQ (Automatic Repeat Request). This article discusses the application layer packet loss correction algorithm ARQ for the MPEG streaming over wireless LAN. The functioning of the algorithm experimentally verified by simulating a wireless communication channel by the Gilbert model. This model allows you to define loss burst and packet loss rate. It is known that MPEG frames have different type: intra, predicted and bidirectional and has a different effect on each other. Thus, the algorithm was modernized for transmission of MPEG video stream by introduction of packets prioritization in queue for retransmission. It takes into account the time to deadline and the type of frame. Experimentally by comparison with a non-modernized version of the application layer ARQ algorithm it was found that modernization increases the quality of service, which is evident from the packet loss rate and video quality that can be seen by the PSNR (Peak Signal to Noise Ratio), VQM (Video Quality Metric), NQI (New Quality Index) and SSIM (Structural Similarity).
Keywords: application layer, video quality, Gilbert model, data streaming, MPEG, ARQ, WLAN. References
1. Argyriou A. 2008. Cross-Layer Error Control for Multimedia Streaming in Wireless/Wireline Packet Networks. IEEE Transactions on Multimedia. Vol. 10. No. 6, pp. 1121-1127.
2. Bucciol P., Davini G., Masala E., Filippi E., De Martin J. 2004. Cross-Layer Perceptual ARQ for H.264 Video Streaming over 802.11 Wireless Networks. Proceedings of IEEE Global Telecommunications (GLOBECOM'04) Conference, pp. 3027-3031.
3. Wang C., Chang R., Ho J., Hsu S. 2003. Rate-Sensitive ARQ For Real-Time Video Streaming. Proceedings of IEEE Global Telecommunications (GLOBECOM'03) Conference, pp. 3361-3365.
4. Sachs D., Kozintsev I., Yeung M., Jones L. 2001. Hybrid ARQ for robust video streaming over wireless LANs. Proceedings of IEEE International Conference on Information Technology: Coding and Computing, pp. 317-321.
5. Pavlova M, Abilov А. 2012. Effectiveness evaluation of ARQ algorithm for data streaming in WLAN. T-Comm. No. 7, pp. 141-146. (in Russian)
6. Pavlova M., Abilov А. 2013. Mathematical model of transmission streaming data application layer over wireless channels. T-Comm. No. 11, pp. 142-146. (in Russian)
7. Vasiliev D., Chunaev A., Abilov A. 2014. Video quality measurement in tree-based P2P network with ARQ. T-Comm. No. 1, pp. 10-14. (in Russian)
8. Chunaev A., Abilov A., Nistyuk A. 2012. Streaming data transferring characteristics influence on the video quality in WLAN. T-Comm. No. 7, pp. 219-225. (in Russian)
9. Wang Z., Bovik A., Sheikh H., Simoncelli E. 2004. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions On Image Processing. No. 4, pp. 600-612.
10. Wikipedia. The Free Encyclopedia, Peak signal-to-noise ratio, www.en.wikipedia.org/wiki/PSNR. viewed 10 September 2014.
11. Wang Z., Bovik A. 2002. Universal Image Quality Index. IEEE Signal Processing Letters. No. 3, pp. 81-84.
12. Xiao F. 2000. DCT-based Video Quality Evaluation. Final Project for EE392J, p. 10.
13. The Moving Picture Experts Group, MPEG-1 Video, viewed 10 September 2014, http://mpeg.chiariglione.org/standards/mpeg-1/video.
14. Aldridge P., Ghanbari M. 1995. Bursty error model for digital transmission channels. IEEE Letters. Vol. 31. No. 25, pp. 2144-2145.
15. ITU-T Rec. Y.1541 2011, Network performance objectives for IP-based services, p. 57.
16. Telecommunication Networks Group 2011, YUV CIF reference videos, viewed 10 Septrmber 2014, http://www2.tkn.tu-berlin.de/ research/evalvid/cif.html.
17. Gross J., Klaue J., Karl H., Wolisz A. 2004. Cross-layer optimization of OFDM transmission systems for MPEG-4 video streaming. Computer Communications. Vol. 27. No. 11, pp. 1044-1055.
Information about author: Andrey Chunaev, postgraduate student, Kalashnikov Izhevsk State Technical University, Izhevsk, Russia. For citation:
Chunaev A.V. Application layer ARQ algorithm with priority for video streaming. T-Comm. 2015. Vol 9. No.4, pр. 17-22. (in Russian).
W
T-Comm Том 9. #4-2015
