CC BY
55
МОДЕЛИ ОБЕСПЕЧЕНИЯ QOE ДЛЯ OTT СЕРВИСОВ
Елагин Василий Сергеевич,
СПбГУТ, Санкт-Петербург, Россия, elagin.vas@gmail.com
Белозерцев Илья Алексеевич,
СПбГУТ, Санкт-Петербург, Россия, ilya.belozercev@outlook.com
Онуфриенко Анастасия Валентиновна,
СПбГУТ, Санкт-Петербург, Россия, anastasia.4991@mail.ru
DOI 10.24411/2072-8735-2018-10255
Ключевые слова: OTT сервисы, QoE, QoS, MOS, модели качества.
В настоящее время сеть 4G становится коммерчески широкомасштабной по всему миру, и в отрасли началось исследование мобильных технологий пятого поколения (5G). Все это увеличит разнообразие мультимедийных услуг, особенно для сервисов Over-The-Top (OTT). Таким образом, OTT сервисы уже получили большую популярность и способствовали большому потреблению трафика, что предлагает нагрузку на операторов. На сегодняшний день решения управления QoE для традиционных мультимедийных услуг устарели, что создает новые проблемы в аспектах управления QоE для поставщиков OTT сервисов. Рассмотрены основные модели, которые способствуют улучшению качества для OTT сервисов. Основной параметр для оценки качества был выбран QoE - Quality of Experience. Был произведен анализ ряда факторов, которые непосредственно влияют на оценку QoE. Во второй частит статьи рассматривались модели, которые могут обеспечить необходимый уровень качества для OTT сервисов. Данные модели были поделены на три группы: модели на основе трафика, модели на основе приложения и модели на основе скоростных характеристик. Главная задача исследования - найти оптимальные решения для обеспечения качества OTT сервисов.
Информация об авторах:
Елагин Василий Сергеевич, к.т.н., доцент кафедры Инфокоммуникационных систем Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, Россия
Белозерцев Илья Алексеевич, аспирант, кафедра Инфокоммуникационных систем Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, Россия
Онуфриенко Анастасия Валентиновна, аспирант, кафедра Инфокоммуникационных систем Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, Россия
Для цитирования:
Елагин В.С., Белозерцев И.А., Онуфриенко А.В. Модели обеспечения QOE для OTT сервисов // T-Comm: Телекоммуникации и транспорт. 2019. Том 13. №4. С. 9-14.
For citation:
Elagin V.S., Belozertsev I.A., Onufrienko A.V. (2019). Models of QOE ensuring for OTT services. T-Comm, vol. 13, no.4, pр. 9-14. (in Russian)
Введение
На сегодняшний день традиционные услуги связи, которые предоставляет оператор, устареваю! и на их место приходят OTT сервисы [1-2], которые предоставляют широкой спектр услуг: потоковые и интерактивные сервисы, сервисы обмена сообщениями и данными. Потоковые сервисы OTT, такие как YouTube, Nelflix, Hulu, требуют обеспечения качества режимах ультравысокой четкости, 3D, которые нуждаются в большом потреблении трафика и предлагают более высокое требование для скорости сети. Сервисы OTT для обмена сообщениями, такие как WeChat, TalkBox используют множество новых функций и помимо отправки сообщений, таких как отправка изображений, голосовых сообщений и видео. Тем не менее, такая частая отправка сообщений потребляет значительные ресурсы сигнализации, что являются неотложной проблемой для операторов. То есть, для OTT сервисов с их требованиями к ресурсам необходимо гарантировать качество передачи для отдельных видов сервисов. И поэтому по сравнению с основными телекоммуникационными услугами, OTT сервисы нуждаются в дополнительной поддержке со стороны сетевых операторов. Поэтому необходимо применять математические модели при работе с OTT сервисами, что поможет обеспечить качество, необходимое для этих сервисов.
Ii зависимости от функций и требований пользователя, ОТТ-сервисы предоставляют различные виды услуг: передача голоса, видео, сообщений, музыки, игр и других форм услуг, среди которых потоковые сервисы и сервисы обмена сообщениями. И для того, чтобы не рассматривать и не проводить анализ трафика каждого из выше перечисленных сервисов в отдельности, разделим их на две группы:
Потоковые OTT сервисы:
В режиме сверхвысокого разрешения, 3D и полного погружения будут работать потоковые службы OTT для обмена данными, такие как YouTube, Netilix, [lulu, которые предлагают более высокие требования к скорости сети.
Между тем технология видеопередачи OTT отличается от традиционного видео. Традиционные видеосервисы RTP/RTSP требуют специального медиа-сервера, и поскольку он передается на основе UDP, видеоинформация, переносимая потерянными пакетами, не может быть восстановлена, что приведет к нарушению качества, например, мозаике и ухудшению качества звука. А видеосервисы OTT, основанное па протоколе I [TT]', использует на транспортном уровне протокол TCP, Поскольку протокол TCP использует механизм управления перегрузкой и механизмы управления потоком для обеспечения надежной передачи, которые влияют на качество видео OTT, это означаег, что проблема, вызванная потерей пакетов и повторной их передачей, показывает, что для обеспечения качества OTT сервисов необходимы новый наработки [3-4].
Голосовые OTT сервисы:
Услуги голосовых сообщений, особенно для WeChat, имеют традиционные функции текстового чата, которые являются основными телекоммуникационными услугами. Кроме того, они предоставляют новые возможности, такие как голосовые сообщения, голосовая связь в реальном времени, групповой чат, взаимодействие с видео, которые привлекают внимание большинства мобильных пользователей. Чтобы обеспечить высокий уровень обслуживания, прило-
жение OTT само по себе будет непрерывно обмениваться данными с удаленным сервером, чтобы пользователь мог постоянно оставаться в сети, поэтому пользователь может получать сообщение в режиме реального времени. В большинстве случаев количество интерактивных данных в сети сигнализации OTT услуг очень велико, что приводит к перегрузке в сети оператора связи. Поэтому вопрос, как сбалансировать высокий уровень предоставления сервиса и обеспечить гибкость сети, становится актуальным для операторов во всем мире.
Рис. I. Схематическое представление передачи OTT сервисов
QoE для OTT сервисов
ОоЕ (Quality of Experience) — это общая удовлетворенность пользователей обслуживанием, которое они испытывали, на что может повлиять множество факторов в цепочке обслуживания. Рассматривая ключевые факторы, мы можем разработать соответствующие алгоритмы и модели для получения значения QoE. Затем, основываясь на значении QoE, различные решения и оптимизация, включая классификацию трафика, управление пропускной способностью и алгоритмы переключения, могут использоваться для повышения удобства пользователей и повышения эффективности сети. 11иже будут рассмотрены ключевые факторы при оценке QoE для OTT сервисов.
1. Ключевые факторы при оценке QoE:
Два фактора непосредственно влияют на QoE: факторы, связанные с пользователем, и факторы, связанные с уровнем обслуживания. Поскольку взаимодействующий процесс пользователя и сервиса должен находиться в определенной гармонии, а объектная среда оказывает большее влияние на процесс, мы можем определить QoE как общую степень распознавания пользователей в той среде. Поэтому метрики QoE включают в себя факторы, непосредственно связанные с пользователем.
Па среду влияют как серверная часть и само приложение, что непосредственно связано с пользователем. Сервер включает в себя программную и аппаратную части, которые непосредственно определяют возможности самого сервера. Для пользователя при использовании сервиса рассматрива-
T-Comm Том 13. #4-2019
ются следующие условия: освещение, шум и программные и аппаратные возможности пользовательского устройства. Кроме того, передвижение устройства в пространстве также может напрямую влиять па качество работы пользователя.
Факторы, связанные с уровнем обслуживания. Для разных поставщиков OTT видео, использующих различные решения для подтверждения своих услуг, QoE определяется поставщиком услуг. Между тем, видео OTT основано на HTTP и использует протокол TCP в транспортном уровне, где основной причиной снижения качества видео является повторная передача пакетов для заполнения буфера, которые поступают слишком поздно. Следовательно, параметры QoS прикладного уровня - это начальное время буферизации, время и частота повторной буферизации. Из работ [4-6] можно сделать вывод, что на уровне обслуживания факторы, которые влияют на качество видео на основе HTTP, могут быть классифицированы как факторы поставщика услуг, факторы сетевого уровня, факторы прикладного уровня и факторы уровня обслуживания.
Факторы поставщика услуг. Различные поставщики услуг, использующие различные решения для подтверждения передачи своих услуг, могут привести к различным оценкам пользователей. Например, при запросе нового сегмента видео сервер Nelflix будет устанавливать два ТСР-соединения одновременно (для аудио и для видео) и периодически отправлять HTTP-запросы, когда как проигрыватель YouTube просто устанавливает одно ТСР-соединение.
К факторам сетевого уровня относятся пропускная способность, потери пакетов, задержки пакетов и т. д. Для OTT услуг с потоковой передачей в момент, когда скорость TCP соединения ниже, чем скорость передачи видео, данные в буфере будут уменьшаться. Видео не будет воспроизводится до тех пор, пока буфер не будет заполнен. TCP соединение зависит от полосы пропускания, потери пакетов и задержки, и в момент, когда состояние данных показателей становится ниже требуемых параметров, OTT услуги не смогут поддерживаться с гребуемым качеством в сети Интернет, что плохо отразится на восприятии пользователя. Факторы прикладного уровня включают в себя начальное время буферизации, задержку повторной буферизации и частоту повторной буферизации. Факторы, связанные с видео, включают скорость передачи видео, разрешение, цвет, контент и режим воспроизведения (VOD или live) и т. д.
Факторы, связанные с пользователем. Пользовательское восприятие является субъективной оценкой в момент, когда пользователь взаимодействует с OTT сервисом. Оценка QoE только на основе параметров уровня обслуживания будет пренебрегать чувственным восприятием самого пользователя. Например, пауза при просмотре видео, вероятно, означает, что для загрузки видео нужно больше времени для буферизации [7]; а переключение разрешения на более низкий уровень означает, что пользовательская сеть не поддерживает требуемый уровень качества предоставления услуги, тогда как переход к более высокой скорости передачи бит имеет противоположное значение; переключение в полноэкранный режим или выход из полного экрана аналогичны аспекту разрешения; быстрая перемотка вперед, вероятно, означает, что пользователь не заинтересован в видеоконтенте, в то время как отмотка видео назад имеет противоположное значение или означает, что видео требуется больше
времени для заполнения буфера для дальнейшего воспроизведения.
2. Модели для оценки QoE
Существующие методы оценки QoE можно разделить на субъективный метод оценки, объективный и субъективно-объективный метод оценки, в зависимости от того, участвует ли пользователь в оценке и сущесзвует ли корреляция модели QoE и ее влияющих факторов. Помимо этого, необходимо учитывать количественный метод, суть которого заключается так называемой «средней оценке» (MOS - Mean Opinion Score) [8].
Модель на основе трафика
Ricky K.P.Мок в [5] установил сопоставление между метриками сетевого уровня, метриками уровня приложения и пользовательской оценкой MOS (I). Он смог получил взаимосвязь между метриками прикладного уровня (начальное время буферизации, задержку повторной буферизации и частоту повторной буферизации) и метриками сетевого уровня (пропускная способность, джиггер, потеря пакетов).
где Ш - начальное время буферизации, Ь/г - частота повторной буферизации, Цг - время повторной буферизации.
"И* Спорт
LV,, Новости
чк'% 0 Комедии
4fr Музыкальные видео
^II '''I,
о....................
.....................i
*
^..ТТГГГггг^
Низкий Средний Высокий
Рис. 2. MOS в зависимости ОТ/„щДПЯ четырех видов видео
Также он классифицировал видео на низкий, средний и высокий уровени в соответствии с метриками QoS прикладного уровня (таб. 1).
Таблица 1
Три уровня производительности приложения
^гггг___ ./rf^jj/___^Tahiti_
0-1 с__0-0.02с__(1-5 с
1-5с 0.02-0,15с 5-Юс >5с > 0.15с >10i:
Хотя в [5] был представлен целый процесс оценки, он не учитывает влияние различных пользовательских факторов для QoE. Модель предсказания в [5] была оптимизирована в [7], принимая во внимание время просмотра пользователем, время паузы и другие факторы. Однако в документе не
MOS = 4.23 -0.0672i/i-0.742Lfr- OAOÔLtr, (1 )
4
3.sä
en 3 О
2 1.5
Уровень Mизкий Средин й Высокий
получена конкретная формула, просто доказано, что учет факторов поведения пользователя может повысить точность моделей прогнозирования QoE. Гипотеза о том, что существует обучаемая связь между поведением сетевого трафика приложения и каждой соответствующей меткой QoE, представленной в [9], является новым подходом. Этот подход работает так: сначала собираются данные системах управления, где оператор имеет как трафик определенного сервиса, так и метрику QoE самого сервиса. Затем алгоритм машинного обучения используется для изучения функции зависимости между этими показателями (10]. Данный метод подходит как оператору для обеспечения качества, так и для множества поставщиков сетевых сервисов OTT, что позволит им проводить анализ различных аномалий в предоставляемых сервисах. Кроме того, он может помочь в диагностике основной причины плохого качества путем определения важных сетевых функций. Тем не менее, этот подход имеет ограничения из-за неточности предоставляемых данных, плохого моделирования поведения пользователей в нужном сервисе, да и различные методы обучения будут влиять па качество анализа. Более сложные методы обучения могут еще больше повысить точность моделей QoE.
Иа основе алгоритма Q-обучения в [111 был предложен клиент HAS, который может динамически настраиваться в соответствии с состоянием сети. Учитывая необходимую скорость для видео, емкость сети, и повторную буферизацию, было предложено уравнение (2) для получения MOS B[9j.
eMOS = тах(5.67ц — 6.72о-4.95ф + 0.17),
(2)
где ft и с представляют собой математическое ожидание и среднеквадратическое отклонение, а ф - определяет влияние частоты и задержки на оценку пользователей (MOS).
В ходе эксперимента была проведена оценка MOS и эффективности данной методики обучения для различных видео длинной 10 минут. Данные видео отрезки делились на 800 кадров, где оценивался определенный уровень MOS. Наилучший прирост наблюдался в последних 50 кадрах. И качестве сравнения выбирались RL (Reinforcement Learning) клиент, основанный на HAS, и традиционный MSS (Microsoft ISS Smooth Streaming) клиент.
5 ■ 4 3 г 1 -о
+ 1J.ESS* +13.01*
I
RL клиент MSS клиент +0.94% +9.20% +7.95%
+10,56%
I PI
i
1
Big Elephants Silence Star Buck Dream of the Wars Bunny Lambs
Tokyo Sony Olympics Demo
Рис. 3. Оценка эффективности Ы> клиент ддя нескольких видео последовательности и последних 50 кадрах
Алгоритм Q-обучения учитывает больше факторов и может быть более точным, в то время как это приведет к увеличению сложности опенки.
Модель на основе приложения
Kamal Deep Singh предложил для модели Adaptive HTTP модель PSQA 112] для измерения QoE. В дополнение к метрикам прикладного уровня также рассматривается параметр квантования (QP). Затем для оценки MOS использовалась RNN (случайная нейронная сеть), которая могла бы зафиксировать взаимосвязь между воспринимаемым качеством и ухудшением этого самого качества, вызванным параметрами прикладного уровня.
В [11) был описан инструмент YoMo для мониторинга YouTube. Инструмент взял пользовательские оценки как «хорошо» или «плохо», где оценка «хорошо» - видео воспроизводилось, а «плохо» - видео буферизировалось. Была представлена модель, которая могла предсказать время и продолжительность повторной буферизации для видео YouTube. Эта модель в основном зависела от двух пороговых значений: одна была значением, вызвавшим повторную буферизацию, другое — минимальным значением, которое могло бы возобновить воспроизведение видео. Сравнивая два порога, можно вычислить время повторной буферизации.
Модели на основе скорости.
В традиционных моделях видео необходимо декодировать и обрабатывать и в зависимости от того, какая часть исходной видеопоследовательности обработана, необходимо на основе этого сделать предсказание MOS. Подобно традиционным моделям, модели, работающие в домене с битовой скоростью для 11AS, имеют индикацию качества, связанную с сегментом, и ей необходимо обеспечить QoE последовательности фрагментов с функцией скорости данных приложения R по формуле (3):
U = MOS(R)
(3)
Исходя из предположения о том, что существует простое линейное отображение между MOS и PSNR (Peak Signal to Noise Ratio) в [13], и учитывая длину профиля и уровень воспроизводимого качества видео, в [14] был представлен предсказанный MOS (Mpred), который высчитывался но формуле (4),
Mpred = ct-ц — р-а - у-ф + 5,
(4)
где а, ß, у и 8 являются настраиваемыми параметрами, ji - информация о качестве (например, скорость в определенный момент времени), п - отклонение при измерении параметра ц, <р — частота переключения между моментами времени.
В данном случае ссылаемся на HAS профиль, где Р определяется как последовательность чисел (//,4,..., 1К), где lk £ {I, 2, ..., L) указывает, что в сегменте к видео было воспроизведено по качеству значением lk (I = 1 указывает наименьшее качество и I - L самое высокое), а К - длину профиля (к = 1 указывает самый последний сегмент). И каждый такой профиль имеет собственную оценку MOS.
T-Comm Том 13. #4-2019
Каждому фрагменту, характеризуемому парой /), при-еваиваетея значение Мк/ и Sk /l которые указывают на качество определенного фрагмента. Примерами Ми являются скорость передачи данных, среднее значение PSNR или SSIM (Structural Similarity), усредненное по всем кадрам этого фрагмента, или значение MOS для этого фрагмента. Примеры Su - отклонение PSNR или SSIM всех кадров блока к на уровне качества I. Мы рассматриваем модели, которые предсказывают MOS для профилей с учетом значения Ми и Sk !.
Подобная модель оценки может рассматриваться в нескольких моделях (в нашем случае определяется для подмоделей на основе скоростных характеристик). Подробное описание определяется в [14]. Ниже приводятся четыре таких подмодели:
1. В подмодели скорости передачи Мк! не зависит от к и равна скорости передачи, связанной с уровнем к а чести а /, тогда как Su~ 0.
2. В PSNR (и включая SSIM), моделях, MtJ равняется среднему PSNR, а также SS1M, и Su - стандартное отклонение PSNR (или SSIM). Все значения берутся взягы из всех кадров этого куска.
3. В подмодели Clmnk-MOS Mkj не зависит от к и определяется как MOS, связанный с уровнем качества /, а Sk.i~ 0. В этом случае рассматриваются два варианта:
а) Ми (одно значение на уровень качества) либо предоставляется, либо его необходимо оценивать как часть процесса минимизации RMSF (Root Mean Squared F.rror), В этом случае легко заметить, что а и б являются избыточными параметрами.
б) Предполагается, что Мц (одно значение на уровень качества) равномерно распределяется между минимумом и максимумом.
4. В подмодели уровня качества, где My = I (независимо от k), a S,t/= 0.
Заключение
При обслуживании OTT сервисов ряд сторонних факторов, которые не всегда зависят от среды передачи, влияют на обеспечение качества. Поэтому и для анализа необходимо учитывать не только показатели качества на сети, относящихся к оборудованию, но и учитывать восприятие самого пользователя. Для этого и производится оценка QoF,
Для грамотной же оценки необходимо связывать параметры, относящиеся к оборудованию, с факторами, которые связаны с пользовательским восприятием. Для этого был разработан моделей, которые пытаются связать данные параметры, но все упирается либо в нссовершенность описанной модели, что не учитывает ряд факторов, либо в сложность самой модели.
Поэтому существующие модели оценки QoE, представленные в данной статье, недостаточно точны, поскольку редко учитывают факторы эмоциональной состояния ноль-
зователя, а также корреляцию между этими факторами. Важно подбирать для различных сервисов ту модель, которая бы максимально эффективно обеспечивало качество для пользователя.
Литература
1. Гольдштейн B.C., Елагин B.C., Белозерцев И.А. О качестве OTT услуг в сетях LTE Н Вестник связи. 201 8. №7. С. 9-12.
2. Elagin KS., Goldshtein A.B., Onufrienko A.V., Zarubin A.A.. Beiozertsev LA. Synchronization of delay for OTT services in LTE / 2018 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHRjODMFO), Minsk, 2018, pp. 1-4.
3, Elagin KS.. Goldshtein B.S., Onufrienko A.V., Zarubin A.A., Savelieva A.A. The efficiency of the DPI system for identifying traffic and providing the quality of OTT services /2018 Systems of Signals Generating and Processing in the Field of on Board Communications, Moscow, Russia, 2018, pp. 1-5.
4, 3GPP TS 26.247, "Transparent lind-to-End Packet Switched Streaming Service (PSS); Progressive Download and Dynamic Adaptive Streaming Over HTTP (3GP-DASH)".
5. Steven Latré, Nicolas Staelens, Pieter Simoens. On-line estimation of the QoE of progressive download services in multimedia access networks[C], ICOMP 2008, Las Vegas, Nevada, USA, 2008, pp. 14-17.
6, Ricky K.P. Мок. Edmond W.W. Chan, and Rocky K.C. Chang. Measuring the Quality of Experience of HTTP Video Streaming|C]. Integrated Network Management (IM), 2011 [PIP/IEEE International Symposium, Dublin, 2011, pp. 485-492.
1. Ricky KP. Mok. Edmond W.W. Chan, and Rocky K.C. Chang. Inferring the QoE of HTTP Video Streaming from User-Viewing. Activities [С]. W-MUS [16] S. Mohamed and G. Rubino, "A Study of Real-time Packet Video Quality Using Random Neural Networks," IEEE Trans. On Circuits and Systems for Video Teeh.,2002,l2(12), pp. 1071-1083,
8. International Telecommunication Union, Geneva. Methods for subjective determination of transmission quality. Report : ITU TP.800, 1996.
9. Vaneet Aggarwal, Emir Hatepovic. Prometheus: Toward Quality-of-Experience Estimation for Mobile Apps from Passive Network Measurements. ACM Hot M obi le'14, Santa Barbara, CA, USA, February 26-27, 2014.
10. Balackandran A., Sekar V.. Akella A.. Seshan S. et al. A quest for an Internet video Qua!ily-of-Experfence, metric. In ACM HotNets, 2012.
1 i. Maxim Claeys, Student Member, Design and Evaluation of a Self-Learning HTTP Adaptive Video Streaming Client ,1EEE COMMUNICATIONS LETTERS, Vol. 18, no. 4, April 2014.
¡2. Mohamed S. and Rubino G. A Study of Real-time Packet Video Quality Using Random Neural Networks, IEEE Trans. On Circuits and Systems for Video Tech., 2002-12. 12(12), pp. 1071-1083.
13. VQEG, "Final report from the video quality experts group un the validation of objective models of video quality assessment".
14. Johan De Vrlendt, Danny De Vleeschauwer. Model for estimating QoE of Video delivered using HTTP Adaptive Streaming[Cj. IF1P/1EEE1M. 2013.
MODELS OF QOE ENSURING FOR OTT SERVICES
Vasiliy S. Elagin, SPbGUT, St. Petersburg, Russia, elagin.vas@gmail.com Ilya A. Belozertsev, SPbGUT, St. Petersburg, Russia, ilya.belozercev@outlook.com Anastasia V. Onufrienko, SPbGUT, St. Petersburg, Russia, anastasia.4991@mail.ru
Abstract
The 4G network is becoming commercially large-scale worldwide, and the industry has begun research on fifth-generation (5G) mobile technologies. All this will increase the variety of multimedia services, especially for over-the-Top (OTT) services. OTT services have already gained great popularity and contributed to a large consumption of traffic, which offers a load on operators. Management solution QoE for traditional multimedia services obsolete, which creates new problems in the aspects of the management of yo for suppliers of services. This article discusses the main models that contribute to improving the quality of OTT services. The main parameter for quality assessment was chosen QoE-Quality of Experience. An analysis was made of a number of factors that directly affect the assessment of QoE. The second part of the article deals with models that can provide the necessary level of quality for OTT services. These models were divided into three groups: traffic-based models, application-based models, and speed-based models. The main task of the study is to find optimal solutions to ensure the quality of OTT services.
Keywords: OTT Services, QoE, QoS, MOS, quality models.
References
1. Goldshtein B., EvaginV., Belozertsev I. (2018). About quality of OTT Services in LTE. Vestnik Sviazy. 07, 7, pp. 9-12. (in Russian)
2. Elagin V.S., Goldshtein A.B., Onufrienko A.V., Zarubin A.A., Belozertsev I.A. (2018). Synchronization of delay for OTT services in LTE. 2018 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO), Minsk, 2018, pp. 1-4.
3. Elagin V.S., Goldshtein B.S., Onufrienko A.V., Zarubin A.A., Savelieva A.A. (2018). The efficiency of the DPI system for identifying traffic and providing the quality of OTT services. 2018 Systems of Signals Generating and Processing in the Field of on Board Communications, Moscow, Russia, 2018, pp. 1-5.
4. 3GPP TS 26.247, "Transparent End-to-End Packet Switched Streaming Service (PSS); Progressive Download and Dynamic Adaptive Streaming Over HTTP (3GP-DASH)".
5. Steven Latr, Nicolas Staelens, Pieter Simoens. (2008). On-line estimation of the QoE of progressive download services in multimedia access networks[C]. ICOMP 2008, Las Vegas, Nevada, USA. 2008, pp. 14-17.
6. Ricky K.P. Mok, Edmond W.W. Chan, and Rocky K.C. Chang. (201 1). Measuring the Quality of Experience of HTTP Video Streaming[C]. Integrated Network Management (IM), 2011 IFIP/IEEE International Symposium, Dublin. 2011, pp. 485-492.
7. Ricky K.P. Mok, Edmond W.W. Chan, and Rocky K.C. Chang. (2002). Inferring the QoE of HTTP Video Streaming from User-Viewing. Activities [C]. W-MUS [16] S. Mohamed and G. Rubino, "A Study of Real-time Packet Video Quality Using Random Neural Networks," IEEE Trans. On Circuits and Systems for Video Tech.,2002, 12(12), pp. 1071-1083.
8. International Telecommunication Union. Geneva. Methods for subjective determination of transmission quality. Report ITU TP.800,1996.
9. Vaneet Aggarwal, Emir Halepovic, Prometheus: Toward Quality-of-Experience Estimation for Mobile Apps from Passive Network Measurements, ACM HotMobile'14, Santa Barbara, CA, USA, February 26-27, 2014.
10. Balachandran A., Sekar V., Akella A., Seshan S. et al. (2012). A quest for an Internet video Quality-of-Experience, metric. In ACM HotNets.
11. Maxim Claeys. (2014). Design and Evaluation of a Self-Learning HTTP Adaptive Video Streaming Client, IEEE communications letters. Vol. 18. No. 4, April 2014.
12. Mohamed S. and Rubino G. (2002). A Study of Real-time Packet Video Quality Using Random Neural Networks, IEEE Trans. On Circuits and Systems for Video Tech., 2002-12, 12(12), pp. 1071-1083.
13. VQEG, "Final report from the video quality experts group on the validation of objective models of video quality assessment".
14. Johan De Vriendt, Danny De Vleeschauwer. (2013). Model for estimating QoE of Video delivered using HTTP Adaptive Streaming[C], IFIP/IEEE IM, 2013.
Information about authors:
Vasiliy S. Elagin, associate Professor of the Department of Infocommunication systems of SPbGUT, St. Petersburg, Russia Ilya A. Belozertsev, postgraduate, Department of Infocommunication systems of SPbGUT, St. Petersburg, Russia Anastasia V. Onufrienko, postgraduate, Department of Infocommunication systems of SPbGUT, St. Petersburg, Russia
