CC BY
26Научная статья УДК 004.055
DOI:10.31854/1813-324X-2023-9-1-59-73
É
Тестирование облачных систем видеоконференцсвязи на основе параметра Хёрста
Руслан Валентинович Киричек1, kirichek@sut.ru Александр Александрович Берёзкин1 berezkin.aa@sut.ru Дмитрий Сергеевич Кукунин1, kukunin.ds@sut.ru Андрей Вячеславович Колесников2, andrei@iotas.ru
1Санкт-Петербургский государственный университет телекоммуникаций им. М.А. Бонч-Бруевича, Санкт-Петербург, 193232, Российская Федерация 2Ассоциация участников рынка интернета вещей Москва, 101000, Российская Федерация
Аннотация: В статье рассматриваются вопросы тестирования популярных отечественных и зарубежных облачных систем видеоконференцсвязи (ВКС). Предложена методика тестирования и сравнения качественных параметров приложений ВКС на основе международного опыта. Оценка и сравнение услуг ВКС выполнены на основе вычисления параметра Хёрста потоков данных, формируемых исследуемыми облачными системами ВКС. Проведено тестирование различных приложений зарубежных и отечественных систем ВКС в различных режимах работы при разных параметрах качества канала связи.
Ключевые слова: качество восприятия, видеоконференцсвязь, параметр Хёрста, DION, Zoom, TrueConf, Webinar meetings, Cisco WebEx, Microsoft Teams, Discord
Ссылка для цитирования: Киричек Р.В., Берёзкин А.А., Кукунин Д.С., Колесников А.В. Тестирование облачных систем видеоконференцсвязи на основе параметра Хёрста / / Труды учебных заведений связи. 2023. Т. 9. № 1. С. 59-73. DOI:10.31854/ 1813-324X-2023-9-1-59-73
Ruslan Kirichek1, kirichek@sut.ru Aleksandr Berezkin10, berezkin.aa@sut.ru Dmitry Kukunin1, kukunin.ds@sut.ru Andrey Kolesnikov2, andrei@iotas.ru
1The Bonch-Bruevich Saint-Petersburg State University of Telecommunications, St. Petersburg, 193232, Russian Federation 2Association of Internet of Things Market Participants Moscow, 101000, Russian Federation
Abstract: The article deals with the testing of popular domestic and foreign cloud videoconferencing systems. A methodology for testing and comparing qualitative parameters of videoconferencing applications based on international experience is proposed. Assessment and comparison of videoconferencing services is based on the calculation of Hurst data flows, formed by the investigated cloud videoconferencing systems. Various applications of
Analysis of Experience Quality Parameters of Cloud Video Conferencing Systems under Interference Conditions
© Киричек Р.В., Берёзкин А.А., Кукунин Д.С., Колесников А.В., 2023
foreign and domestic videoconferencing systems have been tested in different operation modes with different channel quality parameters.
Keywords: quality of experience, video conferencing, Hurst parameter, DION, Zoom, TrueConf, Webinar meetings, Cisco WebEx, Microsoft Teams, Discord
For citation: Kirichek R., Berezkin A., Kukunin D., Kolesnikov A. Analysis of Experience Quality Parameters of Cloud Video Conferencing Systems under Interference Conditions. Proc. of Telecom. Universities. 2023;9(1):59-73. (in Russ.) DOI:10.31854/1813-324X-2023-9-1-59-73
Введение
Видеоконференции стали важным инструментом эффективного общения и сотрудничества для предприятий, школ и частных лиц. С появлением облачных систем видеоконференцсвязи (ВКС) крайне важно обеспечить, чтобы эти системы были должным образом протестированы перед развертыванием. Тестирование облачных систем ВКС помогает выявить и устранить любые потенциальные проблемы, которые могут повлиять на пользовательский опыт и качество восприятия. Например, система может быть протестирована, чтобы убедиться в ее способности обрабатывать большое количество пользователей, в соответствующем качестве звука и видео, а также в том, что она безопасна и защищена от киберугроз.
Кроме того, тестирование помогает оптимизировать производительность облачных систем ВКС. Его можно использовать для оценки пропускной способности сети, ресурсов сервера и других компонентов, которые имеют решающее значение для бесперебойной работы ВКС. Кроме того, это может помочь определить наиболее эффективные настройки приложений ВКС, такие как пропускная способность и сжатие, которые можно установить в соответствии с потребностями различных пользователей и вариантами использования.
Еще одним важным преимуществом тестирования облачных систем ВКС является то, что это может помочь улучшить общий пользовательский опыт. Хорошо спроектированная и должным образом протестированная система ВКС может обеспечить надежную и бесперебойную связь с минимальными техническими проблемами. Это может повысить удовлетворенность пользователей и стимулировать дальнейшее использование, что поспособствует более широкому внедрению и росту системы ВКС.
В настоящее время российским пользователям доступно множество облачных систем ВКС, причем некоторые из них, например, DION, Webinar meetings или TrueConf развиваются на основе отечественных разработок. Другая группа облачных ВКС представлена решениями западных IT-ком-паний - Cisco WebEx, Microsoft Teams, Zoom US и др.
Однако важно отметить, что в настоящее время не существует общего стандарта для тестирования
облачных систем ВКС. Это означает, что каждая компания или организация вынуждены разрабатывать свои собственные протоколы и процедуры тестирования.
В результате исследования рекомендаций ITU-T выявлено, что наиболее близкой к задаче тестирования облачных систем ВКС является Рекомендация ITU-T Q.3949 [1]: Real-time multimedia service testing framework at the user-to-network interface of next generation networks, где описываются процедуры, требования, физические конфигурации и стандартные комплекты документов для тестирования мультимедийных услуг в режиме реального времени на интерфейсе «пользователь - сеть» (UNI, аббр от англ. User-to-Network Interface) сетей следующего поколения (NGN, аббр. от англ. Next Generation Networks), что может быть использовано как основа для тестирования облачных систем ВКС.
Облачные системы ВКС в терминологии NGN могут рассматриваться как «End-to-End»-услуги между терминалами абонентов, где тестируемые оконечные услуги (Test Subject) находятся по обе стороны канала связи. На рисунке 1 показана физическая конфигурация для тестирования услуги ВКС на основе [1], где Клиент 1 и Клиент 2 - оконечные устройства и ПО для проведения ВКС (Terminal-A, Terminal-B); сеть NGN - облачная система ВКС в сети интернет; UNI - интерфейс доступа оконечных устройств к сети интернет.
Клиент1 (Reference machine)
Клиент 2 (Test subject)
UNI сервис BKV UNI
Рис. 1. Типовая физическая конфигурация для тестирования облачных систем ВКС в соответствии с Рекомендацией ITU-T Q.3949 [1]
Fig. 1. Typical Physical Configuration for Testing Video Conferencing Cloud Systems in Accordance with Recommendation ITU-T Q.3949 [1]
В [1] определены критерии тестирования протокола взаимодействия службы с услугами NGN, однако порядок тестирования сеанса аудио- и видеосвязи не определен. В предлагаемой методике тестирования выявляется порядок тестирования сценария 3 «сеанс аудио- и видеосвязи» Рекомендации Q.3949. Оценка качества услуги ВКС QoS (аббр. от англ. Quality of Service) определяется че-
рез оценку качества восприятия QoE (аббр. от англ. Quality of Experience)
Оценка качества восприятия
QoE - это мера удовольствия или раздражения клиента от использования услуги (например, системы ВКС), которая фокусируется на всем опыте обслуживания. QoE является новой междисциплинарной областью, основанной на социальной психологии, когнитивной науке, экономике и инженерных науках, ориентированной на понимание общих требований к качеству восприятия человеком. Качество восприятия зависит от нескольких факторов (рисунок 2) как субъективных, так и объективных [2]. В первом случае на оценку пользователя влияет его опыт работы с другими услугами.
Рис. 2. Объективные и субъективные параметры оценки QoE
Fig. 2. Objective and Subjective Parameters of QoE Assessment
Главной метрикой объективных факторов QoE выступает QoS. В этом случае впечатления абонента формирует производительность и стабильность предоставляемой услуги, наличие/отсутствие артефактов при просмотре видео, задержки при взаимодействии с услугой, а также посторонние щелчки и шумы при передаче аудиоданных. Для тестирования систем ВКС необходимо определить измеримые показатели качества, которые позволяют связать QoE с QoS.
Применяемые на сегодняшний день методы оценки качества передачи видео, основанные на анализе характеристик сети, являются фактически теми же средствами, что используются для контроля качества передачи голосовой информации, т. е. они измеряют параметры транспортной сети [3-11]. В отличие от субъективных методов объективные не дают представления о том, что же на самом деле видит пользователь на экране, т. к. они не делают различия между пакетами, передающими видео, и пакетами, передающими другую информацию. Для того, чтобы измерить в количественном отношении качество услуг ВКС и сравнить их между собой, необходимо ввести определенную метрику. На сегодняшний день не разработано рекомендаций, определяющих введение какой-либо метрики, поэтому известен ряд методов, которые имеют существенные различия меж-
ду собой и базируются на разных подходах: Media Delivery Index (MDI), Video Quality Metric (VQM), Moving Pictures Quality Metric (MPQM), Noise Quality Measure (NQM) и т. д. Данные методы можно отнести к общим методам оценки работоспособности сети, в полной мере не учитывающих особенности приложения. Кроме того, предлагаемые подходы оценки QoE на основе ^-модели [12] очень ресурсоемкие и имеют граничные условия использования.
Особенности передачи видео по IP-сетям требуют разработки новых показателей оценки QoE [13, 14]. Исследования показывают, что видеотрафик для большинства видов услуг является самоподобным [15-18]. Учет самоподобных свойств видеотрафика предоставляет возможность более точного оценивания видеопоследовательности, что, в свою очередь, позволяет улучшить методы оценки качества передачи видео и получить показатели QoE, близкие к реально наблюдаемым. Одним из показателей объективной оценки качества видео, так называемый ^-фактор, по аналогии с R-фактором для речи, является параметр Хёрста [1921], учитывающий степень самоподобия мультимедийного трафика, передаваемого в рамках функционирования облачных систем ВКС. Доказано, что видеотрафик обладает свойством самоподобия. Таким образом, отслеживая параметр Хёр-ста, можно наблюдать за наличием видеотрафика в сети, а по изменениям значений параметра прогнозировать изменения характеристик видеопотока, что может повлиять на оценку качества восприятия.
В предлагаемой методике тестирования оценка QoE и сравнение облачных систем ВКС проводится на основе вычисления параметра Хёрста потоков данных, формируемых исследуемыми системами.
Методика тестирования
В рамках исследования проводились испытания следующих приложений: Zoom, Cisco WebEx, DION, Discord, Microsoft Teams, TrueConf и Webinar meetings. Для проведения тестирования составлен чек-лист, включающий в себя возможные конфигурации системы приложения для конференций, а также значения параметров дополнительной искусственной задержки и потерь пакетов для осуществления тестирования надежности и отказоустойчивости системы. Дополнительная искусственная задержка и потери пакетов на приемной стороне тракта ВКС введены с целью реализации каналов связи различного качества. В рассматриваемых условиях данные параметры дополнительно применяются к естественным задержкам передачи данных в сети Интернет. Далее под параметрами «Задержка» и «Потери» понимается искусственные задержки и потери пакетов, добав-
ляющие дополнительные значения параметров к естественным задержкам в сети Интернет. При этом, значение параметра равное нулю означает отсутствие такого искусственного добавления.
Реализован дизайн тест-кейсов (ТК) с применением техник тестирования [22]. Параметры, различные значения которых необходимо протестировать, определены в таблице 1.
ТАБЛИЦА 1. Параметры тестирования
TABLE 1. Testing Parameters
Для составления списка тест-кейсов на основе тестируемых параметров необходимо применить техники тест-дизайна. Параметр «Задержка» принимает значения от 0 до бесконечности. При тестировании облачных систем ВКС использовано значение 300 мс, как достаточно большое с учетом наличия дополнительных задержек в сети Интернет. Это в достаточной степени согласуется с известными нормами класса 1 QoS, к которому относятся услуги ВКС [23], допускающие задержку до 400 мс. Однако если задержка более 100 мс, то качество связи начинает падать. Следовательно, для параметра «Задержка» можно выделить 2 класса эквивалентности (таблица 2).
ТАБЛИЦА 2. Классы эквивалентности параметра «Задержка»
TABLE2. Equivalence Classes of the "Delay"Parameter
При использовании техники граничных значений также необходимо учитывать значения, отличающиеся от граничных на один пункт (+1, -1). Однако при тестировании систем ВКС смоделировать задержку 99 и 101 мс с помощью имеющихся технических средств невозможно. В связи с тем, что тестирование параметров задержки и потерь не является тестированием, например, полей ввода в интерфейсе пользователя, где условная единица существенно влияет на поведение системы, то нет необходимости в его проведении вблизи
граничных значений. С помощью техник «Классы эквивалентности» и «Граничные условия» [23] были определены следующие значения для тестирования параметра «Задержка»: 0, 50, 100, 200 и 300 мс.
Для параметра «Потери» также можно выделить 2 класса эквивалентности (таблица 3).
ТАБЛИЦА 3. Классы эквивалентности параметра «Потери»
TABLE 3. Equivalence Classes of the "Loss" Parameter
Класс эквивалентности, % Среднее значение, % Качество связи Граничные условия, %
[G-1] G,S приемлемое [G, 1, S]
[1-S] З неприемлемое
При тестировании систем ВКС смоделировать потери 0,9 и 1,1 % с помощью имеющихся технических средств оказалось невозможным. Поэтому для случая с параметром «Потери» также нет необходимости в проведении тестирования вблизи граничных значений. С помощью техник «Классы эквивалентности» и «Граничные условия» были определены следующие значения для тестирования параметра «Потери»: 0, 0,5, 1, 3 и 5 %.
Применение техник тест-дизайна позволяет прийти к оптимальному количеству тестов и покрыть наиболее распространенные конфигурации использования тестируемого программного обеспечения. Для создания тест-кейсов с наивысшим приоритетом необходимо, руководствуясь целью тестирования, определить параметры, тестирование значений которых наиболее приоритетно. Для создания остальных тест-кейсов целесообразно применить технику «Попарное тестирование».
С учетом наиболее часто используемых сценариев применения ПО ВКС определен приоритет тест-кейсов (таблицы 4-7). Приоритеты тест-кейсов обозначены как P0 (высокий), P1 (средний) и P2 (низкий).
В группе тест-кейсов P0 в таблице 5 приведены устанавливаемые числовые значения джиттера задержек и потерь пакетов, где джиттер вычисляется случайным образом в течение указанного периода времени. Например, значение «400 мс ^ 5000 мс» в столбце 4 устанавливает джиттер от 1 до 400 мс в течение 5000 мс. То же самое относится и к параметру потерь пакетов в столбце 5 таблицы 5. Порядковые номера таких параметров в таблице указывают на последовательность изменения параметров джиттера. При этом в тест-кейсе P0_8 значения джиттера не менялось. В последнем столбце таблицы 5 указаны параметры изменения содержимого пакетов данных. Например, значение «15 (1-10 шт.)» означает, что в 15 % случаев изменялось содержимое пачек пакетов длиной от 1 до 10 штук. При этом длины пачек пакетов выбираются случайным образом. Для рас-
№ п/п Наименование показателя Возможные значения
1 OS Terminal-Л [Windows, MacOS, Linux, IOS, Android]
2 OS Terminal-ß [Windows, MacOS, Linux, IOS, Android]
З Тип приложения Terminal-Л [Desktop Windows, Desktop MacOS, IOS mobile App, Android mobile App, Web application]
4 Тип приложения Terminal-ß [Desktop Windows, Desktop MacOS, IOS mobile App, Android mobile App, Web application]
S Задержка, мс [0, 50, 100, 200, 300]
б Потери, % [0, 0,5, 1, 3, 5]
Класс эквивалентности, мс Среднее значение, мс Качество связи Граничные условия, мс
[G-1GG] SG приемлемое [G, 1GG, 300]
[1GG-3GG] 2GG неприемлемое
чета параметра Хёрста необходимо произвести лучателю с течением времени М(£) в процессе ра-регистрацию количества пакетов, переданных по- боты сеанса ВКС для каждого тест-кейса.
ТАБЛИЦА 4. Группа тест-кейсов высокого приоритета (P0)
TABLE 4. Group of High Priority Test Cases (P0)
Юэд TK Terminal-^ Terminal-B Задержка, мс Потери, %
P0_1 Windows web browser Windows web browser 0 0
P0_2 Windows web browser Windows web browser 50 0,5
P0_3 Windows web browser Windows web browser 100 1
P0_4 Windows web browser Windows web browser 200 3
P0_5 Windows web browser Windows web browser 300 5
ТАБЛИЦА 5. Группа тест-кейсов P0 (экстремальные значения параметров)
TABLE 5. Group of Test Cases P0 (extreme values of parameters)
Юэд TK Terminal-A Terminal-B Задержка/джиттер, мс Потери/джиттер, % Изменение содержимого пакетов, %
P0_6 Windows web browser Windows web browser 1)400 мс ^ 5000 мс 2)0 мс ^ 2000 мс 3)300 мс ^ 5000 мс 4)0 мс ^ 2000 мс 5)l00 мс ^ 5000 мс 6)0 мс ^ 2000мс 1)0 % ^ 20000 мс 2)l0 % ^ 10000 мс 3)20 % ^ 10000 мс 4)30 % ^ 10000 мс 5)20 % ^ 10000 мс 6)l0 % ^ 10000 мс 7)5 % ^ 10000 мс 15 (1-10 шт.)
P0_7 IOS mobile IOS mobile 1)400 мс ^ 5000 мс 2)0 мс ^ 2000 мс 3)300 мс ^ 5000 мс 4)0 мс ^ 2000 мс 5)l00 мс ^ 5000 мс 6)0 мс ^ 2000 мс 1)0 % ^ 20000 мс 2)l0 % ^ 10000 мс 3)20 % ^ 10000 мс 4)30 % ^ 10000 мс 5)20 % ^ 10000 мс 6)l0 % ^ 10000 мс 7)5% ^ 10000 мс 15 (1-10 шт.)
P0_8 Windows desktop Windows desktop 400 30 20 (1-50 шт.)
ТАБЛИЦА 6. Группа тест-кейсов среднего приоритета (P1)
TABLE 6. Group of Medium Priority Test Cases (P1)
Юэд TK Terminal-4 Terminal-B Задержка, мс Потери, %
P1_1 Windows web browser Android mobile 200 3
P1_2 MacOS web browser MacOS web browser 100 3
P1_3 MacOS web browser IOS mobile 200 0
P1_4 MacOS web browser Android mobile 0 0,5
P1_5 MacOS web browser Windows web browser 50 1
P1_6 IOS mobile IOS mobile 0 1
P1_7 IOS mobile Android mobile 50 3
P1_8 IOS mobile Windows web browser 100 0
P1_9 IOS mobile MacOS web browser 200 0,5
P1_10 Android mobile Android mobile 100 0,5
P1_11 Android mobile Windows web browser 200 1
P1_12 Android mobile MacOS web browser 0 3
P1_13 Android mobile IOS mobile 50 0
P1_14 Windows web browser Android mobile 200 3
P1_15 MacOS web browser MacOS web browser 100 3
ТАБЛИЦА 7. Группа тест-кейсов низкого приоритета (P2)
TABLE 7. Group of Low Priority Test Cases (P2)
Код ТК Terminal-^ Terminal-B Тип канала связи Задержка, мс Потери, %
P2_1 Windows web browser Windows web browser WiFi 300 5
P2_2 Windows Desktop Windows Desktop WiFi 100 1
P2_3 MacOS Desktop MacOS Desktop WiFi 200 3
P2_4 Windows Desktop Windows Desktop WiFi 0 0
P2_5 MacOS Desktop Windows Desktop WiFi 50 0,5
P2_6 Windows Desktop Windows Desktop WiFi 300 5
P2_7 Android mobile Android mobile LTE 0 0
P2_8 Android mobile IOS mobile LTE 50 0,5
P2_9 Android mobile Android mobile LTE 100 1
P2_10 IOS mobile Android mobile LTE 200 3
P2_11 IOS mobile IOS mobile LTE 0 0
Сбор и обработка данных проводились при различных условиях состояния сети с варьированием искусственной задержки пакетов (0, 50, 100 и 200 мс) и вероятности потери пакетов (0, 0,5, 1 и 3 %). В качестве инструмента сбора статистических данных был использован анализатор сетевого трафика TamiSoft CommView версии 7.0. После установки связи между клиентами системы ВКС осуществлялся захват сетевого трафика. Длительность захвата трафика составляла Т = 300 с. По завершению периода сбора данных захват трафика прекращался. Далее с помощью инструментов СошшУ1еш выгружались статистические данные по принятым пакетам, которые модифицировались в массив данных, необходимый для расчета параметра Хёрста. Результаты вычисления параметра Хёрста для всех систем ВКС при тест-кейсах разных групп приоритета заносились в таблицу 8, где Н^ - значение параметра Хёрста для 1-й системы ВКС и у-го тест-кейса; N - количество тест-кейсов соответствующего приоритета Р0, Р1 и Р2.
Заполнение таблицы 8, где / - порядковый номер ВКС; ] - порядковый номер тест-кейса производятся в следующей последовательности:
1) для всех I = 1 ...7 и ] = 1... МР0;
2) для всех I = 1 .7 и] = (МР0 + 1) ...МР1;
3) для всех I = 1 .7 и] = (МР1 + 1) ...МР2.
Оценка параметра Хёрста для каждой ВКС производится на основе аддитивной свертки. Каждо-
му тест-кейсу в зависимости от экспертного решения был назначен весовой коэффициент кгде ] -порядковый номер тест-кейса. Значения весовых коэффициентов назначаются в соответствии с важностью тест-кейса и для каждой /-й ВКС в рамках своей группы важности (Р0, Р1 и Р2) удовлетворяют условиям:
Кро Кр1
^ = 1, £ кР1 = 1,
j = (Npo+1)
j = 1
Np2
I
(2)
kf2 = 1
] = (.Кр1+1)
Вычисление параметра Хёрста НР0 в первом диапазоне Р0 позволит определить его базовое значение для самых важных тест-кейсов:
Н
ZNP0
к
j=i
кГНп = 1.
(3)
Вычисление параметра Хёрста НР1 во втором диапазоне Р1 при наличии достаточного временного ресурса позволит произвести его определение для менее важных тест-кейсов:
ZNpi
j = (Npo + 1)
кР1Нц = 1.
(4)
ТАБЛИЦА 8. Параметр Хёрста для группы тестов [P0, P1, P2]
TABLE 8. Hurst Parameter for the Test Group [P0, P1, P2]
№ п/п Тест-кейс Cisco WebEx Zoom Microsoft Teams Webinar meetings DION TrueConf Discord
1 P[0,1,2]_1 H11 H12 H13 H14 H15 H16 H17
2 P[0,1,2]_2 H21 H 22 H23 H 24 H25 H 26 H27
N P[0,1,2]_3 Hn1 Hn2 Hn3 Hn4 Hn5 Hn6 Hn7
Вычисление параметра Хёрста НР2 в третьем диапазоне P2 также при наличии достаточного временного ресурса позволит произвести его определение для оставшихся тест-кейсов, которые являются наименее важными, но вносят определенный вклад в точность вычисления данного параметра:
(5)
= (NP1 + 1)
k^Hij = 1.
Таким образом, вычисление базового значения параметра Хёрста для всех ВКС (2) являлось минимальной задачей. Наличие достаточного временного ресурса позволило повысить точность его вычисления за счет определения (4) и (5). При этом необходимо было снова задействовать принцип аддитивной свертки и назначить весовые коэффициенты K каждой группе важности, чтобы выполнялось условие:
КР0 + КР1 + КР2 = 1. (6)
В таком случае более точное значение параметра Хёрста при всех N выполненных тест-кейсах для каждой 7-й ВКС вычисляется по формуле:
Hi=K¡
Hf° + К
P0llí
нГ + Кр
•Mí
(7)
по
Далее результаты (7) были упорядочены убыванию Н^ и проранжированы.
Итогом данного этапа исследования является выбор трех ВКС с наименьшим рангом И. Для них в дальнейшем могут проводиться дополнительные исследования для субъективной оценки качества. В данном тестировании субъективная оценка качества не проводилась.
Описание стенда
На рисунке 4 изображена структура стенда для тестирования облачных систем ВКС.
Облачная инфраструктура ВКС
ПК4 захвата ПК3 имитации
и анализа плохого канала Точка
пакетов (NIC*2) Г" связи (NIC*2) »д??а
/ Мониторинговый Точка / ответвитель
fllSF?а <=> ^
Win
I Версия ПО:
' Мобильный клиент ОС: Android, IOS В ерс ия П О:
Desktop, Web ОС: Windows 10, MacOS
Рис. 4. Структура стенда
Fig. 4. Structure of the Stand
LTE
I Версия ПО:
__I Мобильный клиент
Смартфон ОС: Android, IOS
■ -•- Win Версия ПО:
Мобильный клиент Смартфон ОС: Android, IOS
wn
В ерс ия П О:
Desktop, Web ОС: Windows 10, ПК 2 MacOS
Архитектурно с помощью элемента имитации плохого канала связи система позволяет реализовать взаимодействие по различным типам каналов связи за счет управления дополнительной задержкой и потерями пакетов. Для более универсального типа подключения элементов использован канал подключения по WiFi.
Элементы стенда.
1) Смартфон - мобильный телефон Huawei Honor 7C под управлением ОС Android версия 12.4.2.1 и IPhone 12 под управлением ОС IOS версии 15.2 с установленными мобильными приложениями исследуемых систем ВКС.
2) ПК1 и ПК2 - ноутбук под управлением Windows 10 версии 21H2 и MacOS версии 12.2.1 с установленными desktop приложениями систем ВКС.
3) ПК3 - персональный компьютер под управлением ОС Windows 10 c установленным программным обеспечением имитации плохого канала связи NetDisturb (https://www.zti-communications.com/ netdisturb) версии 7.0.15.
NetDisturb - это программное обеспечение эмулятора сети (IPv4 и IPv6), генерирующее определяемые пользователем искажения: задержку, джиттер, ограничение пропускной способности, потерю пакетов, дублирование пакетов, изменение содержимого пакета и многое другое.
4) ПК4 - персональный компьютер под управлением ОС Windows 10 с установленным программным обеспечением для захвата и анализа пакетов TamiSoft CommView версии 7.0.
5) Мониторинговый ответвитель - устройство контроля трафика Net Optics Gig Zero Delay™ Tap. Ответвитель 10/100/1000BaseT с нулевой задержкой, обеспечивающий пассивный доступ без помех потоку данных на скоростях 10/100/1000 Мбит/с.
Результаты тестирования
В соответствии с методикой тестирования введены коэффициенты важности тест-кейсов в группах P0, P1 и P2 (таблица 9-11), а также самих групп (таблица 12). Тест-кейсы на плохих каналах связи имеют больший вес, чем на хороших (задержка не более 100 мс, потери менее 1 %). Это важно для смещения фокуса оценки систем с точки зрения их устойчивости к изменению параметров и типа канала связи.
ТАБЛИЦА 9. Коэффициенты важности тест-кейсов группы P0
TABLE 9. Coefficients of Importance of Test Cases of Group P0
код ТК P0 1 P0 2 P0 3 P0 4 P0 5 P0 6 P0 7 P0 8
kP0 0,1 0,1 0,1 0,1 0,1 0,14 0,14 0,22
ТАБЛИЦА 10. Коэффициенты важности тест-кейсов группы P1
TABLE 10. Importance Ratios of test Cases in Group P1
код ТК P1_1 P1_2 P1_3 P1_4 P1_5 P1_6 P1_7 P1_8
kP0 0,03 0,07 0,12 0,1 0,07 0,03 0,07 0,07
код ТК P1_9 P1_10 P1_11 P1_12 P1_13 P1_14 P1_15
kP0 0,1 0,03 0,07 0,03 0,09 0,09 0,03
ТАБЛИЦА 11. Коэффициенты важности тест-кейсов группы P2
TABLE 11. Importance Ratios of Test Cases in Group P2
код ТК P2 1 P2 2 P2 3 P2 4 P2 5 P2 6 P2 7 P2 8 P2 9 P2 10 P2 11
kP0 0,15 0,07 0,11 0,07 0,07 0,14 0,07 0,07 0,07 0,11 0,07
ТАБЛИЦА 12. Коэффициенты важности групп тест-кейсов
TABLE 12. Importance Ratios for Groups of Test Cases
группа тест-кейсов P0 P1 P2
K Kp0 = 0,5 Kp1 = 0,3 Kp2 = 0,2
Вычисленные средние значения параметра Хёр-ста в соответствии с выражениями (3-7) для исследуемых систем в заданных диапазонах и весовых коэффициентов важности представлены в таблице 13. Результат ранжирования систем ВКС представлен в таблице 14.
Анализ результатов показывает, что лучшей системой с точки зрения QoE является Zoom. Второе место поделили между собой Cisco WebEx и MS Teams. DION занял третье место.
Анализ результатов
В целях всесторонней оценки качества рассматриваемых систем ВКС необходимо изучить влияние различных показателей качества.
Для анализа были определены следующие показатели:
- параметр Хёрста (H);
- средняя длина пакетов данных (L);
- зависимость (в том числе взаимная корреляция) H от L;
- типы используемых приложений.
На рисунке 5 представлена зависимость параметра Хёрста от качества канала связи, при этом тест-кейсы отсортированы по мере ухудшения качества канала. Для сглаживания краткосрочных колебаний с целью определения долгосрочного тренда данный график преобразован через скользящее среднее, где размер «окна» установлен в 5 значений.
ТАБЛИЦА 13. Средние значения параметра Хёрста
TABLE 13. Average Values of the Hurst Parameter
Система Cisco WebEx Zoom MS Teams Webinar meetings DION TrueConf Discord
HP0 0,9448 0,9439 0,9315 0,8476 0,9303 0,8981 0,9084
HP1 0,9522 0,9716 0,9387 0,9474 0,9365 0,9284 0,9330
HP2 0,9308 0,9504 0,94 0,94 0,9255 0,8962 0,9162
H 0,9442 0,9535 0,9354 0,8961 0,9312 0,9068 0,9174
ТАБЛИЦА 14. Ранжирование результатов
TABLE 14. Ranking of Results
Zoom Cisco WebEx MS Teams DION Discord TrueConf Webinar meetings
H 0,95 0,94 0,94 0,93 0,92 0,91 0,90
N 1 2 3 4 5 6 7
R 1 2,5 2,5 4 5 6 7
Позиция 1 место 2 место 3 место 4 место 5 место 6 место
1,0000
m о
'g 0,9688
LO
0,9375
dû
! 0,9063
CD" CD
Э 0,8750
!_ 0,8438 §
§ 0,8125
ö
=■= 0,7813 0,7500
LT} LT} LT} LT}
CM CM CS1 CM CD CD CD
Discord
TrueConf
DION
Webinar meeting
Microsoft Teams Zoom
Cisco Webex
CM CM
CM LT} CO
CD CM CM CD сэ — CM CM
^ CO СJD CM CM CD
Тест-кейсы по мере ухудшения канала Рис. 5. Зависимость параметра Хёрста от качества канала связи
Fig. 5. The Dependence of the Hurst Parameter on the Quality of the Communication Channel
Выводы
Во-первых, при ухудшении качества канала связи для всех систем наблюдается общее снижение параметра Хёрста. При этом, система DION при нулевых значениях задержек и потерь пакетов работает около нижней границы оценки параметра Хёрста. В то же время, при больших потерях в каналах связи система DION «проходит» близко к верхней границе. В плохих каналах связи значения параметра Хёрста всех рассматриваемых систем существенно снижаются и по своим значениям приближаются к значению DION.
Во-вторых, система TrueConf уже при небольшом значении потерь и задержек в канале связи имеет самый низкий параметр Хёрста. Это может означать, что данная система в большей степени предназначена для работы только в условиях хороших каналов.
В-третьих, система Zoom имеет наиболее стабильно высокое значение параметра Хёрста при любых каналах связи.
В-четвертых, система DION менее устойчива к переменным значениям качества канала связи (джиттер) (тест-кейсы P0_6 и P0_7), чем остальные системы (рисунок 6a). Особенно это заметно в тест-кейсе P0_7 при использовании мобильного приложения (IOS mobile - IOS mobile).
В-пятых, в тест-кейсе P0_8 (рисунок 6b) были установлены экстремальные значения с очень плохими параметрами канала связи: задержка 400 мс, потери 30 %, изменение содержимого пакетов 20 % со случайными пачками пакетов от 1 до 50 штук. В данном случае видно, что система DION имеет высокий показатель при экстремальных значениях.
Такой показатель достигается за счет получения большего количества пользовательских данных в единицу времени на приемной стороне за
счет использования пакетов небольшой длины. При этом, происходит потеря небольших объемов данных в отличие от других систем. Зависимость изменения средней длины пакета от качества канала связи представлена на рисунке 7.
1,000-г
ь 0,950 -
-0,900
0,850
P0_7 (IOS mobile - IOS mobile)
1,000 1 0,950
го
Ь
¿2^0,900
CL
CD
10,850
Π[Z
0,800-0,750-
Cisco Zoom Microsoft Webinar DION TrueConf Discord WebEx Teams meetiigs
a)
P0_8 (Windows Desktop - Windows Desktop)
H H H ШВ
Cisco Zoom Microsoft Webinar DION TrueConf WebEx Teams meetnas
Zoom Microsoft Webinar DION TrueConf Discord Teams meetngs
b)
Рис. 6. Параметр Хёрста для ТК с экстремальными значениями качества в каналах: с джиттером (a) и с экстремальными значениями качества (b)
Fig. 6. Hurst Parameter for TC with Extreme Quality Values in Channels: with Jitter (a) and with Extreme Quality Values (b)
1300,00
Ш
8
'11137,00
LO
§ 975,00
CD
I 812,50
CD" CD
I 650,00 &
I 487,50
ОС
! 325,00 ö
í 162,50 0,00
• Cisco Webex
• Zoom
• Microsoft Teams
• Webinar meeting
DION
TrueConf Discord
-t-
-t-
-t-
-t-
-t-
-t-
-t-
-t-
-t-
-t-
^— [ ^— СО Ю CM T— Ю CO CD СМ Ю CO CO CM CM CT5
0I ^ ^ -, -, о' ^ ^ -, -, 0' ^ ^ , , ______ ,
Q_Q_Q_C\1Q_-Í— Q_Q_Q_Q_-i— -i— Q_Q_Q_Q_Q_Q_Q_-i— -i— -i— Q_Q_Q_Q_Q_C\1
Q_ Q_ Q_ Q_ Q_ Q_ Q_ D_
T- id to N œ
I I I „I I
CM CM о о о
CL CL CL CL CL
Тест-кейсы по мере ухудшения канала Рис. 7. Зависимость средней длины пакета от качества канала связи (скользящее среднее)
Fig. 7. Dependence of the Average Packet Length on the Quality of the Communication Channel (Moving Average)
Выводы
1) На рисунке 7 видно, что система Zoom во всех тест-кейсах имеет высокий показатель среднего значения длины пакетов, в то время как система TrueConf при плохих характеристиках канала имеет самые малые значения. Система DION на протяжении всего графика имеет равномерную длину пакетов, которая означает, что ухудшение канала не оказывает влияния на этот параметр.
2) При существенном уменьшении длины пакетов значение параметра Хёрста также уменьшается. Например, для системы DION в тест-кейсах P1_12 и P0_7. Также заметно, что на хороших каналах у остальных систем длины выше, что, вероятно, дает повышенный параметр Хёрста, однако, по мере ухудшения качества канала, длины падают и становятся сравнимы с длинами пакетов системы
DION. Вместе с этим, параметр Хёрста падает у других систем сильнее, чем у DION со стабильно небольшой длиной, что непосредственно является преимуществом системы DION на плохих каналах связи.
Для определения зависимости параметра Хёрста от средней длины пакетов использован метод оценки по критерию корреляции Пирсона и регрессионный анализ, а также проведена оценка выбросов в данных методом квартильного анализа. Вычисленные параметры межквартильного диапазона, его «внутренние» и «внешние» границы, а также «значительные выбросы» измерений для исследуемых систем ВКС представлены в таблице 15, где H - параметр Хёрста; L - средняя длина пакета данных; Q1 - нижняя квартиль; Q3 - верхняя квартиль; IQR - интерквартильный размах.
Таблица 15. Определение выбросов
TABLE 15. Determination of Emissions
Система ВКС Параметр Q1 Q3 IQR внутренняя граница внешняя граница
High Low High Low
Cisco WebEx Н 0,9323 0,9691 0,0369 1,0244 0,8769 1,0798 0,8216
Ь 330,5075 601,6 271,0925 1008,2388 -7,1312 1414,8775 -482,77
Выбросы незначительные: P1_4, P2_2 значительные: отсутствуют
Zoom Н 0,9295 0,9872 0,0577 1,0738 0,8430 1,1603 0,7564
Ь 717,2050 852,9075 135,7025 1056,4613 513,6513 1260,015 310,0975
Выбросы незначительные: P1_12 значительные: P0 7
Microsoft Teams Н 0,9251 0,9712 0,0461 1,0404 0,856 1,1095 0,7868
2 Ь 448,14 797,43 349,29 1321,365 -75,795 1845,3 -599,73
Выбросы незначительные: P1_3 значительные: отсутствуют
Webinar meetings Н 0,9344 0,9799 0,0455 1,0480 0,8662 1,1162 0,7981
Ь 463,115 628,4375 165,3225 876,4213 215,1313 1124,405 -32,8525
Выбросы незначительные: P1_14 значительные: отсутствуют
DION Н 0,9264 0,9475 0,0211 0,9792 0,8947 1,0109 0,863
Ь 500,49 553,4775 52,9875 632,9588 421,0088 712,44 341,5275
Выбросы незначительные: P1_6, P1_13, P2_1, P0_7 значительные: P1 12
TrueConf Н 0,8819 0,9748 0,0929 1,1141 0,7426 1,2534 0,6033
Ь 335,2575 757,7275 422,47 1391,4325 -298,4475 2025,1375 -932,1525
Выбросы незначительные: отсутствуют значительные: отсутствуют
Discord Н 0,9098 0,9494 0,0396 1,0089 0,8504 1,0683 0,7909
Ь 259,7 1009,59 749,89 2134,425 -865,135 3259,26 -1989,97
Выбросы незначительные: P0_8 значительные: отсутствуют
В целях анализа взаимосвязей и визуализации наличия значительных выбросов в данных необходимо построить диаграммы рассеяния, которые также позволяют определить потенциальную нелинейную взаимосвязь средней длины пакета и параметра Хёрста.
Для исследуемых систем ВКС диаграммы рассеяния представлены на рисунке 8, где красным вы-
делены значительные выбросы, которые необходимо учесть при исследовании корреляции.
Рассчитанные значения коэффициента корреляции Пирсона и оценки статистической значимости представлены в таблице 16 и на рисунке 9, где гху - коэффициент корреляции; |СГ| - абсолютное значение ¿-критерия Стьюдента, £крит - критическое значение ¿-критерия Стьюдента при уровне значимости р = 0,05.
1,0000 0,9500 : 0,9000 0,8500 0,8000
Cisco WebEx
400,00 600,00 800,00 1000,00 L
1,01 0,95 0,90 0,85
Zoom
0,80 200
400
• •
600 800 1000 L
1,0000 0,9500 : 0,9000 0,8500
Microsoft Teams
•
/ •
0,8000 200,00 400,00
600,00 L
800,00 1000,00
1,0000
0,8500
Webinar meeting
\ - • • • • Л ■_ И • • •
• \ * ■ • • _•
• • •
400,00 500,00 600,00 700,00 800,00 900,00 L
1,0000
0,9500
1 0,9000
0,8500 0,8000
Discord
200,00
400,00 600,00 800,00 1000,00 L
1,00 0,95 0,90 0,85 0,80 0,75
TrueConf
250
500
750
1000
1,0000 0,9500 -c 0,9001 0,8500
0
0,8000 300,00
DION
400,00
L
• •
500,00
600,00
Рис. 8. Диаграммы рассеяния
Fig. 8. Scattering Diagrams
ТАБЛИЦА 16. Значения коэффициента Пирсона и оценки статистической значимости
TABLE 16. Values of the Pearson Coefficient and Estimates of Statistical Significance
L
Система Cisco WebEx Zoom MS Teams Webinar meetings DION TrueConf Discord
V xy 0,3104 -0,2423 0,3808 0,1478 0,0896 0,4277 0,4560
| tri 2,653 1,322 3,345 1,0982 0,720 2,591 4,163
t-крит 1,997 2,048 1,997 1,163 1,998 2,042 1,997
S 0,5000
? 0,0000
0,5000
-1,0000
Cisco WebEx
Zoom Mcrosoft Webinar DION TiueConf Discoid Teams meetrigs
4) значения тангенса угла между линией регрессии и осью абсцисс характеризует силу корреляционной связи, что также подтверждается коэффициентом корреляции Пирсона (см. рисунок 9).
1200
1000
Рис. 9. Коэффициент корреляции Пирсона
Fig. 9. Pearson Correlation Coefficient
Выводы
Во-первых, анализ данных таблицы 16 показывает, что для всех систем, кроме Zoom, Webinar meetings и DION, наблюдаемая корреляционная связь статистически значима при p < 0,05, т. е. не случайно отличается от нуля. Для остальных - носит более случайный характер. Также это подтверждается низким значением коэффициента Пирсона. С другой стороны, количество полученных значений для системы Zoom в два раза меньше, чем для остальных. Увеличение числа измерений для Zoom, возможно, изменит эту ситуацию.
Во-вторых, для увеличения значения параметра Хёрста требуется увеличение длин пакетов, кроме системы Zoom, где требуется их уменьшение; это связано с алгоритмами работы систем. Например, для системы Microsoft Teams увеличение длины пакетов оказывает почти такое же влияние на параметр, как и в случае с TrueConf и Cisco WebEx. В то время, как достижение заданного значения параметра потоков данных, формируемых алгоритмами работы DION, никак не зависит от длины пакетов, либо эта зависимость носит случайный характер. Для систем TrueConf и Discord длина пакетов является определяющим фактором при изменении параметра Хёрста.
Для выявления факта наличия корреляционной зависимости параметра Хёрста (H) от средней длины пакета (X), а также ее вида, направления и силы были построены линии регрессии (рисунок 10).
Анализ линий регрессии показывает, что:
1) корреляционная зависимость между параметром Хёрста и средней длиной пакета наблюдается для всех систем, кроме DION, где размеры пакетов колеблются в очень узком диапазоне; это связано с использованием протокола взаимодействия STUN;
2) вид корреляционных зависимостей носит линейный характер;
3) для систем Cisco WebEx, Discord, Microsoft Teams, TrueConf и Webinar meetings наблюдается положительная корреляция между параметром Хёрста и средней длиной пакета (более высоким значениям параметра соответствуют более высокие значения средней длины пакета); для системы Zoom наблюдается отрицательная корреляция;
600
400
200
0,82
0,87
0,92
0,97
1,02
Рис. 10. Линии регрессии (бесплатные подписки)
Fig. 10. Regression Lines (Free Subscriptions)
На рисунке 11 показана зависимость параметра Хёрста от типа приложений. При этом, значение параметра Хёрста усредненно по всем тест-кейсам данной группы приложений.
Выводы
Во-первых, наиболее высокий показатель параметра Хёрста для всех систем наблюдается при использовании мобильных устройств, а именно (IOS mobile - IOS mobile), (IOS mobile - Android mobile), (Android mobile - IOS mobile), (Android mobile - Android mobile). При этом, значение DION находится на своем среднем уровне. Даже при высоких значениях потерь и задержки параметр Хёрста значительно больше именно в тест-кейсах с мобильными приложениями.
Во-вторых, по показателю параметра Хёрста вторым является связь между двумя веб-версиями приложений вне зависимости от ОС.
В-третьих, система DION наиболее стабильна к использованию различных типов приложений. Скорее всего, это достигается за счет использования одинаковых алгоритмов обработки для всех типов приложений; в то время как остальные системы делают упор на использование мобильных приложений.
1,0000
0
1000 T
0,981 0,963
ш
| 0,944
=(D
X
0,925--
CO CP
^ 0,906 -0,888 0,869 0,850
0,973 0,967— ' ÖA968
• Cisco Webex
• Zoom • DION
• Microsoft Teams • TrueConf
• Webinar meeting • Discord
Моб. - Моб. Моб. - Веб.; Веб. - Моб. Веб. - Веб. Десктоп - Десктоп
Рис. 11. Зависимость параметра Хёрста от типа приложений
Fig. 11. The Dependence of the Hurst Parameter on the Type of Applications
Заключение
Результаты исследований показали, что приложение DION занимает первое место среди тестируемых отечественных средств ВКС: DION, TrueConf и Webinar meetings, а также третье место среди всех тестируемых приложений. Второе место делят между собой Cisco WebEx и Microsoft Teams. Условно бесплатное приложение Discord занимает четвертое место.
Лидером настоящего исследования можно считать систему Zoom. Вероятная причина ее достаточно стабильной работы заключается в наличии уникальных исследований, защищенных множеством патентов [24], которые направлены на
улучшение сеансов ВКС, пользовательского опыта и самих клиентских приложений. В качестве аудиокодека система Zoom использует кодек SILK с двумя резервными пакетами с частичным резервированием и формат LBRR (аббр. от Low Bit-Rate Redundancy). Фактически это повторение содержимого предыдущих пакетов в последующих по принципу вложенности. Для улучшения пользовательских характеристик систем ВКС необходимы исследования и реализация нестандартных уникальных технических решений в области передачи данных, разработки кодеков (возможно на базе нейронных сетей), а также развитие облачных услуг в части предсказания трафика.
Список источников
1. Rec. ITU-T Q.3949 (08/2012). Real-time multimedia service testing framework at the user-to-network interface of next generation networks.
2. Грачева М.А., Божкова В.П., Казакова А.А., Рожкова Г.И. Субъективная оценка качества статических и видеоизображений: методологический обзор // Сенсорные системы. 2019. Т. 33. № 4. C. 287-304.
3. Ahmed M.S. Achieving QoS in media streaming for peer to peer networks // International Conference on Electrical, Electronics, and Optimization Techniques (ICEEOT, Chennai, India, 2016). 2016. PP. 3694-3698. DOI:10.1109/ICEEOT.2016. 7755399
4. Bao Y., Lei W., Zhang W., Song J. HD streaming media QoE quantitative evaluation model for multipath transmission // 11th International Conference on Computer Science & Education (ICCSE, Nagoya, Japan, 2016). 2016. PP. 658-665. DOI:10.1109/ICCSE.2016.7581658
5. Fowdur T.P., Narrainen L. Enhanced video streaming using dynamic quality control with bandwidth prediction // International Conference on Computer as a Tool (EUROCON, Salamanca, Spain, 2015). 2015. PP. 1-6. DOI:10.1109/EUROCON. 2015.7313675
6. Taraghi B., Nguyen M., Amirpour H., Timmerer C. Intense: In-Depth Studies on Stall Events and Quality Switches and Their Impact on the Quality of Experience in HTTP Adaptive Streaming. IEEE, 2021. Vol. 9. PP. 118087-118098. DOI:10.1109/ ACCESS.2021.3107619
7. Yeganeh H., Qassemi F., Rabiee H.R. Joint effect of stalling and presentation quality on the quality-of-experience of streaming videos // IEEE International Conference on Image Processing (ICIP, Beijing, China, 2017). 2017. PP. 310-314. DOI:10.1109/ICIP.2017.8296293
8. Seufert A., Wamser F., Yarish D., Macdonald H., Hofêfeld T. QoE Models in the Wild: Comparing Video QoE Models Using a Crowdsourced Data Set // 13th International Conference on Quality of Multimedia Experience (QoMEX, Montreal, QC, Canada, 2021). 2021. PP. 55-60. DOI:10.1109/QoMEX51781.2021.9465422
9. HoKfeld T., Heegaard P.E., Skorin-Kapov L., Varela M. No silver bullet: QoE metrics, QoE fairness, and user diversity in the context of QoE management // Ninth International Conference on Quality of Multimedia Experience (QoMEX, Erfurt, Germany, 2017). 2017. PP. 1-6. DOI:10.1109/QoMEX.2017.7965671
10. Mardian R. D., Suryanegara M., Ramli K. Measuring Quality of Service (QoS) and Quality of Experience (QoE) on 5G Technology: A Review // IEEE International Conference on Innovative Research and Development (ICIRD, Jakarta, Indonesia, 2019). 2019. PP. 1-6, D0I:10.1109/ICIRD47319.2019.9074681
11. Hewage C. T. E. R., Ahmad A., Mallikarachchi T., Barman N., Martini M. G. Measuring, Modeling and Integrating Time-Varying Video Quality in End-to-End Multimedia Service Delivery: A Review and Open Challenges. IEEE. 2022. Vol. 10. PP. 60267-60293. D0I:10.1109/ACCESS.2022.3180491
12. Рекомендация МСЭ-Т G.107 (06.2015). Е-модель - вычислительная модель, используемая при планировании передачи.
13. Кучерявый, А.Е., Парамонов А.И., Кучерявый Е.А. Сети связи общего пользования. Тенденции развития и методы расчета. М.: ФГУП ЦНИИС, 2008. 296 с.
14. Rec. ITU-T G.1011 (07/2016). Reference guide to quality of experience assessment methodologies.
15. Шелухин О.И., Осин А.В., Смольский С.М. Самоподобие и фракталы. Телекоммуникационные приложения. М.: Физматлит, 2008.
16. Janevski T., Vanevski Z. Statistical Analysis of Multicast versus Instant Channel Changing Unicast IPTV Provisioning // Proceedings of the 16th Telecommunications Forum (TELFOR, Belgrade, Serbia, 25-27 November 2008). 2008. PP. 96-99.
17. Paramonov P., Tarasov D., Koucheryavy A. The Video Streaming Monitoring in the Next Generation Network // Proceedings of the 9th International Conference on Next Generation Wired/Wireless Networking (NEW2AN 2009) and Second Conference on on Internet of Things and Smart Spaces (ruSMART 2009), St. Petersburg, Russia, 15-18 September 2009. Lecture Notes in Computer Science. Vol. 5764. Berlin, Heidelberg: Springer, 2009. PP. 191-205. D0I:10.1007/978-3-642-04190-7_18
18. Rezaul K.M., Pakstas A., Gilchrist R., Chen T.M. HEAF: A Novel Estimator for Long-Range Dependent Self-similar Network Traffic // Proceedings of the 6th International Conference on Next Generation Teletraffic and Wired/Wireless Advanced Networking (NEW2AN 2006), St. Petersburg, Russia, 29 May-2 June 2006. Lecture Notes in Computer Science. Vol. 4003. Berlin, Heidelberg: Springer, 2006. PP. 34-45. D0I:10.1007/11759355_6
19. Маколкина М.А. Взаимосвязь субъективных оценок качества восприятия видео и значений параметра Хёрста // Системы управления и информационные технологии. 2014. 1-1(55). C. 169-172.
20. Маколкина М.А. Учет параметра Хёрста при формировании субъективных оценок качества восприятия видео и значений // Информационные технологии моделирования и управления. 2016. Т. 99. № 3. C. 197-204.
21. Маколкина М.А. Анализ модели объективной оценки качества передачи видео в IP-сетях // Электросвязь. 2011. № 12. C. 20а-23.
22. Куликов С. Тестирование программного обеспечения. Базовый курс. EPAM systems, 2015-2022. URL: https://svyatoslav.biz/software_testing_book_download (дата обращения 09.02.2023)
23. Rec. ITU-T Y.1541 (12/2013). Network performance objectives for IP-based services. Amendment 1: New Appendix XII - Considerations for low speed access networks.
24. Zoom Patents // Zoom. URL: https://explore.zoom.us/en/trust/patents (дата обращения 09.02.2023)
References
1. Rec. ITU-T Q.3949. Real-time multimedia service testing framework at the user-to-network interface of next generation networks. December 2012.
2. Gracheva M.A., Bozhkovaa V.P., Kazakovaa A.A. Rozhkovaa G.I. Subjective image and video quality assessment: methodology review. Sensornye seti. 2019;33(4):287-304. (in Russ.)
3. Ahmed M.S. Achieving QoS in media streaming for peer to peer networks. 2016 International Conference on Electrical, Electronics, and Optimization Techniques (ICEEOT). Chennai, India; 2016. pp. 3694-3698. D0I:10.1109/ICEE0T.2016. 7755399
4. Bao Y., Lei W., Zhang W., Song J. HD streaming media QoE quantitative evaluation model for multipath transmission. 2016 11th International Conference on Computer Science & Education, ICCSE, Nagoya, Japan. 2016. p.658-665. D0I:10.1109/ ICCSE.2016.7581658
5. Fowdur T.P., Narrainen L. Enhanced video streaming using dynamic quality control with bandwidth prediction IEEE EUROCON 2015 - International Conference on Computer as a Tool, EUROCON, Salamanca, Spain. 2015. p.1-6. D0I:10.1109/ EUR0C0N.2015.7313675
6. Taraghi B., Nguyen M., Amirpour H., Timmerer C. Intense: In-Depth Studies on Stall Events and Quality Switches and Their Impact on the Quality of Experience in HTTP Adaptive Streaming. IEEE; 2021. vol.9. p.118087-118098. D0I:10.1109/ ACCESS.2021.3107619
7. Yeganeh H., Qassemi F., Rabiee H.R. Joint effect of stalling and presentation quality on the quality-of-experience of streaming videos. 2017 IEEE International Conference on Image Processing, ICIP, Beijing, China. 2017. p.310-314. D0I:10.1109/ICIP.2017.8296293
8. Seufert A., Wamser F., Yarish D., Macdonald H., HoKfeld T. QoE Models in the Wild: Comparing Video QoE Models Using a Crowdsourced Data Set. 202113th International Conference on Quality of Multimedia Experience, QoMEX, Montreal, Canada. 2021. p.55-60. D0I:10.1109/QoMEX51781.2021.9465422
9. HoKfeld T., Heegaard P.E., Skorin-Kapov L., Varela M. No silver bullet: QoE metrics, QoE fairness, and user diversity in the context of QoE management. 2017 Ninth International Conference on Quality of Multimedia Experience, QoMEX, Erfurt, Germany. 2017. p.1-6. D0I:10.1109/QoMEX.2017.7965671
10. Mardian R.D., Suryanegara M., Ramli K. Measuring Quality of Service (QoS) and Quality of Experience (QoE) on 5G Technology: A Review. 2019 IEEE International Conference on Innovative Research and Development, 1C1RD, Jakarta, Indonesia. 2019. p.1-6. D01:10.1109/ICIRD47319.2019.9074681
11. Hewage C.T.E.R., Ahmad A., Mallikarachchi T., Barman N., Martini M.G. Measuring, Modeling and Integrating Time-Varying Video Quality in End-to-End Multimedia Service Delivery: A Review and Open Challenges. IEEE. 2022. vol. 10. pp. 60267-60293. D0I:10.1109/ACCESS.2022.3180491
12. Rec. ITU-T G.107. International Telephone Connections and Circuits - Transmission Planning and the E-Model. June 2015.
13. Koucheryavy A., Paramonov A., Koucheryavy E. Public Communication Networks. Development Trends and Calculation Methods. Moscow: Central Research Institute of Communication Publ.; 2008. (in Russ.)
14. Rec. ITU-T G.1011. Reference guide to quality of experience assessment methodologies. June 2016.
15. Shelukhin O.I., Osin A.V., Smolsky S.M. Self-Similarity and Fractals. Telecommunication Applications. Moscow: Fizmatlit Publ.; 2008. (in Russ.)
16. Janevski T., Vanevski Z. Statistical Analysis of Multicast versus Instant Channel Changing Unicast IPTV Provisioning. Proceedings of the 16th Telecommunications Forum, TELFOR, 25-27 November 2008, Belgrade, Serbia. 2008. p.96-99.
17. Paramonov P., Tarasov D., Koucheryavy A. The Video Streaming Monitoring in the Next Generation Network. Proceedings of the 9th International Conference on Next Generation Wired/Wireless Networking, NEW2AN 2009, and Second Conference on on Internet of Things and Smart Spaces, ruSMART 2009,15-18 September 2009, St. Petersburg, Russia. Lecture Notes in Computer Science, vol.5764. Berlin, Heidelberg: Springer; 2009. p.191-205. DOI:10.1007/978-3-642-04190-7_18
18. Rezaul K.M., Pakstas A., Gilchrist R., Chen T.M. HEAF: A Novel Estimator for Long-Range Dependent Self-similar Network Traffic. Proceedings of the 6th International Conference on Next Generation Teletraffic and Wired/Wireless Advanced Networking, NEW2AN 2006, 29 May-2 June 2006, St. Petersburg, Russia. Lecture Notes in Computer Science, vol.4003. Berlin, Heidelberg: Springer; 2006. p.34-45. DOI:10.1007/11759355_6
19. Makolkina M.A. The Relationship between Subjective Assessments of the Quality of Video Perception and the Values of the Hurst Parameter. Sistemy upravleniia i informatsionnye tekhnologii. 2014;1-1(55):169-172. (in Russ.)
20. Makolkina M. Parameter Values Hurst in Subjective Evaluations of the Quality of the Relationship of Perception and Video. Informatsionnye tekhnologii modelirovaniia i upravleniia. 2016;99(3):197-204. (in Russ.)
21. Makolkina M.A. Analysis of the Model for an Objective Assessment of the Quality of Video Transmission in IP Networks. Electrosvyaz. 2011;12:20-23. (in Russ.)
22. Kulikov S. Software Testing. Basic Course. EPAM systems; 2015-2022. (in Russ.) URL: https://svyatoslav.biz/software_ testing_book_download [Accessed 9th February 2023]
23. Rec. ITU-T Y.1541. Network performance objectives for IP-based services. Amendment 1: New Appendix XII - Considerations for low speed access networks. December 2013.
24. Zoom. Zoom Patents. URL: https://explore.zoom.us/en/trust/patents [Accessed 9th February 2023]
Статья поступила в редакцию 13.02.2023; одобрена после рецензирования 27.02.2023; принята к публикации 28.02.2023.
The article was submitted 13.02.2023; approved after reviewing 27.02.2023; accepted for publication 28.02.2023.
Информация об авторах:
КИРИЧЕК Руслан Валентинович
доктор технических наук, доцент, ректор Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, https://orcid.org/0000-0002-8781-6840
БЕРЁЗКИН Александр Александрович
кандидат технических наук, доцент кафедры программной инженерии и вычислительной техники Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, https://orcid.org/0000-0002-1748-8642
КУКУНИН Дмитрий Сергеевич
кандидат технических наук, доцент кафедры сетей связи и передачи данных Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича, https://orcid.org/0000-0002-2674-5217
КОЛЕСНИКОВ Андрей Вячеславович
директор Ассоциации участников рынка интернета вещей, https://orcid.org/0009-0000-8401-8723
