CC BY
0
doi: 10.36724/2409-5419-2024-16-2-35-43
АНАЛИЗ СКВОЗНОЙ ЗАДЕРЖКИ В ТРАНСПОРТНОМ СЕГМЕНТЕ FRONTHAUL СЕТЕЙ 40/50 НА БАЗЕ
ТЕХНОЛОГИИ TSN
РОСЛЯКОВ
Александр Владимирович1
ГЕРАСИМОВ
Вячеслав Васильевич2
Сведения об авторах:
1 д.т.н., профессор, заведующий кафедрой сетей и систем связи, Поволжский государственный университет телекоммуникаций и информатики, г. Самара, Россия, arosl@mail.ru
АННОТАЦИЯ
Введение: Одной из характерных особенностей построения мобильных сетей 4G/5G является пространственное разделение функциональных блоков. Для связи этих блоков используются соответствующие сегменты транспортной сети xHaul. Одним из них является передний сегмент Fronthaul, который соединяет удаленное радиооборудование с оборудованием их управления. Потоки данных стандартных радиоинтерфейсов CPRI/eCPRI в этом сегменте предъявляют строгие требования к качеству обслуживания и прежде всего к задержкам. Методы: Для удовлетворения этих требований было предложено использовать в сегменте Fronthaul мостовую сеть Ethernet на базе технологии чувствительных ко времени сетей TSN (Time Sensitive Networking), которая обеспечивает детерминированные задержки, надежную доставку пакетов и высокую точность синхронизации узлов в сети. В стандарте IEEE 802.1CM описан профиль сетей TSN, определяющий функции, опции, конфигурации, значения по умолчанию, протоколы и процедуры мостов, станций и локальных сетей, необходимые для построения транспортного сегмента Fronthaul. В статье представлена методика определения максимальных сквозных задержек трафика стандартных радиоинтерфейсов CPRI/eCPRI в сегменте Fronthaul сетей 4G/5G, построенном на базе технологии TSN, в соответствии с требованиями стандарта IEEE 802.1CM. Результаты: Выделены две основные компоненты сквозной задержки - задержки в мостах TSN и задержки в каналах хEthernet. Для высокоприоритетных потоков трафика радиоинтерфейсов CPRI/eCPRI в мостах приведены характерные случаи взаимовлияния потоков, поступающих одновременно на разные входные порты. Приведен пример численного расчета, который позволил определить при заданной граничной сквозной задержке передачи высокоприоритетного трафика допустимую физическую длину сегмента Fronthaul.
2 аспирант кафедры сетей и систем связи, Поволжский государственный университет телекоммуникаций и информатики, г. Самара, Россия, slavon131@bk.ru
КЛЮЧЕВЫЕ СЛОВА: мобильные сети 4G/5G, транспортный сегмент Fronthaul, радиоинтерфейсы CPRI/eCPRI, чувствительная ко времени сеть TSN, стандарт IEEE 802.1CM, сквозная задержка
Для цитирования: Росляков А.В., Герасимов В.В. Анализ сквозной задержки в транспортном сегменте Fronthaul сетей 4G/5G на базе технологии TSN // Наукоемкие технологии в космических исследованиях Земли. 2024. Т. 16. № 2. С. 35-43. doi: 10.36724/2409-5419-2024-16-2-35-43
Введение
С момента своего изобретения почти 50 лет назад сетевая технология Ethernet постоянно развивалась для удовлетворения все более растущих требований к скорости передачи, от классической 10 Мбит/с в начале 80-х годов до 400 Гбит/с на сегодняшний день с планами на будущее до 800 Гбит/с и 1,6 Тбит/с (рис. 1).
1Т 400g 100g 40g 10g 1g
100М 10М
1-г-Ц^^гОП-1-г
2000 2010 2020 2030
1980 1990
Рис. 1. Хронология изменения скорости технологии Ethernet
Однако изначально технология Ethernet не была рассчитана на обеспечение строгих гарантий синхронизации и времени доставки данных в сети. В этой связи следует отметить появление в 2002 году стандарта IEEE 1588, описывающего протокол точного времени РТР (Precision Time Protocol), который гарантирует высокую степень синхронизации времени в сети Ethernet для точной передачи данных (до 1 микросекунды). Следствием этого явилось создание в 2012 году технологии чувствительных ко времени сетей TSN (Time Sensitive Networking) [1], позволившей использовать сети Ethernet для коммуникаций, мониторинга и управления в реальном масштабе времени со строгими гарантиями синхронизации и качества передачи кадров данных для автономных и других подключенных систем. Первоначально использовавшаяся в аудио/видеосистемах, технологию TSN начали внедрять в сотовые сети 4G/5G и в ближайшие годы она станет ключевым фактором для промышленной автоматизации/Индустрии 4.0, Интернета вещей IoT (Internet of Things), промышленного Интернета вещей НоТ, автомобильных, аэрокосмических и других приложений [2].
Чтобы облегчить широкое внедрение технологии TSN в различных отраслях, рабочая группа IEEE 802.1 разработала ряд профилей, определяющих функции, параметры, протоколы и процедуры построения сетей TSN для конкретного применения, что упрощает их взаимодействие и развертывание. Так уже разработаны профили TSN для сетей аудио-видео-моста AVB (IEEE 802.1ВА), переднего сегментаFronthaul транспортной сети (IEEE 802.1СМ-2018) и промышленной автоматизации (IEC/IEEE 60802). Планируется создание профилей TSN для бортовой сети Ethernet в автомобиле (IEEE P802.1DG) и сетей поставщиков услуг (IEEE P802.1DF) [3].
Особенностью работы мостовых сетей TSN является необходимость предварительного планирования совместной
работы мостов сети для гарантированного качества обслуживания трафика. Сущность данного планирования заключается в составлении временного расписания работы шлюзов моста GCL (Gate Control List), в соответствии с которым определяются моменты времени начала и длительности передачи на выходные порты кадров Ethernet, поступивших во входные порты моста.
Основной проблемой при составлении такого расписания является необходимость учета совместной работы мостов на маршруте передачи данных в сети для выполнения ограничений на сквозные задержки. Эти ограничения применительно к транспортному сегменту Fronthaul мобильных сетей 4G/5G, построенному на базе технологии TSN, приведены в стандарте IEEE 802.1СМ [4]. Однако имеющиеся публикации зарубежных [5-13] и отечественных [14-16] авторов не содержат методики оценки максимальной сквозной задержки в мостовой сети Fronthaul, что и определяет актуальность ее разработки.
Технология TSN
Чувствительные ко времени сети TSN (Time-Sensitive Networking) - это набор открытых стандартов, разрабатываемых специальной целевой группой, входящей в рабочую группу IEEE 802.1 [3]. Это означает, что стандарты TSN в первую очередь предназначены для сетей Ethernet IEEE 802.3 и поэтому используют все преимущества стандартной технологии Ethernet, такие как гибкость, повсеместное использование и экономичность. Стандарты TSN можно рассматривать как набор дополнительных инструментов технологии Ethernet, которые можно разделить на четыре основные группы (рис. 2) [1]:
1) формирование трафика - мостовая сеть TSN регулирует совместную передачу трафика различного типа через мосты с соответствующей гарантией времени;
2) управление сетевыми ресурсами - сеть TSN планирует работу оконечных устройств пользователей и сетевых узлов (мостов TSN) для передачи трафика с заданным качеством;
3) строгая синхронизация работы узлов сети - в сети TSN используется единый источник времени, от которого синхронизируются все сетевые элементы;
4) гарантированная надежность доставки данных - сеть TSN обеспечивает передачу нескольких копий одних и тех же кадров Ethernet по непересекающимся путям.
Рис. 2. Базовые механизмы технологии TSN
Используя эти механизмы, сеть TSN гарантирует минимальную задержку для критических данные с помощью различных методов организации очередей и формирования трафика и резервируя сетевые ресурсы для критического трафика. Следует отметить, что сеть TSN может также передавать трафик стандартного Ethernet без гарантий качества обслуживания (Best Effort).
Планирование работы мостов TSN осуществляется на основе стандарта IEEE 802.1Qbv [3] (рис. 3). Каждый выходной порт моста имеет 8 очередей с разными приоритетами обслуживания и поступающие потоки кадров из входных портов Ethernet поступают в свои очереди в соответствии с присвоенными им приоритетам. Каждая очередь имеет логический шлюз (обозначенный через G на рис. 3). Работа этих шлюзов описывается заранее спланированным временным расписанием GCL (Gate Control List) их открытия. Когда в фиксированный интервал времени и в соответствующем элементе столбца расписания GCL записано значение 1, это означает, что шлюз соответствующей очереди открыт и поток может быть передан в выходной порт моста. А если значение элемента расписания равно 0, то это означает, что шлюз закрыт в течение данного интервала времени. Расписание управления шлюзами имеет период реализации, поэтому каждый шлюз будет открываться/закрываться циклически в соответствии с этим периодом.
Для связи этих блоков используются соответствующие сегменты транспортной сети xHaul [18-20]. Одним из них является передний сегмент Fronthaul, который соединяет удаленные радиомодули RRU (Remote Radio Unit) с базовым блоком сети мобильной связи BBU (Base Band Unit). В стандарте IEEE 802.1СМ [4] функциональные блоки распределенной базовой станции называются радиооборудованием RE (Radio Equipment) и блоком управления радиооборудованием REC (Radio Equipment Control) в сетях 4G или аналогично eCPRI Radio Equipment (eRE) и eCPRI Radio Equipment Control (eREC) - в сетях 5G. Как правило, блок eREC/REC, выполняющий функции обработки основной полосы частот BBU (Base Band Unit), располагается в удобно доступном месте, географически отделенном от блока eRE/RE, содержащим радиоантенну и соединенным с eREC/REC через транспортный сегмент Fronthaul (рис. 4).
Транспортный сегмент Fronthaul
Рис. 3. Принцип работы моста TSN по расписанию GCL
Технология TSN широко используется в конвергентных сетях Ethernet с потоковой передачей аудио/видео информации и потоками данных управления в реальном времени для реализации различных бортовых сетей (аэрокосмических, автомобильных и др.) или сетей управления промышленными объектами [1]. В семействе стандартов TSN имеются также так называемые профили, которые определяют набор инструментов TSN и описывают их использование в конкретной предметной области. Один их таких профилей для использования технологии TSN при реализации переднего транспортного сегмента Fronthaul в мобильных сетях 4G/5G приведен в стандарте IEEE 802.1СМ [4].
Сегмент Fronthaul на базе TSN
Одной из характерных особенностей построения мобильных сетей 4G/5G является пространственное разделение традиционной базовой станции на ряд функциональных блоков.
Рис. 4. Функциональные блоки базовой станции и транспортный сегмент Fronthaul в сетях 4G/5G (источник: IEEE 802.1СМ)
Сегмент Fronthaul на физическом уровне реализуется в виде соединений «точка-точка» (Р2Р) с использованием «темного» оптоволокна, систем спектрального уплотнения WDM или радиорелейных линий РРЛ. Для реализации сегмента Fronthaul может быть использована также сеть с мостовым соединением на базе технологии TSN [4, 14], в этом случае eRE/RE и eREC/REC являются конечными станциями, каждая из которых подключена к входному порту граничного моста (рис. 5).
В дополнение к двухточечному соединению мостовая сеть TSN способна при необходимости обеспечивать многоточечное и корневое многоточечное соединения Fronthaul ме^цу eRE/RE и eREC/REC. Мостовая сеть Fronthaul может использоваться для передачи и для другого вида трафика (например, трафика промышленного интернета вещей НоТ), если выполняются требования по качеству его обслуживания.
Обозначения:
Идентификатор моста
E-/sK
?
Идентификатор порта
Г7—Jr е\
/ /REC \
Л
Конечная станция
Рис. 5. Мостовая сеть Fronthaul на базе технологии TSN
{источник: IEEE 802.1 CM)
Сегмент Fronthaul должен обеспечивать минимальные задержки передачи данных, требует жесткой синхронизации частоты и фазы передаваемых сигналов, а также должен обладать большой полосой пропускания. Требования к характеристикам сегмента Fronthaul приведены в стандарте IEEE 802.1СМ [4] (табл. 1).
Таблица 1
Требования к характеристикам сегмента Fronthaul
Характеристики Ргоп1:Ьаи1 Данные пользователя Данные контроля и управления С&М Данные синхронизации
CPRI eCPRI CPRI еСРМ CPRI eCPRI
Сквозная 100 100 мкс Не 1 мс
задержка мкс (высо-кийпри-оритет) 1 мс (средний приоритет) определено (средний приоритет) 100 мс (низкий приоритет) - -
Вероят- ю-7 ю-7 ю-6 ю-7
ность по- (сред-
терь кадров ний приоритет) ю-6 (низкий приоритет) - -
Абсолютная 0т20 до 30 не (в
ошибка вре- зависимости от
менной син- - - - - категории А+, А,
хронизации В или С и случая 1 или2)
0 1 Ь] [- 0 2 Ь d
Кана/ xEthernet
Тогда в общем случае максимальную одностороннюю сквозную задержку кадра рассматриваемого к-го потока трафика в сегменте Fronthaul на базе TSN т£2е можно определить по формуле:
_ yN j*k
¿-ii = l ' MOI
fk
'E2E
7 = 1 1 каналу-
где Гмост; - максимальная задержка кадра к-го потока в /'-ом мосту; T£aHajIj - задержка кадра к-го потока в '-ом канале xEthernet; N - общее количество мостов TSN на пути передачи трафика к-го потока в сегменте Fronthaul.
Задержка на одном сетевом переходе от моста к мосту измеряется от момента поступления последнего бита кадра Ethernet к-го потока в порт n исходящего моста А до момента поступления последнего бита этого кадра в порт m входящего моста В. Эта задержка передачи кадра к-го потока в'-ом канале xEthernet между двумя смежными мостами на пути передачи трафика в сегменте Fronthaul зависит от типа среды передачи в канале и физической длины канала:
каналу
= Dj/Vc
']/ "среда;;
{источник: IEEE 802.1CM)
Сквозная задержка трафика в мостовой сети РгопШаи1
Маршрут передачи трафика в сегменте РгойЬаи1 на базе технологии Т8М, проходящий через N мостов, два из которых являются граничными, а остальные - транзитными, включает (N-1) канал передачи данных хЕШегпй ме^ду мостами (рис. 6).
Мостовая сеть Fronthaul
где Dj - физическая длина линии связи'-го канала xEthernet в сети Fronthaul к следующему мосту; VcpeflaJ - скорость распространения сигнала в физической среде'-го канала xEthernet.
Если скорость распространения сигнала в радиоканале можно считать равной скорости света 3*105 км/с, то в оптоволоконном канале она составляет порядка 69% от скорости света в вакууме. Следовательно, 1 км радиоканала вносит задержку чуть более 3,3 мкс, а оптического волокна - около 5 мкс.
Основная проблема определения задержки кадра в мосту состоит в том, что в выходной порт могут поступать кадры из разных входных портов (рис. 4), и они создают дополнительную задержку обслуживания кадра рассматриваемого потока. Максимальная задержка кадра в мосту зависти от его приоритета относительно кадров других приоритетов. Рассчитаем максимальную задержку моста в наихудшем случае для периодических потоков данных трафика класса CBR с наивысшим приоритетом (в стандарте IEEE 802.1СМ [4] такие потоки названы «золотыми»), например, информацию вызова мобильной связи в OFDM-форме в сегменте Fronthaul.
Максимальная задержка в /'-ом мосту Т™^ для кадров к-го потока с наивысшим приоритетом определяется формулой:
rrk _ Y I *г>к I *г>к
'moctî _ 'внутри "т 'очередь! 'кадр_тах>
(1)
Рис. 6. Маршрут передачи трафика в мостовой сети Ргоп1:Ьаи1
Будем считать, что оконечное оборудование РЕ/еРЕ и СРЕ/еСРЕ сегмента РгоШЬаи1 находится в непосредственной близости от граничных мостов Т8М 1 и N поэтому задержка передачи данных на этих участках РгопШаи1 практически равна нулю и при дальнейших расчетах не учитывается.
где Гвнутр; - внутренняя задержка пересылки данных с промежуточным хранением в /'-ом мосту; ГДередь; - задержка кадра к-го потока в очереди /'-го моста; ГКаДр_таж - время передачи кадра Ethernet к-го потока с наивысшим приоритетом максимального размера. Эту задержку можно определить по формуле:
^кадр_шах ^кадр^ах/^Е^етеу' ;
где ¿кадр_шаж _ максимальный размер кадра к-го потока с учетом преамбулы Pre (Preamble), разделителя начала кадра SFD (Start Frame Delimiter) и межкадрового интервала IPG (Inter
Packet Gap); ^¡Ethernet; - со скорость передачи'-го выходного порта xEthernet моста.
Во внутреннюю задержку пересылки данных в /-ом мосту с промежуточным хранением информации Твнутр1 входят все элементы задержки, являющиеся следствием внутренней обработки кадра в мосту, такие как:
- время, необходимое для прохождения кадра от входного порта моста к выходному порту, при условии, что выходные очереди пусты;
- разница между моментом времени, когда кадр стал доступным для передачи в порту, и моментом времени, когда порт готов передать этот кадр; например, в случае, когда уровень MAC/PHY моста перешел в режим энергосбережения, может возникнуть задержка при переключении порта обратно в нормальный режим работы;
- разница, если таковая имеется, в задержке, возникающей у кадра, который поступает в пустую очередь, по сравнению с задержкой, возникающей у кадра, который должен быть поставлен в очередь;
- время, добавляемое (вычитаемое) при удлинении (сокращении) кадра из-за добавления (удаления) заголовков кадров, таких как Q-метки или MACSec-метки;
- время, необходимое для шифрования кадра MACSec.
Задержка кадра в очереди моста TSN происходит из-за
взаимного влияния различных кадров Ethernet между собой как одного приоритета, так и разных приоритетов. Эта задержка для кадра k-ro потока трафика в /-м мосту может быть разделена на две составляющих:
'очереды 'общJ ' 'собст
где Тдбщ i - задержка кадра k-ro потока в общей очереди /'-го моста; ГС06СТ г - задержка кадра k-ro потока в собственной очереди входящего потока в /-м мосту.
Задержка кадра в общей очереди т£бщ г вызвана тем, что кадр k-ro потока был выбран для передачи до того, как он стал доступен для передачи, плюс задержка, вызванная поставленными в очередь кадрами из всех потоков трафика Fronthaul с более высоким приоритетом, чем к.
Наихудшей задержкой в общей очереди для потока с более высоким приоритетом является время передачи кадра Ethernet максимального размера с более низким приоритетом по сравнению с рассматриваемым к-м:
fk _ ^низкий
'общ_1 'кадр_тах ■
Если рассматриваемый k-ый поток имеет наивысший приоритет, то отсутствует задержка в общей очереди, т.к. нет трафика с более высоким приоритетом. Если оператор мобильной сети устанавливает другому трафику, например, трафику обслуживанию сети, тот же или более высокий приоритет, чем потокам трафика CPRI/eCPRI, тогда данный трафик способствует наихудшему варианту ожидания в собственной очереди потока или задержке в общей очереди выходного порта моста, которую необходимо учитывать при расчетах.
Задержка кадра в собственной очереди ГСобст г вызвана другими кадрами трафика того же приоритета, что и рассмат-
риваемый кадр. Примеры данной задержки показаны на рисунках 7 и 8. Кадры 2, 5 и 8 принимаются на порт а, кадры 3 и 6 принимаются на порт Ь, а кадры 1, 4, 7 и 9 принимаются на порт с мостов 11 и12.
Все кадры передаются в мостах через выходной порт й. Каждый поток трафика РгопШаи1 представляет собой периодический поток с постоянной скоростью передачи данных СВР с одним и тем же временным окном. Все поступающие кадры, показанные на каждом рисунке, находятся в одном и том же временном окне. Кадры / и ^ принадлежат одному потоку, т.е. данный поток включает в себя два кадра в одном временном окне. Все остальные потоки включают по одному кадру в рассматриваемом временном окне. Скорость передачи данных каждого порта хЕШегпй одинакова. Кадры поступают пачками на входные порты и пачки прибывают примерно в одно и то же время. Мосты 11 и 12 принимают кадры в порядке увеличения их номеров.
Порядок передачи зависит от реализации моста и от того, как разрешаются условия конфликтов между кадрами, как описано ниже. Наблюдаем кадр с номером 8. Если бы не было кадров, прибывающих ни на порт Ь, ни на порт с, то кадр 8 был бы передан без задержки постановки в очередь, т.е. кадры 2 и 5 не вызывают задержки постановки в очередь для кадра 8, поскольку они передается до приема кадра 8.
HJLHj_J
Рис. 7. Пример задержки в собственной очереди при гарантированном порядке обслуживания портов
Обычно реализация моста ориентирована на справедливое распределение полосы пропускания для разных классов трафика, например, мост может гарантировать, что кадры, предназначенные для одного и того же выходного порта, передаются в порядке их приема. Мост 11 обеспечивает такую гарантию, поэтому кадры передаются в порядке поступления, как показано на рисунке 7. В этом случае оба кадра, принятые портом b, т.е. кадры 3 и 6, могут быть переданы перед кадром 8. Кроме того, все кадры до кадра 8, полученные портом с, т.е. кадры 1, 4 и 7, также могут быть переданы до кадра 8. Поэтому в худшем случае пять кадров могут вызвать задержку в собственной очереди для кадра 8.
Порядок передачи кадров, полученных через один и тот же порт моста TSN, определяется стандартом IEEE 802.1Q. Однако он не определяет порядок передачи кадров, полученных на разных портах, это зависит от реализации моста. Без такой гарантии может случиться так, что кадр 9, поступивший после кадра 8, будет передан раньше, как показано на рисунке 8, т.е. шесть кадров из других очередей вызовут задержку кадра 8 в собственной очереди.
Таким образом в самом худшем случае каждый кадр, полученный приблизительно в одно и то же время на разных входных портах, чем наблюдаемый кадр, и предназначенный для того же выходного порта, может вызвать задержку
наблюдаемого кадра в его собственной очереди, что должно учитываться при расчетах задержки кадра в мосту.
1 » ' а b] 12 [ч [LHJIO.1 * 4 I2
xEthernet е|з
xEthernet jJfj 1
xEthernet
Рис. 8. Пример задержки в собственной очереди при негарантированном порядке обслуживания портов
Часть задержки в собственной очереди потока, назовем ее «веерной», происходит в случае, когда кадры, принадлежащие к одному классу трафика и предназначенные для одного и того же выходного порта, поступают на разные входные порты примерно в одно и то же время. Рисунок 9 иллюстрирует ситуацию веерной задержки, например, между кадрами 2, 3 и 1. Кадр 3 ставится в очередь и передается первым, затем кадр 2; кадр 1 передается последним из этих трех кадров. Кадры 5,6 и 4 также находятся в ситуации веерной задержки, как и кадры 8 и 7. На рисунке 9 показан пример, когда мост 11 гарантирует, что данный кадр будет передан раньше, чем кадр, полученный позже, тогда как на рисунке 10 приведен пример, когда мост 12 не обеспечивает такой гарантии.
8 5 2 9 8 7 4 6 5
xEthernet 6 3
11 a
xEthern 9 et 7 ¡4
xEthernet
Если высокоприоритетные потоки, обслуживаемые общим выходным портом/», поступают по Np входным портам, то они вносят задержку в собственной очереди каждого высокоприоритетного потока, т.е. для высокоприоритетных потоков входного порта_/' необходимо учитывать трафик мешающих высокоприоритетных потоков (^-1)-входных портов, передающих трафик на общий выходной портр. Общее количество агрегированных высокоприоритетных потоков, поддерживаемых различными входными портами (кроме входного порта наблюдаемого потока), и определяет наихудшую задержку в очереди для кадра наблюдаемого потока. То есть суммаMip -потоков для (Np-l)-nopTOB дает количество мешающих потоков в наихудшем случае, которые могут вызвать задержку кадра в собственной очереди потока.
В общем случае данные одного временного окна высокоприоритетного потока к могут переносятся в ^¿-кадрах Ethernet, однако часто Wk=l. При расчете задержки кадра в собственной очереди в худшем случае необходимо учитывать максимальный размер кадра Ethernet ТКаДр_таж. При этом необходимо учитывать, что высокоприоритетные потоки имеют задержку в собственной очередь только из-за других высокоприоритетных потоков, если в соответствующем классе трафика есть только высокоприоритетные потоки.
Таким образом, максимальная задержка кадров потоков с наивысшим приоритетом в собственной очереди, полученных по входному порту j и поступающих на выходной порт р, может быть рассчитана по формуле:
j<l>P _ j<k собст *
w у^р yMi,p 7i,p кадр_тах ¿-¡i=l ¿-¡к=1 ^k
(2)
Рис. 9. Пример веерной задержки при гарантированном порядке обслуживания портов
ГП 51
x Eth ernet 6 |3
Ф 4 1
12
Рис. 10. Пример веерной задержки при негарантированном порядке обслуживания портов
Как видно из сравнения рисунков 8 и 10, проще учитывать случаи веерной задержки как часть задержки в собственных очередях потоков, чем определять их по отдельности при расчете задержки в мосту для наихудшего случая.
Кадры нескольких потоков наивысшего приоритета, полученные в одном и том же входном порту моста, не вызывают задержку кадров других потоков в собственной очереди, если номинальная скорость передачи данных выходного порта, агрегирующего эти потоки, больше или равна:
а) пропускной способности, необходимой для принятого трафика потоков с наивысшим приоритетом, предназначенных для агрегирующего выходного порта и
б) номинальной скорости передачи данных входного порта, трафик которого агрегируется.
где Ыр - количество входных портов, которые могут принимать мешающие кадры потоков с наивысшим приоритетом, передаваемых на выходной порт р;
М,р - количество потоков с наивысшим приоритетом, передаваемых с входного порта , на выходной портр;
Х1-рк - максимальное количество кадров высокоприоритетного потока к между входным портом , и выходным портом >р, которые могут быть сгруппированы вместе в одном временном окне, прежде чем они будут получены входным граничным портом мостовой сети РгопШаи1.
Необходимо учитывать, что если в соответствующем классе трафика есть только высокоприоритетные потоки, то они имеют задержку в собственной очереди моста только из-за других высокоприоритетных потоков.
Пример численного расчета
Рассмотрим пример расчета максимальной сквозной задержки в сегменте РгойЪаи! на базе мостовой сети Т8М (рис. 11). Исследуемый сегмент сети содержит 4 моста с номерами 11, 12, 13 и 14. В мосты включаются источники трафика ИТ, и получатели трафика ПТ,-. В мосты 11 и 12 включены только источники трафика, в мост 13 - только получатель трафика, в мост 14 - источники и получатели, а мосты 12 и 13 являются еще и транзитными для соответствующих потоков. Каждый источник ИТ отправляет данные соответствующему получателю ПТ. ИТ: имеет только один поток данных с высоким приоритетом для ПТ1, тогда как все остальные ИТ имеют по
два потока данных с высоким приоритетом. Кроме того, каждый ИТ имеет поток данных с низким приоритетом для своего ПТ.
Мостовая сеть Fronthaul
СО
Рис. 11. Пример мостовой сети Fronthaul на базе технологии TSN
Рассмотрим поток ме^ду HTi и ПГ, так как он имеет наибольшее расстояние с точки зрения количества сетевых переходов, а, следовательно, в нем будет наибольшая задержка передачи трафика. При максимальной полезной нагрузке данных пользователя 1500 байт максимальный размер кадра xEthernet, который помечен меткой IEEE 802.1Q С-VLAN, составляет 1522 байта для потоков как с высоким, так и с низким приоритетами. Пусть каждый двухточечный канал Ethernet имеет скорость передачи данных 10 Гбит/с. Предположим, что внутренняя обработка данных с промежуточным хранением в мосту Гвнутр; в наихудшем случае составляет 6 мкс для каждого моста. В рассматриваемом примере скорость передачи каждого потока высокоприоритетных данных принятаравной 1,5 Гбит/с.
Рассмотрим анализ задержек в мостовой сети Fronthaul на базе технологии TSN для случая профиля А, определенном в стандарте IEEE 802.1СМ [4]. Особенностью этого профиля реализации Fronthaul является использование в мостах очередей со строгими приоритетами без каких-либо расширенных функций, например вытеснения кадра. В этом случае задержка данных с высоким приоритетом в мосту в наихудшем случае может быть определена в соответствии с(1).
В выражениях (1) и (2) используется максимальный размер кадра Ethernet высокоприоритетного потока ¿кадр_шаж > который, кроме полезной нагрузки 1500 байт и метки C-VLAN 22 байта, включает преамбулу Pre, разделитель начального кадра SFD и межкадровый интервал IPG, и в сумме равен 1542 байтам. Для канала Ethernet 10 Гбит/с время передачи такого кадра составляет р =1,2336 мкс.
Максимальная задержка кадра рассматриваемого к-го потока в собственной очереди ГС06СТ г варьируется от моста к мосту. Так на основании (2) для моста 11 задержка рассматриваемого высокоприоритетного потока otHTi равна Г^ст 12 = 2 х Сдр = 2,4672 мкс, поскольку высокоприоритетные данные, предназначенные для выходного порта c, поступают на два входных порта a и b, и в худшем случае оба кадра, полученные в порту b, могут задерживать кадр, полученный в порту a, как показано на рисунке 12.
Рис. 12. Задержка высокоприоритетного потока ИТ1 в собственной очереди в мосту 11
Аналогичная задержка рассматриваемого потока в мосту 12 равна Т^тб1т13 = 2 х г:™* = 2,4672 мкс, поскольку оба кадра, полученные в порту ё, могут быть переданы портом е раньше, чем кадр, полученный в порту с, как показано на рисунке 13.
-0 п П
п, M
12
п niГ! П
о-
Рис. 13. Задержка высокоприоритетного потока ИТ1 в собственной очереди в мосту 12
В мосту 13 нет собственных очередей для потоков, потому
Т-ИТ1 г\
что он имеет только один входной порт, т.е. /¿¿бет 14 = 0.
Только один поток данных с высоким приоритетом предназначен для каждого выходного порта моста 14, следовательно у потоков в этом мосту также нет собственных очере-
дей, т.е. Т.
собст_15
= 0.
Согласно (2), задержка в общей очереди определяется временем передачи кадра трафика с более низким приоритетом максимального размера, который также составляет 1522 байта, таким образом, Т^щ ^ = ^др =1,2336 мкс. Максимальные задержки в каждом мосту и суммарная сквозная задержка рассматриваемого потока во всех мостах сети для наихудшего случая приведены в таблице 2.
Таблица 2
Задержки в мостовой сети РгопШаи! с Профилем А
Номер моста 11 12 13 14 Сквозная
Максимальная задержка, мкс 10,9344 10,9344 8,4672 8,4672 38,8032
Таким образом, если бюджет сквозной задержки в сегменте Fronthaul для данных с наивысшим приоритетом составляет 100 мкс, то суммарная задержка передачи в каналах Ethernet между мостами в рассматриваемом примере будет составлять 61,1968 мкс. В этом случае при использовании оптоволоконных линий связи для реализации сегмента Fronthaul расстояние между мостом 11, подключенным к HTi, и мостом 14, подключенным к ПТ, не должно превышать 12 км.
Заключение
Сквозные задержки в сегменте Fronthaul, построенном на базе технологии чувствительных ко времени сетей TSN, при передаче трафика различного вида в сетях 4G/5G регламентируются стандартом IEEE 802.1СМ. Для высокоприоритетного трафика радиоинтерфейсов CPRI/eCPRI они не должны превышать 100 мкс. Обеспечение таких малых задержек зависит от двух основных факторов - от физической длины сегмента Fronthaul и задержек в очередях мостов, которые определяются заранее спланированными временными расписаниями GCL работы выходных портов мостов TSN Ethernet.
Таким образом предложенная методика расчета односторонних сквозных задержек в сегменте Fronthaul на базе технологии TSN может использоваться на практике как при анализе, так и при синтезе расписания GCL. В случае анализа при заданном расписании работы мостов находятся задержки в них и с учетом граничных сквозных задержек в сегменте Fronthaul определяются допустимые задержки в каналах xEthernet, которые позволят найти допустимую физическую длину сегмента. При синтезе расписания GCL, когда известна физическая длина сегмента Fronthaul, производится выбор длительности временного окна открытия выходных портов мостов и порядка передачи на них потоков трафика различных приоритетов из входных портов с учетом соблюдения ограничений на сквозные задержки на основе рассчитанных значений задержек в мостах.
В дальнейшем планируется рассмотреть методику определения сквозных задержек передачи трафика Fronthaul с более низким приоритетом, обслуживаемого в мостовой сети TSN Ethernet с использованием кредитного формирователя CBS (CreditBased Shaping) [1].
Литература
1. РосляковА.В., СудареваМ.Е., МамошинаЮ.С., ГерасимовВ.В. TSN - сети Ethernet, чувствительные ко времени II Инфокоммуника-ционныетехнологии,2021. Т. 19. №2. С. 187-201.
2. Росляков А.В. СЕТЬ 2030: архитектура, технологии, услуги. -М.: ООО «ИКЦ «Колос-с», 2022. 278 с.
3. Росляков А.В., Герасимов В.В., Мамашина Ю.С., Сударева М.Е. Стандартизация синхронизируемых по времени сетей TSN II Стандарты и качество, 2021. № 4 (1006). С. 29-33.
4. IEEE Std 802.1 СМ-2018. IEEE Standard for local and metropolitan area networks. Time-Sensitive Networking for Fronthaul. 2018. 62 p.
5. Pérez G.O., LópezD.L., Hernández J.A. 5G New Radio Fronthaul Network Design for eCPRI-IEEE 802.1CM and Extreme Latency Percentiles II IEEE Access. 2019. Vol. 7, pp. 82218-82230.
6. Bhattacharjee S., Katsalis K., Arouk O., Schmidt R., Wang T., An X., Bauschert T., Nikaein N. Network Slicing for TSN-Based Transport Networks II IEEE Access. 2021. Vol. 9,pp. 62788-62809.
7. Chinchilla-Romero L., Prados-Garzon J., Ameigeiras P., Muñoz P., Lopez-Soler J.M. 5G Infrastructure Network Slicing: E2E Mean Delay Model and Effectiveness Assessment to Reduce Downtimes in Industry 4.0 II Sensors. 2022, 22, 229, pp. 1-29.
8. Pérez G.O., Hernández J.A., López D.L. Fronthaul network modeling and dimensioning meeting ultra-low latency requirements for 5GII IEEE/OSA Journal of optical communications and networking, 2018. Vol.10. No.6, pp. 573-581.
9. Gowda A., Hernández J.A., Larrabeiti D., Kazovsky L. Delay analysis of mixed fronthaul and backhaul traffic under strict priority queueing discipline in a 5G packet transport network II Trans Emerging Tel Tech. 2017. N28: e3168,pp. 1-9.
10. Bhattacharjee S., Schmidty R., Katsalis K., Changy C.-Y., Bauschertz T., Nikaeiny N. Time-Sensitive Networking for 5G Fronthaul Networks II IEEE International Conference on Communications (ICC). 2020, pp. 1-7.
11. Chitimalla D., Kondepu K., Valcarenghi L., Tornatore M., Mukherjee B. 5G Fronthaul - Latency and Jitter Studies of CPRI over Ethernet II Journal of Optical Communications and Networking. 2017. Vol. 9. No. 2, pp. 1-10.
12. Atiq M.K., Muzaffar R., Seijo Ó., Val I., Bernhard H.-P. When IEEE 802.11 and 5G Meet Time-Sensitive Networking II IEEE Open Journal ofthe Industrial Electronics Society. 2021. Vol. 3, pp. 14-36.
13. Kumar U., Gupta A. Fundamentals of 5G: Emphasis on fronthaul and TSN protocols. 2021.114 р.
14. ТипаковB.C., Яковлев T.A. Особенности построения Anyhaul сетей 5G RAN II Вестник АГГУ, 2020. №1 (69). С. 38-43.
15. Лихтциндер Б.Я. Особенности TSN II Вестник связи, 2021. №7. С. 32-41.
16. Лихтциндер Б.Я. Сети Ethernet с детерминированными задержками II Вестник Самарского государственного технического университета. Серия «Технические науки». 2022. Том 30, №3. С. 81-97.
17. Берёзкин А.А., Паршин А.А., Парфенов Д.Д., Киричек Р.В. Анализ стандартов сетей, синхронизируемых по времени, для управления роботизированными системами в режиме реального времени //Электросвязь, 2023. №6. С. 20-31.
18. Коган С. Стандартизация решений и сегментирование транспортного уровня сети 5GII Первая миля, 2021. №2. С. 40-47.
19. Богданова Е., Шишков К. Сегменты транспортной сети 5GII Connect, 2020. №5-6. С. 84-87.
20. Коган С. Транспортная оптическая инфраструктура для 5GII Connect, 2020. №5-6. С. 74-80.
ANALYSIS OF END-TO-END DELAY IN FRONTHAUL TRANSPORT SEGMENT OF 4G/5G NETWORKS BASED ON TSN TECHNOLOGY
ALEKSANDER V. ROSLYAKOV
PSUTI, Samara, Russia, arosl@mail.ru
VIYCHESLAV V. GERASIMOV
PSUTI, Samara, Russia, slavon131@bk.ru
KEYWORDS: 4G/5G mobile networks, Fronthaul transport segment, CPRI/eCPRI radio interfaces, time-sensitive networking TSN, standard IEEE 802.1CM, end-to-end delay.
ABSTRACT
Introduction. One of the characteristic features of building 4G/5G mobile networks is the spatial division of a traditional base station into a number of functional blocks. To connect these blocks, the corresponding segments of the xHaul transport network are used. One of these is the Fronthaul, which connects remote radio equipment to their control equipment. Data flows of standard CPRI/eCPRI radio interfaces in this segment impose strict requirements on quality of service and, above all, on delays. Methods: To meet these requirements, it was proposed to use a switched Ethernet network in the Fronthaul segment based on TSN (Time Sensitive Networking) technology, which provides deterministic delays, reliable packet delivery and high accuracy of synchronization of nodes in the network. The IEEE 802.1CM standard defines a TSN
profile that defines the features, options, configurations, defaults, protocols, and procedures of bridges, stations, and LANs necessary to construct a Fronthaul transport segment. Results: The article presents a methodology for determining end-to-end traffic delays of standard CPRI/eCPRI radio interfaces in the Fronthaul segment of 4G/5G networks, built on the basis of TSN technology, in accordance with the requirements of the IEEE 802.1CM standard. Two main components of end-to-end delay are identified: delays in TSN bridges and delays in xEthernet links. For high-priority traffic flows of CPRI/eCPRI radio interfaces in bridges, typical cases of mutual influence of flows arriving simultaneously at different input ports are given. An example of a numerical calculation is given, which made it possible to determine the permissible physical length of the Fronthaul segment for a given maximum end-to-end delay.
REFERENCES
1. A.V. Roslyakov, M.E. Sudareva, Yu.S. Mamoshina, V.V. Gerasimov, "TSN - time-sensitive Ethernet networks," Infocommunication technologies, 2021, vol. 19, no. 2, pp. 187-201.
2. A.V. Roslyakov, NETWORK 2030: architecture, technology, services, ICC Kolos-s, 2022, 278 p.
3. A.V. Roslyakov, V.V. Gerasimov, Yu.S. Mamoshina, and M.E. Sudareva, "Standardization of time-synchronized TSN networks," Standards and Quality, 2021, no. 4 (1006), pp. 29-33.
4. IEEE Std 802.1CM-2018. IEEE Standard for local and metropolitan area networks. Time-Sensitive Networking for Fronthaul, 2018, 62 p.
5. G.O. Perez, D.L. L?pez and J.A., "Hern?ndez 5G New Radio Fronthaul Network Design for eCPRI-IEEE 802.1 CM and Extreme Latency Percentiles," IEEE Access, 2019, vol. 7, pp. 82218-82230.
6. S. Bhattacharjee, K. Katsalis, O. Arouk, R. Schmidt, T. Wang et al., "Network Slicing for TSN-Based Transport Networks," IEEE Access, 2021, vol. 9, pp. 62788-62809.
7. L. Chinchilla-Romero, J. Prados-Garzon, P. Ameigeiras, P. Mu?oz and J.M. Lopez-Soler, "5G Infrastructure Network Slicing: E2E Mean Delay Model and Effectiveness Assessment to Reduce Downtimes in Industry 4.0," Sensors, 2022, 22, 229, pp. 1-29.
8. G.O. Perez, J.A. Hernandez and D.L. Lopez, "Fronthaul network modeling and dimensioning meeting ultra-low latency requirements for 5G," IEEE/OSA Journal of optical communications and networking, 2018, vol.10, no.6, pp. 573-581.
9. A. Gowda, J.A. Hernandez, D. Larrabeiti and L. Kazovsky, "Delay analysis of mixed fronthaul and backhaul traffic under strict priority queuing discipline in a 5G packet transport network," Trans Emerging Tel Tech, 2017, n 28: e3168, pp. 1-9.
10. S. Bhattacharjee, R. Schmidty, K. Katsalis, C.-Y. Changy, T Bauschertz and N. Nikaeiny, "Time-Sensitive Networking for 5G Fronthaul Networks," IEEE International Conference on Communications, 2020, pp. 1-7.
11. D. Chitimalla, K. Kondepu, L. Valcarenghi, M. Tornatore and B. Mukherjee, "5G Fronthaul - Latency and Jitter Studies of CPRI over Ethernet," Journal of Optical Communications and Networking, 2017, vol. 9, no. 2, pp. 1-10.
12. M.K. Atiq, R. Muzaffar, O. Seijo, I. Val and H.-P. Bernhard, "When IEEE 802.11 and 5G Meet Time-Sensitive Networking," IEEE Open Journal of the Industrial Electronics Society, 2021, vol.3, pp. 14-36.
13. U. Kumar and A. Gupta, "Fundamentals of 5G: Emphasis on fronthaul and TSN protocols", 2021, 114 p.
14. V.S. Tipakov and T.A. Yakovlev, "Features of building Anyhaul networks 5G RAN," Vestniksvyazi, 2020, no. 1 (69), pp. 38-43.
15. B.Ya. Lichtzinder, "Features of TSN," Vestnik svyazi, 2021, no. 7, pp. 32-41.
16. B.Ya. Lichtzinder, "Ethernet networks with deterministic delays," Bulletin of the Samara State Technical University. Series "Technical Sciences", 2022, v. 30, no. 3, pp. 81-97.
17. A.A. Berezkin, A.A. Parshin, D.D. Parfenov and R.V. Kirichek, "Analysis of time-synchronized network standards for real-time control of robotic systems," Elektrosvyaz, 2023, no. 6, pp. 20-31.
18. S. Kogan, "Standardization of solutions and segmentation of the transport layer of the 5G network," First Mile, 2021, no. 2, pp. 40-47.
19. E. Bogdanova and K. Shishkov, "Segments of the 5G transport network," Connect, 2020, no. 5-6, pp. 84-87.
20. S. Kogan, "Transport optical infrastructure for 5G," Connect, 2020, no. 5-6, pp. 74-80.
For citation: RoslyakovA.V., Gerasimov V.V. Analysis of end-to-end delay in Fronthaul transport segment of 4G/5G networks based on TSN technology. H&ES Reserch. 2024. Vol. 16. No. 2. P. 35-43. doi: 10.36724/2409-5419-2024-16-2-35-43 (In Rus)
