CC BY
5
УДК 621.39
Методика формирования комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения
Е. В. Опарин
Петербургский государственный университет путей сообщения Императора Александра I, Российская Федерация, 190031, Санкт-Петербург, Московский пр., 9
Для цитирования: Опарин Е. В. Методика формирования комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения // Известия Петербургского университета путей сообщения. — СПб.: ПГУПС, 2023. — Т. 20. — Вып. 3. — С. 768784. DOI: 10.20295/1815-588Х-2023-3-768-784
Аннотация
Цель: Выработать научно-технические решения построения комплексной системы синхронизации и доставки шкалы времени, включающей подсистемы тактовой сетевой синхронизации (ТСС) и единого времени (СЕВ) как единой системы хронирования, решающей задачи синхронизации по частоте, времени и фазе в крупных распределенных системах технологического назначения. Методы: Методы исследования основаны на фундаментальных положениях теории систем и теории принятия решений. Результаты: Предложена методика формирования комплексной системы синхронизации и доставки шкалы времени, отличающаяся комплексным подходом к построению систем единого времени и частоты в сетях связи технологического сегмента, независимостью от типов применяемого генераторного оборудования и средств доставки сигналов ТСС и СЕВ, а также требований потенциальных потребителей услуг частотно-временного обеспечения. Предложенная методика формирования комплексной системы синхронизации и доставки шкалы времени позволит обоснованно подходить к построению систем доставки сигналов единого времени и частоты в сложных гетерогенных сетях связи. Практическая значимость: Решения на основе представленной методики позволят обеспечить независимую от сторонних операторов связи инфраструктуру для обеспечения единства тактовой сетевой синхронизации и единого времени, необходимых для корректной работы телекоммуникационного оборудования технологической сети связи; удовлетворить потребности по предоставлению полного спектра услуг в сигналах синхронизации и единого времени для действующих и перспективных потребителей; предоставить возможность поэтапного перехода организации сетей связи от технологий коммутации каналов к пакетно-ориентированным технологиям за счет гибкого подхода к используемым маршрутам и системам передач для распространения сигналов синхронизации и единого времени.
Ключевые слова: Телекоммуникационная система, тактовая сетевая синхронизация, система единого времени, частотно-временное обеспечение, шкала времени, комплексная система синхронизации.
Введение
На всех этапах развития телекоммуникационных систем (ТКС) важным условием обеспечения стабильности ее функционирования явля-
ется поддержание синхронизации оборудования связи. Использование современных телекоммуникационных технологий требует применения помимо систем тактовой сетевой синхрониза-
ции также устройств, позволяющих обеспечить передачу сигналов единого времени. Изменения инфраструктуры телекоммуникационных систем, которые вызваны переходом на новые сетевые технологии, поэтапным смещением от технологии коммутации каналов (PDH, SDH) к технологии коммутации пакетов (Ethernet/MPLS/ IP), развитием сотовых систем связи следующих поколений (например, LTE-TDD пятого и шестого поколений), а также постоянно возрастающими требованиями к точности и стабильности сигналов синхронизации и единого времени, влекут за собой изменения к решению задач частотно-временного обеспечения (ЧВО). Особые требования к качеству передачи сигналов синхронизации и единого времени возникают в системах технологического назначения, к которым предъявляются повышенные требования обеспечения надежности, живучести и устойчивости функционирования [1-3]. Следует отметить, что зачастую системы технологического назначения значительно территориально распределены, что затрудняет качественную передачу сигналов синхронизации и единого времени. Отдельные же решения по доставке сигналов синхронизации и единого времени зачастую построены с использованием различных технологий и разнородного оборудования, что значительно затрудняет решение задач по их стыковке и обеспечению требований потребителей. Таким образом, в настоящее время актуальной является задача создания комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения, которая будет включать подсистемы тактовой сетевой синхронизации (ТСС) и системы единого времени (СЕВ). Основной задачей комплексной системы синхронизации и доставки шкалы времени будет являться формирование, хранение, передача и доставка до потребителей сигналов синхронизации и единого времени требуемой
точности и стабильности, что будет способствовать обеспечению устойчивости процесса функционирования всей ТКС.
Формирование комплексной системы синхронизации и доставки шкалы времени позволит
[1-3]:
- обеспечить независимую от сторонних операторов связи инфраструктуру для обеспечения единства тактовой сетевой синхронизации и единого времени, необходимых для корректной работы телекоммуникационного оборудования технологической сети связи;
- удовлетворить потребности по предоставлению полного спектра услуг в сигналах синхронизации и единого времени для действующих и перспективных потребителей;
- предоставить возможность поэтапного перехода организации сетей связи от технологий коммутации каналов к пакетно-ориентированным технологиям за счет гибкого подхода к используемым маршрутам и системам передач для распространения сигналов синхронизации и единого времени.
С учетом проведенного системного анализа существующих в настоящее время средств формирования, хранения, передачи и доставки сигналов синхронизации и единого времени сетевая модель комплексной системы синхронизации и доставки шкалы времени имеет следующий вид (рис. 1).
Согласно представленному рисунку, в качестве эталонных источников сигналов синхронизации и единого времени для комплексной системы синхронизации и доставки шкалы времени используется инфраструктура ГСВЧ. Далее в соответствии с уровнями иерархии комплексной системы синхронизации и доставки шкалы времени производится подключение объединенных источников ТСС и СЕВ. В качестве оборудования ТСС выступает оборудование ПЭГ, ВЗГ, МЗГ и ГСЭ, а в качестве оборудования СЕВ в зависимо-
Государственный первичный эталон единиц времени, частоты и национальной шкалы времени
Государственный вторичный эталон единиц времени, частоты и национальной шкалы времени
«
Государственный вторичный эталон единиц времени, частоты и национальной шкалы времени
Государственный вторичный эталон единиц времени, частоты и национальной шкалы времени
Первичный источник комплексной системы синхронизации и доставки шкалы времени
ТСС+СЕВ
Первичный источник комплексной системы синхронизации и доставки шкалы времени
Первичный источник комплексной системы синхронизации и доставки шкалы времени
ТСС+СЕВ
Цифровая технологическая сеть связи (Подсети РБН, SDH/Подсети Ethemet/MPLS/IP)
ТСС+СЕВ
1
I
Вторичный источник комплексной системы синхронизации и доставки шкалы времени
Вторичный источник комплексной системы синхронизации и доставки шкалы времени
ТСС+СЕВ
ТСС
5ZX
ТСС+СЕВ
Вторичный источник комплексной системы синхронизации и доставки шкалы времени
1 ТСС+СЕВ
Цифровая технологическая сеть связи (Подсети PDH, SDH/Подсети Ethemet/MPLS/IP)
ТСС+СЕВ
Источник комплексной системы синхронизации и доставки шкалы времени
Источник комплексной системы синхронизации и доставки шкалы времени
СЕВ
Источник комплексной системы синхронизации и доставки шкалы времени
СЕВ
Источник комплексной системы синхронизации и доставки шкалы времени
И
и
и
Рис. 1. Сетевая модель комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения
сти от типа используемого протокола передачи меток времени выступают сервера времени соответствующего уровня и узлы, поддерживающие функционирование протоколов.
Средствами доставки сигналов комплексной системы синхронизации и доставки шкалы времени являются [1-3]:
- на уровне первичных и вторичных источников — волоконно-оптические магистральные системы передачи на базе оборудования SDH, DWDM и IP/MPLS;
- дополнительным средством передачи сигналов точного времени является глобальная навигационная спутниковая система (ГНСС) ГЛОНАСС, использование сигналов которой повышает надежность и точность комплексной системы ТСС и СЕВ, а также предоставляет дополнительные сервисы потребителям.
К основным действующим и перспективным потребителям услуг комплексной системы синхронизации и доставки шкалы времени следует отнести [1-3]:
- оборудование технологической сети связи;
- автоматизированные системы управления и обеспечения безопасности;
- автоматизированные рабочие места (АРМ) информационных и информационно-управляющих систем;
- системы электронного документооборота;
- системы часофикации;
- сети сотовой связи стандарта LTE-TDD уровней 5G и 6G;
- оборудование, устанавливаемое в рамках внедрения технологии IoT / IIoT (сенсорные устройства, исполнительные устройства, датчики);
- средства измерений и испытательное оборудование, предназначенное для измерения сетевых параметров (задержки, потери пакетов и пр.);
- системы дистанционной эксплуатации объектов.
Следует отметить, что подсистема СЕВ выступает в качестве потребителя по отношению к подсистеме ТСС, которая обеспечивает первую высокостабильными сигналами синхронизации частоты с целью повышения точности и стабильности параметров сигналов синхронизации времени (фазы) при пропадании эталонных сигналов, и оборудование СЕВ должно подключаться к подсистеме ТСС на всех уровнях.
Учитывая тот факт, что подсистема СЕВ выступает потребителем по отношению к подсистеме ТСС, в первую очередь в технологической сети связи подлежит формированию система ТСС, впоследствии система СЕВ, а конечным этапом корректировка подсистем ТСС и СЕВ исходя из их взаимного функционирования. Таким образом, общий процесс формирования комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения включает следующие этапы:
1. Классификация потребителей сигналов синхронизации и единого времени, которая необходима для определения необходимых требований по точности и стабильности с целью последующего расчета и моделирования сетевой структуры комплексной системы синхронизации и доставки шкалы времени.
2. Формирование сетевой структуры подсистемы тактовой сетевой синхронизации.
3. Формирование сетевой структуры подсистемы единого времени.
4. Наложение сетевой структуры СЕВ на сетевую структуру ТСС.
5. Дополнение подсистемы ТСС необходимыми элементами и маршрутами доставки сигналов синхронизации исходя из результатов наложения сетевых структур.
6. Объединение сформированных подсистем ТСС и СЕВ в комплексную систему синхронизации и доставки шкалы времени.
Формирование сетевой структуры подсистемы тактовой сетевой синхронизации
Ключевой подсистемой комплексной системы синхронизации и доставки шкалы времени является подсистема тактовой сетевой синхронизации. Подсистема ТСС в составе телекоммуникационной системы служит для обеспечения равенства тактовых частот всех нуждающихся в синхронизации цифровых устройств. Рассмотрим основные положения построения сетевой структуры подсистемы ТСС.
Иерархическое построение системы ТСС исключает возможность образования «петель» по синхронизации и требует выполнения следующих правил [1-3]:
- сеть синхронизации первого уровня иерархии должна получать основной и резервный сигналы синхронизации;
- сети синхронизации второго, третьего и последующих уровней иерархии должны использовать для синхронизации сигналы, поступающие от сети более высокого уровня;
- от сетей более низкого уровня не должны передаваться сигналы для синхронизации сетей синхронизации более высокого уровня иерархии;
- для снижения затрат на оборудование рекомендуется к каждому участку сети более низкого уровня подавать два сигнала синхронизации через две разные точки подключения к сетям более высокого уровня иерархии.
Основной источник сигналов синхронизации определяет регион синхронизации. Под регионом синхронизации подразумевается «зона ответственности» ПЭГ на сегменте сети связи, для которой он является основным источником синхросигнала.
В каждом регионе синхронизации должны располагаться [1-3]:
- основной источник сигналов синхронизации;
- один или несколько резервных источников сигналов синхронизации;
- объекты синхронизации;
- средства доставки сигналов синхронизации от источников ко всем объектам.
Передача сигналов синхронизации должно осуществляться посредством централизованной системы управления. В качестве основного источника сигналов синхронизации должен использоваться ПЭГ. Резервными источниками участка сети могут быть ПЭГ другого региона синхронизации и ВЗГ, работающие в режиме удержания. В качестве средств доставки сигналов синхронизации от источников ко всем объектам должны быть системы передачи: ПЦИ, СЦИ, DWDM, синхронный Ethernet, сеть передачи данных, сеть пакетной коммутации [1-3].
При построении подсистемы ТСС ключевую роль играет размещение ПЭГ. К параметрам качества синхронизации, на которые оказывает наибольшее влияние размещение ПЭГ, относятся:
- допустимая величина абсолютных блужданий фазы в цепях синхронизации;
- структурные параметры цепи синхронизации.
Другие параметры не используются в качестве
критериев регламентации установки ПЭГ, так как они оказывают незначительное влияние на размещение ПЭГ. К таким параметрам, в частности, относится изменение интенсивности проскальзываний в результате изменения количества ПЭГ и числа псевдосинхронных участков в цепях соединений [1-3].
При размещении оборудования ПЭГ необходимо учитывать, что для устойчивой синхронизации в соответствии с рекомендацией МСЭ-Т G.823 [4] величина абсолютных блужданий фазы в течение периода времени 1 сутки на входе синхронизации любого оборудования цифровой сети и на любом стыке первичных цифровых потоков не должна превышать 18 мкс. В целом блуждания в
SDH
SyncE
G.811
G.812
G.812
G.813
Рис. 2. Иерархическая структура подсистемы ТСС при применении на сетях связи с коммутацией каналов
цепи синхронизации зависят от величины блужданий, возникающих в результате воздействия окружающей среды на линии передачи, и от величины шумов и скачков фазы на выходах синхронизируемых генераторов. На величину блужданий в цепи передачи сообщений также влияют блуждания, возникающие в результате обработки указателей.
Структурными параметрами цепей синхронизации названы параметры, характеризующие количество СЭ и ВЗГ в цепях прохождения синхросигнала по сети ТСС. Суммарное предельно допустимое количество сетевых элементов СЦИ и ВЗГ ограничено в рекомендациях МСЭ-Т и европейских стандартах, например в рекомендации МСЭ-Т &803 [5], EN 300 462-2-1 [6]. В соответствии с существующими в настоящее время рекомендациями и стандартами в любой цепи синхронизации общее количество СЭ не должно превышать 60, количество ВЗГ не должно превышать 10, а количество СЭ между последовательно синхронизируемыми ВЗГ не должно превышать 20. Если данные неравенства не выполняются, то требуется изменение расположения ПЭГ, изменение линий передачи или установка дополнительного независимого источника сигналов синхронизации (рис. 2, 3) [7-10].
EEC 1
Рис. 3. Иерархическая структура подсистемы ТСС при применении на сетях связи с коммутацией пакетов
Также требуется обеспечить взаимосвязь расположенных рядом регионов синхронизации таким образом, чтобы в случае аварии собственного регионального ПЭГ или аварии в сети связи была возможность получать сигналы синхронизации от ПЭГ другого региона. При этом должны выполняться требования по максимальному количеству сетевых элементов и ВЗГ в цепи синхронизации от ПЭГ одного региона до последнего элемента другого региона.
Рассмотрим варианты построения подсистемы ТСС с использованием различных систем передачи.
Построение подсистемы ТСС на базе систем передачи СЦИ
Рекомендуемая система ТСС, построенная на базе систем передачи СЦИ (МСЭ-Т G.803 [5]), должна соответствовать рис. 4. От сигналов ПЭГ последовательно синхронизируются генераторы сетевых элементов СЦИ и вторичные задающие генераторы (ВЗГ) [1, 5].
В любой цепи синхронизации (от ОИ или РИ по основному или резервному направлению) до наиболее удаленного объекта синхронизации должны выполняться следующие требования:
Рис. 4. Структура цепи синхронизации на базе систем передачи СЦИ
Рис. 5. Структура цепи синхронизации на базе систем передачи СЦИ и ПЦИ
- количество сетевых элементов СЦИ не должно превышать 60;
- количество, последовательно включенных ВЗГ не должно превышать 10;
- количество сетевых элементов СЦИ между ПЭГ и первым ВЗГ и между двумя ВЗГ не должно превышать 20;
- количество сетевых элементов СЦИ, подключенных к последнему ВЗГ, не должно превышать 20.
Построение подсистемы ТСС на базе систем передачи СЦИ и ПЦИ
Рекомендуемая система ТСС, построенная на базе систем передачи СЦИ и ПЦИ (МСЭ-Т G.803 [5]), должна соответствовать рис. 5 [1, 5].
Использование систем ПЦИ для передачи сигналов синхронизации между двумя участками сети, построенных на системах СЦИ, возможно при выполнении следующих требований.
В начале и в конце участка ПЦИ в направлении передачи сигналов синхронизации должны быть установлены ВЗГ. В качестве сигнала синхронизации могут использоваться:
- специальный сигнал 2048 кбит/с с заданной постоянной структурой, не содержащий информации, сформированный в ВЗГ;
- сигнал 2048 кбит/с, предназначенный для передачи абонентской нагрузки, для которого в ВЗГ выполнена функция ресинхронизации.
Недопустимо использование информационных сигналов 2048 кбит/с с выхода системы передачи ПЦИ для последующей передачи по системе СЦИ в качестве синхросигналов без его предварительной ресинхронизации в ВЗГ.
Любая цепь синхронизации должна соответствовать следующим требованиям:
- число элементов СЦИ в цепи не должно превышать 60;
- число ВЗГ в последовательной цепи не должно превышать 10;
- число сетевых элементов СЦИ между ПЭГ и первым ВЗГ и между двумя ВЗГ не должно превышать 20;
- число сетевых элементов СЦИ, подключенных к последнему ВЗГ, не должно превышать 20.
Построение подсистемы ТСС на базе систем передачи синхронного Ethernet
Рекомендуемая система ТСС, построенная на базе систем передачи синхронного Ethernet (Eth) (МСЭ-Т G.803 [5], G.8261 [10]), должна соответствовать рис. 6 [1, 5, 10].
С выходов ПЭГ и ВЗГ на входы Т3 соответствующих сетевых элементов Eth подаются сигналы 2048 кГц. Для передачи сигналов синхронизации между элементами Eth используются потоки Ethernet. Для синхронизации ВЗГ используются сигналы 2048 кГц с выходов Т4
Рис. 6. Структура цепи синхронизации на базе систем передачи синхронного Ethernet
PRC)-И SEC V--M SEC 1-И SSU 1-И SEC V--M SEC J-И SSU ]-M EEC Ь --W EEC
Рис. 7. Структура цепи синхронизации, включающая системы передачи СЦИ и SyncE
соответствующих элементов Eth. В любой цепи синхронизации по рис. 6 должны выполняться следующие требования:
- количество сетевых элементов Eth не должно превышать 60;
- количество последовательно включенных ВЗГ не должно превышать 10;
- количество сетевых элементов Eth между ПЭГ и первым ВЗГ и между двумя ВЗГ не должно превышать 20;
- количество сетевых элементов Eth, подключенных к последнему ВЗГ, не должно превышать 20.
Построение подсистемы ТСС на базе систем передачи СЦИ и синхронного Ethernet
Для телекоммуникационных систем, включающих системы передачи СЦИ и синхронный Ethernet (МСЭ-Т G.803 [5], G.8261 [10]), рекомендуемые структуры приведены на рис. 7 [1, 5, 10].
При использовании сетевой структуры, включающей системы передачи СЦИ и SyncE, должны выполняться следующие требования:
- общее число сетевых элементов не должно превышать 60;
- число ВЗГ в последовательной цепи синхронизации не должно превышать 10;
- количество сетевых элементов любого типа между ПЭГ и первым ВЗГ и между двумя ВЗГ не должно превышать 20;
- количество сетевых элементов любого типа, подключенных к последнему ВЗГ, не должно превышать 20.
Построение подсистемы ТСС на базе систем передачи CWDM/DWDM, обеспечивающих выполнение функций оптической транспортной сети OTN
Рекомендуемые структуры схем синхронизации для сетей, основанных на системах передачи CWDM/DWDM, выполняющих функции оптических транспортных сетей OTN (МСЭ-Т G.803 [5], G.8261 [10], G.8251 [11])), приведены на рис. 8.
С выхода ПЭГ сигнал 2048 кГц поступает на мультиплексор STM-N потоков, который находится в составе оборудования DWDM. После прохождения участка сети (острова) DWDM из STM-N потока выделяется сигнал синхронизации 2048 кГц, который поступает на вход ВЗГ. ВЗГ
Рис. 8. Структура цепи синхронизации на базе систем передачи CWDM/DWDM, обеспечивающих выполнение функций оптической транспортной сети ОТО
s" Ведущий
\ „ пакетный
1 * тактовый
генератор
Ведомый пакетный тактовый генератор
Рис. 9. Передача сигнала синхронизации через сети с коммутацией пакетов
аналогичным образом синхронизирует следующий участок (остров) DWDM.
В структурах синхронизации согласно по рис. 8 необходимо выполнение следующих требований:
- число участков DWDM не должно превышать 10;
- число последовательно включенных ВЗГ не должно превышать 10;
- число элементов СЦИ, подключенных к последнему в цепи синхронизации ВЗГ, не должно превышать 20;
- между первичным эталонным генератором и первым ВЗГ число элементов СЦИ не должно превышать 20;
- суммарное число элементов СЦИ в цепи синхронизации не должно превышать 60,
- между сетевым элементом СЦИ и элементом синхронного Ethernet должен включаться
сетевой элемент гибридного типа, который преобразует сигналы STM-N в сигналы формата Ethernet;
- суммарное число сетевых элементов всех типов, подключенных к последнему ВЗГ, не должно превышать 20;
В структурах OTN согласно рекомендации МСЭ-Т G.8251 предусмотрено, что в «остров» OTN должно входить не более 10 СЭ0Т№ а сумма СЭ0та всех «островов» не должна превышать 100
[1, 5, 10, 11].
Построение подсистемы ТСС для сетей с пакетной коммутацией
Для сетей с пакетной коммутацией (МСЭ-Т G.803 [5], G.8265 [12]) рекомендуемая структура цепей синхронизации должна соответствовать рис. 9. Использование сети пакетной коммутации
для передачи сигналов синхронизации по частоте требует установки:
- ведущего генератора на входе сети, выполняющего преобразование сигналов 2048 кГц в сигналы Ethernet;
- ведомого генератора на выходе сети, выполняющего преобразование сигналов пакетной сети в сигналы 2048 кГц.
Оба генератора должны поддерживать протоколы передачи сигналов по сети с пакетной коммутацией.
Таким образом, на основе рассмотренных подходов предполагается построение подсистемы ТСС в соответствии с необходимыми требованиями потребителей и архитектурой телекоммуникационной системы [1, 5, 12].
Формирование сетевой структуры подсистемы единого времени
Сигналы СЕВ должны соответствовать с заданной точностью национальной шкале координированного времени UTC (Coordinated Universal Time) Российской Федерации. Распределение сигналов единого времени предусмотрено с использованием протоколов NTP и PTP по сети передачи данных с коммутацией пакетов. Данный факт связан с тем, что синхронные методы передачи сигналов СЕВ являются односторонними и подходят для синхронизации частоты. Пакетные же методы могут функционировать как в одностороннем, так и двухстороннем режиме [1, 3, 13].
В настоящее время для передачи сигналов единого времени активно применяется метод двунаправленной передачей времени TWTT (Two way time transfer), который реализован в протоколах NTP/SNTP и РТР.
Отметим, что основной проблемой передачи сигналов СЕВ в сетях с коммутацией пакетов является девиация временной задержки сообщений.
Согласно [13], существует несколько причин девиации временной задержки в сетях связи с коммутацией пакетов:
- случайное изменение задержки, обусловленное задержкой сообщений в очередях;
- низкочастотное изменение задержки согласно времени суток день/ночь;
- систематическое изменение задержки, связанное с промежуточным ее накоплением при передаче сообщений;
- изменения маршрутов доставки сообщений;
- перегрузки в сетях связи.
Общую задержку передачи меток времени в сетях связи с коммутацией пакетов, состоящих из N элементов, можно представить в следующем виде [13]:
N
' 11 _ х 1 /' 11 ' 11 ' 11 ' 11 \
общ / ' ^ расп обр ожид пер / ^ 1=1
где N — число сетевых элементов;
Т — время передачи сообщения по направляющим системам;
Тобр — время, затрачиваемое на чтение заголовков сообщений и вычисление маршрута; Тожид — время ожидания в очереди на передачу сообщения;
Т — время, необходимое для освобождения сообщения из очереди.
Отметим, что девиация временной задержки сообщений в промежуточных узлах сетей связи с коммутацией пакетов определяется в основном девиацией времени ожидания сообщения из очереди на передачу.
Оборудование СЕВ должно подключаться к системе ТСС на всех уровнях. Учитывая применение в основном двух видов протоколов №ГР и РТР для передачи сигналов единого времени, рассмотрим отдельно варианты формирования СЕВ с использованием протокола ЖР и РТР.
Формирование сетевой структуры подсистемы единого времени с использованием протокола NTP
В настоящее время отсутствуют четкие правила, регламенты и нормативные документы назначения слоев и количества серверов времени в случае применения протокола NTP, поэтому предлагается при формировании СЕВ на основе NTP использовать опыт производителей оборудования и операторов связи.
Узел NTP предпочитает иметь доступ к нескольким источникам СЕВ с более низким значением номера слоя (не менее трех), затем он может применить процедуры фильтрации, селекции, кластеризации для выбора сервера с наилучшими параметрами. Таким образом, при построении и настройке СЕВ на основе протокола NTP необходимо стремиться предоставить каждому клиенту три или более источника с более низким значением номера слоя.
Узлы СЕВ на основе протокола NTP могут функционировать в следующих режимах [1-3, 14, 15]:
1) режим функционирования «Клиент/сервер»;
2) симметричный активный/пассивный режим;
3) режим функционирования Broadcast;
4) режим функционирования Multicast;
5) режим функционирования Manycast.
В общем виде выделяется несколько архитектур построения подсистемы СЕВ на основе протокола NTP [1-3, 14, 15]:
- плоская структура одноранговых узлов;
- иерархическая структура;
- звездная структура.
В плоской структуре одноранговые узлы следуют друг за другом с выделением отдельных узлов, настроенных на соединение с внешними более высокоранговыми системами. Цепи узлов становятся длиннее с добавлением каждого нового NTP узла.
В иерархической структуре иерархия узлов NTP совпадает с иерархией узлов СПД. Узлы
ядра, агрегации и доступа имеют отношение клиента и сервера между собой. Иерархическая структура в целом считается более предпочтительной, поскольку она обеспечивает более высокую стабильность и масштабируемость.
В структуре звезды все маршрутизаторы имеют отношения клиента и сервера с несколькими серверами NTP. Выделенные серверы NTP являются центром и обычно являются системами, синхронизированными с внешними источниками времени на основе приемника ГНСС.
Таким образом, можно выделить 4 этапа при построении СЕВ с использованием протокола NTP: определение основного источника сигналов единого времени, формирование сетевой архитектуры, определение режимов работы узлов сети, настройка функций управления и мониторинга подключенных устройств и серверов NTP. В зависимости от конкретных исходных данных, текущей оснащенности участка сети и целей модернизации возможны различные варианты формирования подсистемы СЕВ на основе NTP.
Формирование сетевой структуры подсистемы единого времени с использованием протокола PTP
Архитектура СЕВ на базе протокола РТР должна представлять собой иерархическую структуру и включать в себя в общем случае следующие элементы [16, 17]:
- первичный эталонный генератор шкалы времени (PRTC — Primary Referance Time Clock);
- «Гроссмейстерские часы» (T-GM — Те1есот Grandmaster), выполняющие функцию ведущего источника сигналов единого времени на участке сети;
- «Ординарные часы» (T-TSC — Telecom Time Slave Clock), которые представляют собой ведомые часы;
- «Граничные часы» (Т-ВС — Telecom Boundary Clock), устройства, выполняющие
A B C DE
-► Физический уровень А - Погрешность PRTC
- - -► Пакетный уровень В - Погрешность Т^М
С - Погрешность пакетной сети
D - Погрешность T-TSC
Е - Погрешность конечных сетевых часов
Рис. 10. Сетевая модель системы единого времени на основе протокола РТР
функцию ведомых/ведущих. Данные устройства выступают в качестве сетевой поддержки. Их функцией является определение текущего значения времени и последующая его передача;
- «Прозрачные часы» — (Т-ТС — Telecom Transparent Clock), устройства, измеряющие задержку прохождения сообщения в элементе сети связи и осуществляющие соответствующую корректировку значения времени.
Сетевая модель системы единого времени на основе протокола РТР имеет вид, показанный на рис. 10 [13, 18].
Основная идея построения СЕВ на основе протокола РТР состоит в следующем. Согласно рис. 10, происходит передача сигнала времени от T-GM конечному пользователю. Каждый узел на маршруте передачи (T-BC, T-TC, T-TSC), а также линии передачи вносят свою ошибку времени в общий бюджет доставки. Классификация генераторного оборудования T-BC, T-TC и T-TSC приведена в таблице [19].
Классификация генератора T-BC, T-TC или T-TSC
Класс генератора сетевого элемента Допустимый диапазон постоянной ошибки времени (constant time error), нс
Класс А ±50
Класс В ±20
Класс С ±10
Класс Б —
В зависимости от требований конечного потребителя необходимо таким образом подобрать маршрут доставки сигнала единого времени, чтобы вносимая ошибка времени с учетом числа узлов и характеристик их генераторного оборудования укладывалась в требуемые значения. При проектировании конкретной сети для каждого маршрута передачи сигналов СЕВ должны быть определены эксплуатационные показатели параметров точности шкалы времени в точках А, В, С, Б, Е.
Резервирование СЕВ, построенной на основе протокола РТР, можно осуществить, используя изменение маршрутизации сообщений РТР, при которой вносимая ошибка укладывается в суммарный бюджет доставки сигнала СЕВ до потребителя.
Для каждого используемого маршрута передачи сигнала СЕВ (основного и резервного) должны устанавливаться нормы, определяемые требованиями потребителей к классу точности синхронизации шкалы времени.
Таким образом, перед построением системы СЕВ с использованием протокола РТР необходимо провести расчет с последующим распределением бюджета ошибки исходя из количества сетевых элементов, классов генератора сетевых элементов и маршрутов доставки сигналов единого времени.
Сетевая структура СЕВ соответствует требованиям?
[Да*
Объединение сформированных структур ТСС и СЕВ в комплексную систему синхронизации и доставки шкалы времени
Конец
Рис. 11. Блок-схема методики формирования комплексной системы синхронизации
и доставки шкалы времени
Формирование сетевой структуры комплексной системы синхронизации и доставки шкалы времени
На основании результатов системного анализа различных технологий и способов доставки сигналов синхронизации и единого времени разработана методика формирования комплексной системы синхронизации и доставки шкалы времени, блок-схема которой приведена на рис. 11.
В первом блоке производится анализ исходных данных для построения комплексной системы синхронизации и доставки шкалы времени. В первую очередь производится анализ действующей оснащенности участка проектирования или модернизации. На данном этапе необходимо оценить способность действующих устройств для передачи сигналов синхронизации и единого вре-
мени различной точности и стабильности. Также на данном этапе необходимо оценить требования потребителей с точки зрения доставки сигналов ТСС и СЕВ, произвести классификацию и ранжирование требований, что особенно важно для последующего составления маршрутов доставки сигналов ТСС и СЕВ.
В блоках 2 и 3 на основе подходов, рассмотренных выше, необходимо произвести формирование сетевой структуры подсистемы ТСС. На данном этапе важно предусмотреть расстановку генераторного оборудования и маршрутов доставки сигналов ТСС в соответствии с нормативными документами и требованиями потребителей.
В блоках 4 и 5 необходимо сформировать сетевую структуру подсистемы СЕВ в зависимости от протоколов передачи сигналов СЕВ и требо-
ваний потребителей. Учитывая тот факт, что подсистема СЕВ является потребителем подсистемы ТСС, необходимо учесть возможность перестроения подсистемы ТСС (блок 6) при условии, если требования отдельных потребителей не выполняются. В случае необходимости перестроения подсистемы ТСС необходимо добавить в структуру ТСС отдельное генераторное оборудование, соответствующее по точности и стабильности сигналов синхронизации.
При сформированных сетевых структурах подсистем ТСС и СЕВ, когда требования потребителей выполнены, в блоке 8 производится объединение сетевых структур с формированием комплексной системы синхронизации и доставки шкалы времени. На данном этапе производится также формирование ее централизованной системы управления и системы технической эксплуатации. Производится включение сформированной комплексной системы синхронизации и доставки шкалы времени в состав телекоммуникационной системы как единого блока.
Заключение
В результате проведенного системного анализа существующих в настоящее время средств формирования, хранения, передачи и доставки сигналов синхронизации и единого времени, анализа нормативных документов, регламентирующих решения по построению систем частотно-временного обеспечения, сформирована методика формирования комплексной системы синхронизации и доставки шкалы времени для крупной распределенной системы технологического назначения.
Предложенная методика отличается комплексным подходом к построению систем частотно-временного обеспечения в технологических сетях связи, независимостью от типов применяемого генераторного оборудования и средств доставки сигналов ТСС и СЕВ, а также требований потенциальных потребителей. Предложенная мето-
дика формирования комплексной системы синхронизации и доставки шкалы времени позволит обоснованно подходить к построению средств доставки сигналов ТСС и СЕВ в сложных гетерогенных сетях связи, построенных с применением различных сетевых технологий, учитывая при этом требования существующих и перспективных потребителей, что будет способствовать обеспечению устойчивости процесса функционирования всей ТКС, а также снижению затрат на обеспечение процесса ее функционирования.
Библиографический список
1. Рыжков А. В. Частотно-временное обеспечение в сетях электросвязи: учебное пособие для вузов / А. В. Рыжков. — М.: Горячая линия — Телеком, 2021. — 270 с.
2. Бирюков Н. Л. Обзор направлений исследований МСЭ в области частотно-временного обеспечения современных сетей связи / Н. Л. Бирюков, Н. Р. Триска, Н. Н. Худынцев // Т-Сотт — Телекоммуникации и Транспорт. — 2014. — Т. 8. — № 2. — С. 12-17.
3. Давыдкин П. Н. Тактовая сетевая синхронизация / П. Н. Давыдкин, М. Н. Колтунов, А. В. Рыжков. — М.: Эко-Трендз, 2004. — 205 с.
4. Рекомендация МСЭ-Т 0.823. Контроль дрожания и блуждания в цифровых сетях, основанных на иерархии 2048 Кбит/с (10.03.2000).
5. Рекомендация МСЭ-Т 0.803. Архитектура транспортных сетей, основанная на синхронной цифровой иерархии (СЦИ) (10.03.2000).
6. БТ81 БЫ 300 462-2-1 V1.11 (2002-01). Общие требования для сетей синхронизации; Часть 2-1: Архитектура сети синхронизации, основанная на сетях СЦИ.
7. Рекомендация МСЭ-Т 0.811. Временные характеристики на выходах первичных эталонных задающих генераторов (19.09.1997).
8. Рекомендация МСЭ-Т 0.812. Временные характеристики на выходах задающих генераторов, пригодных для использования в качестве узловых генераторов сетей синхронизации (13.06.2004).
9. Рекомендация МСЭ-Т G.813. Характеристики хронирования ведомых тактовых генераторов аппаратуры СЦИ (SEC) (16.03.2003).
10. Рекомендация МСЭ-Т G.8261/Y.1361. Синхронизация и аспекты синхронизации в пакетных сетях (29.08.2019).
11. Рекомендация МСЭ-Т G.8251. Управление фазовым дрожанием и дрейфом фазы в оптической транспортной сети (ОТС) (29.11.2018).
12. Рекомендация МСЭ-Т G.8265/Y. 1365. Архитектура и требования для доставки значений частот в пакетном режиме (07.10.2010).
13. Мазуренко Д. К. Аспекты построения системы частотно-временной сетевой синхронизации сигналов / Д. К. Мазуренко // T-Comm — Телекоммуникации и Транспорт. — 2017. — Т. 11. — № 8. — С. 4-8.
14. IETF RFC 1305 Network Time Protocol (Version 3) Specification, Implementation and Analysis.
15. IETF RFC 5905 Network Time Protocol Version 4: Protocol and Algorithms Specification.
16. IEEE 1588-2019 (07.11.2019). Standard for A Precision Clock Synchronization Protocol for Networked Measurement and Control Systems.
17. Телегин C. Протокол PTP для синхронизации сетей NGN. Вопросы применения / C. Телегин // Первая миля. — 2009. — № 5-6. — С. 21-23.
18. Рекомендация МСЭ-Т G.8271/Y.1366. Аспекты временной и фазовой синхронизации в сетях с коммутацией пакетов (15.03.2020).
19. Рекомендация МСЭ-Т G.8273.2/Y. 1368.2. Параметры сигналов синхронизации для граничных часов и ведомых часов, предназначенных для использования в сети связи с полной поддержкой синхронизации по времени (29.10.2020).
Дата поступления: 19.06.2023 Решение о публикации: 26.07.2023
Контактная информация:
ОПАРИН Евгений Валерьевич — канд. техн. наук, доц.; OnapuH@mail.ru
The Methodology for the Formation of a Comprehensive System of Synchronization and Delivery of the Time Scale for a Large-Scale Distributed Technological Purpose System
E. V. Oparin
Emperor Alexander I St. Petersburg State Transport University, 9, Moskovsky pr., Saint Petersburg, 190031, Russian Federation
For citation: Oparin E. V. The Methodology for the Formation of a Comprehensive System of Synchronization and Delivery of the Time Scale for a Large Distributed Technological Purpose System // Proceedings of Petersburg Transport University, 2023, vol. 20, iss. 3, pp. 768-784. (In Russian). DOI: 10.20295/1815-588X-2023-3-768-784
Summary
Purpose: To develop scientific and technical solutions for constructing a comprehensive synchronization system and delivery of the time scale, which includes subsystems of network clock synchronization (NCS) and unified time (UT), as a unified timekeeping system addressing the challenges of frequency, time, and phase synchronization in large-scale distributed technological purpose systems. Methods: Research methods are based on the fundamental provisions of the theory of systems and the theory of decision-making. Results: A methodology for the formation of a comprehensive synchronization system and the delivery of a time scale is proposed, which is characterized by an integrated approach to building unified time and frequency systems in the communication networks of the technological segment, the independence of the types of generator
equipment used and the means of delivery of NCS and UT signals, as well as meeting the requirements of potential consumers of frequency and time services. The proposed methodology for the formation of a comprehensive synchronization system and delivery of a time scale will allow to reasonably approach building systems for delivering unified time and frequency signals in complex heterogeneous communication networks. Practical significance: Solutions based on the presented methodology will allow the provision of an infrastructure independent of external communication operators to ensure the unity of network clock synchronization and unified time. This is necessary for the correct operation of telecommunication equipment of the technological communication network. The methodology will also meet the needs for providing a full range of synchronization and unified time signal services to existing and prospective consumers. Additionally, it will enable a gradual transition of the organization of communication networks from channel-swithching to packet-oriented technologies due to a flexible approach to the routes and transmission systems used for the distribution of synchronization signals and unified time.
Keywords: Telecommunication system, network clock synchronization, a unified time system, frequency and time provision, time scale, complex synchronization system.
References
1. Ryzhkov A. V Chastotno-vremennoe obespechenie v setyakh elektrosvyazi: uchebnoe posobie dlya vuzov [Frequency and time support in telecommunication networks: a textbook for universities]. Moscow: Goryachaya liniya — Telekom Publ., 2021, 270 p. (In Russian)
2. Biryukov N. L., Triska N. R., Khudyntsev N. N. Obzor napravleniy issledovaniy MSE v oblasti chastotno-vremennogo obespecheniya sovremennykh setey svyazi [Review of ITU research directions in the field of time-frequency support of modern communication networks]. T-Comm — Telekommunikatsii i Transport [T-Comm — Telecommunications and Transport]. 2014, vol. 8, Iss. 2, pp. 12-17. (In Russian)
3. Davydkin P. N., Koltunov M. N., Ryzhkov A. V Taktovaya setevaya sinkhronizatsiya [Clock network synchronization]. Moscow: Eko-Trendz Publ., 2004, 205 p. (In Russian)
4. RekomendatsiyaMSE-TG.823. Kontrol'drozhaniya i bluzhdaniya v tsifrovykh setyakh, osnovannykh na ierarkhii 2048Kbit/s (10.03.2000) [ITU-T Recommendation G.823. Jitter and Wander Control in Digital Networks Based on the 2048 Kbps Hierarchy (03/10/2000)]. (In Russian)
5. Rekomendatsiya MSE-T G.803. Arkhitektura trans-portnykh setey, osnovannaya na sinkhronnoy tsifrovoy ierarkhii (STsI) (10.03.2000) [ITU-T Recommendation G.803. Transport Network Architecture Based on Synchronous Digital Hierarchy (SDH) (10.03.2000)]. (In Russian)
6. ETSI EN 300 462-2-1 V1.2.1 (2002-01). Obshchie trebovaniya dlya setey sinkhronizatsii; Chast' 2-1: Arkhitektura seti sinkhronizatsii, osnovannaya na setyakh STsI [ETSI EN 300 462-2-1 V1.2.1 (2002-01). General requirements for synchronization networks; Part 2-1: Synchronization network architecture based on SDH networks]. (In Russian)
7. Rekomendatsiya MSE-T G.811. Vremennye kharak-teristiki na vykhodakh pervichnykh etalonnykh zadayushchikh generatorov (19.09.1997) [ITU-T Recommendation G.811. Time characteristics at the outputs of the primary reference generators (19.09.1997)]. (In Russian)
8. Rekomendatsiya MSE-T G.812. Vremennye kharak-teristiki na vykhodakh zadayushchikh generatorov, prigod-nykh dlya ispol'zovaniya v kachestve uzlovykh generatorov setey sinkhronizatsii (13.06.2004) [ITU-T Recommendation G.812. Time characteristics at the outputs of master generators suitable for use as nodal generators of synchronization networks (06.13.2004)]. (In Russian)
9. Rekomendatsiya MSE-T G.813. Kharakteristiki khro-nirovaniya vedomykh taktovykh generatorov apparatury STsI (SEC) (16.03.2003) [ITU-T Recommendation G.813. Timing Characteristics of SDH Equipment Slave Clocks (SEC) (16.03.2003)]. (In Russian)
10. Rekomendatsiya MSE-T G.8261/Y.1361. Sinkhronizatsiya i aspekty sinkhronizatsii v paketnykh setyakh (29.08.2019) [ITU-T Rec. G.8261/Y.1361. Synchronization
and aspects of synchronization in packet networks (29.08.2019)]. (In Russian)
11. Rekomendatsiya MSE-T G.8251. Upravlenie fazovym drozhaniem i dreyfom fazy v opticheskoy transport-noy seti (OTS) (29.11.2018) [ITU-T Recommendation G.8251. Management of phase jitter and phase drift in the optical transport network (OTN) (11.29.2018)]. (In Russian)
12. Rekomendatsiya MSE-T G.8265/Y.1365. Arkhitektura i trebovaniya dlya dostavki znacheniy chastot v paketnom rezhime (07.10.2010) [ITU-T Rec. G.8265/Y.1365. Architecture and requirements for delivering frequency values in batch mode (07.10.2010)]. (In Russian)
13. Mazurenko D. K. Aspekty postroeniya sistemy chas-totno-vremennoy setevoy sinkhronizatsii signalov [Aspects of building a system of frequency-time network synchronization of signals]. T-Comm — Telekommunikatsii i Transport [T-Comm — Telecommunications and Transport]. 2017, vol. 11, Iss. 8, pp. 4-8. (In Russian)
14. IETF RFC 1305 Network Time Protocol (Version 3) Specification, Implementation and Analysis.
15. IETF RFC 5905 Network Time Protocol Version 4: Protocol and Algorithms Specification.
16. IEEE 1588-2019 (07.11.2019). Standard for A Precision Clock Synchronization Protocol for Networked Measurement and Control Systems.
17. Telegin S. Protokol PTP dlya sinkhronizatsii setey NGN. Voprosy primeneniya [PTP protocol for synchronization of NGN networks. Questions of application]. Pervaya milya [First Mile]. 2009, Iss. 5, pp. 21-23. (In Russian)
18. Rekomendatsiya MSE-T G.8271/Y.1366. Aspekty vre-mennoy i fazovoy sinkhronizatsii v setyakh s kommutatsiey paketov (15.03.2020) [ITU-T Rec. G.8271/Y.1366. Aspects of time and phase synchronization in packet-switched networks (03.15.2020)]. (In Russian)
19. Rekomendatsiya MSE-T G.8273.2/Y.1368.2. Para-metry signalov sinkhronizatsii dlya granichnykh chasov i vedomykh chasov, prednaznachennykh dlya ispol'zovaniya v seti svyazi s polnoy podderzhkoy sinkhronizatsii po vremeni (29.10.2020) [ITU-T Rec. G.8273.2/Y 1368.2. Synchronization signal parameters for boundary clocks and slave clocks intended for use in a communication network with full time synchronization support (10.29.2020)]. (In Russian)
Received: June 19, 2023 Accepted: July 26, 2023
Author's information:
Evgeniy V OPARIN — PhD in Engineering, Associate Professor; onapuH@mail.ru
