CC BY
17i-methods
том 12. № 2. 2020 http://intech-spb.com/i-methods/
ВОЕННЫЕ НАУКИ
Усовершенствование функций многоуровневой иерархической кластеризации протокола маршрутизации PNNI с целью повышения устойчивости сети связи
Макаренко Сергей Иванович
д.т. н., доцент,
ведущий научный сотрудник Санкт-Петербургского института информатики и автоматизации Российской академии наук; профессор Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина); г. Санкт-Петербург, Россия, mak-serg@yandex.ru
АННОТАЦИЯ_________________________________________________________
Современные протоколы маршрутизации ориентированы на работу в псевдостатической сети связи. При этом, использование этих же протоколов, без какой-либо их доработки, в телекоммуникационных сетях специального назначения является неэффективным. Это обусловлено тем, что сети специального назначения функционируют в условиях дестабилизирующих воздействий высокой интенсивности, вызывающих процессы нарушения связи и, как следствие, реконфигурации сети. В работе представлен вариант повышения устойчивости сети на основе протокола маршрутизации PNNI за счет усовершенствования функций многоуровневой кластеризации областей маршрутизации в данном протоколе. Повышение устойчивости сети связи на основе протокола PNNI достигается за счет реализации следующих дополнительных функций: определения областей сети, подвергающихся воздействию дестабилизирующих факторов, и изолирование их в отдельных кластерах; проверка внутри и между областями маршрутизации сети выполнения критерия устойчивости связи; использование усовершенствованных функций маршрутизации и сигнализации протокола PNNI, которые обеспечивают повышенную устойчивость связи внутри каждой автономной области маршрутизации. Реализация указанных функций в составе протокола маршрутизации PNNI позволяет обеспечить, с одной стороны, повышение устойчивости сети связи, с другой стороны, обеспечивает снижение требований к объему оперативной памяти, которая необходима для хранения таблиц маршрутизации в больших сетях. Представленные результаты, позволят повысить устойчивость телекоммуникационных сетях специального назначения, в которых функции маршрутизации и установления соединений реализуются за счет протокола PNNI - сетей АТМ, MPLS, IP/MPLS, MPLS TE, ASON/ASTN, OpenFlow и т. д.
КЛЮЧЕВЫЕ СЛОВА: сеть связи; протокол маршрутизации; маршрутизация; протокол; Private Network-to-Network Interface; PNNI; устойчивость сети; устойчивость связи; устойчивость.
Введение
Анализ телекоммуникационных сетей (ТКС) специального назначения (СН), представленный в работах [1-10], показал, что они функционируют в условиях дестабилизирующих воздействий — влияния средств радиоэлектронного подавления (РЭП) и информационно-технических воздействий (ИТВ). При этом используемые в транспортных ТКС СН протоколы маршрутизации ориентированы на псевдостатическую структуру сети и, как показывают теоретические и экспериментальные исследования, представленные в работах [11-14], этим протоколам свойственны длительные процессы восстановления связи при изменении топологии сети, централизация принятия решений о перемаршрутизации потоков трафика, недостаточно проработанные механизмы своевременного обнаружения снижения параметров качества сети при воздействии РЭП и ИТВ. Одним из основных недостатков протоколов маршрутизации является низкая эффективность реакции на изменения топологии сети их математической основы — алгоритмов поиска кратчайших путей. Подавляющая часть широко используемых протоколов маршрутизации (OSPF, IS-IS, IGRP, EIGRP, PNNI и др.) основана на алгоритмах Дейкстры и Беллмана-Форда, которые являются «поглощающими» и по своей математической сути не способны одновременно с поиском кратчайших путей в сети строить множество резервных путей, которые можно использовать в случае изменения топологии.
Направлениям устранения вышеуказанных недостатков существующих протоколов маршрутизации и, соответственно, повышения устойчивости ТКС СН, является более полное использование имеющегося топологического ресурса в сети. Повышение полноты использования этого ресурса может вестись с использованием двух нижеуказанных подходов.
1. Формирование у протоколов маршрутизации дополнительной функциональности — способности одновременно с поиском кратчайших путей находить дополнительные резервные пути. Данные пути предполагается использовать в случае если в результате дестабилизирующих воздействий топология сети изменилась и требуется произвести пересчет кратчайших маршрутов, но без прерывания процессов передачи информационных потоков.
2. Динамическая кластеризация сети на отдельные области маршрутизации. При этом, в отельных кластерах могут изолироваться те сегменты сети, которые подвергаются преднамеренным дестабилизирующим воздействиям, а также применятся усовершенствованные протоколы маршрутизации обеспечивающие повышенную устойчивость.
Первый подход в теоретическом виде формализован в форме метода обеспечения устойчивости телекоммуникационной сети за счет использования ее топологической избыточности в работе автора [15]. В дальнейших работах автора [16, 17] на основе данного метода предложена модификация алгоритмов поиска кратчайших путей Дейкстры и Беллмана-Форда в направлении повышения устойчивости, за счет дополнительного формирования в сети как кратчайших, так и резервных путей. Практическая реализация этих модифицированных алгоритмов для повышения устойчивости сети в составе широко распространенных протоколов маршрутизации OSPF, EIGRP и PNNI, представлены в работах автора [18-20], соответственно. Однако, анализ вариантов применения модифицированных алгоритмов поиска кратчайших путей Дейкстры и Беллмана-Форда [16, 17], в усовершенствованных протоколах маршрутизации OSPF, EIGRP и PNNI [18-20], показал, что эти алгоритмы, обладают следующими основными недостатками:
-модифицированные алгоритмы предъявляют высокие требования к объему памяти, который занимает таблица маршрутизации (ТМ), при этом количество резервных путей геометрически увеличивается с ростом размерности сети (рис. 1);
- модифицированные алгоритмы являются стационарным решением и функционируют в сети независимо от интенсивности и пространственно-структурных параметров дестабилизирующих воздействий.
В связи с указанными недостатками целесообразным является применение модифицированных алгоритмов поиска кратчайших путей не во всей ТКС СН, а в той ее пространственной области, которая подвергается преднамеренному дестабилизирующему воздействию. При этом эти области (кластеры) можно динамически реконфигурировать, как по горизонтали — адаптивно изменяя области применения модифицированных алгоритмов поиска кратчайших путей в соответствии с текущими пространственными параметрами дестабилизирующих воздействий, так и по вертикали — адаптивно изменяя количество уровней иерархии кластеров в соответствии с интенсивностью дестабилизирующих воздействий и ограничениями на объем оперативной памяти маршрутизаторов.
Подход, основанный на кластеризация сети на отдельные области маршрутизации, с учетом локализации областей воздействия дестабилизирующих факторов в отдельных кластерах, в теоретическом виде был впервые предложен в работе автора [21]. Далее, в работе [22] автором был сформирован обобщенный метод кластеризации сети, а также частные методики кластеризации, которые позволят увязать результаты работ [16, 17] в области совершенствования алгоритмов маршрутизации с подходом, основанным на кластеризации ТКС СН. Вместе с тем, полученные в работах [21, 22] теоритические результаты не получили своего развития в виде практической реализации — усовершенствования конкретных протоколов
Рис. 1. Ориентировочные оценки необходимого объема оперативной памяти, необходимой для хранения таблицы маршрутизации (протокол адресации Г?у4, для записи каждого адреса — 4 байта)
маршрутизации, в составе которых предусмотрены функции иерархической кластеризации, например, таких как протокол PNNI (Private Network-to-Network Interface).
Таким образом, цель данной работы — на основе известного теоретического подхода к обеспечению устойчивости ТКС СН за счет иерархической кластеризации ее на области маршрутизации, представленного в авторских работах [21, 22], предложить конкретную реализацию усовершенствованных функций многоуровневой иерархической кластеризации для протокола маршрутизации PNNI с целью повышения устойчивости сети связи на его основе.
В целом, применение иерархической кластеризации сети на отдельные области маршрутизации не является принципиально новым. Кластеризация, как процесс группирования узлов сети в отдельные иерархические множества, называемые автономными областями (кластерами или доменами), традиционно является одним из подходов к решению задач маршрутизации в сетях связи большое размерности. При этом, как правило, в каждой отдельной области применяются свои независимые подходы к маршрутизации потоков трафика. В работах [23-49] представлены различные варианты применения многоуровневой иерархической кластеризации для формирования современных ТКС. Анализ этих работ показал, что в практике эксплуатации ТКС общего пользования (ТКС ОП) в подавляющем большинстве случаев кластеры для маршрутизации назначаются в административном порядке. В случае же применения некоторого научно обоснованного подхода к кластеризации сетей в интересах маршрутизации в них, решение задачи происходит на основе одного из трех подходов [29]:
1) кластеризация узлов, содержащих локальные максимумы интенсивности информационного обмена;
2) разбиение сети на минимальное количество областей маршрутизации с максимальным радиусом каждой области по критерию ограничения суммарной интенсивности информационных потоков внутри — не выше заданного;
3) выделение доминирующих областей с высокой степенью связности узлов.
Таким образом, в основе критериев кластеризации в ТКС ОП лежат, прежде всего, показатели интенсивности информационного обмена. В случае же ТКС СН, в основу критерия кластеризации целесообразно положить показатель устойчивости, а сам критерий кластеризации определить как выполнение требований к устойчивости информационного направления связи (ИНС) [50] внутри каждого отдельного кластера в условиях дестабилизирующих воздействий. Выполнение критерия устойчивости внутри кластеров будет обеспечиваться путем применения модифицированных алгоритмов поиска кратчайших путей [16, 17] и основанных на них усовершенствованных протоколов маршрутизации OSPF, EIGRP и PNNI [18-20].
1. Методика многоуровневой иерархической кластеризации сети на области маршрутизации
Теоритический основой предлагаемого решения для протокола PNNI является методика многоуровневой иерархической кластеризации сети на области маршрутизации, которая была опубликована ранее в работе автора [22]. Далее кратко приводятся основные положения данной методики, в полном виде она изложена в [22].
Методика позволяет в ТКС СН, где проявляются эффекты от дестабилизирующих воздействий, сформировать отдельные иерархическую последовательность кластеров. При этом предполагается следующее [22]:
-для маршрутизации внутри и между кластерами применяется один из модифицированных алгоритмов поиска кратчайших путей [16, 17], которые наряду с кратчайшими путями формируют и дополнительные резервные пути передачи информационных потоков;
- для оценки достигаемого в каждом кластере уровня устойчивости связи используется методика оценивания устойчивости, представленная в работе [50];
- в качестве параметра кластеризации, в соответствии с которым узлы объединяются в кластера используется показатель интенсивности информационного обмена между узлами сети;
- в качестве критерия остановки процесса кластеризации используется комплексный критерий, соответствующий выполнению одного или нескольких условий: достигнуто ограничение на ресурс памяти маршрутизаторов, необходимой для хранения кратчайших и резервных путей, которые формируются модифицированными алгоритмами поиска кратчайших путей; достигнут требуемый уровень устойчивости связи между узлами в кластере и между кластерами.
Для формального представления методики введены следующие обозначения [22]:
А — модифицированный алгоритм поиска кратчайшего пути;
с — кластер;
с'т — ?-ый кластер на Ь-ом уровне иерархии;
СЬ = {сЬ} — множество кластеров Ь-го уровня иерархии;
GЬ — граф, состоящий из кластеров Ь-го уровня, сформированный на к-ой итерации кластеризации узлов;
& — граф на Ь-ом уровне иерархии, образованный из кластеров этого уровня, внутри которых обеспечивается заданный уровень устойчивости;
Ь — счетчик уровня иерархии;
М — преобразование, соответствующее методу оценивания устойчивости ТКС СН в условиях динамического многоуровневого информационного конфликта;
ркг(с) — множество кратчайших путей, образованных для кластера с на к-ой итерации кластеризации узлов за счет использования модифицированного алгоритма поиска кратчайших путей;
ркЬ(с) — множество кратчайших путей, образованных для кластера Ь-го уровня иерархии с на к-ой итерации кластеризации узлов за счет использования модифицированного алгоритма поиска кратчайших путей;
Рге(с) — множество резервных путей, образованных для множества кластеров с на к-ой итерации кластеризации узлов за счет использования модифицированного алгоритма поиска кратчайших путей;
РгеЬ(с) — множество резервных путей, образованных для множества кластеров Ь-го уровня иерархии с на к-ой итерации кластеризации узлов за счет использования модифицированного алгорит-ма поиска кратчайших путей;
Ру ср — показатель устойчивости, средняя вероятность устойчивости ИНС;
Ру ср(с) — показатель устойчивости, обеспечиваемый в кластере с на к-ой итерации кластеризации узлов;
Ру срост — показатель устойчивости, при котором останавливается процесс кластеризации;
Ру сртреб — требуемый уровень показателя устойчивости;
Я — ресурс памяти, который необходим для хранения кратчайших и резервных путей, формируемых модифицированным алгоритмом поиска кратчайших путей;
Язад — заданное ограничение на ресурс памяти необходимый для хранения кратчайших и резервных путей, формируемых модифицированным алгоритмом поиска кратчайших путей;
ss! — счетчик операций слияния кластеров;
и — узел сети;
и'т — 7-ый узел на Ь-ом уровне иерархии;
X — интенсивность обмена трафиком;
р — показатель, по которому ведется объединение вершин в кластеры;
ркЬ — множество отношений между кластерами Ь-го уровня по показателю, который используется для объединения кластеров на к-ой итерации процесса кластеризации.
рЬ — множество отношений между кластерами Ь-го уровня по показателю, который используется для объединения кластеров.
Задача декомпозиции области сети на иерархические кластеры может быть представлена в следующем виде: сформировать из множества вершин и графа сети О, множество связанных кластеров {с} на Ь уровнях иерархии с учетом ограничений на требуемый уровень устойчивости Ру сртреб и на ресурс памяти Я, необходимый для хранения кратчайших и резервных путей, которые формирует модифицированный алгоритм поиска кратчайших путей А.
В данной методике объединение узлов ведется «снизу-вверх», то есть каждый узел помещается в свой отдельный кластер, а затем отдельные кластеры, при выполнении критерия кластеризации, объединяются в слитные кластера. Критерием объединения узлов является максимизация показателя интенсивности информационного обмена X между узлами сети. Критерии остановки процесса кластеризации и формования очередного кластера с (сеОь) на Ь-ом и Ь + 1 уровнях:
1) добавление нового узла в кластер (нового кластера Ь-го уровня в кластер (Ь + 1)-го уровня) ведет к снижению устойчивости кластера ниже требуемого значения: Ру (с) < Ру срост(с);
2) добавление нового узла в кластер (нового кластера Ь-го уровня в кластер (Ь + 1)-го уровня) ведет к невозможности на основе заданного ресурса памяти маршрутизатора обеспечить хранение кратчайших и резервных путей, получаемых за счет использования модифицированного алгоритма поиска кратчайших путей: Я < Язад.
При этом в качестве критического уровня показателя устойчивости, при котором выполняется остановка процесса кластеризации Ру срост, выбирается требуемый уровень устойчивости, который должен быть обеспечен в ТКС СН в соответствии с руководящими документами
р ост = р треб У ср У ср
В качестве максимальной оценки ресурса памяти Я для хранения кратчайших и резервных путей конкретного кластера используется выражение:
R = ^ (П -1)2 [бит]
где — максимальная длинна пути (количество узлов); г^ — объем бит, необходимый для запоминания адреса одного узла; пс — число узлов в кластере.
Схема методики многоуровневой иерархической кластеризации ТКС СН на области маршрутизации представлена на рис. 2. Рассмотрим ее основные этапы.
Рис. 2. Схема методики многоуровневой иерархической кластеризации сети на области маршрутизации [22]
На начальном этапе инициализируются основные исходные данные (блоки 1-6, 11-12). Задается начальный уровень иерархии L = 1. Задается показатель р, по которому будет вестись кластеризация узлов — интенсивность обмена трафиком X. Задается критериальное значение Py срост для остановки процесса кластеризации в случае невыполнения требований по устойчивости связи в кластере Py срост = Py сртреб. Задается критериальное значение Лзад для остановки процесса кластеризации в случае невозможности сохранения кратчайших и резервных путей, найденных модифицированным алгоритмом поиска кратчайших путей A, в памяти маршрутизатора. Каждому узлу U. (i = 1... n) ставится в соответствие собственный кластер c Вводятся изначально пустые множества кластеров L-ых уровней GL = {о}. Вводится счетчик итераций процесса кластеризации, максимальное значение данного счетчика равно общему количеству узлов в ТКС СН k = 1, k = n.
J ' max
В дальнейшем начинается итерационный процесс кластеризации. С учетом того, что при инициализации каждый узел U^ был помещен в отдельный кластер cL, процесс формирования кластеров L-го уровня (на начальном этапе L = 1) состоит в объединении узлов, находящихся в кластерах cL и cjL, с наибольшим значением параметра кластеризации р, (т.е. с максимальным значением X интенсивности информационного обмена между cL и cL) в слитный
. J
кластер cwL (блоки 15-18, 23-25). При этом, перед формированием слитного кластера cwL проверяется объем памяти R, необходимый для хранения кратчайших и резервных путей при использовании модифицированного алгоритма А (блоки 17, 18). Если памяти недостаточно, то связь между кластерами cL и cjL в дальнейшем не рассматривается (блок 22). Если памяти достаточно, то формируется новый слитный кластер cwL, для него пересчитываются отношения смежности pL с другими кластерами L-го уровня, а внутри этого кластера между узлами ТКС СН формируются кратчайшие и резервные пути за счет использования модифицированного алгоритма А (блоки 23-25).
После формирования кратчайших и резервных путей в новом кластере проверяется выполнение критерия обеспечения устойчивости связи (блоки 27, 28). Если критерий выполняется, то кластер cwL добавляется в множество кластеров L-гоуровня GL, где обеспечивается заданный уровень устойчивости связи (блок 29). Если критерий обеспечения устойчивости связи не выполняется, то кластер cwL в множество GL не добавляется. Такая итерационная процедура повторяется для всех кластеров, в которых находятся узлы L-го уровня (переход в блок 13).
После окончания итерационной процедуры слияния кластеров на L-ом уровне полученные кластера, а также те отдельные узлы, которые не участвовали в операциях слияния, преобразуются в узлы следующего L + 1 уровня иерархии (блоки 19 и 20). После чего количество уровней иерархии наращивается (L = L + 1), и инициализируется повторный итерационный процесс кластеризации на новом уровне (блоки 31, 5-7, 13).
Процесс кластеризации завершается, если выполняется одно из следующих условий:
1) количество образованных узлов на текущем уровне иерархии равно 1 или 2 (блок 7), т.е. дальнейшая кластеризация бессмысленна;
2) операции слияния на текущем уровне не проводились (блок 8);
3) по итогам операций слияния на текущем уровне получился единственный кластер (блок 9);
4) по итогам операций слияния были сформированы несколько кластеров и для них всех должен выполняться критерий обеспечения устойчивости Py (CkL) > Py срост (блок 10).
На завершающем этапе методики выдается значение показателя количества уровней иерархии кластеризации Lmax и множества GL (L = 1...L ), которые содержат кластера L-ых уровней, и внутри которых обеспечивается заданный уровень устойчивости связи (блок 31).
2. Анализ функций многоуровневой иерархической кластеризации стандартного протокола маршрутизации PNNI
Протокол PNNI при реализации функций маршрутизации и сигнализации имеет встроенные функции декомпозиции сети на иерархически вложенные автономные области маршрутизации. Достаточно полное описание этой функциональной части протокола PNNI представлено в работе [51].
Механизм автоматического формирования иерархической структуры сети занимает одно из центральных мест в протоколе PNNI, что позволяет ему решать следующие задачи:
- обеспечить эффективную маршрутизацию в сетях связи большой размерности и высокой степени разветвленности топологии;
- обеспечить высокую управляемость и масштабируемость ТКС в условиях ограничений на размер оперативной памяти маршрутизаторов;
- объединить в автономные области маршрутизации узлы с высоким уровнем интенсивности обмена данными.
Механизм формирования иерархической структуры областей маршрутизации сети имеет рекуррентный характер и начинается на самом низком уровне, который соответствует физической инфраструктуре ТКС. Количество уровней зависит от размерности сети, ее топологической разветвленности и объема оперативной памяти в узлах маршрутизации, отводимой для хранения ТМ.
Каждая итерация по формированию иерархической структуры состоит из следующих операций.
1. Узлы объединяются в группы PG (Peer Group — группа узлов), в которых узлы равны по положению. Размерность группы PG определяется размером оперативной памяти в узлах маршрутизации, которая отводится для хранения ТМ.
2. В каждой группе PG определяются узел-лидер PGL (Peer Group Leadership — лидер группы узлов) и граничные узлы BN (Border Node — граничный узел). Лидер группы PGL обладеет полной информацией о структуре сети в пределах своей группы PG и является представителем своей группы на более высоком уровне иерархии.
3. На следующем уровне иерархии каждая группа PG представляется в виде соответствующего узла LGN (Logical Group Node — логический узел группы). Функции узла, который ведет обмен служебной информацией от имени всей LGN, берет на себя узел-лидер PGL в этой LGN.
4. Логические узлы групп LGN на следующем уровне иерархии формируют свои логические связи. В результате формируется следующий, укрупненный уровень структуры исходной сети. Внутри данной структуры снова инициализируется процесс формирования группы PG и выбора узла-лидера (PGL), который представляет эту PG в виде LGN на еще более высоком уровне иерархии.
Механизм формирования иерархической структуры продолжается до тех пор, пока на самом верхнем уровне не будет получена достаточно простая структура сети, обеспечиваю-
щая решение вышеуказанных задач маршрутизации. Пример формирования иерархической структуры областей маршрутизации протоколом PNNI представлен на рис. 3.
При формировании запросов на установление соединений в сети PNNI использует маршрутизацию от источника. Как было показано выше, для этого формируется список транзитных узлов DTL (Designated Transit List — список предварительных транзитных узлов), который используется для организации соединения между узлом-источником и узлом-адресатом.
При поступлении от абонента запроса на установление соединения узел-источник (используя данные ТМ) вычисляет весь предстоящий маршрут соединения и отправляет по нему пакет-запрос на соединение. При этом в пакете содержится так называемый транзитный
Рис. 3. Пример формирования иерархической структуры областей маршрутизации
стандартным протоколом PNNI
список DTL — это последовательный список всех транзитных узлов в предполагаемом соединении. Формирование списка DTL производится на основе алгоритма Дейкстры. Транзитные узлы внутри сети не принимают решения о маршрутизации, а просто передают запрос на установление соединения в соответствии со списком DTL. Если в процессе прохождения пакета по маршруту, заданному списком DTL, обнаруживается, что один из узлов не может установить соединение (например, вследствие недостаточного качества канала связи или недостаточности ресурсов узла), этот пакет возвращается обратно к узлу-источнику DTL с указанием причины отказа в соединении. Тогда узел-источник исключает элемент сети, препятствующий установлению соединения, из рассмотрения, вычисляет новый маршрут соединения, вновь формирует список DTL и посылает пакет-запрос снова. При успешном прохождении пакета-запроса от источника к адресату — узлом-адресатом посылается уведомление источнику об успешном установлении соединения. Далее по установленному соединению передаются пакеты данных. При завершении соединения с любой из сторон посылается специальный пакет завершения соединения. По его прохождении по маршруту, указанному в списке DTL, освобождаются ресурсы маршрутизаторов, ранее выделенные для данного соединения.
Особенностью списка DTL является то, что он не содержит полный маршрут, так как он не содержит подробной информации о маршруте вне одноранговой группы PG, к которой относится узел-источник. Вместо этого, в нем описываются узлы логических групп LGN (они соответствуют каждой группы PG, которые представляются узлами-лидерами PGL), которые необходимо пройти, чтобы достичь узла-адресата. При этом, по мере установления соединения список DTL уточняется. Когда пакет-запрос на установление соединения достигнет LGN (он же PGL), входящего в другую группу PG (фактически это означает переход на более высокий уровень иерархии), данный LGN становится ответственным за вычисление маршрута от источника (нижнего уровня) и формирует маршрут внутри своей группы PG. Естественно, что вычисленный маршрут внутри PG нижнего уровня, должен быть совместим с вычисленным маршрутом более высокого уровня.
Такой подход подразумевает определенную свободу выбора различных алгоритмов для расчета маршрута в каждой группе PG, каждая из которых фактически является автономной областью маршрутизации. Точно так же алгоритм расчета маршрута, используемый для одного уровня иерархии PNNI, может отличаться от алгоритма расчета маршрута, используемого для другого уровня (при условии, что расчет маршрута в любом нижнем уровне должен быть совместим с маршрутом, вычисленным высшими уровнями).
Общая схема формирования иерархической структуры сети при использовании протокола PNNI представлена на рис. 4.
3. Усовершенствование протокола маршрутизации PNNI в части функций иерархической кластеризации сети на области маршрутизации
В рамках совершенствования протокола PNNI предлагается реализовать несколько направлений доработки данного протокола:
- внутри каждой группы PG, которая соответствует автономной области маршрутизации, предлагается использовать усовершенствованные функции маршрутизации и сигнализации протокола PNNI, которые, в свою очередь, основаны на использовании одного из модифицированных алгоритмов поиска кратчайших путей [16, 17];
Рис. 4. Схема формирования иерархической структуры сети при использовании стандартного протокола PNNI
-в качестве дополнительного критерия формирования уровней иерархии и отельных групп PG необходимо учитывать конфигурацию дестабилизирующих воздействий, а также требуемый уровень устойчивости, обеспечиваемый внутри каждой области маршрутизации. Схема функционирования усовершенствованного протокола PNNI представлена на рис. 5. К измененным функциям усовершенствованного протокола PNNI относятся блоки 2-18 (выделены зеленым) на рис. 5.
В блоках 2-3 реализуется декомпозиция ТКС СН на области, в которых выявлено воздействие дестабилизирующих факторов, и области в которых данные воздействия не выявлены. Такая декомпозиция осуществляется на основе методики локализации областей воздействия дестабилизирующих факторов в отдельных кластерах, предложенной в работе автора [21].
Рис. 5. Схема формирования иерархической структуры сети при использовании усовершенствованного протокола PNNI
В блоках 4-5 осуществляется проверка признака воздействия дестабилизирующих факторов для каждой области сети. Если конкретная область подвергается воздействию дестабилизирующих факторов, то для этой области инициализируется формирование иерархий протокола PNNI в режиме обеспечения устойчивости сети (блоки 6-18). Если в этой области дестабилизирующие воздействия отсутствуют, то в этой области инициализируется режим формирования иерархий стандартного протокола PNNI (блоки 19-29).
В блоках 6-18 реализуется формирование иерархий в режиме обеспечения устойчивости. При этом основные отличия от стандартного режима соответствуют блокам 7, 10, 14-19.
В блоке 7 осуществляется формирование отдельных кластеров в соответствии с методикой многоуровневой иерархической кластеризации сети на области маршрутизации.
В блоке 10 осуществляется предварительный расчет кратчайших и резервных маршрутов внутри и между группами PG и оценка памяти, необходимой для хранения ТМ.
В блоке 16 производится оценка устойчивости связи между группами PG в соответствии с методом оценивания устойчивости сети в условиях динамического многоуровневого информационного конфликта.
Блок 17 вводит дополнительный критерий остановки процесса формирования новых уровней иерархии — достижение требуемого уровня устойчивости.
Блок 18 предусматривает, что внутри каждой группы PG, которая соответствует автономной области маршрутизации, будут использоваться усовершенствованные функции маршрутизации и сигнализации протокола PNNI, которые, в свою очередь, основаны на использовании модифицированных алгоритмов поиска кратчайших путей [16, 17].
По окончании рассмотрения всех сформированных в блоке 3 областей сети, в ТКС СН формируются соответствующие сообщения PTSE, которые широковещательно рассылаются по сети и информируют маршрутизаторы ТКС СН о текущей конфигурации уровней иерархии сети и об адресах PGL каждой области маршрутизации (блок 30).
Заключение
Технической новизной разработанных предложений по усовершенствованию протокола маршрутизации PNNI путем внедрения иерархической кластеризации, которая отличает данные предложения от уже известных [23-49, 51], является следующее:
1) при реализации функций формирования иерархической структуры сети в составе усовершенствованного протокола PNNI используется дополнительный критерий формирования уровней иерархии и отельных областей маршрутизации, а именно — критерий обеспечения заданного уровня устойчивости ТКС СН;
2) в усовершенствованный протокол PNNI введены дополнительные операции, которые в процессе формирования иерархической структуры сети выполняют следующие действия:
- определяют области сети, которые подвергаются воздействию дестабилизирующих факторов (РЭП и ИТВ) и формируют в данных областях отличный от стандартного режим иерархической кластеризации, который основан на использовании методик кластеризации ТКС СН на области маршрутизации, представленных в работах [21, 22];
- проверяют внутри и между областями маршрутизации выполнение критерия устойчивости сети, при этом показатель устойчивости определяется в соответствии с методикой оценивания устойчивости ТКС СН, представленной в работе [50];
- используют усовершенствованные функции маршрутизации и сигнализации протокола PNNI, которые основаны на использовании модифицированных алгоритмов поиска кратчайших путей внутри каждой автономной области маршрутизации [16, 17].
Практическая значимость технических предложений по совершенствованию протокола PNNI заключается в том, что они применимы к широком спектру ТКС СН, использующим для маршрутизации трафика стандартный протокол PNNI в составе технологий связи IP/MPLS, MPLS TE, ASON/ASTN, OpenFlow и т.д., что позволит обеспечить требуемый уровень устойчивости ТКС СН.
Данная работа продолжает цикл работ автора [18-20] по доработке существующих сетевых протоколов маршрутизации, с целью повысить устойчивость их функционирования в условиях дестабилизирующих воздействий на сеть, в частности, воздействия средств РЭП и ИТВ.
Литература
1. Буренин А. Н., Легков К. Е. Современные инфокоммуникационные системы и сети специального назначения. Основы построения управления. Монография. М.: Медиа Паблишер, 2015. 348 с.
2. Будко П.А., Рисман О. В.Многоуровневый синтез информационно-телекоммуникационых систем. Математические модели и методы оптимизации: Монография. СПб.: ВАС, 2011. 476 с.
3. Будко П. А., Чихачев А. В., БариновМ. А., Винограденко А.М. Принципы организации и планирования сильносвязной телекоммуникационной среды сил специального назначения // T-Comm: Телекоммуникации и транспорт. 2013. Т. 7. № 6. С. 8-12.
4. Будко П. А., Чихачев А. В., Баринов М. А., Винограденко А.М. Основные направления организации и планирования телекоммуникационной среды сил специального назначения // Наукоемкие технологии в космических исследованиях Земли. 2013. Т. 5. № 4. С. 18-23.
5. Макаренко С. И. Описательная модель сети связи специального назначения // Системы управления, связи и безопасности. 2017. № 2. С. 113-164. DOI: 10.24411/2410-9916-2017-10205.
6. Макаренко С. И. Перспективы и проблемные вопросы развития сетей связи специального назначения // Системы управления, связи и безопасности. 2017. № 2. С. 18-68. DOI: 10.24411/24109916-2017-10202.
7. Шнепс-Шнеппе М. А. От IN к IMS. О сетях связи военного назначения // International Journal of Open Information Technologies. 2014. Т. 2. № 1. С. 1-11.
8. Шнепс-Шнеппе М. А., Намиот Д. Е, Цикунов Ю. В. Телекоммуникации для военных нужд: сеть GIG-3 по требованиям кибервойны // International Journal of Open Information Technologies. 2014. Т. 2. № 10. С. 3-13.
9. Соколов Н.А. Системные аспекты построения и развития сетей электросвязи специального назначения // International Journal of Open Information Technologies. 2014. Т. 2. № 9. С. 4-8.
10. Давыдов А. Е., Хейстонен Д. П. Построение модели телекоммуникационной сетью специального назначения // Вопросы радиоэлектроники. 2012. Т. 3. № 2. С. 130-139.
11. Макаренко С. И. Время сходимости протоколов маршрутизации при отказах в сети // Системы управления, связи и безопасности. 2015. № 2. С. 45-98. DOI: 10.24411/2410-9916-2015-10203.
12. Макаренко С. И., Афанасьев О. В., Баранов И. А., Самофалов Д. В. Экспериментальные исследования реакции сети связи и эффектов перемаршрутизации информационных потоков в условиях динамического изменения сигнально-помеховой обстановки // Журнал радиоэлектроники. 2016. № 4. URL: http://jre.cplire.ru/jre/apr16/4/text.pdf (дата обращения: 21.05.2018).
13. Михайлов Р. Л. Модели и алгоритмы маршрутизации в транспортной наземно-космической сети связи военного назначения // Системы управления, связи и безопасности. 2015. № 3. С. 52-82. URL: http://sccs.intelgr.com/archive/2015-03/04-Mikhailov.pdf (дата обращения 5.06.2018).
14. Михайлов Р. Л. Помехозащищенность транспортных сетей связи специального назначения: Монография. Череповец: ЧВВИУРЭ, 2016. 128 с.
15. Макаренко С. И. Метод обеспечения устойчивости телекоммуникационной сети за счет использования ее топологической избыточности // Системы управления, связи и безопасности. 2018. № 3. С. 14-30. DOI: 10.24411/2410-9916-2018-10302.
16. Цветков К.Ю., Макаренко С. И., Михайлов Р. Л. Формирование резервных путей на основе алгоритма Дейкстры в целях повышения устойчивости информационно-телекоммуникационных сетей // Информационно-управляющие системы. 2014. № 2(69). С. 71-78.
17. Макаренко С. И., Квасов М. Н. Модифицированный алгоритм Беллмана-Форда с формированием кратчайших и резервных путей и его применение для повышения устойчивости телекоммуникационных систем // Инфокоммуникационные технологии. 2016. Т. 14. № 3. С. 264-274. DOI: 10.18469/ ikt.2016.14.306.
18. Макаренко С. И. Усовершенствованный протокол маршрутизации OSPF, обеспечивающий повышенную устойчивость сетей связи // Труды учебных заведений связи. 2018. Т. 4. № 2. С. 82-90.
19. Макаренко С. И. Усовершенствованный протокол маршрутизации EIGRP, обеспечивающий повышенную устойчивость сетей связи // Труды учебных заведений связи. 2018. Т. 4. № 3. С. 65-73. DOI: 10.31854/1813-324X-2018-4-3-65-73.
20. Макаренко С. И. Усовершенствование функций маршрутизации и сигнализации протокола PNNI с целью повышения устойчивости сети связи // Труды учебных заведений связи. 2020. Т. 6. № 2. С. 45-59. DOI: 10.31854/1813-324X-2020-6-2-45-59.
21. Макаренко С. И. Локализация областей воздействия дестабилизирующих факторов в сети связи на основе алгоритма иерархической кластеризации Ланса-Вильямса // Радиотехнические и телекоммуникационные системы. 2014. № 4 (16). С. 70-77.
22. Макаренко С. И. Обеспечение устойчивости телекоммуникационной сети за счет ее иерархической кластеризации на области маршрутизации // Труды учебных заведений связи. 2018. Т. 4. № 4. С. 54-67. DOI: 10.31854/1813-324X-2018-4-4-54-67.
23. Patent US7120681. Cluster control in network systems / Frelechoux L., Osborne M., Scotton P., Iliadis I. Publ.: 10.10.2006. 16 p.
24. Новиков С. Н. Классификация методов маршрутизации в мультисервисных сетях связи // Вестник СибГУТИ. 2013. № 1. С. 57-7.
25. Мухизи С., Атея А. А., Мутханна А. С., Киричёк Р. В. Модели сегментации и кластеризации ресурсов в программно-конфигурируемых сетях // Электросвязь. 2019. № 4. С. 26-31.
26. Rosenberg E. Hierarchical PNNI addressing by recursive partitioning // Proc. of the IEEE Pacific Rim Conference on Communications, Computers and signal Processing (Victoria, Canada, 24-26 Aug. 2005). IEEE, 2005. Pp. 113-116. DOI: 10.1109 / PACRIM.2005.1517243
27. Буров А. А., Киселев А. А., Новиков С. Н., Сафонов Е.В., Солонская О. И. Маршрутизация и защита информации на сетевом уровне в мультисервисных сетях связи. Новосибирск: СибГУТИ, 2004. 221 с. Деп. в ВИНИТИ 04.11.04, № 1732-В2004.
28. Припачкин Ю. И., Тамм Ю. А. Математическая модель для расчета иерархических сетей // Электросвязь. 2001. № 5. С. 35-38.
29. Давиденко И. Н., Гиренко Д. Н. Способы формирования структуры доменов маршрутизации // Проблеми шформатизацп та управлшня. 2010. № 1 (29). С. 41-44.
30. Левин М. Ш. О комбинаторной кластеризации: обзор литературы, методы, примеры // Информационные процессы. 2015. Т. 15. № 2. С. 215-248.
31. Романов С. В., Прозоров Д. Е., Трубин И. С. Анализ иерархического протокола маршрутизации MANET-сетей // Перспективы науки. 2012. № 4 (31). С. 86-89.
32. Абрамов Е. С., Басан Е. С. Разработка модели защищенной кластерной беспроводной сенсорной сети // Известия ЮФУ Технические науки. 2013. № 12 (149). С. 48-56.
33. Хуссейн О. А., Парамонов А. И., Кучерявый А. Е. Анализ кластеризации D2D-устройств в сетях пятого поколения // Электросвязь. 2018. № 9. С. 32-38.
34. Омётов А. Я., Андреев С. Д., Кучерявый Е. А. Алгоритм кластеризации мобильных станций на основании пространственной и социальной метрик // Информационные технологии и телекоммуникации. 2015. Т. 3. № 3. С. 45-53. URL: http://www.sut.ru/doci/nauka/ieview/3-15.pdf (дата обращения 01.11.2019).
35. Гимадинов Р. Ф., Мутханна А. С., Кучерявый А. Е. Кластеризация в мобильных сетях 5G. Случай частичной мобильности // Информационные технологии и телекоммуникации. 2015. Т. 3. № 2. С. 44-52. URL: http://www.sut.ru/doci/nauka/review/2-15.pdf (дата обращения 01.11.2019).
36. Абакумов П. А., Кучерявый А. Е. Алгоритм кластеризации для мобильных беспроводных сенсорных сетей в трехмерном пространстве // Электросвязь. 2015. № 9. С. 11-14.
37. Жарков С. Н. Стохастическое формирование проактивного множества при кластеризации в мобильных беспроводных сенсорных сетях // T-Comm: Телекоммуникации и транспорт. 2013. Т. 7. № 5. С. 29-34.
38. Жарков С. Н. Повышение времени жизни кластера в мобильной беспроводной сенсорной сети // Теория и техника радиосвязи. 2013. № 2. С. 27-37.
39. Махров С. С. Нейросетевая кластеризация узлов беспроводной сенсорной сети // T-Comm: Телекоммуникации и транспорт. 2014. Т. 8. № 6. С. 31-35.
40. Гринберг Я. Р., Курочкин И. И., Корх А. В. Алгоритм кластеризации элементов сетей передачи данных // Информационные технологии и вычислительные системы. 2012. № 3. С. 18-30.
41. Rosenberg E. The complexity of routing in hierarchical PNNI networks // Optimization and Engineering. 2010. Т. 11. № . 2. Pp. 277-302.
42. Перепелкин Д. А., Цыганов И. Ю. Усовершенствованный алгоритм сегментации структур корпоративных сетей по критерию минимальной стоимости // Вестник Рязанского государственного радиотехнического университета. 2015. № 53. С. 48-57.
43. Koryachko V., Shibanov A., Shibanov V., Saprykin A., Perepelkin D., Fam H. L. Hierarchic GERT networks for simulating systems with checkpoints // Proc. of the 6th Mediterranean Conference on Embedded Computing (MECO) (Bar, Montenegro, 11-15 June 2017). IEEE, 2017. DOI: 10.1109/MEC0.2017.7977233.
44. Patent US6925492 US. Method and apparatus for automatic configuration of a cluster of computers / Shirriff K. W. Publ.: 08.02.2005. 14 p.
45. Lai Y., Lai W. S. A graph-theoretic model of routing hierarchies // Proc. of the International Conference on Advanced Information Networking and Applications Workshops (Bradford, United Kingdom, 26-29 May 2009). IEEE, 2009. Pp. 1118-1123.
46. Lai W. S., Lai Y. Hierarchical routing by PNNI and OSPF/BGP // Proc. of the IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (Victoria, British Columbia, Canada, 23-26 August 2009). IEEE, 2009. С. 951-956.
47. Patent US7453813. Methods for constructing PNNI networks with optimized architecture // Rosenberg E.. Publ.11.18.2008. 5 p.
48. Перепелкин Д. А. Алгоритм формирования оптимальных структур сегментов корпоративных сетей с учетом данных о структуре базовой сети и связности каналов связи // Вестник Рязанского государственного радиотехнического университета. 2014. № 50-1. С. 59-64.
49. Перепелкин Д. А. Цыганов И. Ю. Алгоритм парных переходов в компьютерных сетях на основе метода маршрутизации по подсетям // Вестник Рязанского государственного радиотехнического университета. 2016. № 57. С. 56-62.
50. Михайлов Р. Л., Макаренко С. И. Оценка устойчивости сети связи в условиях воздействия на неё дестабилизирующих факторов // Радиотехнические и телекоммуникационные системы. 2013. № 4. С. 69-79.
51. Private Network—Network Interface. Specification Version 1.1 (Relative to af-pnni-0055.000). New York: ATM Forum, 2002. 522 p. URL: www.broadband-forum.org/download/af-pnni-0055.001.pdf (дата обращения: 30.03.2020).
THE IMPROVED HIERARCHICAL CLUSTERING FUNCTION OF PNNI PROTOCOL FOR HIGH NETWORK STABILITY
SERGEY I. MAKARNKO,
PhD, Docent,
Leading Researcher. Saint Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences; Professor of Information Security Department. Saint Petersburg Electrotechnical University 'LETI'; St. Petersburg, Russia, mak-serg@yandex.ru
ABSTRACT
Modern routing protocols must operate in a pseudo-static telecommunication networks. However, if these routing protocols are used in special-purpose telecommunications networks without any improvement, then they do not operate effectively. This is because special-purpose networks function under intense destabilizing influences that cause communication failures and begin process of network reconfiguration. This article are presented an option to improve network stability based on the PNNI protocol by improved the multi-level clustering of routing areas in the protocol. In order to improve stability of communication networks the three sets of new functions are added in the PNNI protocol. 1) Function to identify areas of the network, which are exposed to destabilizing factors, and then the areas are isolated into separate clusters. 2) Function to verificate the stability criterion within and between routing areas of a network. 3) Function to use advanced routing and signaling functions of the PNNI protocol, which provide increased stability within
each autonomous routing area. The implementation of these functions in the PNNI protocol allows, on the one hand, to increase the stability of a communication network, on the other hand, to reduce the requirements for the amount of RAM that is necessary for storing routing tables in large networks. The results are presented in this article will improve the stability of special-purpose telecommunications networks, where routing and connection functions are implemented with the PNNI protocol, such networks as ATM, MPLS, IP/MPLS, MPLS TE, ASON/ASTN, OpenFlow and others.
Keywords: communication network; routing protocol; Private Network-to-Network Interface; PNNI; network stability; communication stability; stability.
REFERENCES
1. Burenin A. N., Legkov K. E. Sovremennye infokommunikacionnye sistemy isetispecial'nogo naznacheniya. Osnovypostroeniya uprav-leniya. Monografiya [Modern infocommunication systems and special purpose networks. Basics of building management. Monograph]. Moscow: Media Publisher, 2015. 348 p. (In Rus)
2. Budko P A., Risman O. V. Mnogourovnevij sintez informacionno-telekommunikacionnikh sistem. Matematicheskie modelii metody op-timizacii [Multi-Level Synthesis of Information Telecommunication Systems. Mathematical Models and Methods of Optimization. Treatise]. St. Petersburg: Military Academy of the Signal Corps, 2011. 476 p. (In Rus)
3. Budko P. A., Chikhachev A. V., Barinov M. A., Vinogradenko A. M. Principles of the organization and planning of strongly connected telecommunication environment of forces of a special purpose. T-Comm. 2013. Vol. 7. No. 6. Pp. 8-12 (In Rus)
4. Budko P A., Chikhachev A. V., Barinov M. A., Vinogradenko A. M. Main direction of the organization and planning of strongly connected telecommunication environment of forces of a special purpose. H&ESResearch. 2013. Vol. 5. No. 4. Pp. 18-23 (In Rus)
5. Makarenko S. I. Descriptive Model of a Special Purpose Communication Network. Systems of Control, Communication and Security. 2017. No. 2. Pp. 113-164 (In Rus) DOI: 10.24411/2410-9916-2017-10205.
6. Makarenko S. I. Prospects and Problems of Development of Communication Networks of Special Purpose. Systems of Control, Communication and Security. 2017. No. 2. Pp. 18-68. (In Rus) DOI: 10.24411/2410-9916-2017-10202.
7. Shneps-Shneppe M. A. Ot IN k IMS. O setiakh sviazi voennogo naznacheniia [About communication networks for military purposes]. International Journal of Open Information Technologies, 2014. Vol. 2. No. 1. Pp. 1-11 (In Rus)
8. Shneps-Shneppe M. A., Namiot D. E., Tsikunov Iu. V. Telekommunikatsii dlia voennykh nuzhd: set' GIG-3 po trebovaniiam kibervoiny [Telecommunications for military purposes: the network is GIG-3 according to the requirements of cyberwar]. International Journal of Open Information Technologies, 2014. Vol. 2. No. 10. Pp. 3-13 (In Rus)
9. Sokolov N. A. Sistemnye aspekty postroeniia i razvitiia setei elektrosviazi spetsial'nogo naznacheniia [The system aspects of the construction and development of telecommunication networks of special purpose]. International Journal of Open Information Technologies. 2014. Vol. 2. No. 9. Pp. 4-8 (In Rus)
10. Davydov A. E., Heystonen D. P The uses for constructing a model for a special-purpose telecommunication network. Questions of radio-electronics. 2012. Vol. 3. No. 2. Pp. 130-139.
11. Makarenko S. I. Convergence Time of IGP Routing Protocol. Systems of Control, Communication and Security. 2015. No. 2. Pp. 45-98 (In Rus) DOI: 10.24411/2410-9916-2015-10203.
12. Makarenko S. I., Afanasev O. V., Baranov I. A., Samofalov D. V. Experimental analysis of the network reaction and the routing effects under conditions of noise-to-signal ratio dynamic changes. Journal of Radio Electronics. 2014. No. 4. Available at: http://jre.cplire.ru/ jre/apr16/4/text.pdf (date of access 21 May 2018) (In Rus)
13. Mikhailov R. L. Routing models and algorithms of transport terrestrial-cosmic military network. Systems of Control, Communication and Security. 2015. No. 3. Pp. 52-82. Available at: http://sccs.intelgr.com/archive/2015-03/04-Mikhailov.pdf (accessed 5 June 2019) (In Rus)
14. Mikhailov R. L. Pomekhozashchishchennost' transportnykh setei sviazi spetsial'nogo naznacheniia. Monografiia [Noise immunity of transport networks for special purposes. Monograph]. Cherepovets: The Cherepovets higher military engineering school of radio electronics, 2016. 128 p. (In Rus)
15. Makarenko S. I. Stability method of telecommunication network with using topological redundancy. Systems of Control, Communication and Security. 2018. No. 3. Pp. 14-30 (In Rus) DOI: 10.24411/2410-9916-2018-10302.
16. Tsvetcov K. U., Makarenko S. I., Mikhailov R. L. Forming of Reserve Paths Based on Dijkstra's Algorithm in the Aim of the Enhancement of the Stability of Telecommunication Networks. Informatsionno-upravliaiushchiesistemy. Vol. 69. No. 2. 2014. Pp. 71-78 (In Rus)
17. Makarenko S. I., Kvasov M. N. Modified Bellman-Ford Algorithm with Finding the Shortest and Fallback Paths and its Application for Network Stability Improvement. Infokommunikacionnye tehnologii. 2016. Vol. 14. No. 3. Pp. 264-274 (In Rus) DOI: 10.18469/ ikt.2016.14.3.06.
18. Makarenko S. I. The Improved OSPF Protocol for High Network Stability. Proceedings of Telecommunication Universities. 2018. Vol. 4. No. 2. Pp. 82-90 (In Rus)
19. Makarenko S. I. The Improved EIGRP Protocol for High Network Stability. Proceedings of Telecommunication Universities. 2018. Vol. 4. No. 3. Pp. 65-73 (In Rus) DOI: 10.31854/1813-324X-2018-4-3-65-73.
20. Makarenko S. I Improved Routing and Signaling Functions of PNNI Protocol for High Network Stability. Proceedings of Telecommunication Universities. 2020. Vol. 6. No. 2. Pp. 45-59 (In Rus) DOI: 10.31854/1813-324X-2020-6-2-45-59.
21. Makarenko S. I. Area localization of destabilizing factors influence in communication network on the basis of Lance-Williams algorithm of hierarchical clustering. Radio and telecommunication systems. 2014. No. 4. Pp. 70-77. (In Rus)
22. Makarenko S. I. Hierarchical Clustering of Telecommunication Network to the Independent Routing Areas for the Purposes to Ensure Stability. Proceedings of Telecommunication Universities. 2018. Vol. 4. No. 4. Pp. 54-67 (In Rus) DOI: 10.31854/1813-324X-2018-4-4-54-67 (In Rus)
23. Patent US7120681. Cluster control in network systems / Frelechoux L., Osborne M., Scotton P, Iliadis I. Publ.: 10.10.2006. 16 p.
24. Novikov S. N. Klassifikatsiia metodov marshrutizatsii v mul'tiservisnykh setiakh sviazi [Classification of Routing Methods in Multiservice Networks]. VestnikSibGUTI. 2013. No. 1. Pp. 57-67 (In Rus)
25. Muhizi S., Ateya A. A., Muthanna A. S., Kirichek R. V. Models of resource segmentation and clustering in software-defined networks. Elektrosviaz. 2019. No. 4. Pp. 26-31 (In Rus)
26. Rosenberg E. Hierarchical PNNI addressing by recursive partitioning. Proc. of the IEEE Pacific Rim Conference on Communications, Computers and signal Processing (Victoria, Canada, 24-26 Aug. 2005). IEEE, 2005. Pp. 113-116. DOI: 10.1109 / PACRIM.2005.1517243
27. Burov A. A., Kiselev A. A., Novikov S. N., Safonov E. V., Solonskaja O. I. Marshrutizatsiia i zashchita informatsii na setevom urovne v mul'tiservisnykh setiakh sviazi [Routing and Data Protection at the Net Level of Multiservice Communication Networks]. Novosibirsk: Sibirian State University of Telecommunication and Information Sciences, 2004. 221 p. (In Rus)
28. Pripachkin Y. I., Tamm Y. A. Matematicheskaya model dlya rascheta ierarhicheskih setej [Mathematical model for calculating hierarchical networks]. Elektrosviaz. 2001. No. 5. Pp. 35-38 (In Rus)
29. Davidenko I. N., Girenko D. N. Sposoby formirovaniya struktury domenov marshrutizacii [Ways to create a routing domain structure]. Problems of Informatization and Management. 2010. Vol. 29. No. 1. Pp. 41-44 (In Rus)
30. Levin M. Sh. Towards Combinatorial Clustering: literature review, methods, examples. Information processes. 2015. Vol. 15. No. 2. Pp. 215-248 (In Rus)
31. Romanov S. V., Prozorov D. E., Trubin I. S. The Analysis of Hierarchical Routing Protocol of MANET-Networks. Science Prospects. 2012. No. 4(31). Pp. 86-89 (In Rus)
32. Abramov E. S., Basan E. S. Development of a secure cluster-based wireless sensor network model. Izvestiya SFedU. Engineering Sciences. 2013. Vol. 149. No. 12. Pp. 48-56 (In Rus)
33. Hussein O. A., Paramonov A. I., Koucheryavy A. Eu. Analysis of D2D clustering in 5G network. Electrosvyaz. 2018. No. 9. Pp. 32-38 (In Rus)
34. Ometov A. Ya., Andreev S. D., Koucheryavy E. A. Clustering algorithm of the mobile station based on spatial and social metrics. Infor-matsionnye tekhnologiii telekommunikatsii. 2015. Vol. 3. No. 3. Pp. 45-53 (In Rus)
35. Gimadinov R. F, Muthanna A. S., Koucheryavy A. E Clustering in mobile network 5G based on partial mobility. Informatsionnye tekhnologii i telekommunikatsii. 2015. Vol. 3. No. 2. Pp. 44-52 (In Rus)
36. Abakumov P A., Koucheryavy A. E. Clustering algorithm for 3D wireless sensor network. Electrosvyaz. 2015. No. 9. Pp. 11-14 (In Rus)
37. Zharkov S. N. Stochastic generation proactive set clustering in mobile wireless sensor networks. T-Comm. 2013. Vol. 7. No. 5. Pp. 29-34 (In Rus)
38. Zharkov S. N. Increasing the cluster lifetime in mobile sensor network. Radio Communication Theory and Equipment. 2013. No. 2. Pp. 27-37. (In Rus)
39. Mahrov S. S. Neural clustering of wireless sensor network nodes. T-Comm. 2014. Vol. 8. No. 6. Pp. 31-35. (In Rus)
40. Grinberg Ya.R., Kurochkin I. I., Korkh A. V. Algorithm of the telecommunication networks elements clustering. Informatsionnye tekhnologii i vychislitelnye sistemy. 2012. No. 3. Pp. 18-30. (In Rus)
41. Rosenberg E. The complexity of routing in hierarchical PNNI networks. Optimization and Engineering. 2010. Vol. 11. No. 2. Pp. 277-302.
42. Perepelkin D. A., Tsyganov I. Yu. Improved algorithm of stuctures segmentation with minimum cost criterion in corporate networks. Vestnikof Ryazan stateradioengineering university. 2015. No. 53. Pp. 48-57 (In Rus)
43. Koryachko V., Shibanov A., Shibanov V., Saprykin A., Perepelkin D., Fam H. L. Hierarchic GERT networks for simulating systems with checkpoints. Proc. of the 6th Mediterranean Conference on Embedded Computing (MECO) (Bar, Montenegro, 11-15 June 2017). IEEE, 2017. DOI: 10.1109/MEC0.2017.7977233.
44. Patent US6925492 US. Method and apparatus for automatic configuration of a cluster of computers / Shirriff K. W. Publ.: 08.02.2005. 14 p.
45. Lai Y., Lai W. S. A graph-theoretic model of routing hierarchies. Proc. of the International Conference on Advanced Information Networking and Applications Workshops (Bradford, United Kingdom, 26-29 May 2009). IEEE, 2009. Pp. 1118-1123.
46. Lai W. S., Lai Y. Hierarchical routing by PNNI and OSPF/BGP. Proc. of the 2009 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (Victoria, British Columbia, Canada, 23-26 August 2009). IEEE, 2009. Pp. 951-956.
47. Patent US7453813. Methods for constructing PNNI networks with optimized architecture / Rosenberg E. Publ.11.18.2008. 5 p.
48. Perepelkin D. A. The algorithm to form optimal structures of corporate networks segments based on data about structure of core network and communication links connectivity. Vestnik of Ryazan state radioengineering university. 2014. No. 50-1. Pp. 59-64 (In Rus)
49. Perepelkin D. A., Tsyganov I. Yu. Paired transitions algorithm in computer networks based on subnet routing method. Vestnik of Ryazan state radioengineering university. 2016. No. 57. Pp. 56-62. (In Rus)
50. Mikhailov R. L., Makarenko S. I. Estimating Communication Network Stability under the Conditions of Destabilizing Factors Affecting it. Radio and telecommunication systems. 2013. No. 4. Pp. 69-79. (In Rus)
51. Private Network - Network Interface. Specification Version 1.1 (Relative to af-pnni-0055.000). New York, ATM Forum, 2002. 522 p. URL: www.broadband-forum.org/download/af-pnni-0055.001.pdf (date of access 30.03.2020).
