CC BY
31МЕТОДИКА ОБЕСПЕЧЕНИЯ ОТКАЗОУСТОЙЧИВОСТИ В МУЛЬТИСЕРВИСНЫХ СЕТЯХ СВЯЗИ
В. П. Шувалов, И. Ю. Селянина
Сибирский государственный университет телекоммуникаций и информатики,
630102, Новосибирск, Россия
УДК 621.395.7:004
В сетях связи необходимым аспектом эксплуатации является обеспечение отказоустойчивости и качественной передачи данных. Проведен анализ существующих методик обеспечения качества обслуживания QoS. Исследованы алгоритмы маршрутизации, обеспечивающие безотказную работу сети. С использованием двух методик сформулирован алгоритм расчета требуемой полосы пропускания каналов для обеспечения отказоустойчивости сети, в основе которого лежит выравнивание нагрузки путем двухфазной маршрутизации и упорядочение найденных путей по метрике надежности каналов.
Ключевые слова: выравнивание нагрузки, качество обслуживания, QoS, отказоустойчивость в сетях связи.
The provisioning of network fault-tolerance and Quality of Service is significant and important problem. The analysis of approaches for Quality of Service provisioning in telecommunication is carried out. There were investigated routing techniques for fault-tolerance in networks. The article focuses on computing required link bandwidth to design fault-tolerant network. The proposed algorithm is based on two methods: load balancing under two-phase routing and sorting paths depending on linksY availability.
Key words: load balancing, Quality of Service, QoS, network fault-tolerance.
Введение. Одной из важнейших задач, которые должны решаться операторами современных мультисервиснвгх телекоммуникационных сетей, является задача обеспечения определенного уровня качества сетевого обслуживания (quality of service (QoS)). Обычно требования к QoS формулируются при обмене информацией в реальном масштабе времени. К такого рода сетевым службам относятся, например, служба IP-телефонии, служба проведения видеоконференций, а также службы интерактивного удаленного доступа к уникальному оборудованию, такому как центры высокопроизводительных вычислений либо физические установки различного назначения (ускорители, астрофизические обсерватории и др.).
В данном аспекте важным является обеспечение отказоустойчивости сети. Это понятие включает две составляющие: надежность и живучесть. Надежность характеризуется коэффициентом готовности, а живучесть — способностью сети восстановиться после отказов. Для удовлетворения этим требованиям провайдеры должны обеспечить дополнительный резерв пропускной способности каналов, чтобы возникающие отказы не влияли на передачу трафика. Однако нередко этот дополнительный резерв является чрезмерно большим. Иногда использование пропускной способности не превышает 20 %.
Для уменьшения требуемой емкости каналов предлагается использовать методику распределения трафика по нескольким каналам, предложенную Л. Дж. Валиантом.
Основные аспекты обеспечения качества услуг связи. В современных сетях по протоколу IP предоставляются услуги с негарантированным качеством обслуживания. Нормы для показателей качества обслуживания еще разрабатываются и внедряются в зависимости от выбранных классов обслуживания. Значения этих показателей указаны в Рекомендациях МСЭ-Т, например Y.1541, Y.1231.
Длительность задержки при передаче трафика, а также ее вариация определяются, в частности, параметрами готовности элементов сети принимать запрос на обслуживание. Можно выделить четыре фактора, влияющие на коэффициент готовности:
— отказоустойчивость оборудования;
— автоматическое защитное переключение;
— методика и технологическая дисциплина эксплуатации;
— характер трассы и защитные мероприятия.
Современные системы связи используют большое количество элементов, что обусловливает необходимость использования резервирования и обходных маршрутов для повышения коэффициента готовности системы связи в целом.
Сравнительный анализ технологий, обеспечивающих качество обслуживания в IP-сетях, показал, что для разных сетей необходимо использовать разные методы. В настоящее время можно выделить следующие подходы к обеспечению качества услуг в IP-сетях: выделение избыточной полосы пропускания; резервирование ресурсов; выдача приоритетов и профилирование трафика; перенаправление нагрузки; оптимизация маршрутизации в зависимости от QoS; внедрение средств диагностики и управления трафиком.
В качестве наиболее эффективного способа статического резервирования ресурсов для обеспечения отказоустойчивой передачи трафика в сети предлагается использовать двухфазную маршрутизацию с выравниванием нагрузки. При этом не требуется выполнять мониторинг трафика между всеми узлами сети и проводить какие-либо изменения динамическим способом. Достаточно заранее определить, к каким вариантам отказов должна быть устойчива сеть. Это могут быть определенные сценарии отказов каналов или роутеров либо заданное количество случайных отказов.
Выравнивание нагрузки по Валианту в гомогенной сети. Процесс маршрутизации с выравниванием трафика включает две фазы. В первой фазе весь входящий трафик распределяется равномерно по всем остальным узлам независимо от того, для какого узла он предназначен. Во второй фазе распределенный ранее трафик от всех узлов передается своему узлу-получателю.
В условиях гомогенной сети скорость трафика, поступающего на каждый узел, не превышает г, нагрузка равномерно распределяется по всем N узлам, рабочий трафик в каждом канале в первой фазе маршрутизации не превышает г/N .С точки зрения объема передаваемого трафика вторая фаза является повторением первой. Следовательно, полносвязная сеть с пропускной способностью каналов 2r/N может обслужить любой трафик, передаваемый между узлами сети. Очевидно, что измерить трафик, а значит, получить действующие матрицы нагрузки — сложная задача, поэтому операторы проектируют сети, емкость которых в 5 или 10 раз больше требуемой минимальной емкости [1].
Для передачи трафика без перегрузок при возникновении к отказов каждый канал должен иметь пропускную способность, приближенно равную 2г/(N — к). При малых значениях к кривая зависимости 2r/(N — к) очень гладкая (рис. 1). Таким образом, небольшой объем дополнительной резервной емкости достаточно долго обеспечивает отказоустойчивость сети. Например, если каналы в сети с 50 узлами имеют дополнительный резерв (11 %), сеть
и
С
§
£
I
й
«
О
со
8
Л
О
Рис. 1. Зависимость требуемой пропускной способности (ПС) канала от количества отказов узлов в сети с 50 узлами [1]
может быть устойчивой к пяти повреждениям каналов или узлов [1]. Резерв существующих магистральных сетей в несколько раз больше, тем не менее они не могут предоставить таких гарантий.
В работе [1] проанализированы варианты отказов узлов, логических каналов и их комбинации. Однако эффективность метода ограничена условием защиты на нижележащих уровнях.
На практике больший интерес представляет случай, когда узлы имеют разную агрегированную емкость. В данном случае равномерное распределение не является лучшим решением, более целесообразно направлять объем трафика каждому узлу как функцию пропускной способности узла.
Выравнивание балансировки по Валианту в гетерогенной сети. Рассмотрим сеть, состоящую из 10 узлов (рис. 2). Магистральные узлы связаны по принципу “каждый с каждым”. Каждый узел г может инициировать и получать трафик от других магистральных узлов со скоростью не более гг. Исходные данные выбраны случайным образом: для каждого узла N = 1, 2, 3, 4, 5, 6, 7, 8, 9,10 емкость гг = 11,15,16, 22, 24, 33, 46, 61,67, 69 Мбит/с соответственно. Без потери общности узлы упорядочим по убыванию емкостей доступа: Г\ > Г2 > ... > ГN.
Рассмотрим передачу только на логическом уровне, считая, что на физическом уровне каналы полностью защищены от отказов. Необходимо найти полосу пропускания каждого канала, при которой будет обеспечена устойчивость заданного числа отказов каналов. Так, худшим вариантом является отказ восьми каналов, примыкающих к одному узлу. В этом случае узел будет полностью изолирован от передачи трафика.
Каждая сеть задана матрицей метрик каналов. Если в качестве метрик использовать коэффициент готовности канала, то можно резервировать емкость таким образом, чтобы наибольшая доля трафика передавалась по наиболее надежным каналам. Для определения наиболее надежных путей может быть использован алгоритм Шуурбала. Суть алгоритма состоит в нахождении двух непересекающихся путей на неотрицательном взвешенном ориентированном графе, так чтобы оба пути соединяли те же пары вершин и имели минимальную длину [2].
Основная идея заключается в использовании алгоритма Дейкстры для нахождения одного пути, изменении весов по дугам графа и повторном использовании алгоритма Дейкстры.
Рис. 2. Иерархическая сеть с N магистральными узлами
Если повторять шаги алгоритма, то будут получены все возможные непересекающиеся пути графа. В полносвязном графе с N вершинами будет найдено N — 1 непересекающихся путей, упорядоченных по весу. Тем самым решается вопрос маршрутизации с учетом надежности. В совокупности с выравниванием нагрузки по всем узлам при небольшом увеличении емкости каналов это обеспечивает отказоустойчивость.
Алгоритм определения емкости каналов в отказоустойчивой сети. В основе разрабатываемого алгоритма лежит методика выравнивания нагрузки по Валианту [3] и нахождения непересекающихся путей по алгоритму Шуурбала [2]. В гетерогенных сетях трафик передается между узлами на основе информации о емкости узлов сети. Для расчета коэффициентов распределения трафика по каналам использована формула из работы [4]
аі
Я- 2Гі
Гк
Я — 2гк
(1)
где гг — емкость сети доступа, которую обслуживает магистральный узел г (г Е (1, N), к = г); Я = ^2 гг — общая емкость трафика, входящего в магистральную сеть или покидающего ее
через ее узлы; при этом аі = 1.
і=1
В первой фазе по каналу (і, і) узел і передает часть азгі распределенного на узел і трафика. Во второй фазе узел і передает узлу і долю трафика аіГз, полученную от других узлов в предыдущей фазе. Таким образом, в соответствии с [4-6] максимальный объем трафика между узлом і и узлом і в первой и второй фазах равен
а^ г і + аіТі.
(2)
ід з і 1 і з
Здесь сіз — пропускная способность канала (і,і).
Узел і распределяет трафик по всем п каналам, в том числе себе, пропорционально коэффициентам аі. При отказе канала (і,/), соединяющего узлы і и /, трафик, ранее передаваемый на узел /, должен быть перераспределен по всем другим доступным каналам.
г
Таким образом, при отказе ребра (г, f) вп (г, f) доли перераспределяемого трафика на узел п равны отношению доли рабочего трафика к разности между общей суммой долей и суммой долей узлов, с которыми узел-источник связывали отказавшие ребра:
вШ’ ) =„ "V ■ (3)
2^ап — 2^ а’ п ’
Здесь г — узел-источник; (г^) — отказавшее ребро; f — узел, с которым узел г не имеет связи; п — количество узлов, с которыми узел г имеет работоспособные каналы; ап — доля рабочего трафика, направляемого к узлу п.
Таким образом, в каждом канале передается доля общего рабочего трафика от узла-источника, а также доля восстанавливаемого трафика отказавшего ребра. Аналогичные рассуждения проводятся при отказе нескольких ребер. Таким образом, пропускная способность канала (г,]) при отказе канала (г, f) равна
Здесь сг^ — исходная пропускная способность канала (г,]), рассчитанная по формуле (2); в(г’’) — доля восстанавливаемого трафика к узлу ] при отказе канала (г, f); а’гг — трафик, передаваемый узлу f от узла г.
Таким образом, при заданных сценариях отказов каналов можно рассчитать требуемую пропускную способность каждого соединения, которая обеспечит заданную отказоустойчивость. Данная методика была реализована в качестве программы, производящей расчеты емкостей каналов по описанным формулам в зависимости от задаваемых отказов. Алгоритм приведен ниже.
1. Рассчитать матрицу передачи трафика Т с учетом коэффициентов распределения нагрузки аг, зависящих от емкостей обслуживаемых сетей доступа. Элемент равен первому слагаемому в выражении (2).
2. Рассчитать матрицу пропускной способности каналов С, используя выражение (2).
3. Проанализировать матрицу связности А. Если а^ = 1, то канал между узлами г и ] исправен. В противном случае (при а^ = 0) fk = ] для всех к Е (1,N), тогда необходимо пересчитать коэффициенты распределения трафика по доступным каналам вП’ ’ по формуле (3).
4. Пересчитать матрицу передачи трафика Т, в которой элемент равен второму слагаемому в выражении (4).
5. Рассчитать матрицу пропускной способности каналов С, в которой элемент с^ определяется из выражения (4).
Далее, для того чтобы определить требуемую полосу пропускания каждого канала с учетом резервирования при любых случайных отказах, необходимо найти максимальные значения во всех полученных матрицах С'.
Результаты моделирования. В качестве примера проведен расчет требуемой полосы пропускания для обеспечения устойчивости сети к отказам наименее надежных каналов. Ограничимся условием доступности наиболее важного узла. Важность узла может быть определена тем, что он обслуживает наибольшее количество пользователей или соединен с дата-центром. Для этого с помощью алгоритма Шуурбала ранжируем пути между наиболее значимым узлом и всеми остальными на основе коэффициента готовности.
Коэффициент готовности каналов
Номер узла 1 2 3 4 5 6 7 8 9 10
1 1 0,99999 0,999 0,9999 0,99999 0,99999 0,999 0,99999 0,99999 0,9999
2 0,99999 1 0,9999 0,99999 0,999 0,99999 0,99999 0,9999 0,999 0,9999
3 0,999 0,9999 1 0,99999 0,99999 0,9999 0,999 0,999 0,99999 0,99999
4 0,9999 0,99999 0,99999 1 0,99999 0,99999 0,99999 0,99999 0,9999 0,9999
5 0,99999 0,999 0,99999 0,99999 1 0,999 0,9999 0,9999 0,9999 0,999
6 0,99999 0,99999 0,9999 0,99999 0,999 1 0,99999 0,9999 0,9999 0,9999
7 0,999 0,99999 0,999 0,99999 0,9999 0,99999 1 0,999 0,9999 0,99999
8 0,99999 0,9999 0,999 0,99999 0,9999 0,9999 0,999 1 0,999 0,99999
9 0,99999 0,999 0,99999 0,9999 0,9999 0,9999 0,9999 0,999 1 0,99999
10 0,9999 0,9999 0,99999 0,9999 0,999 0,9999 0,99999 0,99999 0,99999 1
В таблице приведены значения коэффициента готовности каналов, заданные случайным образом. В ячейке на пересечении г-й строки и ]-го столбца приведено значение коэффициента готовности канала, соединяющего узлы г и ].
В качестве наиболее значимого узла принимается узел с наибольшей пропускной способностью, т. е. узел 10. Необходимо найти все пути от каждой другой вершины до вершины 10 и смоделировать ситуацию отказа каналов с наименьшим коэффициентом готовности. Таким образом, в результате работы модифицированного алгоритма Шуурбала найдено два пути с максимальным весом:
— из вершины 2 путь 2-9-10;
— из вершины 6 путь 6-5-10.
С учетом отказов соответствующих четырех каналов пропускная способность остальных каналов увеличивается не более чем на 15%. При этом наиболее значительный рост наблюдается для канала (5,9): приблизительно 39%. Среднее увеличение полосы пропускания по всем каналам (г,]) для всех г = ] составляет 11,6%.
Также необходимо рассмотреть вариант отказа всех каналов, имеющих наименьший коэффициент готовности, равный 0,999. Таким образом, можно зарезервировать пропускную способность каналов, так чтобы при любых отказах этих ненадежных каналов сеть была работоспособной. В этом случае необходимо рассмотреть отказы каналов: (1,3); (1,7); (2,5); (2,9); (3,7); (3,8); (5,6); (5,10); (7,8); (8,9). Следует отметить, что в данной работе все каналы являются двунаправленными, значит, отказ канала (1,2) означает отказ (2,1) и так далее для всех остальных.
В рассматриваемом случае наибольший прирост составляет 52,6% для канала (5,8), что обусловлено одновременным отказом трех каналов, примыкающих к узлу 5, и трех каналов, примыкающих к узлу 8. По той же причине требуемая полоса пропускания каналов, примыкающих к узлам 3 и 7, увеличилась в среднем на 35 %. При этом увеличение требуемой полосы пропускания каналов в среднем составило приблизительно 18,5 %.
При равномерном распределении трафика с одинаковыми коэффициентами независимо от емкости узлов получено, что в среднем пропускная способность каналов увеличилась на 19,3%. Это на один пункт больше по сравнению с описанным выше вариантом, при котором коэффициенты распределения трафика не являются равными и зависят от емкости обслуживаемых сетей доступа.
Таким образом, отказы 10 каналов можно рассматривать как отказ одного узла, в худшем случае имеющего наибольшую емкость. Тогда согласно [1] отношение дополнительно требуемой емкости должно быть равно отношению к/Н, где к — количество отказов;
N — количество узлов в сети. Для гетерогенной сети это отношение эквивалентно отноше-
При отказе узла, обслуживающего сеть доступа с наибольшей емкостью, доля дополнительно требуемой полосы пропускания каналов равна 69 • 100 %/364 = 19 %, что согласуется с результатами, полученными как при выравнивании, учитывающем емкости сетей доступа, так и при равномерном выравнивании. В гомогенной сети для обеспечения отказоустойчивости потребовалось бы увеличить полосу пропускания всех каналов на 19 %. В гетерогенной сети вследствие различной емкости каналов отказы могут оказывать различное влияние на другие каналы. В этом случае можно анализировать только среднее увеличение требуемой полосы пропускания по всем каналам.
При определенных ограничениях сеть с такой полосой пропускания каналов может быть устойчивой не только к единичным отказам, но и к одновременным отказам двух и даже трех каналов. Данное положение подтверждают результаты моделирования с помощью разработанной программы. Проблема обобщения результатов на любые сети требует проведения дополнительных исследований.
В рассматриваемой сети с 10 узлами сумма емкостей узлов 8, 9, 10 равна 61 + 67 + 69 = 197 > К/2 = 182. Таким образом, визуально сеть можно разбить на две подсети: (7,8,9,10) и
(1.2.3.4.5.6.7). Все узлы связаны по принципу “каждый с каждым”. Узел 7 является пограничным. Экспериментальным путем установлено, что сеть может быть устойчива к вариантам двойных отказов каналов двух типов:
1) в подсети (1,2,3,4,5,6,7) можно допустить два любых сбоя несмежных каналов;
2) можно одновременно допустить один сбой в подсети (7,8,9,10) и один сбой в подсети
(1.2.3.4.5.6.7), так чтобы отказавшие каналы не были смежными для одного узла.
Основным ограничением для всех указанных вариантов является строгая надежность
каналов, соединяющих узлы с наибольшей емкостью (8,9,10) со всеми остальными узлами. Таким образом, при заданных ограничениях может быть допущено 168 вариантов одновременных отказов двух каналов.
Заключение. Помимо таких параметров, как потери пакетов, задержка пакетов, вариация задержки, составляющими качества являются параметры надежности и живучести сети. При анализе источников и причин возникающих сбоев в волоконно-оптических системах передачи установлено, что наиболее ненадежными элементами являются каналы связи. Следовательно, необходимо решить вопрос резервирования, чтобы впоследствии минимизировать затраты на эксплуатацию и восстановление, а также гарантировать качество обслуживания, что позволит обеспечить конкурентное преимущество.
Анализ методов проектирования сетей с выравниванием трафика показал, что использование равномерного распределения нагрузки по всем каналам и двухфазной маршрутизации в гомогенной сети с N узлами обеспечивает устойчивость к к произвольным отказам каналов или узлов при дополнительной пропускной способности каждого канала k/N [1].
Алгоритм, сформулированный на основе модифицированного метода Шуурбала и метода выравнивания нагрузки, предложенного Л. Дж. Валиантом, позволяет зарезервировать требуемую полосу пропускания каналов с учетом надежности и агрегированной емкости узлов. С помощью программ, реализующих данные алгоритмы, проведено моделирование отказов в полносвязной гетерогенной сети с 10 узлами.
Расчетные данные проанализированы на предмет расширения требуемой полосы пропускания по сравнению с резервированием без обеспечения отказоустойчивости. Например,
одновременные отказы 10 наименее надежных каналов могут быть идентифицированы как отказ одного узла, в худшем случае имеющего наибольшую емкость. Тогда для гетерогенной сети отношение дополнительно требуемой пропускной способности каналов должно быть ( к \
равно отношению I ^ ^ I /R, где ri — емкость узла i; R — общая емкость всех узлов [1].
В приведенном примере дополнительный резерв требуемой полосы пропускания составляет 19%. При распределении нагрузки с учетом обслуживаемых узлами сетей доступа необходимый резерв составляет лишь 18,5% при равномерном распределении трафика — 19,5 %, в то время как в настоящее время нередко резерв полосы пропускания каналов сети настолько большой, что загрузка каналов не превышает 20%.
При одиночных отказах ненадежных каналов среднее увеличение полосы пропускания составляет 14,5 %. При этом обеспечивается устойчивость не только к одиночным отказам, но и к одновременным отказам двух или трех каналов. С учетом накладываемых ограничений возможно 168 вариантов отказов двух случайных каналов. Аналогичные рассуждения могут быть применены для обеспечения отказоустойчивости к одновременным отказам трех, четырех и более каналов.
Список литературы
1. Zhang-Shen R., McKeown N. Designing a fault-tolerant network using valiant load-balancing // Conf. publ. the 27th conf. on computer communications. S.l.: IEEE INFOCOM. 2008. P. 2360-2368.
2. Suurballe’s algorithm. [Wikipedia, the free encyclopedia]. [Электрон. ресурс]. Режим доступа: http://en.wikipedia.org /wiki/Suurballe %27s_algorithm.
3. Valiant L. G., Brebner G. J. Universal schemes for parallel communication // STOC’81: Proc. of the 13th annual ACM symp. on theory of computing, Milwaukee (USA), 1981. N. Y.: ACM Press, 1981. P. 263-277.
4. Zhang-Shen R., McKeown N. Guaranteeing quality of service to peering traffic // Conf. publ. the 27th conf. on computer communications, Phoenix (USA), 13-18 Apr. 2008. S.l.: IEEE INFOCOM. 2008. P. 1472-1480.
5. Zhang-Shen R., McKeown N. Designing a predictable Internet backbone network with Valiant load-balancing // Proc. of the 13th Intern. conf. on quality of service. Berlin; Heidelberg: Springer-Verlag, 2005. P. 178-192.
6. Kodialam М., Lakshman T. V., Orlin J. B., Sudipta Sengupta. Preconfiguring IP-over-optical networks to handle router failures and unpredictable traffic // IEEE J. Select. Areas Commun. Special issue on traffic engineering for multi-layer networks. 2007. V. 25, iss. 5. P. 934-948.
Шувалов Вячеслав Петрович — д-р техн. наук, проф., зав. кафедрой Сибирского государственного университета телекоммуникаций и информатики; e-mail: shvp04@mail.ru; Селянина Ирина Юрьевна — асп. Сибирского государственного университета телекоммуникаций и информатики; e-mail: irrina87@bk.ru
Дата поступления — 14.03.12 г.
