CC BY
10
Ьо1: 10.36724/2409-5419-2023-15-5-39-56
МЕТОДЫ ОЦЕНКИ ВРЕМЕНИ РАСПРОСТРАНЕНИЯ ШИРОКОВЕЩАТЕЛЬНЫХ СООБЩЕНИЙ В СЕТЯХ SPACEFIBRE
В УСЛОВИЯХ СБОЕВ И ОТКАЗОВ С РАЗЛИЧНЫМИ ВАРИАНТАМИ ПРОСТРАНСТВЕННОГО РЕЗЕРВИРОВАНИЯ
СУВОРОВА
Елена Александровна1
ЧУМАКОВА
Надежда Юрьевна2
Сведения об авторах:
1 к.т.н., зав. лабораторией "Систем и сетей-на-кристалле", доцент кафедры аэрокосмических компьютерных и программных систем, инженер центра аэрокосмических исследований и разработок, Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения", г Санкт-Петербург, Россия, [email protected]
АННОТАЦИЯ
Введение: гарантированность и время распространения широковещательных сообщений являются важными характеристиками для вычислительных сетей на базе стандарта БрасеР^ге. Для парирования сбоев и отказов в этих сетях могут использоваться различные механизмы структурной избыточности, которые влияют на время распространения широковещательных сообщений. Вследствие особенностей правил распространения широковещательных сообщений в сетях БрасеРЬге оценка их характеристик вручную является очень проблематичной, возможны ошибки из-за того, что не все факторы будут учтены. Поэтому возникает необходимость в разработке автоматизированных методов оценки характеристик. Цель исследования: целью исследования является разработка методов оценки характеристик передачи широковещательных сообщений в сетях БрасеР^ге. Методы: разработанные методы и алгоритмы основаны на элементах теории графов (поиск кратчайших путей), на теории временных автоматов, сетей временных автоматов. Разработан подход к формированию временных автоматов и сети на базе временных автоматов для оценки времени передачи широковещательных сообщений, отличающийся от известных методов с возможностью динамической реконфигурации. Результаты: использование разработанных методов позволяет выполнять оценку характеристик распространения широковещательных сообщений в условиях статического и динамического изменения структуры сети из-за действия сбоев и отказов. Полученные данные могут быть использованы при выборе схем структурного резервирования для сети и позволяют существенно упростить процесс формирования параметров конфигурации для сетевых устройств. Практическая значимость: предложенный метод позволил выявить условия, при которых время распространения широковещательных сообщений в условиях наличия сбоев и восстановления после сбоев оказывается существенно выше, чем получаемое при анализе без учета возможности динамического изменения структуры сети. Обсуждение: аналогов предложенного метода оценки характеристик распространения широковещательных сообщений для сетей БрасеРЬге не существует
2 ассистент кафедры аэрокосмических компьютерных и программных систем, инженер центра аэрокосмических исследований и разработок, Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения", г. Санкт-Петербург, Россия, [email protected]
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, "Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга".
КЛЮЧЕВЫЕ СЛОВА: SpaceFibre, широковещательные сообщения, динамическая реконфигурация, структурная избыточность, временные автоматы.
Для цитирования: Суворова Е.А., Чумакова Н.Ю. Методы оценки времени распространения широковещательных сообщений в сетях Spacefibre в условиях сбоев и отказов с различными вариантами пространственного резервирования // Наукоемкие технологии в космических исследованиях Земли. 2023. Т. 15. № 5. С. 39-56. doi: 10.36724/2409-5419-2023-15-5-39-56
Введение
В большинстве локальных вычислительных сетей (ЛВС) требуются механизмы парирования сбоев и отказов. В стандарте SpaceFibre [1] специфицированы методы парирования сбоев на уровне звена передачи данных, но не специфицированы конкретные механизмы парирования отказов, а также сбоев, происходящих за пределами звена передачи данных, способы пространственного резервирования. В современных ЛВС используются различные способы пространственного резервирования. Могут использоваться разные схемы подключения резервных компонентов, правила формирования графа связей (структуры) сети.
При использовании различных способов пространственного резервирования достижимые характеристики сети, такие, как количество используемого дополнительного оборудования, дополнительное энергопотребление, время восстановления штатной работы, а также, характеристики живучести сети могут очень существенно различаться. Ни один из существующих способов нельзя считать самым лучшим для всех сетей. Разработчик выбирает наиболее подходящий способ в соответствии с решаемыми в системе задачами и допустимыми накладными расходами.
При выборе способа пространственного резервирования важную роль играют характеристики передачи различных типов данных в условиях отказов и сбоев различной кратности. В частности, очень существенными для многих применений могут быть характеристики передачи широковещательных сообщений (Broadcast), так как они используются для передачи особенно существенной информации. В данной статье мы выполняем оценку зависимости времени распространения широковещательного сообщения от выбранной схемы пространственного резервирования в условиях отказов и сбоев в сети.
Если в сети возникает отказ, то ее структура и пути распространения в ней широковещательного сообщения изменяются на все последующее время эксплуатации сети или до очередного ремонта (если система является ремонтопригодной). Если в сети возникает сбой, то ее структура и пути распространения широковещательного сообщения изменяются на период времени действия сбоя, далее, при восстановлении после сбоя, они могут вновь измениться. Отметим, что не обязательно, что они вернутся к варианту, который существовал до сбоя. И отказы, и сбои могут происходить в сети в периоды времени между распространениями очередных широковещательных сообщений. В этом случае следующее широковещательное сообщение (передаваемое после возникновения сбоя, отказа) будет распространяться по другим путям передачи чем предыдущее, но структура сети в ходе его передачи будет статичной (не будет изменяться). Если отказ, сбой или восстановление после сбоя происходит в момент времени, когда широковещательное сообщение распространяется по сети, то структура сети изменится динамически. Эти случаи существенно различаются с точки зрения оценки характеристик распространения широковещательного сообщения.
Поэтому в данной статье мы используем для них различный математический аппарат. Отметим, что вероятность изменения структуры сети непосредственно во время распространения широковещательного сообщения не высока по
сравнению с вероятностью изменения структуры сети между распространениями широковещательных сообщений. Однако, во многих применениях не учитывать последствия возможного динамического изменения нельзя.
Для выполнения статических оценок был разработан метод, в котором для определения пути передачи широковещательного сообщения до каждого узла используется алгоритм Ли. Далее были разработаны формулы для оценки времени передачи по этому пути.
Для верификации и анализа характеристик передачи широковещательного сообщения в сетях SpaceFibre с учетом динамики происходящих процессов сбоев и отказов, использован математический аппарат временных автоматов. Данный математический аппарат был разработан для верификации и анализа характеристик систем с требованиями реального времени [2-4]. Для обеспечения этого, по сравнению с классическими автоматами, во временные автоматы было добавлено понятие времени. Для работы со временем используются переменные - таймеры (timer, clock) [5,6]. Также в них могут включаться и переменные других типов. Например, они могут использоваться для счета событий [7-10]. Во временных автоматах могут использоваться параметры [8,9,11,12]. Для исследования сложных систем могут формироваться сети из временных автоматов [13-16]. Взаимодействие между автоматами осуществляется через каналы или за счет использования общих переменных [7, 8, 15, 16]. По каналам могут передаваться события (сигналы). У каждого канала есть один источник, и может быть один или несколько приемников. Каналы могут быть реализованы как синхронные или асинхронные. В первом случае переход, при выполнении которого событие помещается в канал, срабатывает только в том случае, если может сработать (и сработает) переход, связанный с чтением события из канала. (Такие переходы могут использоваться для синхронизации отдельных временных автоматов в сети). Если переход является асинхронным, то чтение события из канала может быть отложено во времени по отношению к моменту записи события в канал [15-18]. В данной статье мы предлагаем использовать подход, основанный на сетях на базе временных автоматов с возможностью динамической реконфигурации для динамического анализа характеристик передачи широковещательных сообщений.
Правила распространения широковещательных сообщений в сетях SpaceFibre
Широковещательное сообщение распространяется в сети SpaceFibre от одного источника ко всем сетевым узлам (маршрутизаторам и терминальным узлам). Конкретный сетевой узел может обрабатывать или отбрасывать широковещательное сообщение в зависимости от его типа (реагировать на получение только конкретных типов широковещательных сообщений). Широковещательное сообщение распространяется по сети SpaceFibre широковещательно, однако при этом используется механизм, позволяющий исключить зацикливание широковещательного сообщения в сетях, графы связей между узлами которых содержат циклы. В основе данного механизма лежит использование динамически формируемого дерева распространения широковещательных сообщений.
В маршрутизаторах при приеме очередного широковещательного сообщения выполняются следующие действия. Если широковещательное сообщение данного типа поступило в данный маршрутизатор впервые с начала работы, то оно рассылается во все порты маршрутизатора, кроме того, из которого пришло. Запоминается порт, из которого пришло широковещательное сообщение, и запускается счет таймаута. Длительность таймаута должна превышать время распространения широковещательного сообщения по самому длинному циклу в данной сети. Если широковещательное сообщение данного типа уже поступало в маршрутизатор, то проверяется, из какого порта оно поступило в предыдущий раз. Если в этот раз широковещательное сообщение поступило из того же порта, то оно рассылается далее. Если широковещательное сообщение поступило из другого порта, то проверяется, истек ли таймаут. Если таймаут не истек, то считается, что широковещательное сообщение достигло данного маршрутизатора повторно и оно отбрасывается. Если таймаут истек, то считается, что это новое широковещательное сообщение, которое стало распространяться по сети по-другому из-за того, что изменилась конфигурация сети. Это могло произойти в результате возникновения ошибок в сети. В результате формируется дерево распространения широковещательных сообщений. Это дерево может быть перестроено динамически если в сети происходят отказы. Время распространения широковещательных сообщений до различных сетевых узлов при перестроении дерева может измениться.
Необходимо отметить, что если источник посылает широковещательное сообщение одного и того же типа с одним и тем же идентификатором канала чаще, чем длительность таймаута, то в ходе переформирования дерева распространения широковещательные сообщения могут быть утрачены (не доставлены до части сетевых узлов).
Оценка времени распространения широковещательных сообщений в сетях 8расеРШге
Максимальное время передачи широковещательного сообщения от узла-источника до различных устройств в сети 8расеРШге различно. Оно зависит от длины маршрута передачи широковещательных сообщений. В данной работе для расчета длин кратчайших маршрутов был использован волновой алгоритм Ли [19, 20].
Также максимальное время передачи широковещательного сообщения зависит от времени его обработки в транзитных маршрутизаторах, расположенных на маршруте передачи, и устройстве-получателе, от задержек прохождения данного сообщения через входные и выходные порты всех устройств в маршруте, а также от времени прохождения его по физическим каналам. Данные параметры известны на этапе проектирования сети.
Так как маршруты передачи широковещательных сообщений в сетях 8расеРШге могут изменяться вследствие динамического изменения дерева распространения, максимальное время передачи такого сообщения также может быть изменено.
Максимальное время передачи широковещательного сообщения для устройства рассчитывается по формуле (1):
N-l N N N-l
Xt max = J (Xport _ out j) + £ (Xport _ inj) + £ (Xnj) + £ (Xphyj) v-U
j=l j=2 j=2 j=l
где:
• V - число устройств на маршруте передачи широковещательного сообщения, включая узел-источник и узел-приемник,
• Xport_outj - задержка прохождения широковещательного сообщения через выходной порт устройства',
• Xport_inj - задержка прохождения широковещательного сообщения через входной порт устройства j
• Inj - время обработки широковещательного сообщения в устройстве j (на сетевом уровне),
• Xphyj - канал, соединяющий устройство' с устройством
J+1-
Отметим, что значения Iportoutj, Xport_inj, Inj задаются в соответствии с конкретными реализациями устройств, используемых в сети; \phyj определяется в соответствии с физической реализацией линий связи между устройствами.
Для упрощения формулы все устройства на маршруте нумеруются от 1 (узел-источник) до V (узел-получатель).
Aport_outi Äport_out2 Aport_out3
Рис. 1. Пример маршрута передачи Broadcast
На рисунке 1 представлен пример маршрута из четырех устройств. Для данного маршрута максимальное время передачи широковещательного сообщения будет рассчитано по формуле (2):
3 4 4 3
Xt max = ^ {Xport _ outj) + 2 {Xport _ inj) + 2 {~Xnj) +2 (^phyj) (2)
J=i j=2 j=2 j=l
Способы пространственного резервирования
Можно выделить следующие способы пространственного резервирования, которые получили наибольшее распростра-нениевЛВС [21,22].
Первым из них является использование K+1 идентичных сетей (при необходимости парирования K отказов), никак не связанных между собой (каждый терминальный узел подключается ко всем сетям). Такой подход используется, в частности, в рамках стандарта AFDX [23-25].
При использовании второго способа существует единая сеть, в которую включены и основные, и резервные маршрутизаторы. В ряде случаев за каждым маршрутизатором закрепляется его роль - является ли он основным или резервным. В других случаях деление на основные и резервные маршрутизаторы отсутствует.
Правила добавления резервных маршрутизаторов, количество добавляемых маршрутизаторов, правила связывания резервных и основных маршрутизаторов могут существенно различаться.
В рамках данного способа широкое распространение получил вариант реализации, при котором, как и при использовании первого способа, формируется £+1 идентичных сетей, но между маршрутизаторами из разных сетей существуют «перекрестные» связи [21, 22].
Все рассмотренные выше способы пространственного резервирования могут использоваться в сетях SpaceFibre.
Оценка изменения времени распространения широковещательного сообщения
1. Парирование отказов путем использования идентичных сетей
При использовании данного способа существует £+1 полностью идентичных сетей SpaceFibre, никак не связанных между собой. В каждой из этих сетей формируется отдельное дерево распространения широковещательных сообщений. Деревья распространения могут быть не полностью идентичными. (Это происходит в тех случаях, когда в сети существует несколько путей передачи широковещательных сообщений с практически одинаковыми характеристиками.) Максимальное время распространения широковещательного сообщения до любого i терминального узла по всем £+1 деревьям при этом будет почти одинаково.
Если в какой-то из сетей произойдет отказ, это приведет к перестроению дерева распространения широковещательных сообщений в данной сети, и никак не затронет деревья распространения в других сетях. В результате, если произойдет не более К отказов, то как минимум одно дерево распространения останется неизменным. Таким образом, максимальное время распространения широковещательных сообщений не поменяется. В частности, не поменяется и максимальное время распространения, непосредственно во время передачи которых произошли отказы в сети.
На рисунке 2 представлен пример использования первого способа пространственного резервирования. В примере используется две идентичные сети с топологией дерево. Терминальные узлы данных сетей подключены к обеим сетям. Такое построение позволяет парировать 1 отказ.
Рассмотрим пример парирования отказа посредством первого способа пространственного резервирования для сети, представленной на рисунке 2, при передаче широковещательного сообщения от источника Broadcast Nooi до узла N032.
В исходной сети (рис. 2а) передается одно широковещательное сообщение. В случае отказа коммутатора на пути передачи широковещательных сообщений, узел N032 не получит ни одного широковещательного сообщения. После добавления идентичной сети (рис. 26), широковещательное сообщение передается по двум маршрутам. Один из маршрутов проходит через Сеть 1 (через маршрутизаторы .Ron H^o2i), второй - через Сеть 2 (через маршрутизаторы Rm и R121). Длина обоих маршрутов составляет 3 хопа. При корректной работе сети устройство N032 получает два идентичных широковещательных сообщения от источника N001. В примере, представленном на рисунке 2в произошел отказ маршрутизатора R021. Благодаря тому, что широковещательное сообщение передается по двум маршрутам, устройство N032 получает данное сообщение (только одну его копию).
Условные обозначения:
■ Сеть 2
-Маршрут по Т -Маршрут по Сети 1 ' Сети 2
^^ s. ^
Ron Rin
Рис. 2. Сеть с топологией дерево: (а) - без использования идентичных сетей, (б) - с использованием идентичных сетей, (в) - с использованием идентичных сетей и отказом маршрутизатора Яои
На рисунке 3 представлена гистограмма, отображающая максимальное время передачи широковещательных сообщений от узла-источника N001 ко всем устройствам в сети при работе сети без отказов и с отказом маршрутизатора Яо2\. На данной гистограмме видно, что в случае отказа маршрутизатора Л021, остальные устройства получат два сообщения, причем максимальное время передачи широковещательных сообщений останется неизменным.
На рисунке 3 представлена гистограмма, отображающая максимальное время передачи широковещательных сообщений от узла-источника N001 ко всем устройствам в сети. На данной гистограмме видно, что маршрутизатор Л021 не получили ни одного широковещательного сообщения.
Рис. 3. Максимальное время передачи Broadcast в сети без отказов и в сети с отказом маршрутизатора Ron
Остальные устройства получат два сообщения, причем максимальное время передачи широковещательного сообщения останется неизменным.
Аналогично парирование отказов выполняется на других топологиях. На рисунке 4 представлен пример использования первого способа пространственного резервирования для сети с топологией двумерная решетка.
Рассмотрим пример парирования отказа посредством первого способа пространственного резервирования для сети, представленной на рисунке 4, при передаче широковещательного сообщения от источника Broadcast Nooi до узла N014.
В исходной сети (рис. 4а) передается одно широковещательное сообщение. В случае отказа коммутатора на пути передачи широковещательного сообщения, узел N014 не получит ни одного сообщения. После добавления идентичной сети (рис. 46), широковещательное сообщение передается по двум маршрутам. Один из маршрутов проходит через Сеть 1 (через маршрутизаторы R002, R003 и R013), второй - через Сеть 2 (через маршрутизаторы R102, R103 hRh3). Длина обоих маршрутов составляет 4 хопа.
При корректной работе сети устройство N014 получает два идентичных пакета Broadcast от источника N001. В примере, представленном на рисунке 4в произошел отказ маршрутизатора R013. Благодаря тому, что широковещательное сообщение передается по двум маршрутам, устройство N014 получает одну копию широковещательного сообщения.
На рисунке 5 представлена гистограмма, отображающая максимальное время передачи широковещательного сообщения от узла-источника N001 ко всем устройствам в сети при работе сети без отказов и с отказом маршрутизатора R013. На данной гистограмме видно, что в случае отказа маршрутизатора R013, остальные устройства получат два широковещательных сообщения, причем максимальное время передачи broadcast останется неизменным.
^012 ^013
Условные обозначения:
- Сеть 1
- Сеть 2
- Отказ устройства
- Источник Broadcast
- Маршрут по | - Маршрут по Сети 1 I Сети 2
I
Рис. 4. Сеть с топологией двумерная решетка: (а) - без использования идентичных сетей; (б) - с использованием идентичных сетей; (в) - с использованием идентичных сетей и отказом маршрутизатора Вон
Условные обозначения:
Рис. 5. Максимальное время передачи широковещательного сообщения в сети без отказов и в сети с отказом маршрутизатора Rod
Если в сетях, в которых используется данный способ резервирования, имеются циклы, то наличие независимых деревьев распространения обеспечивает возможность посылать широковещательные сообщения одного и того же типа чаще, чем максимальная длительность передачи по циклу (максимальное время таймаута). Такие широковещательные сообщения будут доставлены до сетевых узлов по деревьям, которые не изменились.
2. Парирование отказов путем использования резервных маршрутизаторов и перекрестных связей
При использовании данного способа пространственного резервирования строится единое дерево распространения широковещательных сообщений, в которое могут входить как основные, так и резервные маршрутизаторы (за исключением маршрутизаторов, находящихся в холодном резерве). Если какой-то из маршрутизаторов, каналов связи, входящих в состав дерева распространения, выходит из строя, то происходит динамическое изменение дерева распространения широковещательных сообщений.
При этом потенциально возможны варианты, при которых максимальное время распространения по новому дереву будет практически совпадать со временем распространения по исходному дереву будет мало отличаться от исходного.
На рисунке 6 представлен пример использования второго способа пространственного резервирования. В примере используется сеть с топологией двумерная решетка, в которую включены резервные маршрутизаторы таким образом, что в используемой двумерной решетке добавляется дополнительная строка и столбец. После добавления резервных маршрутизаторов каждая строка и столбец замыкаются, преобразовываясь в топологию тор. Также для каждого терминального узла добавляется дополнительная связь с соседним (лежащим в той же строке) маршрутизатором.
Рассмотрим пример парирования отказа посредством второго способа пространственного резервирования для сети, представленной на рисунке 6, при передаче широковещательного сообщения от источника Ми до узла N132.
В исходной сети (рис. 6а) широковещательное сообщение передается по маршруту длиной 5 хопов. Добавление резервных маршрутизаторов и перекрестных связей позволило сократить маршрут, новый маршрут составляет 4 хопа (рис. 66).
Основная сеть
- Резервные маршрутизаторы
Рис. 6. Сеть с топологией двумерная решетка: (а) - без использования резервных маршрутизаторов; (б) - с использованием резервных маршрутизаторов; (в) - с использованием резервных маршрутизаторов и отказом маршрутизатора Я22
В примере, представленном на рисунке 6в, произошел отказ маршрутизатора R22• Благодаря добавлению перекрестных связей и резервных маршрутизаторов, узел N132 получит Broadcast по измененному маршруту, длина которого также составляет 4 хопа.
На рисунке 7 представлена гистограмма, отображающая максимальное время передачи широковещательного сообщения от узла-источника Nin ко всем устройствам в сети при работе сети без отказов и с отказом маршрутизатора R22. На данной гистограмме видно, что при добавлении резервных маршрутизаторов максимальное время передачи широковещательного сообщения от источника Ми либо остается прежним (например, для терминальных узлов N121 и N131), либо сокращается. На гистограмме видено, что после отказа маршрутизатора N22 максимальное время передачи Broadcast либо остается неизменным, либо незначительно увеличивается (например, на 1 хоп для узла N122).
L_ = N + 2 - H'
Lcol = N + 2 - H
(3)
где Н - длина исходного маршрута в хопах, N - количество устройств в строке (с учетом резервного маршрутизатора, добавленного в строку). Если длина альтернативного маршрута меньше длины исходного маршрута (Ьлг <Н'), то широковещательные сообщения будут передаваться по альтернативному маршруту через резервный маршрутизатор.
Для вычисления длины альтернативного маршрута для случая, когда источник и получатель широковещательных сообщений соединены с маршрутизаторами, расположенными в разных строках и столбцах, длина исходного маршрута разбивается на две составляющие: маршрут по столбцу Но и маршрут по строке Н^ (Н = Но + Нгсж). При этом, длина исходного маршрута должна быть сокращена на 1 хоп (Н' = Н - 1), за счет сокращения на 1 хоп длины маршрута по строкам (Н'^г= Нзг - 1). При этом, длина альтернативного маршрута рассчитывается по формуле (4):
Lrow col ~ (Ncol + 2 Hcol
) + (N
I о _ тт
row * ^ ** str
)
(4)
Рис. 7. Максимальное время передачи широковещательного сообщения в сети без отказов и в сети с отказом маршрутизатора Я22
Для сетей с топологией двумерная решетка добавление резервных маршрутизаторов и перекрестных связей может позволить сократить маршрут передачи широковещательных сообщений. Для случая, когда источник и получатель широковещательного сообщения соединены с маршрутизаторами, расположенными в одном столбце, длина альтернативного маршрута Ьо рассчитывается по формуле (3):
где Н - длина исходного маршрута в хопах, N - количество устройств в столбце (с учетом резервного маршрутизатора, добавленного в столбец).
Если длина альтернативного маршрута меньше длины исходного маршрута (Ьо < Н), то широковещательные сообщения будут передаваться по альтернативному маршруту через резервный маршрутизатор.
Для случая, когда источник и получатель широковещательных сообщений соединены с маршрутизаторами, расположенными в одной строке, длина исходного маршрута сокращается на 1 хоп (Н' = Н- 1). Сокращение исходного маршрута выполняется за счет добавления связей терминальных узлов с соседними (расположенными в одной строке) маршрутизаторами. При этом, длина альтернативного маршрута рассчитывается по формуле (4):
где N001 - количество устройств в столбце (с учетом резервного маршрутизатора, добавленного в столбец), N3^ - количество устройств в строке (с учетом резервного маршрутизатора, добавленного в строку).
Если длина альтернативного маршрута меньше длины исходного маршрута (Ь^ ао^Н'), то широковещательные сообщения будут передаваться по альтернативному маршруту через резервный маршрутизатор.
Аналогично парирование отказов выполняется на других топологиях. На рисунке 8 представлен пример использования второго способа пространственного резервирования для сети с топологией дерево.
Рассмотрим пример парирования отказа посредством второго способа пространственного резервирования для сети, представленной на рисунке 8, при передаче широковещательного сообщения от источника N31 до узла N34.
В исходной сети (рис. 8а) широковещательное сообщение передается по маршруту длиной 5 хопов. Добавление резервных маршрутизаторов и перекрестных связей позволило сократить маршрут, новый маршрут составляет 3 хопа (рис. 86).
В примере, представленном на рисунке 8в, произошел отказ маршрутизатора Я2\. Благодаря добавлению перекрестных связей и резервных маршрутизаторов, узел N34 получит широковещательное сообщение по измененному маршруту, длина которого составляет 4 хопа.
На рисунке 9 представлена гистограмма, отображающая максимальное время передачи широковещательных сообщений от узла-источника N31 ко всем устройствам в сети при работе сети без отказов и с отказом маршрутизатора Я21. На данной гистограмме видно, что при добавлении резервных маршрутизаторов максимальное время передачи широковещательных сообщений от источника N31 либо остается прежним (например, для терминальных узлов N11 и N12), либо сокращается. Также, на гистограмме видено, что после отказа маршрутизатора N21 максимальное время передачи широковещательных сообщений либо остается неизменным, либо незначительно увеличивается (например, на 1 хоп для узла N34).
Rn R12
Условные обозначения:
- Основная сеть
- Резервные маршрутизаторы
Rn Rl2
Г—>
R2i R22 — R23 — R24 R25 ^ J
Rn R12
Рис. 9. Максимальное время передачи Broadcast в сети без отказов и в сети с отказом маршрутизатора Ян
Для вычисления длины альтернативного маршрута длина исходного маршрута разбивается на две составляющие -длину участка маршрута, пролегающего между уровнями дерева Hr и длину участка маршрута, пролегающего внутри одного уровня Hs по формуле (5):
H' = Hr + H \
(5)
где Н' - длина исходного маршрута, сокращенная на 1 хоп (Н' = Н - 1), Н^ - длина участка маршрута, пролегающего внутри одного уровня, сокращенная на 1 хоп (Н^ = Н - 1). В случае, если длина участка маршрута, пролегающего внутри одного уровня равно 0 (т.е. в ситуации, когда источник и приемник широковещательных сообщений подсоединены к одному коммутатору), Н'х =
Длина альтернативного маршрута рассчитывается по формуле (6):
L = Hr + (N - H \)
(6)
где N - число устройств внутри одного уровня (включая резервный маршрутизатор). Если длина альтернативного маршрута меньше длины исходного маршрута (Ь <Н'), то широковещательные сообщения будут передаваться по альтернативному маршруту через резервный маршрутизатор.
Также для сетей с топологией дерево длина маршрута, построенного при возникновении отказа на маршруте передачи широковещательных сообщений рассчитывается по формуле (7):
Lerr = Hr + (N - H - 2)
(7)
Рис. 8. Сеть с топологией дерево: (а) - без использования резервных маршрутизаторов; (б) - с использованием резервных маршрутизаторов; (в) - с использованием резервных маршрутизаторов и отказом маршрутизатора ^21
Для сетей с топологией дерево добавление резервных маршрутизаторов и перекрестных связей может позволить сократить маршрут передачи широковещательных сообщений в случае, если источник и получатель расположены на одном уровне дерева.
Худший случай представляет собой ситуацию, при которой Н'х = 0. Такая ситуация может возникнуть в случае, если отказ произошел в маршрутизаторе, с которым имеют связь как источник, так и приемник широковещательных сообщений. Следовательно, маршрут может увеличится максимум на N-2 хопа.
Сравнительный анализ способов пространственного резервирования
Первый способ пространственного резервирования предполагает использование идентичных сетей. Вне зависимости от топологии, при использовании первого способа число устройств в сети увеличивается в два раза. В отличие от первого способа, второй способ предполагает меньшее число дополнительных устройств.
Условные обозначения:
- Основная сеть
- Резервные маршрутизаторы
Rn R12
Rn R12
Рис. 9. Максимальное время передачи Broadcast в сети без отказов и в сети с отказом маршрутизатора Rn
Для вычисления длины альтернативного маршрута длина исходного маршрута разбивается на две составляющие -длину участка маршрута, пролегающего между уровнями дерева Hr и длину участка маршрута, пролегающего внутри одного уровня Hs по формуле (5):
H' = H, + H'
(5)
где Н' - длина исходного маршрута, сокращенная на 1 хоп (И' = Н - I), Н^ - длина участка маршрута, пролегающего внутри одного уровня, сокращенная на 1 хоп (Н\ = 1). В случае, если длина участка маршрута, пролегающего внутри одного уровня равно 0 (т.е. в ситуации, когда источник и приемник широковещательных сообщений подсоединены к одному коммутатору), Н'х = Нх.
Длина альтернативного маршрута рассчитывается по формуле (6):
L = Hr + (N - H \)
(6)
где N - число устройств внутри одного уровня (включая резервный маршрутизатор). Если длина альтернативного маршрута меньше длины исходного маршрута (Ь <Н'), то широковещательные сообщения будут передаваться по альтернативному маршруту через резервный маршрутизатор.
Также для сетей с топологией дерево длина маршрута, построенного при возникновении отказа на маршруте передачи широковещательных сообщений рассчитывается по формуле (7):
Lerr = Hr + (N - H \ - 2)
(7)
Рис. 8. Сеть с топологией дерево: (а) - без использования резервных маршрутизаторов; (б) - с использованием резервных маршрутизаторов; (в) - с использованием резервных маршрутизаторов и отказом маршрутизатора ^21
Для сетей с топологией дерево добавление резервных маршрутизаторов и перекрестных связей может позволить сократить маршрут передачи широковещательных сообщений в случае, если источник и получатель расположены на одном уровне дерева.
Худший случай представляет собой ситуацию, при которой Н'х = 0. Такая ситуация может возникнуть в случае, если отказ произошел в маршрутизаторе, с которым имеют связь как источник, так и приемник широковещательных сообщений. Следовательно, маршрут может увеличится максимум на N-2 хопа.
Сравнительный анализ способов пространственного резервирования
Первый способ пространственного резервирования предполагает использование идентичных сетей. Вне зависимости от топологии, при использовании первого способа число устройств в сети увеличивается в два раза. В отличие от первого способа, второй способ предполагает меньшее число дополнительных устройств.
& 250
Б >
I 200
X ш
I" 150
о:
а
3 100
< Г-г^-•-
50
250
100 150 200
5 Число устройств в сети
—•—1 способ пространственного резервирования —2 способ пространственного резервирования (топология дерево) —•— 7 способ пространственного резервирования {топология двумерная решетка)
Рис. 10. Зависимость числа дополнительных устройств от числа устройств в сети
При использовании второго способа пространственного резервирования, число резервных устройств, которые необходимо подключить к сети зависит от топологии сети и от числа линий коммутаторов (для топологии решетка - строк и столбцов, для топологии дерево - уровней коммутаторов). На рисунке 10 представлен график зависимости числа дополнительных устройств от числа устройств в сети.
Другим преимуществом второго способа пространственного резервирования является возможность сокращения длин маршрутов. При добавлении резервных маршрутизаторов также добавляются перекрестные связи, а линии коммутаторов замыкаются, преобразовываясь в тор, что позволяет строить альтернативные маршруты меньшей длины.
Однако, сети, в которых используется второй способ пространственного резервирования облают меньшей живучестью в сравнении с сетями с резервными маршрутизаторами.
Рис. 11. Максимальное время передачи широковещательных сообщений в сетях с топологией двумерная решетка и дерево с различными длинами маршрутов
Для обоих способов пространственного резервирования, вне зависимости от используемой топологии характерно то, что при увеличении/уменьшении числа устройств в сети, максимальная длина маршрута также может увеличится/уменьшится. На рисунке 11 представлена гистограмма, отображающая максимальное время передачи широковещательных сообщений по сетям с топологией дерево и двумерная решетка. На гистограмме видно, что в сетях с одинаковыми максимальными длинами маршрутов максимальное время передачи широковещательных сообщений совпадает вне зависимости от топологии и способа пространственного резервирования.
Динамическое изменение структуры сети из-за отказов, сбоев, восстановления после сбоев
Сбои и отказы могут быть довольно разнообразными по своей локализации и по формам проявления - в данном случае, ошибкам, к которым они приводят при распространении широковещательных сообщений. Применительно к передаче широковещательных сообщений можно выделить следующий набор типовых ошибок:
- Невозможность принять широковещательное сообщение по одному из каналов (портов маршрутизатора). Происходит в результате физического разрыва линии связи по каналу, в результате длительного действия помехи, в результате сбоев и отказов в блоке порта маршрутизатора/терминального узла. В данном исследовании мы приравниваем ситуацию, когда широковещательное сообщение не принято и ситуацию, когда широковещательное сообщение принято, но имеет не правильный формат (некорректные значения полей), поскольку такое искаженное широковещательное сообщение будет отброшено на приемной стороне на сетевом уровне.
- Невозможность передать широковещательное сообщение в один из каналов. Причины аналогичны причинам при невозможности приема. Отметим, что при возникновении разрыва или длительной помехи в физическом канале, невозможны и прием, и передача. Сбои и отказы внутри блоков контроллеров портов потенциально могут приводить к невозможности либо приема, либо передачи в отдельности
- Невозможность обработать широковещательное сообщение на сетевом уровне. Возникает из-за сбоев и отказов в блоке контроллера широковещательных сообщений сетевого уровня или из-за выхода из строя всего маршрутизатора (а также, отключения питания).
- Невозможность корректно обработать широковещательное сообщение из-за сброса (перезагрузки) маршрутизатора (или отдельного контроллера обработки широковещательных сообщений сетевого уровня), вследствие которого была потеряна информация о предыстории рассылки широковещательных сообщения (счет таймаутов и др.).
- Ситуации типа «бабблинг идиот», при которых в результате сбоев и / или отказов в сеть самопроизвольно начинают отправляться широковещательные сообщения с корректной структурой. Такие ситуации могут возникать, например, вследствие возникновения отказов типа «константная 1» для флагов приема широковещательных сообщений из отдельных портов, признака требования рассылки широковещательного
сообщения на сетевом уровне. В результате таке внешне корректное сообщение может рассылаться во все или какие-то отдельные выходные порты.
Отметим, что сбои и отказы могут происходить в сети по одному или группами. Во втором случае, несколько сетевых устройств, каналов связи переходит в состояние неработоспособности одновременно или почти одновременно (в течении интервала времени, меньшего, чем время распространения широковещательного сообщения по сети). Отказ одного устройства так же может развиваться постепенно. (Сначала может отказать один порт, потом следующий и т.д.)
Если мы оцениваем характеристики (время передачи широковещательного сообщения) с использованием первого метода, то нам необходимо будет выполнить следующие действия:
1. Оп делить этапы переходного процесса;
2. Определить состояния сети, соответствующие этим этапам, сформировать графы связей для каждого из этих состояний сети;
3. Выполнить расчеты характеристик с использованием алгоритма Ли.
При этом для определения этапов переходного процесса (исследования самого переходного процесса), определения набора состояний сети, графов связей необходим другой математический аппарат. В качестве такого математического аппарата могут использоваться временные автоматы. Отметим, что данный аппарат может использоваться и для оценки временных характеристик (в нем фактически может быть выполнена реализация первого метода).
Оценка характеристик передачи широковещательных
сообщений с использованием временных автоматов
Мы предлагаем подход к формированию модели сети 8расеРШге для определения набора состояний, которые проходит сеть в переходном процессе при возникновении сбоев и отказов и при выходе из состояний сбоев в штатную работу и для оценки временных характеристик.
В рамках данного подхода для моделирования сетевых устройств (маршрутизаторов и терминальных узлов) используются временные автоматы. В стандарте 8расеРШге широковещательные сообщения имеют наивысший приоритет по отношению к другим типам передаваемой информации. Для передачи широковещательных сообщений передача объектов данных других типов на время прерывается. Поэтому наличие / отсутствие передачи в сети других типов данных никак не влияет на передачу широковещательных сообщений, несмотря на то что для этого используются те же самые физические каналы между сетевыми устройствами. Вследствие этого в наших временных автоматах мы учитываем только передачу широковещательных сообщений.
Маршрутизаторы и терминальные узлы в сети могут иметь различное количество портов, поэтому необходимо, чтобы в моделях сетей временных автоматов количество портов могло задаваться параметрически (требуются возможности по статической реконфигурации). Как было отмечено выше, математический аппарат временных автоматов исполь-
зуется для оценки характеристик распространения широковещательных сообщений в условиях динамического изменения структуры сети, путей передачи. Для решения этой задачи временные автоматы, сети на базе временных автоматов должны обладать свойствами динамической реконфигурации. В настоящее время существует несколько различных подходов к формированию временных автоматов и сетей на базе временных автоматов, в которых обеспечиваются эти требования.
В [26-28] для исследования планирования в сетях был использован подход, в рамках которого для временных автоматов, используемых для моделирования сетевых устройств разработан универсальный интерфейс, включающий в себя типы каналов и глобальные переменные. Предлагаемая нами модель сети имеет общие черты с этой моделью. Нами также был разработан набор глобальных переменных и типы каналов, используемые для организации интерфейсов моделей. Количество каналов для моделей временных автоматов задается параметрически на этапе формирования сети временных автоматов. Для каждого сетевого устройства значение параметра - количества портов может быть определено индивидуально. В соответствии с этим были разработаны шаблоны временных автоматов, с возможностью задания параметров. Предлагаемые шаблоны будут рассмотрены далее в этом разделе.
Для того, чтобы моделировать изменение структуры сети, которое может происходить, в частности, из-за возникновения сбоев и отказов, могут использоваться динамические временные автоматы (dynamic timed automata (DTA), предложенные в [29] и реконфигурируемые иерархические временные автоматы (reconfigurable hierarhical timed automata), предложенные в [30,31]. При использовании данного подхода может изменяться структура связей между локациями автоматов. Могут исключаться и добавляться ребра.
Однако, в нашей работе использован другой подход. Он основан на изменении атрибутов переходов между локациями автоматов в зависимости от значений глобальных переменных. За счет этого изменения автомат может использоваться для моделирования корректного и не корректного поведения сетевого устройства. (В разработанных шаблонах определено поведение, соответствующее корректной работе устройств и работе при возникновении сбоев и отказов.) Причем переход из состояния корректной работы в состояние не корректной работы может быть выполнен в любой момент времени. Моделирование исключения устройства из сети (моделирование ситуации отказа устройства) осуществляется без изменения структуры связей. Это позволяет устранить необходимость перехода от автоматов с реконфигурируемой структурой к альтернативным классическим временным автоматам для формальной верификации.
Для управления процессом генерации широковещательных сообщений терминальными узлами и моментами времени, в которые в сетевых устройствах должны возникать сбои и отказы, в сети используется служебный временной автомат - менеджер процесса моделирования. Данному временному автомату не соответствует никакое реальное устройство в сети.
Такой централизованный автомат позволяет «создавать» сбои и отказы в различные моменты времени по отношению к моментам времени, в которые рассылаются широковещательные сообщения. Это позволяет исследовать любые граничные ситуации. Также данный автомат используется для выполнения оценки времени распространения широковещательных сообщений по сети. Обобщенная схема предложенной сети временных автоматов представлена на рисунке 12. Она включает в себя автоматы четырех типов (на рисунке они представлены прямоугольниками):
- маршрутизаторы (на рисунке помечены Rj);
-терминальные узлы (на рисунке помечены Tj);
- физические каналы передачи данных (на рисунке помечены Chj);
- менеджер роцесса моделирования (М).
Для сети временных автоматов определены следующие глобальные параметры:
L - количество маршрутизаторов,
К - количество терминальных узлов,
С - количество каналов связи между маршрутизаторами и терминальными узлами
При исследовании некоторой сети количество маршрутизаторов, терминальных узлов и каналов связи между ними задается в соответствии с графом связей между сетевыми узлами
Для шаблонов временных автоматов, соответствующих маршрутизаторам и терминальным узлам определен параметр Nj - количество внешних портов соответствующего сетевого устройства. (Внутри шаблона для краткости будем обозначать данный параметр - N.) В модели автомата каждому порту ставится входной канал chil и выходной канал chol, где 1 е [1, N] (в стандарте SpaceFibre внешние порты нумеруются с 1, порт с номером 0 зарезервирован как внутренний порт устройства, используемый для служебных применений). Данные каналы используются для связи между маршрутизаторами и терминальными узлами. Передаваемые по ним события соответствуют широковещательным сообщениям, передаваемым в сети SpaceFibre. Для связи между соответствующими шаблонами автоматов используются глобальные каналы, которые названы chsi.j, где ie[0, C-l],je[0, 1]. (Двойная нумерация используется, поскольку физические каналы связи являются двунаправленными.
Одно из направлений имеет номер 0, второе - номер 1.) При исследовании некоторой сети каналы chsi.j связывают временные автоматы в соответствии с графом связей для данной сети. На рисунке 12 наименования входных и выходных каналов по отношению к временным автоматам обозначены внутри прямоугольников, соответствующих конечным автоматам. На этом рисунке стрелками показаны связи между временными автоматами на базе каналов. Над стрелками подписаны глобальные идентификаторы каналов.
Шаблоны временных автоматов терминальных узлов связаны с менеджером процесса моделирования. Для этого используется набор каналов sendi и red, где i е [0,К-1]. Каналы send являются выходными для автомата менеджера и входными для автомата терминального узла. По ним передаются события, соответствующие командам отправки широковеща-
тельного. Каналы гес являются выходными для автомата терминального узла и входными для автомата менеджера. Автомат терминального узла отправляет в этот канал событие при приеме очередного широковещательного сообщения.
Поскольку для многих задач необходимо оценивать и время распространения широковещательных сообщений до маршрутизаторов, шаблоны маршрутизаторов также связаны с менеджером процесса моделирования каналами гес.
Для сети определены две глобальные переменные -ERR[L+K] и {ERRchs}. Переменная ERR представляет собой массив с элементами булевского типа. Элементы ERR[0] - ERR[L-1] соответствуют автоматам - маршрутизаторам, элементы ERR[L] - ERR[K-1] соответствуют автомата - терминальным узлам. Если ERR[i] = false, то соответствующий автомат функционирует в соответствии со схемой поведения для исправного устройства. В противном случае - в соответствии со схемой поведения для отказа.
Значениями данной переменной управляет автомат менеджера процесса моделирования (в соответствии со сценарием теста). Для остальных временных автоматов они доступны на чтение. {ERR chs} представляет собой множество глобальных каналов, для которых произошел отказ или сбой. Автомат - менеджер процесса моделирования управляет добавлением каналов в это множество и исключением их из него в соответствии со сценарием теста. Для остальных временных автоматов данное множество доступно на чтение.
Использование отдельных переменных для моделирования отказов, сбоев в маршрутизаторе в целом и отдельных каналах позволяет увеличить степень детализации возможных ошибочных сценариев, по сравнению с подходом, предложенном в [32], в котором такая градация отсутствует
Рис. 12. Обобщенная схема сети временных автоматов
На рисунке 13 представлен предлагаемый шаблон временного автомата для маршрутизатора. На этом рисунке овалами обозначены локации. Для каждой локации указан уникальный идентификатор и мнемоническое обозначение. Для тех локаций, для которых инвариант не является константным значением true, указан также инвариант. На этом рисунке переходы обозначены стрелками. Для каждого перехода указан уникальный идентификатор, условие перехода и связанные с ним действия. Более жирными линиями выделены стрелки, которые соответствуют переходам, используемым для моделирования ситуаций сбоев и отказов.
Эти переходы могут быть выполнены в любой момент времени, что позволяет промоделировать возникновение сбоев и отказов в любые моменты времени функционирования системы.
Рис. 13. Шаблон временного автомата, соответствующего маршрутизатору
В данном шаблоне автомата имеется 3 локации (L0, L1, L2) и 6 переходов (Е0 - Е5). В шаблоне используется 2 переменные - таймера (Timerl, Timer2). Для шаблона определены параметры:
РТ - время обработки широковещательного сообщения (Хп) ST - время передачи широковещательного сообщения через входные и выходные порты маршрутизатора (Xport_out+Xphy+Xport_in)
Для шаблона определена локальная переменная Ср для хранения номера порта, из которого поступило широковещательное сообщение.
Для шаблона определен параметр N - количество входных каналов и выходных каналов, по которым передаются события, соответствующие широковещательным сообщениям. Входные каналы обозначены chi(i), в скобках указан порядковый номер канала. Выходные каналы обозначены cho(i), в скобках указан порядковый номер канала.
Для шаблона наблюдаема переменная ERR (глобальная переменная ERR(i) в соответствии с номером сетевого устройства, которому соответствует данный шаблон). Если она принимает значение true, то это соответствует состоянию невозможности обработать широковещательное сообщение на сетевом уровне. Для шаблона определена глобальная переменная - множество {ERR ch}. Оно содержит номера каналов, по которым невозможна передача или прием широковещательного сообщения. (В данном рассмотрении для сокращения условий переходов мы объединили эти две ошибки в одну.) Значениями этих переменных управляет менеджер процесса моделирования.
Рассмотрим более подробно атрибуты переходов и инварианты. Переход Е0 используется для моделирования сбоев и отказов. Если входной канал, по которому пришло очередное событие (широковещательное сообщение), в текущий момент времени принадлежит к множеству ERRchs, то событие отбрасывается без каких-либо дополнительных действий.
Это позволяет промоделировать ситуации отсутствия возможности передачи из-за физического разрыва соединения, действия долговременной помехи. Если ERR = true, то событие также отбрасывается, что позволяет промоделировать текущую неработоспособность данного маршрутизатора. (В реальной сети в подобных ситуация соответствующие широковещательные сообщения также будут отброшены/не отправлены.) По этому переходу временной автомат возвращается обратно в локацию L0. Отметим, что в общем случае в этой локации автомат может находиться сколь угодно долго, поэтому инвариант для нее имеет значение true.
Переход Е1 срабатывает, если событие пришло по каналу, не принадлежащему в текущий момент времени ERR chs и ERR=false. Это соответствует исправности канала и маршрутизатора в текущий момент времени. Автомат переходит в локацию L1. Переменная Timerl сбрасывается. В локации L1 автомат будет находиться или до истечения времени, задаваемого параметром РТ (время обработки широковещательного сообщения в маршрутизаторе) или до момента, когда переменная ERR примет значение true (маршрутизатор перешел в неработоспособное состояние).
Если автомат находился в локации L1 до Timerl=PT, то он перейдет по переходу Е2, если широковещательное сообщение было признано корректным и по переходу ЕЗ, если широковещательное сообщение было признано не корректным. По ЕЗ осуществляется переход в локацию L0, что соответствует отбрасыванию некорректного широковещательного сообщения. Если переменная ERR принимает значение true, когда автомат находится в локации L1, то он переходит в локацию L0 по переходу Е4, что соответствует выходу маршрутизатора из строя.
В локации L2 автомат может находиться либо до момента, когда ERR=true, либо пока Timerl меньше параметра ST. (Значение данного параметра определяет время рассылки широковещательного по каналам). Если ERR = true, то автомат переходит в локацию L0, что соответствует выходу маршрутизатора из строя. Если же автомат выполняет переход Е5, то события, соответствующие широковещательные сообщения рассылаются во все исправные выходные каналы, кроме того, из которого он пришел. Автомат переходит в локацию L0.
Таким образом, переходы Е0, Е4, Е6 обеспечивают возможность моделирования отказов и сбоев маршрутизаторов и каналов связи сети в ходе ее функционирования.
На рисунке 14 представлен предложенный шаблон для терминального узла. На этом рисунке жирными линиями выделены переходы, позволяющие выполнить моделирование сбоев и отказов.
В отличие от модели маршрутизатора, модель терминального узла при приходе события, соответствующего широковещательному сообщению, регистрирует его, но не посылает события, соответствующие рассылке широковещательного сообщения, в выходные каналы. В менеджер процесса моделирования по каналу гес посылается событие.
Отправка события, соответствующего рассылке широковещательного сообщения осуществляется по команде от менеджера процесса моделирования (для этого используется канал send).
Рис. 14. Шаблон временного автомата, соответствующего терминальному узлу
На рисунке 15 представлен временной автомат, использующийся для моделирования канала связи.
?chi, (chi e[ERR_chs})
?chi, (chi e{ERR_chs}) Timerl:=0
!cho, Timerl:=0
Рис. 16. Пример фрагмента сети временных автоматов
Для того, чтобы промоделировать сбой или отказ канала связи, идентификатор соответствующего канала помещается в множество ЕКЯсйв. Если выполняется моделирование сбоя, то через некоторое время идентификатор данного канала может быть исключен из этого множества. Например, в некоторый момент времени менеджер процесса моделирования может присвоить переменной ЕКЯ.К2=1гие, ЕКЯсйв^сЬвб}. В результате текущая конфигурация сети будет выглядеть так, как показано на рисунке 17.
Рис. 15. Шаблон временного автомата, соответствующего физическому каналу связи
Данный временной автомат имеет две локации и 4 перехода. Переходы, отмеченные жирными линиями, позволяют промоделировать сбои и отказы в физической линии связи. У автомата имеется входной канал chi и выходной канал cho.
Для данного временного автомата определен параметр:
Pphy - время передачи широковещательного сообщения через данную физическую линию связи (Xphy)
На базе таких шаблонов временных автоматов могут быть сформированы сети с произвольной топологией (любым графом связей между маршрутизаторами и терминальными узлами). Пример фрагмента такой сети представлен на рисунке 16.
Каждому терминальному узлу и маршрутизатору поставлена в соответствие переменная ERR.Ti или ERR.Ri соответственно (из MaccHBaERR).
Для того, чтобы промоделировать сбой или отказ сетевого узла, происходящий в некоторый момент времени, менеджер процесса моделирования устанавливает соответствующую переменную в значение true. В случае моделирования сбоя, через некоторое время данная переменная может быть вновь установлена в значение false.
Рис. 17. Пример текущей конфигурации сети с отключенным маршрутизатором и каналом связи
На этом рисунке светло серым отмечены компоненты, которые в текущей конфигурации считаются не работоспособными. Если в момент изменения конфигурации автомат, соответствующий маршрутизатору И2 не находился в локации Е0, то он перейдет в локацию Е0. Если в него по каналам сЙ52, сйвЗ будут поступать события (соответствующие Броадсатс), то они будут отброшены. В автомате, соответствующем маршрутизатору Я9 отправка событий в канал сЪ2 (глобальный идентификатор сйвб) не будет осуществляться. Аналогично, в автомате, соответствующем терминальному узлу Т1 отправка событий в канал сЪ2 (глобальный идентификатор сйвб) не будет осуществляться.
Автомат - менеджер процесса моделирования функционирует в соответствии со сценарием теста. Он изменяет значения ERR и {ERRchs}, отправляет события в каналы sendi, принимает события из каналов reci. Для менеджера тестов определено L+K таймеров Timerti, i е [0, L+K-1] для оценки времени распространения Броадкаст до терминальных узлов и маршрутизаторов. Данные таймеры сбрасываются в момент отправки события по каналу sendi. Значения соответствующих таймеров в момент приема событий по канала reci, позволяют определить время доставки до соответствующих сетевых устройств.
В сеть временных автоматов могут быть добавлены служебные переменные, позволяющие собирать в процессе моделирования различную статистическую информацию. В частности, для каждого канала может быть добавлена переменная -счетчик широковещательных сообщений (Broadcastcounter), позволяющая оценить загрузку каналов распространением широковещательных сообщений, фактическую долю пропускной способности каналов, занимаемую передачей широковещательных сообщений. Для шаблона автомата маршрутизатора и терминального узла для этого в набор действий, связанных с переходом Е5 необходимо добавить действие Broadcastcounter = Broadcastcounter +1;
Использование данного подхода, позволяет получить более точную оценку времени распространения широковещательных сообщений в условиях наличия сбоев в сети. Использование данного подхода позволило показать, что итоговое дерево распространения широковещательного сообщения и, соответственно, время распространения широковещательного сообщения до терминальных узлов может быть существенно больше того, которое получается с использованием алгоритма Ли при возникновении одного из следующих условий:
- родолжительность действия сбоя меньше времени распространения широковещательного сообщения по сети;
- восстановление после сбоя происходит в процессе распространения широковещательного сообщения по сети.
Далее приведем пример, иллюстрирующий это.
Пример фрагмента сети, представлен на рисунке 18.
В этом примере кратчайший путь распространения широковещательного сообщения между Т1 и Т7, получаемый с использованием первого метода:
Для него может быть определено время распространения широковещательного сообщения с использованием алгоритма Ли.
Рассматривался следующий сценарий поведения системы. В момент прохождения очередного широковещательного сообщения через маршрутизатор R5 его канал chi4, cho4 находился в состоянии неисправности (рисунок 18(a)). Сразу после прохождения широковещательного сообщения для данного маршрутизатора переменная ERR была установлена в значение true (рис. 186). Далее, через время меньшее, чем время распространения широковещательного сообщения по пути R6 - R50 данная переменная была установлена в значение false (рис. 18в). (Это соответствует перезагрузке маршрутизатора.)
Рис. 18. Пример разных конфигураций фрагмента сети
Далее широковещательное сообщение пришло по каналу 3 в маршрутизатор и был разослан им в каналы 1, 2, 3, 4. В результате данное широковещательное сообщение достигло маршрутизатора Р51 по следующему пути:
^ ... ^50^5^51^52^X7
Для этого понадобилось время существенно большее того, которое может быть рассчитано при построении дерева распространения без учета такой возможной схемы сбой - восстановление. (Маршрутизаторов Р4, Р50 он также достиг, но поскольку для них не выполнялось сброса, в них он был определен как дублетный.)
Потенциально такая ситуация может привести к некорректной интерпретации данного широковещательного сообщения (последовательности широковещательных сообщений) в соответствующих терминальных узлах. Применительно к нашему примеру, это будут терминальные узлы, подключенные к маршрутизатору Я51. Если, например, другое широковещательное сообщение (широковещательное сообщение, соответствующее другому событию, имеющий другой номер канала, но логически связанный с рассматриваемым) отправляется по сети через время, достаточное для распространения первого широковещательного сообщения в условиях отсутствия сбоев, то до этих терминальных узлов оно будет доставлено раньше, чем предыдущее.
Если для парирования отказов в сети используются подходы [23-25], то за счет наличия независимых деревьев распространения некоторое количество широковещательных сообщений достигнет всех терминальных узлов вовремя. Однако, и в этом случае в алгоритмах обработки широковещательных сообщений в терминальных узлах потенциальную возможность запаздывания из-за сбоев необходимо учитывать хотя бы для того, чтобы корректно их отбросить.
Таким образом, использование данного метода позволяет получить более точные характеристики времени распространения широковещательных сообщений в условиях динамически изменяющейся структуры сети.
Заключение
В статье предложены методы оценки характеристик передачи широковещательных сообщений для сетей ЗрасеРШге с использованием различных способов пространственного резервирования для парирования отказов и сбоев. Первый метод ориентирован на оценку характеристик в условиях, когда структура сети не изменяется непосредственно в процессе распространения широковещательного сообщения.
Второй метод позволяет оценить характеристики передачи широковещательных сообщений с учетом возможности динамического изменения структуры сети, в случаях, если отказы, сбои, восстановление после сбоев происходят непосредственно во время распространения широковещательного сообщения.
Для реализации второго метода предложена схема сети временных автоматов, шаблоны временных автоматов, позволяющие оценивать характеристики в условиях динамически возникающих сбоев и отказов.
При использовании данного метода обеспечивается возможность оценить последствия динамического изменения структуры сети в процессе распространения широковещательного сообщения, оценить характеристики передачи широковещательных сообщений при возникновении сбоев и отказов отдельных портов маршрутизатора (в частности, последовательной деградации маршрутизатора), при которых остальная часть маршрутизатора сохраняет корректное функционирование. Это позволяет более точно оценивать характеристики системы при различных сценариях возникновения сбоев и отказов.
С использованием данного подхода были определены условия, при которых дерево распространения широковещательного сообщения, и, соответственно время его распространения оказываются существенно больше, чем при оценках, получаемых с использованием алгоритма Ли.
Оценки, получаемые с использованием этих методов, могут быть использованы при выборе схем структурного резервирования, конфигурировании сети (выборе параметров конфигурации) т.к. они позволяют оценить достижимое время передачи широковещательных сообщений.
Благодарности
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, "Фундаментальные основы построения помехо-защищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга".
Литература
1. SpaceFibre - Very high-speed serial link. ECSS-E-ST-50-11C // ESA-ESTEC: Noordwijk, Netherlands, 2019.
2. Alur R., Dill D. A theory of timed automata II Theoretical Computer Science, 1994, 126(2), pp. 183-235. doi:10.1016/0304-3975(94)90010-8
3. Карпов Ю.Г. Model checking. Верификация параллельных и распределенных программных систем II СПб.: БХВ-Петербург, 2010. С. 1-560.
4. Abd Alrahman Y., Azzopardi S., Piterman N. Model Checking Reconfigurable Interacting Systems II In Leveraging Applications of Formai Methods, Verification and Validation. Adaptation and Learning, 2022. Vol. 13703, pp. 59-72. doi: 10.1007/978-3-031-19759-8_
5. Велъдер С.Э., Лукин M.A., Шалыто AA., ЯминоеБ.Р. Верификация автоматных программ II Санкт-Петербург «Наука» 2011. С 1-247.
6. Govind R., Herbreteau F., Srivathsan B., Walukiewicz I. Abstractions for the local-time semantics of timed automata: a foundation for partial-order methods II 37th Annual ACM/IEEE Symposium on Logic in Computer Science (LICS),2022. pp. 1-22. doi: 10.1145/3531130.3533343
7. Alur R., La Torre S., Pappas G. Optimal Paths in Weighted Timed Automata II Theoretical Computer Science, 2004, 318(3), pp. 297-322. doi: 10.1016/j.tcs.2003.10.038
8. André E., Lime D., Roux O.H. Decision Problems for Parametric Timed Automata II ICFEM, Lecture Notes in Computer Science, Springer: Tokyo, Japan, 2016. Vol. 10009, pp. 400-416. doi: ffl0.1007/978-3-319-47846-3_25
9. André E., Lime D., Ramparison M. TCTL model checking lower/upper-bound parametric timed automata without invariants II FORMATS: Lecture Notes in Computer Science, Springer: Beijing, China, 2018. Volume 11022,pp. 37-52. doi: 10.1007/978-3-030-00151-3_3
10. Jensen P.G., Kiviriga A., Guldstrand Larsen K., Nyman U., Mi-jaika A., HoiriisMortensen J. Monte Carlo Tree Search for Priced Timed Automata II Quantitative Evaluation of Systems: 19th International Conference, QEST 2022, Springer: Cham, Switzerland: 2022. Vol. 13479, pp. 381-398. doi:10.1007/978-3-031-16336-4_19
11. Benes N., Bezdék P., Larsen K.G., Srba J. Language Emptiness of Continuous-Time Parametric Timed Automata II In ICALP: Lecture Notes in Computer Science, Part II, Springer: Kyoto, Japan, 2015. Vol. 9135, pp. 69-81. doi: 10.1007/978-3-662-47666-6_6
12. André E. What's decidable about parametric timed automata? II International Journal on Software Tools for Technology Transfer. 2019. Vol. 21.2, pp. 203-219. doi: doi.org/10.1007/sl0009-017-0467-0
METHODS FOR ESTIMATING THE PROPAGATION TIME OF BROADCAST MESSAGES IN SPACEFIBRE NETWORKS UNDER FAILURE AND FAULTS WITH VARIOUS SPATIAL REDUNDANCY TYPES
ELENA A. SUVOROVA
Saint Petersburg, Russia, [email protected] NADEZHDA YU. CHUMAKOVA
Saint Petersburg, Russia, [email protected]
KEYWORDS: SpaceFibre, broadcast messages, dynamic reconfiguration, structural redundancy, timed automata.
ABSTRACT
Introduction: Introduction: the reliability and propagation time of broadcast messages are important characteristics for computer networks based on the SpaceFibre standard. To faults and failures mitigation in these networks, various mechanisms of structural redundancy can be used, which affect the propagation time of broadcast messages. Due to the peculiarities of broadcast message propagation rules in SpaceFibre networks, manually evaluation of their characteristics is very problematic, errors are possible due to the fact that not all factors will be taken into account. Therefore, there is a requirement to develop automated methods for assessing characteristics. Purpose: the purpose of the study is to develop methods for evaluating the transmission characteristics of broadcast messages in SpaceFibre networks. Methods: the developed methods and algorithms are based on the elements of graph theory (searching for the shortest paths), on the theory of timed automata, networks of timed automata. An approach has been developed to the development of timed
automata and a network based on timed automata for estimating the transmission time of broadcast messages, which differs from known methods with the possibility of dynamic reconfiguration. Results: The use of the developed methods makes it possible to evaluate the propagation characteristics of broadcast messages under conditions of static and dynamic changes in the network structure due to failures and faults. The obtained results can be used to select structural redundancy approach for the network and can significantly simplify the process of generating configuration parameters for network devices. Practical relevance: The proposed method made it possible to identify the conditions under which the propagation time of broadcast messages in the presence of failures and recovery after failures turns out to be significantly higher than that obtained in the analysis without taking into account the possibility of dynamic changes in the network structure. Discussion: There are no analogues of the proposed method for estimating the propagation characteristics of broadcast messages for SpaceFibre networks.
REFERENCES
1. SpaceFibre - Very high-speed serial link. ECSS-E-ST-50-11C. ESA-ESTEC: Noordwijk, Netherlands, 2019.
2. R. Alur, D. Dill. A theory of timed automata. Theoretical Computer Science, 1994, no. 126(2), pp. 183-235. doi: 10.1016/0304-3975(94)90010-8
3. Yu.G. Karpov. Model checking. Verification of parallel and distributed software systems. BHV: Saint Petersburg, Russia, 2010, pp. 1-560. (In Russian)
4. Y. Abd Alrahman, S. Azzopardi, N. Piterman. Model Checking Reconfigurable Interacting Systems. In Leveraging Applications of Formal Methods, Verification and Validation. Adaptation and Learning. 2022. Vol. 13703, pp. 59-72. doi: 10.1007/978-3-031-19759-8_23
5. S.E. Velder, M.A. Lukin, A.A. Shalyto, B.R. Yaminov. Verification of automata-based programs. Saint Petersburg: Nauka. 2011, pp. 1-102. (In Russian)
6. R. Govind, F. Herbreteau, B. Srivathsan, I. Walukiewicz. Abstractions for the local-time semantics of timed automata: a foundation for partial-order methods. 37th Annual ACM/IEEE Symposium on Logic in Computer Science (LICS), 2022, pp. 1-22. doi: 10.1145/3531130.3533343
7. R. Alur, S. La Torre, G. Pappas. Optimal Paths in Weighted Timed Automata. Theoretical Computer Science, 2004, no. 318(3), pp. 297322. doi: 10.1016/j.tcs.2003.10.038
8. E. Andre, D. Lime, O.H. Roux. Decision Problems for Parametric Timed Automata. ICFEM, Lecture Notes in Computer Science, Springer: Tokyo, Japan, 2016. Vol. 10009, pp. 400-416. doi: ff10.1007/978-3-319-47846-3_25
9. E. Andre, D. Lime, M. Ramparison. TCTL model checking lower/upper-bound parametric timed automata without invariants. FORMATS: Lecture Notes in Computer Science, Springer: Beijing, China, 2018. Vol. 11022. pp. 37-52. doi: 10.1007/978-3-030-00151-3_3
10. P.G. Jensen, A. Kiviriga, K. Guldstrand Larsen, U. Nyman, A. Mijaika, J. Hoiriis Mortensen. Monte Carlo Tree Search for Priced Timed Automata. Quantitative Evaluation of Systems: 19th International Conference, QEST 2022, Springer: Cham, Switzerland: 2022. Vol. 13479, pp. 381-398. doi:10.1007/978-3-031-16336-4_19
11. N. Benes, P. Bezdek, K.G. Larsen, J. Srba. Language Emptiness of Continuous-Time Parametric Timed Automata. ICALP: Lecture Notes in Computer Science, Part II, Springer: Kyoto, Japan, 2015. Vol. 9135, pp. 69-81. doi: 10.1007/978-3-662-47666-6_6
12. E. Andre What's decidable about parametric timed automata? International Journal on Software Tools for Technology Transfer. 2019. Vol. 21.2, pp. 203-219. doi: doi.org/10.1007/s10009-017-0467-0
13. S. Chakraborty, L.T.H. Phan, P.S. Thiagarajan. Event Count Automata: A State-based Model for Stream Processing Systems. 26th IEEE Real-Time Systems Symposium, 2005, pp. 87-98. doi:10.1109/RTSS.2005.21
14. M. Boyer, P. Roux. Embedding network calculus and event stream theory in a common model. 21st IEEE International Conference on Emerging Technologies and Factory Automation, ETFA 2016, pp. 1-8. doi: 10.1109/ETFA.2016.7733565
15. Y. Hammal, Q. Monnet, L. Mokdad, J. Ben-Othman, A. Abdelli. Timed automata based modeling and verification of denial of service attacks in wireless sensor networks. Studia Informatica Universalis. 2014, no. 12 (1), pp. 1-46.
16. M. Anand, S. Dajani-Brown, S. Vestal, I. Lee. Formal Modeling and Analysis of AFDX Frame Management Design. 9th IEEE International Symposium on Object-oriented Real-time Distributed Computing (ISORC2006), 2006, pp. 393-399. doi: 10.1109/ISORC.2006.35
17. R. Govind, F. Herbreteau, B. Srivathsan, I. Walukiewicz. Revisiting local time semantics for networks of timed automata. 30th International Conference on Concurrency Theory (CONCUR 2019). 2019, pp. 1-16. doi: 10.48550/arXiv.1907.02296
18. S. Akshay, P. Gastin, R. Govind, B. Srivathsan. Simulations for Event-Clock Automata. 33rd International Conference on Concurrency Theory (CONCUR 2022), 2022. Vol. 243. pp. 13:1-13:18. doi: 10.48550/arXiv.2207.02633
19. Y. Zhan, M.S. Hsiao. Breaking Down High-Level Robot Path-Finding Abstractions in Natural Language Programming. AIxIA 2020 -Advances in Artificial Intelligence, Springer: Cham, Switzerland, 2021. Vol. 12414, pp. 59-72.
20. N. Sherwani. Algorithms for VLSI Physical Design Automation, 3rd ed. Springer: New York, USA. 1998, pp. 247-290. doi: 10.1007/b116436
21. J. Baillieul, P.J. Antsaklis. Control and Communication Challenges in Networked Real-Time Systems. Proc. IEEE2007. Vol. 95, no. 1, pp. 9-28. doi: 10.1109/JPR0C.2006.887290
22. M.L. Shooman. Reliability of Computer Systems and Networks: Fault Tolerance, Analysis, and Design. John Wiley & Sons, Inc: New York, USA, 2002, pp. 1-528.
23. R.L. Alena, J.P. Ossenfort, K.I. Laws, A. Goforth. Communications for Integrated Modular Avionics. IEEE Aerospace Conference, 2007, pp. 1-18. doi: 10.1109/AER0.2007.352639
24. H. Butz. The airbus approach to open integrated modular avionics (IMA): technology, methods, processes and future road map. Aircraft System Technologis, 2007, pp. 1-11.
25. Aircraft Data Network Part 7 Avionics Full-Duplex Switched Ethernet (AFDX) Network. ARINC Specification 664, Part 7. Aeronautical Radio, Inc., 2005.
26. A.B. Glonina, V.V. Balashov. On the Correctness of Real-Time Modular Computer Systems Modeling with Stopwatch Automata Networks. Modeling and Analysis of Information Systems, 2018. Vol. 25. no. 2 (74), pp. 174- 192. doi:10.18255/1818-1015-2018-2-174-192
27. A.B. Glonina. A tool system for schedulability analysis of modular computer systems configurations. Lomonosov Moscow State Universisty, 2020, No. 3, pp. 16-29. (In Russian)
28. A.B. Glonina. General model of real-time modular computer systems operation for checking acceptability of such systems configurations. Bulletin of the South Ural State University. Series "Computational Mathematics and Informatics", 2018. Vol. 6, No. 4, pp. 43-59. doi:10.14529/cmse170404
29. S. Tigane, F. Guerrouf, N. Hamani, L. Kahloul, M. Khalgui, M.A. Ali. Dynamic Timed Automata for Reconfigurable System Modeling and Verification. Axioms. 2023, no. 12, pp. 1-230. doi:10.3390/axioms12030230
30. R. Bettira, L. Kahloul, M. Khalgui, Z. Li, Reconfigurable Hierarchical Timed Automata: Modeling and Stochastic Verification. IEEE International Conference on Systems, Man and Cybernetics. 2019, pp. 2364-2371. doi: 0.1109/SMC.2019.8913890
31. R. Bettira, L. Kahloul, M. Khalgui. A Novel Approach for Repairing Reconfigurable Hierarchical Timed Automata. 15th International Conference on Evaluation of Novel Approaches to Software Engineering (ENASE2020). 2020. pp. 398-406. doi:10.5220/0009408503980406
32. I. Tahiri, A. Philippot, V. Carre-Menetrier, A. Tajer. TimeBased Estimator for Control Reconfiguration of Discrete Event Systems (DES). International Conference on Control, Decision and Information Technologies(CoDIT). 2019, pp. 1-7. doi:10.1109/CoDIT.2019.8820585
INFORMATION ABOUT AUTHORS:
Elena A. Suvorova, PhD, docent of Department of aerospace computer and software systems, Head of the "Systems and Networks-on-Chip" laboratory of Aerospace R&D Centre of Saint Petersburg State University of Aerospace Instrumentation, Saint-Petersburg, Russia
Nadezhda Yu. Chumakova, assistant of the Department of aerospace computer and software systems, engineer of Aerospace R&D Centre of Saint Petersburg State University of Aerospace Instrumentation, Saint-Petersburg, Russia
For citation: Suvorova E.A., Chumakova N.Yu. Methods for estimating the propagation time of broadcast messages in Spacefibre networks under failure and faults with various spatial redundancy types. H&ES Reserch. 2023. Vol. 15. No 5. P. 39-56. doi: 10.36724/2409-5419-202315-5-39-56 (In Rus)
