CC BY
3
НАУКОЕМКИЕ ТЕХНОЛОГИИ В КОСМИЧЕСКИХ ИССЛЕДОВАНИЯХ ЗЕМЛИ, Т. 15. № 4-2023
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА Сок 10.36724/2409-5419-2023-15-4-4-13
АВТОМАТИЧЕСКОЕ ПОСТРОЕНИЕ ОТКАЗОУСТОЙЧИВЫХ БОРТОВЫХ СЕТЕЙ
ОЛЕНЕВ
Валентин Леонидович1
Сведения об авторе:
1 к.т.н., доцент, заведующий кафедрой аэрокосмических компьютерных и программных систем, директор центра аэрокосмических исследований и разработок, Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения", г. Санкт-Петербург, Россия, Valentin.Olenev@guap.ru
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, "Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга ".
АННОТАЦИЯ
Введение: отказоустойчивость является одним из ключевых вопросов для бортовых сетей автономно функционирующих аппаратов. С ростом количества устройств в составе таких сетей появляется потребность в методах автоматизации построения сетей с учетом необходимой отказоустойчивости и ограничений. Цель исследования: целью исследования является реализация методов и алгоритмов, способствующих оценке отказоустойчивости бортовых сетей, а также, при необходимости, автоматического достраивания сетей до требуемой отказоустойчивости. Методы: полученные методы и алгоритмы основаны на элементах теории графов, а именно оценке связности и поиска кратчайших путей. Графы составляются на основе структуры бортовой сети с применением ряда предложенных правил. В качестве метода обеспечения отказоустойчивости рассматривается структурная избыточность, которая при помощи разработанного метода сводится к обоснованному дополнению сети элементами, в отличие от часто применяемого полного копирования сетевой структуры. Метод состоит из двух этапов, в рамках которых производится достраивание сети до требуемой отказоустойчивости, а затем итерационная доработка структуры сети с целью уменьшения аппаратных затрат. Результаты: использование разработанного метода позволяет в значительной степени упростить и ускорить проектирование бортовых сетей, поскольку формализованная оценка такой сети проводится еще на этапе проектирования, до реальной ее сборки. Процесс достраивания до необходимой отказоустойчивости для крупных сетевых структур занимает меньше минуты. Практическая значимость: представленный метод реализован в рамках программного комплекса автоматизированного проектирования и моделирования бортовых сетей, произведена длительная апробация в составе реальных проектов по разработке бортовых сетей космических аппаратов. Обсуждение: аналогов подобной программной реализации для бортовых сетей не существует. Полученные при помощи метода решения на практике показали себя близкими к оптимальным и получили высокую оценку специалистов.
КЛЮЧЕВЫЕ СЛОВА: отказоустойчивость, структурная избыточность, бортовые сети, автоматизация, достраивание сети.
Для цитирования: Оленев В.Л. Автоматическое построение отказоустойчивых бортовых сетей // Наукоемкие технологии в космических исследованиях Земли. 2023. Т. 15. № 4. С. 4-13. Сок 10.36724/2409-5419-2023-15-4-4-13
М. 15. N0. 4-2023, Н&ЕБ RESEARCH
AVIATЮN, SPACE-ROCKET HARDWARE
Введение
Создание отказоустойчивых сетей является одной из ключевых проблем в тех случаях, когда работа сети критически важна для функционирования объекта, в работе которого она задействована. В качестве таких объектов могут выступать крупные предприятия, атомные станции, бортовые сети летательных и космических аппаратов, автономных роботов и автомобилей и т.п. [1, 2, 3]. При этом возникновение отказов допускается, полностью избежать их невозможно, особенно при длительном сроке функционирования. Но необходимы эффективные методы парирования этих отказов и устранения их последствий.
Вопросы, связанные с отказоустойчивостью локальных вычислительных сетей уже в достаточной степени изучены, но для бортовых сетей, использующих специализированные коммуникационные протоколы, имеющих значительные ограничения по массе и энергопотреблению, эти вопросы остаются крайне актуальными.
Отказоустойчивость - это свойство архитектуры информационных систем, обеспечивающее выполнение заданных функций в случаях, когда в аппаратных и программных средствах системы возникают отказы [4]. Отказоустойчивость может быть активная или пассивная. Активная отказоустойчивость подразумевает наличие специализированных средств обнаружения, локализации отказа с последующей реконфигурацией системы, чаще в автоматическом режиме, поэтому является ресурсозатратной. Пассивная отказоустойчивость заключается в дополнении системы резервной аппаратурой с возможностью максимально быстрого переключения между ними.
Введение дополнительного оборудования называется избыточностью, наиболее эффективным ее видом является структурная избыточность. Этот подход дает больший вес сети благодаря дополнительному оборудованию, но является более надежным и повсеместно применяется в бортовых сетях, где количество резервной аппаратуры иногда превышает количество основной. Таким образом, любая система, содержащая избыточные компоненты или функции обладает некоторыми свойствами отказоустойчивости [5].
Отказоустойчивость в бортовых сетях
С каждым новым этапом развития бортовых сетей и использующейся в них техники количество узлов, включенных в работу сети, растёт. Узлы могут представлять из себя различную по сложности и степени интеллектуальности аппаратуру, например, процессоры, датчики, блоки управления, память и т.д. Тенденции развития идут к тому, что все эти устройства будут объединены в одну сеть, по которой будет проводиться обмен данными между всеми этими устройствами. Потеря данных в бортовой сети или отказ одного из этих устройств может повлечь серьезные последствия, поэтому в таких сетях необходимо вводить дополнительные каналы связи, обеспечивающие резервные маршруты, а также дополнять топологию сети резервными устройствами [6].
Глобально бортовая сеть состоит из трех основных элементов: терминальные узлы, коммутаторы и каналы.
Каждый из этих представленных элементов может отказать без возможности его восстановления в разумные временные сроки. Продолжение корректного функционирования при отказах и сбоях достигается избыточностью. Например, один терминальный узел может быть представлен двумя или тремя комплектами аппаратуры, дублирующими друг друга по функциональности [7]. При отказе одного из комплектов на замену ему включается резервный комплект, который продолжает выполнять необходимые задачи.
В бортовых системах широко применяются дискретные детерминированные показатели отказоустойчивости, отражающие, какое число отказов компонентов может выдержать проектируемая система, сохраняя работоспособное состояние. Для этого используется показатель ^-безотказности, который показывает, что при любых ё отказах внутри системы она корректно функционирует, но найдется такое сочетание ё+1 отказов, при которых её алгоритм нарушается [8].
Величину ё и величину вероятности безотказной работы в течение определенного промежутка времени связывает некоторая (особая для каждого метода) функциональная зависимость. Ряд решений, направленных на введение избыточности в бортовые сети, был предложен в работах [9, 10, 11]. Однако, эти решения не дают однозначного формализованного алгоритма действий или метода для автоматизированного получения сети, устойчивой к ё отказам. При этом задача автоматизации процесса построения отказоустойчивых бортовых сетей становится всё более актуальной с ростом количества автономно функционирующих средств и сокращающихся сроков их реализации.
Таким образом, целью данного исследования является разработка метода автоматизации процесса построения отказоустойчивых сетей. Применительно к решаемой задаче будут рассматриваться отказы коммутаторов и каналов связи, поскольку отказ устройства или комплекта может быть приравнен к отказу связанного с этим комплектом канала с точки зрения структуры сети. При этом в рамках данной задачи не рассматривается тип резерва, в котором находятся устройства (холодный или горячий резерв), поскольку он также не оказывает влияния на сетевую структуру. В соответствии с требованиями индустрии, изложенными в [12], на текущий момент количество комплектов на устройстве может быть минимум 1, максимум 3. Пример отказоустойчивой связи между двумя сетевыми узлами, состоящими из двух комплектов через коммутатор показан на рисунке 1. При этом каждый из комплектов имеет основной (О) и резервный (Р) порты.
НАУКОЕМКИЕ ТЕХНОЛОГИИ В КОСМИЧЕСКИХ ИССЛЕДОВАНИЯХ ЗЕМЛИ, Т. 15. № 4-2023
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
Представление сети в виде графа
Проблема анализа отказоустойчивости сетей связана с вычислением связности топологии. Такой формализованный подход используется в большом количестве научных и инженерных задач [13]. Этот же подход лёг в основу данного исследования.
Для начала, необходимо представить сеть виде графа О = (V, Е), где V - это множество узлов и коммутаторов в сети, а Е - множество каналов связи. При этом должно учитываться количество комплектов на каждом устройстве. Начальная топология сети задается проектировщиком. Он составляет произвольную структуру, которая может быть представлена как двумя узлами, соединенными каналами связи, так и распределенной сетевой структурой, использующей некоторое количество коммутаторов.
Пусть/- это количество отказов, к которым устойчива сеть. Задача оценки отказоустойчивости сети сводится к определению ^-связности графа [40шибка! Закладка не определена.], который строится по исходной топологии сети. Отказоустойчивость вычисляется в соответствии с формулой 1.
f = k -1,
(1)
f = U -1,
(2)
Пример для случая точка-точка приведен на рисунке 2.
О
Комплект А Р
с;
си
m р
>
Комплект Б
О
о
р Комплект А
с;
C1J
и го
Комплект Б >
о
где/- количество отказов; k- связность графа.
Чем больше связность, тем большее количество элементов сети может отказать, и это не окажет негативного влияния на функционирование сети [14]. В графе должно быть более одного маршрута между каждой парой вершин для парирования отказов, это значит, что граф должен оставаться связным при удалении ребра или вершины.
Для графов определено два вида связности: вершинная и реберная. Вершинная связность графа есть минимальное число вершин, которые нужно удалить, чтобы разделить этот граф на большее количество компонент связности (минимум две части). Реберная связность - минимальное число ребер, которые нужно удалить с этой же целью [15]. Отказ канала можно считать равнозначным отказу порта на терминальном узле или коммутаторе. Может отказать узел, его комплект, порт комплекта или коммутатор. Следовательно, отказоустойчивость бортовой сети требует определения вершинной связности графа.
Для случая двухточечного соединения (подключения двух узлов типа точка-точка, point-to-point) [16] оценка отказоустойчивости выполняется по Правилу 1.
Правило 1: Количество отказов, к которому устойчива система точка-точка, вычисляется исходя из минимального количества комплектов на двух устройствах в системе, связанных с соседним устройством каналами связи (U).
В этом случае количество отказов вычисляется по формуле 2.
Рис. 2. Пример связи для случая точка-точка
Система на рисунке 2 представлена двумя узлами, содержащими по два комплекта. Каждый из комплектов имеет по два порта, все порты двух узлов связаны каналами. Производя расчет по формуле 2, получаем, что сеть устойчива к одному отказу (может отказать комплект целиком).
Рассмотрим процесс формирования графа на основе топологии сети, где сеть содержит коммутаторы. Граф формируется в соответствии с Правилом 2, результат применения которого приведен на рисунке 3.
Правило 2:
1. Каждый узел должен быть представлен одной вершиной в графе.
2. При наличии в узле нескольких комплектов они считаются как один узел.
3. Каждый коммутатор должен быть представлен отдельной вершиной в графе.
4. Каждый канал, соединяющий элементы сети, должен быть поставлен в соответствие ребру графа, соединяющему соответствующие вершины графа.
Топология
Граф
где/- количество отказов; и - минимальное количество комплектов на двух устройствах.
Рис. 3. Переход от топологии к графу
Связность анализируется на ориентированных графах [17]. Современные стандарты, предназначенные для надежной передачи данных, имеют двунаправленные каналы связи (для отправки сервисных данных). С учетом этого, каждый канал представляется парой противоположно направленных ребер.
Vol. 15. No. 4-2023, H&ES RESEARCH
AVIATION, SPACE-ROCKET HARDWARE
Пример показан на рисунке 4.
Граф Орграф
Рис. 4. Переход к ориентированному графу
Метод оценки отказоустойчивости коммуникационной сети
После построения графа сетевой топологии производится выполнение оценки отказоустойчивости. Метод состоит из нескольких шагов:
1. Проверка графа на связность. При несвязном графе сеть не устойчива к ошибкам. Если граф связен, переход на шаг 2.
2. Вычисление вершинной связности графа. Для этого необходимо перебрать все пары вершин, найти количество вершинно-непересекающихся путей и выбрать минимум, который соответствует значению связности графа к. Алгоритм вычисления вершинной связности представлен в [18].
3. Подсчет отказоустойчивости. Вычисляется количество отказов, к которым устойчива сеть, в соответствии с формулой 1.
Приведенный метод решает конкретную задачу автоматизации определения отказоустойчивости сети. Однако, возможна ситуация, при которой полученная отказоустойчивость будет равна 0. Это значит, что в сети есть узкие места, которыми могут быть как коммутаторы, так и каналы.
Каналы сети, которые являются ее узким местом, соответствуют мостам графа, то есть ребрам, после удаления которых граф распадается на два не связанных подграфа. Поиск мостов выполняется с помощью алгоритма поиска в глубину [19]. Ребро будет являться мостом тогда и только тогда, когда оно присутствует в дереве обхода в глубину и из вершины и любого ее потомка нет обратного ребра в вершину или ее предка. Это значит, что при удалении ребра между таким узлом и его предком будет отсоединено поддерево. Обнаруженные мосты - это каналы, являющиеся узкими местами в сети.
Отказ коммутатора также может привести к разделению сети на две подсети. Такие коммутаторы соответствуют точкам сочленения в графе, то есть вершинам, в случае удаления которой связный граф распадается на два (или больше) непересекающихся подграфа [20]. Поиск точек сочленения также выполняется на основе алгоритма поиска в глубину. Обнаруженные точки сочленения - это коммутаторы, которые являются «узкими местами» в топологии.
Приведенный метод оценки отказоустойчивости коммуникационной сети дает возможность автоматизировать процесс определения, сколько отказов выдержит проектируемая бортовая сеть. Однако, во многих случаях проектировщик самостоятельно не сможет преобразовать или исправить сеть, если она не отвечает его требованиям отказоустойчивости.
Для этого необходима разработка дополнительного формализованного подхода.
Метод достраивания структуры сети до необходимой отказоустойчивости
В рамках предложенного метода выполняется автоматизированная трансформация сети для обеспечения требуемого уровня отказоустойчивости. Задача трансформации сети для обеспечения отказоустойчивости формулируется следующим образом: необходимо добавить избыточные комплекты для терминальных узлов, разместить дополнительные коммутаторы и коммуникационные каналы в исходную топологию сети для достижения требуемой отказоустойчивости. Могут быть определены отдельные участки сети, которые не участвуют в трансформации для обеспечения отказоустойчивости.
Данная задача будет решаться в два этапа:
1) формирование топологии сети, устойчивой к заданному количеству отказов;
2) итерационная доработка полученной топологии сети.
Каждый из этих этапов методики является достаточно громоздким, поэтому рассмотрим эти этапы по отдельности.
Для формального описания разработанной методики примем следующие обозначения:
N = (N, N2,-.., Nl)- множество всех узлов в сети (или в ее части).
R = (R.2,...,Rm) - множество всех коммутаторов в сети (или в ее части).
Ch = (Chj,Ch2,...,Chs)- множество всех каналов в сети (или в ее части).
Net = N u R u Ch - сеть состоит из множества узлов, коммутаторов и каналов
np - количество недостающих портов в узле для обеспечения требуемой отказоустойчивости.
F - требуемая отказоустойчивость;
Fc - текущая отказоустойчивость;
cp - текущее количество портов в узле;
FreePorts () - алгоритм, который вычисляет количество несвязанных портов на устройстве;
Rpi - множество коммутаторов-соседей i-ro порядка;
(Pmain, Rred) - порт соединен {true) или отсоединен {false) от коммутатора;
NJports - количество свободных портов у узлов;
R_fports - количество свободных портов у коммутаторов;
portd(Rm или Щ - функция определения, подключен порт или нет, возвращает true/false.
Этап 1. Формирование сети, устойчивой к заданному количеству отказов
Для описания метода автоматизированного достраивания сети до заданной отказоустойчивости необходимо разработать ряд алгоритмов, решающих промежуточные задачи.
К таким алгоритмам относятся:
1) Алгоритм проверки необходимого количества комплектов в узлах сети.
2) Алгоритм автоматического добавления каналов связей между коммутаторами.
НАУКОЕМКИЕ ТЕХНОЛОГИИ В КОСМИЧЕСКИХ ИССЛЕДОВАНИЯХ ЗЕМЛИ, Т. 15. № 4-2023
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
3) Алгоритм автоматического достраивания коммутаторов в сети.
Рассмотрим каждый из этих алгоритмов отдельно.
Алгоритм проверки необходимого количества комплектов в узлах сети
Для проверки необходимого количества комплектов в узлах сети выполняются следующие действия. Для всех узлов в составе сети происходит последовательная проверка подключения основного порта основного комплекта к коммутатору, находящемуся в холодном резерве. Если это так, то пользователю должно быть выведено предупреждение об этом. Далее выполняется проверка необходимости добавления комплектов в узел. Вычисление количества недостающих портов выполняется по формуле 3.
np = (F +1) - cp, (3)
где np - количество недостающих портов в узле; F - требуемая отказоустойчивость; cp - текущее количество портов в
узле.
В зависимости от полученного значения np будет добавлено различное количество комплектов:
• Если np меньше 1, то нет необходимости в добавлении комплектов. Далее проверяется, что порты комплектов в составе узлов подключены к разным коммутаторам. Если это не так, то необходимо подключить резервный порт комплекта к соседнему коммутатору первого порядка, в случае невозможности - к соседу второго порядка и т.д. Количество коммутаторов, к которым подключен узел, должно быть больше, чем требуемая отказоустойчивость, в противном случае необходимо отключить все порты узла, кроме основного порта основного комплекта, и попытаться подключить их к другим коммутаторам.
• Если np больше 1, то для данного узла необходимо создать дополнительные комплекты с теми же свойствами, что и у основного. Для 1 < np < 2 создается один дополнительный комплект, для np > 3 - два комплекта. Всегда создаются комплекты с двумя портами. Если устройство имело один порт, то после добавления комплектов, оно будет содержать все комплекты с двумя портами.
После этого выполняется подключение новых комплектов к коммутаторам. Если у коммутаторов свободных портов достаточно, то выполняется связывание, иначе - выход. Если подключить к соседнему коммутатору не удается, то производится подключение к соседу второго порядка и т.д.
Формальная запись алгоритма проверки необходимого количества комплектов в узлах сети (CheckUnits) выглядит следующим образом.
Входные данные: Net, F; выходные данные: Net'.
Алгоритм 1: Проверка необходимого количества комплектов
в узлах сети
0: for VN е Net: (Pmain,Rmain), Pmmn e Umain do
1: if (Pma,n, Rred ) = true then
2: Рипг(«Основной порт основного комплекта узла N подключен к коммутатору R, находящемуся в холодном резерве») 3: endif 4: endfor
5: np ^ (F +1) - cp 6: If np < 1 then 3: If 3N e Net: (pn 4: i ^ 1 4: (preS, R) = false 5: while FreePorts(Rpi) = 0
, R) = true л (pres, R) = true then
R' e Rp,
i ^ i + 1 endwhile
endif
10: (pres,RУ,R' *R;R' eRv
endif
If R| < F then
11 12 13
((P, R) = false) a ((pmain, R) = true); (P, Rx) = true; R * Rx 14: else AddUnits(N, np-1) 15: endif
16: N _ fports ^ FreePorts(N) 17: R _ fports ^ FreePorts(R) 18: If R _ fports < N _ fports then 19: AddChannels( Net, F) 20: else i ^ 1
21: while FreePorts(Rpi) = 0
22: 23:
24:
R" G RPI
i ^ i + 1 endwhile
VN e Net: (pn
, R") = true, R" e Rp
25: endif
Алгоритм автоматического добавления каналов связей между коммутаторами
Если у коммутаторов в обрабатываемой сети есть свободные порты, то необходимо связать каналами все коммутаторы, еще не связанные друг с другом (по одному каналу связи на каждую пару).
Формальная запись алгоритма автоматического добавления каналов связей между коммутаторами (AddChannels) выглядит следующим образом.
Входные данные: Net; выходные данные: Net'.
Алгоритм 2: Автоматическое добавление каналов связей между коммутаторами
0: If VR е Net: FreePorts(R) > 0 then
1: If VRj e Net: (FreePorts(Rj) > 0) л ((Ri, Rj ) = false) then
2: (Ri, Rj ) = true
3: endif 4: endif
Vol. 15. No. 4-2023, H&ES RESEARCH
AVIATION, SPASE-ROCKET HARDWARE
Добавление каналов между коммутаторами может повысить связность сети, а как следствие - отказоустойчивость. У части коммутаторов могут отсутствовать свободные порты, поэтому для них добавление новых каналов невозможно.
Алгоритм автоматического достраивания коммутаторов в сети
В первую очередь выполняется проверка наличия неподключенных коммутаторов, которые могли появиться при отключении портов. Если таковые найдены, то необходимо произвести их подключение к основной части сети.
Добавление коммутаторов происходит посредством создания копий сетевой структуры вместе с каналами между коммутаторами. Количество необходимых дополнительных копий вычисляется как разность требуемой и текущей отказоустойчивости. Копируя структуру коммутаторов, создаются копии для каждого из них, а также аналогичные каналы связи, что и в исходной сети. При этом не копируются узлы и связи с узлами. После этого копии коммутаторов связываются друг с другом при наличии свободных портов.
Если у узлов есть неподключенные порты, то выполняется связывание узлов и коммутаторов при наличии свободных портов для того, чтобы подключить все узлы. Если свободных портов достаточно, то выполняется связывание, иначе проектировщику сети выводится сообщение, что достроить сеть не удается и необходимо использовать коммутаторы с большим количеством портов.
Формальная запись алгоритма автоматического достраивания коммутаторов (AddRouters) выглядит следующим образом.
Входные данные: Net, F; выходные данные: Net'.
Алгоритм 3: Автоматическое достраивание коммутаторов в сети
0: If Щ е Net: Щ, pj) = false) л Щ, Rk) = false) then
1: R, Rk) = true 2: endif
3: i ^ 0
4: while i < (F - Fc) 5: Net' ^ Net uRk;Rk = Ri;R e Net 6: i ^ i +1 7: endwhile
8: VRk,Rt e Net': (Rt,Rk) = true 9: N _ fports ^ FreePorts(N) 10: R _ fports ^ FreePorts(R) 11: If R _ fports < N _ fports then 12: AddChannels{ Net, F)
13: else Print("C данным количеством узлов и портов у коммутаторов достроить сеть не удается. Используйте коммутаторы с большим количеством портов") 14: endif
15: If VNt е Net: FreePorts(Nt) <> 0 then 16: If ((Nt, Rk) = true) л (Rk Ф Rk+1) then 17: (Nt, Rk+1) = true
18: endif 19: endif
Достраивание сети до необходимой отказоустойчивости
Разработанный метод достраивания структуры сети до необходимой отказоустойчивости использует вышеописанные алгоритмы и состоит из основных четырех шагов:
1) Оценка сети на отказоустойчивость. Если отказоустойчивость меньше, чем требуемая - перейти на следующий шаг, иначе закончить работу.
2) Проверка необходимого количества комплектов у узлов для обеспечения требуемой отказоустойчивости при помощи разработанного алгоритма. Если все комплекты всех узлов подключены к коммутаторам, то проверяется отказоустойчивость сети. Если отказоустойчивость сети соответствует требуемой, то задача выполнена, в противном случае, а также, если остались неподключенные порты, выполнить переход нашагЗ.
3) Проверить количество коммутаторов в сети.
a. Если количество коммутаторов в сети больше требуемой отказоустойчивости:
o Если все комплекты узлов подключены к коммутаторам, то в случае, если у коммутаторов есть свободные порты, то используется алгоритм добавления каналов связей между коммутаторами. Если добавлены новые каналы между коммутаторами, то проверяется отказоустойчивость. Если она стала соответствовать требуемой, то выполняется переход на Этап 2. Иначе необходимо добавлять дополнительные коммутаторы в сеть, отключив все порты узлов, которые были связаны с коммутаторами на шаге 2. Все исходные связи необходимо оставить прежними.
o Если у коммутаторов нет свободных портов, то выполняется алгоритм достраивания коммутаторов.
o У узлов есть порты, не подключенные к коммутаторам. В этом случае необходимо выполнить алгоритм достраивания коммутаторов.
b. Если количество коммутаторов в сети меньше или равна требуемой отказоустойчивости, то для дальнейшей трансформации сети необходимо выполнить алгоритм достраивания коммутаторов. В результате все порты узлов должны быть подключены к коммутаторам.
4) Проверка отказоустойчивости результирующей сети. Если отказоустойчивость равна или превышает требуемую, то необходимо выполнить переход на Этап 2. Если отказоустойчивость меньше требуемой, то проектировщику выводится сообщение о невозможность выполнить достраивание сети до требуемой отказоустойчивости.
Формально метод генерации отказоустойчивой структуры можно представить следующим образом:
1. Fc = FT (Net)
Если Fc > F - окончание работы метода, иначе - п.2
2. Если N N е Net, то Net' = CheckUnits{Net), иначе - выход
Если VChs = (Uj, Rm) ,то Fc = FT (Net')
Если Fc > F - окончание работы метода, иначе - п.З
3. Если m > F
a. yChs = и, Rm)
НАУКОЕМКИЕ ТЕХНОЛОГИИ В КОСМИЧЕСКИХ ИССЛЕДОВАНИЯХ ЗЕМЛИ, Т. 15. № 4-2023
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
• VRm : Если ~^portd (Rm) = false, то Net" = AddChannel (Net ', F)
Fc = FT (Net")
Если Fc > F - Net ^ Net", иначе отмена AddChannel(NetF),
• Если Vportd (Rm) = true , Net"' = AddRouters(Net", F) b. Если 3portd (N,) = false, то Net"' = AddRouters(Net", F) Если m < F
Net"' = AddRouters(Net", F)
4. Fc = FT(Net"').
Если Fc > F ,то Net ^ Net"',
иначе Print («Невозможно выполнить достраивание сети до требуемой отказоустойчивости»).
Этап 2. Итерационная доработка топологии сети. В процессе копирования структуры сети, ее каналов, коммутаторов, а также дальнейшем связывании элементов сети может возникнуть избыточность. Появятся элементы сети, необходимы в соответствии с вышеописанным методом, но при исключении из структуры сети которых можно получить сеть, более приближенную к оптимальной с точки зрения аппаратных затрат. Необходимо разработать вспомогательный метод итерационной доработки сети, который будет состоять в последовательном удалении добавленных элементов и последующей проверке отказоустойчивости.
Метод итерационной доработки топологии сети приведен ниже:
1) Сформировать граф на основе заданной топологии сети по Правилу 2.
2) Сформировать множество вершин графа, которые соответствуют вновь добавленным коммутаторам.
3) Сформировать множество ребер графа, которые соответствуют вновь добавленным каналам связей.
4) Если добавлены коммутаторы, то последовательно для каждого из них выполнить следующие действия:
a. Удалить текущий коммутатор из графа и все инцидентные ему ребра.
b. Выполнить оценку отказоустойчивости получившегося графа.
o Если удаление коммутатора приводит к удалению связей с одним или более узлов, то вернуть текущий коммутатор в граф вместе с удаленными ребрами.
o Если текущая отказоустойчивость больше или равна требуемой, то данный коммутатор должен быть удален из структуры сети вместе со всеми инцидентными ребрами.
o Если текущая отказоустойчивость меньше требуемой, то вернуть текущий коммутатор в граф вместе с удаленными ребрами.
c. Остановить данную проверку, когда будут рассмотрены все вновь добавленные коммутаторы.
5) Если были добавлены каналы, то последовательно для каждого из них выполнить следующие действия:
а. Удалить текущий канал, если это не приводит к удалению связи с узлом. При удалении необходимо удалить оба ребра орграфа, соответствующие данному каналу.
b. Выполнить оценку отказоустойчивости получившегося графа.
o Если текущая отказоустойчивость больше или равна требуемой, то канал должен быть удален.
o Если текущая отказоустойчивость меньше требуемой, то вернуть текущий канал в граф.
c. Остановить проверку, когда будут рассмотрены все вновь добавленные каналы.
6) Сохранить результирующую сеть
Формально метод итерационной доработки топологии сети выглядит следующим образом:
1. Сформировать граф Net
2. RneW £ Ш
3. Chnew е Net
4. Длявсех R new•
Если Rnew то Fc = FT(Nett)
Щ e Rnew : Net' := R n Net) л ((Chj R). .Chn (R,)) n Net) Если Fc > F ,то
Щ e Rnew : Net' := (R, n Net) л ((Ch} R). .Chn R)) n Net)
иначе Net ^ Net'
5. Для всех Chmw-Если Chnew Ф 0 ,то
yCht e Chnew : Net' := (Ch, n Net)
Если N(Net') ф N(Net), то Net' ^ Net
Fc = FT (Net')
Если Fc > F ,то VCh, e Chnew : Net' := (Ch, n Net), иначе Net' ^ Net;
6. Net ^ Net'.
Результатом работы данного метода могут быть различные сетевые структуры. Чтобы принять решение, какой вариант сети более подходит к текущей задаче, проектировщик может оценить физические характеристики (количество коммутаторов, терминальных узлов, показатели массы и энергопотребления).
Применение метода ограничено в следующих случаях:
1) На каком-либо из узлов основной порт основного комплекта узла подключен к коммутатору, находящемуся в резерве.
2) Используются коммутаторы с недостаточным количеством портов, поэтому при добавлении новых коммутаторов и каналов все порты автоматически будут заняты дублирующими связями - повысить связность сети не удастся.
3) Другие частные случаи, при которых добавление резервных коммутаторов не увеличивает отказоустойчивость сети.
4) Задано требование по отказоустойчивости, не удовлетворяющее ограничениям.
Корректность разработанных методов следует из применения математического аппарата теории графов для исследования и разработки и результатов моделирования в составе реализованного программного обеспечения.
Vol. 15. No. 4-2023, H&ES RESEARCH AVIATION, SPASE-ROCKET HARDWARE
Экспериментальное подтверждение работоспособности разработанного метода
Предложенные методы, предназначенные для автоматизации процесса построения отказоустойчивых структур, были реализованы в рамках создания программного комплекса SANDS {SpaceWire Automated Design and Simulation) [21] no заказу AO «ИСС» им. академика М.Ф. Решетнева. Это автоматизированная система проектирования и моделирования сетей SpaceWire. Первый программный компонент системы включает в себя функциональность анализа сети на узкие места и отказоустойчивость, а также автоматическое достраивание сети до необходимой отказоустойчивости. На рисунке 6 показан пример сети, состоящей из трех узлов (по два комплекта), и двух коммутаторов (основной и резервный).
Рис. 5. Автоматизированное достраивание сети до необходимой отказоустойчивости
Рис. 6. Достраивание до необходимой отказоустойчивости участка сети
При запуске автоматизированной генерации с требованием достроить сеть до отказоустойчивости 2 добавлены каналы и два новых коммутатора, показанные фиолетовым цветом. Метод также может применяться только для отдельных областей сети. На рисунке 6 показан выбор области сети, не участвующей в оценке отказоустойчивости и достраивании. Остальная часть сети должна быть достроена до отказоустойчивости 3.
Таким образом, программная реализация разработанного метода подтверждает его работоспособность. Проведенное тестирование показывает, что большинство полученных решений получаются или оптимальными, или близкими к оптимальным (в зависимости от размера сети).
Заключение
Разработанный метод позволяет проводить оценку отказоустойчивости заданной сетевой структуры, которая может быть выполнена для сети в целом или для отдельных частей сети, определенных проектировщиком. Метод позволяет определять «узкие места» сети - коммутаторы и каналы связи, при выходе из строя которых сеть перестает быть устойчивой к отказам.
Также метод позволяет автоматически трансформировать сеть, заданную проектировщиком, для обеспечения требуемого уровня отказоустойчивости. В результате выполнения трансформации сети пользователю выдается новая структура сети, в которой могут быть добавлены комплекты на узлах, коммутаторы и каналы.
Метод достраивания структуры сети до необходимой отказоустойчивости отличается от уже существующих тем, что направлен на получения решений, близких к оптимальным по затратам аппаратуры, а также тем, что он разработан с учетом технических требований индустрии.
Реализация и успешная работа метода в рамках программного комплекса SANDS, подтверждает его состоятельность, метод выполняет поставленные задачи по достраиванию сетевых структур, близких по структуре к реальным бортовым сетям.
Подобные решения для автоматизации сложных процессов построения бортовых сетей становятся неотъемлемой частью технологии и процесса создания аппаратов, и в дальнейшем позволят значительно сократить сроки их проектирования и стоимость реализации.
Благодарности
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение № FSRF-2023-0003, "Фундаментальные основы построения помехо-защищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга".
НАУКОЕМКИЕ ТЕХНОЛОГИИ В КОСМИЧЕСКИХ ИССЛЕДОВАНИЯХ ЗЕМЛИ, Т. 15. № 4-2023
АВИАЦИОННАЯ И РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
Литература
1. Wang K., Li H., Zhang Q. Parallel redundancy protocol for railway wireless data communication network II Wireless Communications and Mobile Computing, vol. 2022. 2022. C. 1-13. doi:10.1155/2022/3312569
2. Zhang B., Yan B., Liu M., Xu A., Wang K., Wang Z. Design of a highly reliable redundant network card supporting the IEEE1588 protocol II 2022 IEEE 5th International Conference on Electronics Technology (ICET). Chengdu, 2022. C. 830-836. doi:10.1109/ICET55676.2022.9824283.
3. Bouwmeester J., MenicucciA., GillE.K.A. Improving CubeSatre-liability: Subsystem redundancy or improved testing? II Reliability Engineering & System Safety, 2022. No. 220. C. 1-18. doi:10.1016/j.ress.2021.108288
4. Xu J. Topological structure and analysis of interconnection networks. KluwerAcademic Publishers, 2001. 350 c.
5. Shooman M.L. Reliability of computer systems and networks. Fault tolerance, analysis, and design. New York: Wiley , 2002. 551 c.
6. Blokdyk G. Network Redundancy. A Complete Guide Paperback, 2022. 307 c.
7. Olenev V.L. Analysis of requirements for modern spacecraft onboard network protocols. Информационно-управляющие системы, 2021. № 1. С. 8-16. doi:10.31799/1684-8853-2021-l-8-16
8. ГавриловM.A., Остиану В.М., ПотехинА.И. Надежность дискретных систем II Итоги науки. Серия «Теория вероятностей. Математическая статистика. Теоретическая кибернетика, 1969», ВИНИТИ, 1970. С. 7-104.
9. Суворова Е.А., Шейнин Ю.Е. Проектирование бортовых сетей SpaceFibre с пространственным резервированием IIXLIV Академические чтения по космонавтике, посвященные памяти академика С.П. Королёва и других выдающихся отечественных ученых - пионеров освоения космического пространства : сборник тезисов (Москва, 28-31 января 2020 г.). Том 2. Москва, 2020. С. 226-228.
10. Глухих М.И., Моисеев М.Ю., Егоров И.В., Крикун Т.С. Автоматизация анализа надежности невосстанавливаемых информационно-управляющих систем II Информатика, телекоммуникации и управление, 2012. № 2. С. 81-90.
11. Maurer A., Balagurin O., Greiner T., Herbst T., Kaiser T., Kayal H., Riegler C., Schwarz T. Hardware and Software Redundancy Concepts onboard of SONATE-2 II Proceedings of 73rd International Astronautical Congress (IAC 2022), Paris, 2022.
12. Шейнин Ю.Е., Оленев В.Л., Лавровская И.Я., Дымов Д.В., Кочура С.Г. Разработка, анализ и проектирование транспортного протокола СТП-ИСС для бортовых космических сетей SpaceWire II Исследования наукограда. Красноярск, 2016. № 1-2. С. 21-30.
13. Angelini P., Hanxleden R. Graph drawing and network visualization II 30th International Symposium GD 2022. Tokyo, 2022. 499 c.
14. Cornejo A., Lynch N. Fault-tolerance through k-connectivity II Workshop on Network Science and Systems Issues in Multi-Robot Autonomy: ICRA, 2010. C.l-4.
15. Сэджвик H. Фундаментальные алгоритмы на С++. Часть 5. Алгоритмы на графах: пер. с англ. СПБ: ООО «ДиаСофтЮП», 2002. 496 с.
16. Saranya J. A Study on point-to-point protocol in data communication and networking II International Journal of Computer Sciences and Engineering. 2019. № 7. C. 574-576. doi:10.26438/ijcse/v7il.574576
17. Harari F. Graph Theory. Addison-Wesley Publishing Company, 1969.274 c.
18. Оленев В.Л., Шейнин Ю.Е., Лавровская И.Я., Коробков И.Л., Курбанов Л.И., Чумакова Н.Ю., Синев Н.И. Embedded Networks Design and Simulation II Tools and Technologies for the Development of Cyber-Physical Systems. Tampere: IGI Global, 2020. C. 77-118
19. Cormen T.H., Leiserson C.E., Rivest R.L., Stein C. Introduction to Algorithms (4th ed.). MIT Press and McGraw-Hill.2022. 1312 c.
20. Mastan S., Balakrishna U., Raju G., Kumar T.J. An articulation point based heuristic algorithm for minimum weight vertex cover problem II GIS science journal, Vol. 8, Issue 1, 2021. C. 1-9.
21. Olenev V.L., KorobkovI.L., ChumakovaN.Y., SinyovN.I. SANDS tool for design and simulation of onboard networks 11 2021 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). Saint-Petersburg, 2021. C. 1-8.
AUTOMATIC BUILDING OF FAULT-TOLERANT ON-BOARD NETWORKS
VALENTIN L. OLENEV
St. Petersburg, Russia, Valentin.Olenev@guap.ru ABSTRACT
Introduction: Fault tolerance is one of the key issues for on-board networks of autonomously operating vehicles. The number of devices in such networks is increasing; there is a need for methods for automating the design of networks, taking into account the required fault tolerance and technical limitations. Purpose: the purpose of the study is the implementation of methods and algorithms that contribute to the assessment of the fault tolerance of on-board networks, as well as the automatic generation of network structures with the required fault tolerance. Methods: The obtained methods and algorithms are based on the elements of graph theory, in particular - estimation of connectivity and shortest path search. The graphs are compiled based on the structure of the onboard network using a number of proposed rules. Structural redundancy is considered as a method of ensuring fault tolerance. The developed method provides reasonable addition of the network elements, in contrast to the often used
KEYWORDS: fault-tolerance, structural redundancy, on-board networks, automation, network building
copying of the network structure. The method consists of two stages: the new network structure is generated according to the required fault tolerance, and then iteratively refines the network structure in order to reduce hardware costs. Results: the use of the developed method simplifies and speeds up the design of on-board networks, since a formalized assessment of such a network is carried out at the design stage, before its actual assembly. The process of achieving of the required fault tolerance for large network structures takes less than a minute. Practical relevance: the presented method is implemented within the framework of the computer-aided system for design and modeling of onboard networks, a long-term approbation was carried out as part of real projects for the development of onboard networks of spacecraft. Discussion: there are no analogues of such a software implementation for on-board networks. The solutions obtained using the method in practice proved to be close to optimal; the research results have positive feedback from specialists.
REFERENCES
1. K. Wang, H.Li, Q. Zhang,"Parallel redundancy protocol for railway wireless data communication network," Wireless Communications and Mobile Computing, vol. 2022. 2022, pp. 1-13. doi:10.1155/2022/3312569
2. B. Zhang, B. Yan, M. Liu, A. Xu, K. Wang, Z. Wang, "Design of a highly reliable redundant network card supporting the IEEE1588 protocol. 2022 IEEE 5th International Conference on Electronics Technology (ICET)," Chengdu, 2022, pp. 830-836. doi:10.1109/ICET55676.2022.9824283.
3. J. Bouwmeester, A. Menicucci, E. K. A. Gill, "Improving CubeSat reliability: Subsystem redundancy or improved testing?" Reliability Engineering & System Safety, 2022. No. 220, pp. 1-18. doi:10.1016/j.ress.2021.108288
4. J. Xu, "Topological structure and analysis of interconnection networks," Kluwer Academic Publishers, 2001. 350 p.
5. M.L. Shooman, "Reliability of computer systems and networks. Fault tolerance, analysis, and design," New York: Wiley , 2002. 551 p.
6. G. Blokdyk, "Network Redundancy," A Complete Guide Paperback, 2022. 307 p.
7. V.L. Olenev, "Analysis of requirements for modern spacecraft onboard network protocols," Information and management systems, 2021. No. 1, pp. 8-16. doi:10.31799/1684-8853-2021-1-8-16
8. M.A. Gavrilov, V.M. Ostianu , A.I. Potekhin, "Fault-tolerance of discrete systems," The results of science. Series "Probability Theory. Math statistics. Theoretical cybernetics. 1969", VINITI, 1970, pp. 7-104.
9. E.A. Suvorova, Yu.E. Sheynin, "SpaceFibre Onboard Networks Design with Spatial Redundancy," XLIVAcademic readings on astronautics dedicated to the memory of Academician S.P. Korolev and other outstanding domestic scientists - pioneers of space exploration: a collection of abstracts. Moscow, 28-31 January 2020. Vol. 2. Moscow, 2020, pp. 226-228.
10. M.I. Gluhih, M.Yu. Moiseev, I.V., Egorov, T.S. Krikun, "Automation of reliability analysis of non-restorable information and control systems," Informatics, telecommunications and management, 2012. No. 2, pp. 81-90.
Vol. 15. No. 4-2023, H&ES RESEARCH
AVIATION, SPACE-ROCKET HARDWARE
11. A. Maurer, O. Balagurin, T. Greiner, T. Herbst, T. Kaiser, H. Kayal, C. Riegler, T. Schwarz, "Hardware and Software Redundancy Concepts on-board of SONATE-2," Proceedings of 73rd International Astronautical Congress (IAC 2022), Paris, 2022.
12. Y.E. Sheynin, V.L. Olenev, I.Y. Lavrovskaya, D.V. Dymov, S.G. Kochura, "Development, analysis and design of the STP-ISS transport protocol for SpaceWire onboard networks," Krasnoyarsk, 2016. No. 1-2, pp. 21-30.
13. P. Angelini, R. Hanxleden, "Graph drawing and network visualization," 30th International Symposium GD 2022. Tokyo, 2022. 499 p.
14. A. Cornejo, N. Lynch, "Fault-tolerance through k-connectivity," Workshop on Network Science and Systems Issues in Multi-Robot Autonomy: ICRA, 2010, pp.1-4.
15. R. Sedgewick, "Algorithms in C++ Part 5: Graph Algorithms," Addison-Wesley, 2002. 496 p.
16. J. Saranya, "A Study on point-to-point protocol in data communication and networking," International Journal of Computer Sciences and Engineering. 2019. No. 7, pp. 574-576. doi:10.26438/ijcse/v7i1.574576
17. Harari F. Graph Theory. Addison-Wesley Publishing Company, 1969. 274 p.
18. V.L. Olenev, Y.E. Sheynin, I.Y. Lavrovskaya, I.L. Korobkov, L.I. Kurbanov, N.Y. Chumakova, N.I. Sinyov, "Embedded Networks Design and Simulation," Tools and Technologies for the Development of Cyber-PhysicalSystems. Tampere: IGI Global, 2020, pp. 77-118.
19. T.H. Cormen, C.E. Leiserson, R.L. Rivest, C. Stein, "Introduction to Algorithms," (4th ed.). MIT Press and McGraw-Hill, 2022. 1312 p.
20. S. Mastan, U. Balakrishna, G. Raju, T. J. Kumar, "An articulation point based heuristic algorithm for minimum weight vertex cover problem," GIS science journal. Vol. 8, Issue 1, 2021, pp. 1-9.
21. V.L. Olenev, I.L. Korobkov, N.Y Chumakova, N.I. Sinyov, "SANDS tool for design and simulation of onboard networks," 2021 Wave Electronics and its Application in Information and Telecommunication Systems(WECONF). Saint-Petersburg, 2021, pp. 1-8.
INFORMATION ABOUT AUTHOR:
V.L. Olenev, PhD, docent, Chair of the Department of aerospace computer and software systems, Director of Aerospace R&D Centre of Saint Petersburg State University of Aerospace Instrumentation
For citation: V.L. Olenev. Automatic building of fault-tolerant on-board networks. H&ES Reserch. 2023. Vol. 15. No. 4. P. 4-13. doi: 10.36724/2409-5419-2023-15-4-4-13 (In Rus)
