CC BY
70РАКЕТНО-КОСМИЧЕСКАЯ ТЕХНИКА
УДК 004.057.4
DOI 10.26732/j.st.2023.2.02
АНАЛИЗ ТЕХНОЛОГИИ SPACEFIBRE ДЛЯ ВЫСОКОСКОРОСТНЫХ БОРТОВЫХ СЕТЕЙ
Е. А. Суворова, В. Е. Степанов, В. Л. Оленеви
Санкт-Петербургский государственный университет аэрокосмического приборостроения,
г. Санкт-Петербург, Российская Федерация
В статье представлен анализ перспективного международного стандарта для обмена данными на борту летательных аппаратов различного назначения - SpaceFibre. Приводится обоснование необходимости использования данного стандарта для бортовых сетей нового поколения. Полученные результаты основаны на многолетнем опыте работы с семейством открытых международных стандартов SpaceWire/SpaceFibre. Авторами представлены основные проблемы, найденные в SpaceFibre, а также приведены пути их решения. Первая проблема связана с использованием многоканальной передачи данных в перспективных российских проектах, а также необходимостью увеличения пропускной способности с использованием уже существующего оборудования и физических кабелей. Необходима разработка новых методов и алгоритмов передачи и создание полностью отечественной версии уровня multilane для описываемого стандарта. Вторая проблема относится к организации передачи данных в сетях SpaceFibre с большим количеством узлов и сложной схемой потоков передачи данных, она является следствием недостаточно проработанного сетевого уровня стандарта. Авторы приводят возможные способы решения обнаруженных недостатков стандарта при помощи концепции программно-ре-конфигурируемых сетей. Проведение доработки стандарта SpaceFibre в части озвученных проблем позволит повысить эффективность самого протокола, а также учесть все возможные замечания до этапа создания отечественного ГОСТ по SpaceFibre.
Ключевые слова: бортовая сеть, SpaceFibre, многополосная передача, программно-ре-
конфигурируемая сеть, SDN.
Введение
Современные бортовые сети состоят из большого количества элементов с различной функциональностью. Все эти элементы связаны между собой через инфраструктуру бортовой сети. Основной тенденцией для космической индустрии является переход от шинных топологий к сетевым технологиям организации бортовых сетей космических аппаратов. Передовым решением в этой сфере является семейство протоколов SpaceWire, которые просты для понимания и компактны в реализации. Технология SpaceWire была испробована в реальных зарубежных миссиях, а в настоящее время интегрируется и в отечественные новые космические аппараты. Немало способствовала этому разработка российского ГОСТ для бортовых космических сетей, который назвали SpaceWire-RUS [1].
По мере роста размера сетей информационные потоки становятся более плотными, а требо-
Н [email protected] © Ассоциация «ТП «НИСС», 2023
вания и ограничения - более строгими. Поэтому в 2019 году был выпущен протокол следующего поколения SpaceFibre [2]. Стандарт осуществляет передачу данных по электрическим или оптоволоконным кабелям, работает на гигабитных скоростях передачи и обеспечивает функции качества сервиса и обнаружения неисправностей, изоляции и восстановления, обеспечивая высокую надежность.
Он совместим со стандартом SpaceWire в части форматов пакетов, но в части поддержки механизмов качества сервиса (Quality of Service, QoS) эти стандарты существенно различаются. На физическом уровне поддерживается гальваническая развязка, что является существенным преимуществом для его применения.
Стандарт SpaceFibre поддерживает такие механизмы QoS как приоритеты, планирование, гарантированная пропускная способность. Для этого используются виртуальные каналы и виртуальные сети, в которых ресурсы физического канала разделяются между несколькими виртуальными каналами в соответствии с заданными параметрами качества сервиса.
Е. А. Суворова, В. Е. Степанов, В. Л. Оленев
Анализ технологии SpaceFibre для высокоскоростных бортовых сетей
SpaceFibre выглядит многообещающим решением для бортовых сетей, однако и он не лишен недостатков, которые можно было бы исправить в российской версии стандарта и использовать для отечественных проектов.
1. Анализ проблемы многополосной передачи данных в SpaceFibre
Самая первая проблема, с которой столкнутся разработчики аппаратных реализаций SpaceFibre, - это уровень многополосной передачи (Multilane Layer, многоканальный уровень), механизмы которого запатентованы компанией StarDundee Inc. Он показан на рис. 1, где отображен стек протоколов SpaceFibre. Протокол может работать по одной линии, но, чтобы не терять возможность значительно увеличить пропускную способность каналов SpaceFibre, необходимо разработать свою собственную реализацию уровня многоканальной передачи.
Стек
I
<u с; m го
Ci с
_0
I
ф
m
о
Ci
>
протоколов SpaceFibre
Сетевой уровень
Канальный уровень
Многоканальный уровень
Уровень линии передачи Физическийуровень
Рис. 1. Уровневое представление стека протоколов SpaceFibre
Многоканальная передача - способ увеличения количества передаваемой информации в единицу времени за счет увеличения количества каналов без их качественного изменения. Многоканальная передача применяется при невозможности изменить каналы из-за строго фиксированных стандартов, необходимости использовать именно более медленные каналы из-за их свойств, например, помехоустойчивости или других особенностей.
При использовании многоканальной передачи можно выделить несколько ключевых отличительных черт:
• «высокоскоростной» входящий поток блоков данных (Data Unit, DU);
• наличие демультиплексора и мультиплексора;
• набор «низкоскоростных» каналов;
• результирующий «высокоскоростной» выходящий поток данных.
Обобщенная структура многополосного протокола показана на рис. 2.
В современных технологиях и протоколах, таких как PCI-Express, RapidIO, Infiniband, 40G/100G Ethernet и MIPI UniPro используются относительно небольшие блоки данных, такие как слова и символы. Необходимо использовать лучшие стороны каждого из этих протоколов для реализации российской версии стандарта SpaceFibre. Соответственно он должен иметь возможность поддерживать асимметричные линии, поддерживать любое возможное количество линий. Также существует набор технических требований индустрии, включающий такие механизмы, как автоматическое изменение количества используемых каналов и совместная работа с механизмом планирования. Такие требования представлены в обзорах [3; 4].
Для верификации и валидации разрабатываемых решений и новых желаемых черт используется множество подходов, одним из которых является написание и использование модели на языке SDL. Язык спецификации и описания SDL предназначен для описания структуры и функционирования распределенных систем реального времени, в особенности таких систем, для которых существенны аспекты связи между отдельными компонентами системы. Спецификации и описания на языке SDL являются формальными, так как они позволяют анализировать и интерпретировать их однозначно [5]. Такие модели могут использоваться для проектирования коммуникационных протоколов или их уровней [6].
Для создания качественно лучшего уровня многоканальной передачи для SpaceFibre нужно разработать новый метод для автоматического изменения количества линий. Для задачи совместной работы многоканальной передачи с механизмом «планирования» также необходимо определиться с конечным набором реализуемых сценариев. Обзор решений, которые могли бы лечь в основу подобного метода, представлен в [7].
101
DU 0
DU 0
Рис. 2. Обобщенная структура многополосного протокола
102
2. Проблемы организации передачи данных на сетевом уровне SpaceFibre
Рассмотрим другой аспект функционирования стандарта SpaceFibre, а, в частности, его сетевой уровень, который организован таким образом, что обеспечиваются широкие возможности для формирования локальных вычислительных сетей различных размеров (от небольших, включающих в себя несколько терминальных узлов и маршрутизаторов) до крупных сетей, включающих сотни и тысячи сетевых узлов. Структура связей между сетевыми узлами может выбираться любой [2]. Существует возможность изменения конфигурации сети в процессе функционирования: включе-
Том 7
ния и исключения отдельных узлов и подсетей, изменение путей передачи данных и их характеристик. Однако необходимо отметить, что некоторые особенности сетевого уровня могут приводить к:
• большим накладным расходам на передачу по сети и хранение в терминальных узлах длинных сетевых заголовков;
• значительному времени реконфигурирова-ния при изменении путей передачи данных;
• невозможности различать потоки данных, проходящие через транзитные маршрутизаторы при использовании регионально-логической адресации, и, как следствие, невозможности задавать и поддерживать для них различные механизмы QoS.
Характеристики способов адресации SpaceFibre приведены в таблице.
Таблица
Характеристики способов адресации SpaceFibre
Способы адресации Маршрутизация Длина адреса Ограничение по количеству абонентов
Путевая По номеру порта произвольная нет
Логическая По таблице маршрутизации 1 224
Регионально-логическая По таблице маршрутизации произвольная нет
Типовой формат строки таблицы маршрутизации представлен на рис. 3. Сетевой заголовок может иметь произвольную длину и не имеет признака завершения. К дополнительным полям могут относиться признаки широковещания/адаптивной маршрутизации или уровень приоритета.
Следующая проблема - это большая длина заголовков. В больших сетях может использоваться путевая или регионально-логическая адресация, т. к. в этом случае нет ограничения на количество узлов. Однако при этом длина сетевого заголовка может достигать десятков байтов. Передача пакетов с такими длинными заголовками может довольно ощутимо снизить полезную пропускную способность сети. В терминальных узлах необходимо хранить сетевые заголовки узлов или приложений, с которыми осуществляется обмен данными. Это приводит к ощутимым затратам памяти.
Далее рассмотрим проблему неразличимости потоков в протоколе SpaceFibre, которая со-
стоит в следующем. Сетевой заголовок не имеет признака завершения [2], а, следовательно, в транзитных маршрутизаторах нет возможности определить дополнительные правила обработки потоков, учитывающие не только первый сегмент сетевого заголовка. Таким образом, в транзитных маршрутизаторах потоки, идущие в один и тот же регион или через один и тот же регион, неразличимы. В примере, приведенном на рис. 4, в маршрутизаторах синей сети потоки пакетов, адресованные в желтую и оранжевую, не различимы.
С путями в сети SpaceFibre связаны и другие трудности, например, проблема динамического изменения пути. Изменения набора задач, решаемых в системе, связаны с появлением новых потоков данных, прекращением некоторых потоков данных или изменением путей передачи и части потоков, характеристики которых остаются неизменными. Также важно учитывать и выход из строя сетевых узлов и каналов связи, возникновение локальных перегрузок отдельных участков сети.
Таблица маршрутизации
Номер строки Номер(а) Признак
выходных отделения
- адрес
портов заголовка
Обязательные поля Дополнительные поля
Рис. 3. Типовой формат строки таблицы маршрутизации
Анализ технологии SpaceFibre для высокоскоростных бортовых сетей
103
Рис. 4. Проблема неразличимости потоков в протоколе SpaceFibre
В дополнение ко всему, в SpaceFibre может возникнуть проблема использования механизма адаптивной групповой маршрутизации. А именно, при выборе альтернативного пути учитывается только ситуация, наблюдаемая в текущем маршрутизаторе.
Для решения вышеизложенных проблем предлагается использовать концепцию программ-но-реконфигурируемых сетей (Software Defined Networks, SDN) [8-10]. В сети выделяются плоскость передачи данных (data plane) и плоскость управления (control plane). Обработка пакетов в маршрутизаторах на основе таблицы потоков (flow table) выглядит следующим образом (рис. 5) [10; 11].
Правила представляют из себя значения полей пакета, символы =, <, >, константы и переменные. К действиям относятся «передать пакет в заданные порты», «удалить, модифицировать поля заголовка», «стереть пакет», «передать пакет в узел системного администрирования». При этом формат сетевого заголовка SpaceFibre остается неизменным, а стандартную таблицу маршрутизации дополняет набор правил.
Применительно к каждой сети известен формат заголовков. Могут быть сформированы правила (шаблоны), учитывающие все (необходимые) сегменты сетевого заголовка, поля транспортного заголовка, поля прикладного заголовка. Следовательно, появится возможность различать большее количе-
ство потоков данных и осуществлять поддержку для них различных механизмов QoS. Для примера, показанного на рис. 4, для различения потоков можно использовать два первые байта заголовка.
Рассмотрим возможные действия для обработки потоков данных. Стандартом SpaceFibre (с возможностью задания разных значений параметров для разных потоков) регламентированы передача в заданный выходной порт (выходные порты), арбитраж с учетом заданного уровня приоритетов и контроль таймаутов передачи пакетов. Возможно предусмотреть следующие дополнительные правила (действия):
• контроль длины пакетов (отбрасывание «хвостов» слишком длинных пакетов);
• контроль временных интервалов между пакетами (отбрасывание слишком часто идущих пакетов);
• контроль идентификатора транспортного протокола (отбрасывание пакетов с неправильным идентификатором);
• контроль поля DestinationKey для транспортного протокола ЯМАР (отбрасывание пакетов с неправильным значением);
• действия по изменению сетевого заголовка (в том числе замена или добавление сегментов заголовка).
Исходно может формироваться только начальная часть сетевого заголовка, а следующие
Таблица потоков Правило Действия Счетчики статистики
Рис. 5. Обработка пакетов в маршрутизаторах на основе таблицы потоков
Том 7
104
сегменты заголовка формируются в транзитных маршрутизаторах на границе регионов (сходный подход к формированию заголовков может использоваться в Infiniband [12; 13], однако в предлагаемом варианте формат заголовка соответствует стандарту SpaceFibre, и правила его формирования определяются в соответствии с особенностями SpaceFibre и стандартами транспортного уровня, используемыми в сочетании с ним). Это дает сокращение накладных расходов на таблицы сетевых заголовков в терминальных узлах, упрощение процесса реконфигурирования пути передачи данных по сети и сокращение накладных расходов на передачу длинных заголовков по сети.
При этом процесс динамического изменения сетевого заголовка SpaceFibre выглядит следующим образом. В каждом регионе имеется локальный администратор (менеджер), который изменяет настройки таблиц потоков (пограничных)
маршрутизаторов, а пограничный маршрутизатор заменяет (первый) сегмент сетевого заголовка.
В результате достигается быстрая реакция на изменения в регионе, в сети в целом. Пример представлен на рис. 6. Исходно пакет формируется в синей сети и включает в себя один байт сетевого заголовка (отмечен зеленым), который используется для передачи в сторону зеленой сети, и транспортный заголовок (отмечен как «Т»). Транспортный заголовок используется в транзитных маршрутизаторах для формирования очередного байта сетевого заголовка на пути передачи данных. В граничном маршрутизаторе подсети, помеченной зеленым, выбирается фрагмент пути передачи данных, включающий в себя маршрутизаторы, отмеченные одинарной или двойной штриховкой. Это зависит от исправности и загрузки. Граничный маршрутизатор получает информацию об этом от менеджера подсети.
Рис. 6. Пример процесса динамического изменения сетевого заголовка
Таким образом, SDN позволяет решить проблемы SpaceFibre в больших сетях без существенного изменения самого стандарта и используемых форматов передачи данных.
Заключение
Использование открытого стандарта SpaceFibre позволит сделать значительный шаг вперед при создании перспективных платформ и полезных нагрузок космических аппаратов. При этом внесение дополнительных изменений в стандарт при создании российской версии может позволить учесть требования отрасли, особенности отечественных технологий, а также решить проблемы, которые потенциально могут возникнуть
при увеличении количества абонентов в сети и объемов и интенсивности трафика.
Необходимо проведение детальных исследований механизмов технологии SpaceWire/ SpaceFibre, их доработка и создание моделей, необходимого программного обеспечения. Развитие SpaceFibre до уровня ГОСТ позволит внедрить его в проекты космической отрасли. Поэтому необходимо избежать всех возможных ошибок уже на стадии проектирования самого протокола.
Технологии SpaceWire/SpaceFibre способны эффективно дополнять друг друга, смешанные сети, использующие эти стандарты, унифицируют процесс обмена данными на борту космических аппаратов любой сложности.
Анализ технологии SpaceFibre для высокоскоростных бортовых сетей
Благодарности
Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение
№ FSRF-2023-0003, «Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга».
Список литературы
[1] ГОСТ Р 70020-2022. Космическая техника. Интерфейсы и протоколы высокоскоростного межприборного информационного обмена и комплексирования бортовых систем космических аппаратов. SpaceWire-RUS. Введ. 2022-06-01. М. : Изд-во стандартов, 2022. 191 с.
[2] SpaceFibre - Very high-speed serial link. ECSS-E-ST-50-11C. Noordwijk, Netherlands, 2019. 233 p. 105
[3] Оленев В. Л. Анализ требований к современным протоколам для бортовых сетей космических аппаратов // Информационно-управляющие системы. 2021. № 1. С. 8-16. doi: 10.31799/1684-8853-2021-1-8-16.
[4] Florit A. F., Villafranca A. G., Parkes S. SpaceFibre multi-lane: SpaceFibre // International SpaceWire Conference (SpaceWire), Yokohama. 2016. pp. 1-8.
[5] Melia T., Sarma A., Aguiar R. L., Hogrefe D. Case study on the use of SDL for Specifying an IETF micro mobility protocol // 1st International Conference on Communication Systems Software & Middleware, New Delhi. 2006. pp. 1-5.
[6] Оленев В. Л. Методология формализованного проектирования коммуникационных протоколов на основе сетей Петри // Информация и космос. 2022. № 4 (2). С. 37-45.
[7] Степанов В. Е. Современные проблемы и вызовы методов многополосной передачи данных // Сборник докладов Третьей Междунар. науч. конф. «Аэрокосмическое приборостроение и эксплуатационные технологии», Санкт-Петербург. 2022. С. 229-232.
[8] Zulkifli N., Sapit A., Mohammed A. N. Development of small scale cluster computer for numerical analysis // IOP Conference Series: Materials Science and Engineering. 2017. 6 p.
[9] Goransson P., Black C., Timothy Culver T. Software Defined Networks. A Comprehensive Approach. 2017. 409 p.
[10] Gray К., Nadeau T. D. Network Function Virtualization. Elsevier Inc., 2016. 237 p.
[11] OpenFlow Switch Specification. Version 1.5.1. The Open Networking Foundation, 2015. 283 p.
[12] Subramoni H. INAM2: InfiniBand Network Analysis and Monitoring with MPI. ISC, 2016. 19 p.
[13] Deploying HPC Cluster with Mellanox InfiniBand Interconnect Solutions. Mellanox Technologies, 2017. 40 p.
ANALYSIS OF THE SPACEFIBRE TECHNOLOGY FOR THE HIGH-BANDWIDTH ONBOARD NETWORKS
E. A. Suvorova, V. E. Stepanov, V. L. Olenev
Saint-Petersburg State University of Aerospace Instrumentation, Saint Petersburg, Russian Federation
The paper presents an analysis of a prospective international standard SpaceFibre for on board data exchange for different types of aircraft. Paper provides the rationale for using of this standard for new generation on-board networks. The obtained results are based on many years of experience with the SpaceWire/SpaceFibre family of open international standards. The authors present the main problems of SpaceFibre, as well as ways to solve them. The first problem is related to the use of multi-channel data transmission in prospective Russian projects, as well as the need to increase throughput using existing equipment and physical cables. It is necessary to develop new transmission methods and algorithms and create a completely Russian version of the multilane level for the described standard. The second problem relates to the organization of data transmission in SpaceFibre networks with a large number of nodes and a complex scheme of data transfer flows, it is a consequence of an insufficiently developed network level of the standard. The authors give possible ways to solve the identified inconsistences of the standard using the concept of software-reconfigurable networks. The finalization of the SpaceFibre standard in terms of the discussed problems will improve the efficiency of the protocol itself, as well as take into account all possible comments before the stage of creating of a Russian State Standard for SpaceFibre.
Том 7
Keywords: onboard network, SpaceFibre, multilane data transmission, network software reconfiguration, SDN.
106
References
[1] GOST R 70020-2022. Kosmicheskaya tekhnika. Interfejsy i protokoly vysokoskorostnogo mezhpribornogo informacionnogo obmena i kompleksirovaniya bortovyh sistem kosmicheskih apparatov. SpaceWire-RUS. Vved. 2022-06-01 [State Standard R 70020-2022. Space technology. Interfaces and protocols for high-speed interinstrument information exchange and integration of spacecraft onboard systems. SpaceWire-RUS. Introduction 2022-06-01]. Moscow, Publishing house of standards, 2022, 191 p. (In Russian)
[2] SpaceFibre - Very high-speed serial link. ECSS-E-ST-50-11C. Noordwijk, Netherlands, 2019, 233 p.
[3] Olenev V. L. Analiz trebovanij k sovremennym protokolam dlya bortovyh setej kosmicheskih apparatov [Analysis of requirements for modern spacecraft onboard network protocols] // Information and Control Systems, 2021, no. 1, pp. 8-16. doi: 10.31799/1684-8853-2021-1-8-16. (In Russian)
[4] Florit A. F., Villafranca A. G., Parkes S. SpaceFibre multi-lane: SpaceFibre // International SpaceWire Conference (SpaceWire), Yokohama, 2016, pp. 1-8.
[5] Melia T., Sarma A., Aguiar R. L., Hogrefe D. Case study on the use of SDL for Specifying an IETF micro mobility protocol // 1st International Conference on Communication Systems Software & Middleware, New Delhi, 2006, pp. 1-5.
[6] Olenev V. L. Metodologiya formalizovannogo proektirovaniya kommunikacionnyh protokolov na osnove setej Petri [Methodology of formalized design of communication protocols based on Petri nets] // Information and space, 2022, no. 4 (2), pp. 37-45. (In Russian)
[7] Stepanov V. E. Modern problems and challenges of methods of multiband data transmission // Collection of reports of the Third International scientific conference «Aerospace Instrumentation and Operational Technologies», Saint-Petersburg, 2022, pp. 229-232.
[8] Zulkifli N., Sapit A., Mohammed A. N. Development of small scale cluster computer for numerical analysis // IOP Conference Series: Materials Science and Engineering, 2017, 6 p.
[9] Goransson P., Black C., Timothy Culver T. Software Defined Networks. A Comprehensive Approach. 2017, 409 p.
[10] Gray K., Nadeau T. D. Network Function Virtualization. Elsevier Inc., 2016, 237 p.
[11] OpenFlow Switch Specification. Version 1.5.1. The Open Networking Foundation, 2015, 283 p.
[12] Subramoni H. INAM2: InfiniBand Network Analysis and Monitoring with MPI. ISC, 2016, 19 p.
[13] Deploying HPC Cluster with Mellanox InfiniBand Interconnect Solutions. Mellanox Technologies, 2017, 40 p.
Сведения об авторах
Оленев Валентин Леонидович - кандидат технических наук, доцент, заведующий кафедрой аэрокосмических компьютерных и сетевых технологий, директор Центра аэрокосмических исследований и разработок Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП). Окончил ГУАП в 2007 году. Область научных интересов: моделирование, программные модели, бортовые сети космического и авиационного применения, коммуникационные протоколы, проектирование протоколов, качество сервиса, протоколы SpaceWire/SpaceFibre.
ORCID: 0000-0002-1817-2754
Степанов Владимир Евгеньевич - старший преподаватель кафедры аэрокосмических компьютерных и сетевых технологий, инженер Центра аэрокосмических исследований и разработок Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП). Окончил ГУАП в 2018 году. Область научных интересов: бортовые сети космического и авиационного применения, коммуникационные протоколы, многополосная передача данных, формальные языки моделирования, SDL, микропроцессорные технологии.
ORCID: 0009-0009-1238-7015
Суворова Елена Александровна - кандидат технических наук, доцент кафедры аэрокосмических компьютерных и сетевых технологий, заведующая лабораторией Центра аэрокосмических исследований и разработок Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП). Окончила ГУАП в 1998 году. Область научных интересов: бортовые сети космического и авиационного применения, коммуникационные протоколы, аппаратная реализация протоколов, системы-на-кристалле, сети-на-кристалле, качество сервиса, протоколы SpaceWire/SpaceFibre.
ORCID: 0000-0001-6330-8182
