CC BY
15УДК 62-501.72:681.326.7
БОТ: 10.18698/2308-6033-2023-6-2286
Технологии применения распределенных вычислений
при построении перспективных сбое-и отказоустойчивых орбитальных группировок малых космических аппаратов
© И В. Ашарина1'2, В.Ю. Гришин1, В.Г. Сиренко1
1АО «НИИ «Субмикрон», Москва, Зеленоград, 124460, Россия 2НИУ МИЭТ, Москва, Зеленоград, 124498, Россия
Рассмотрены проблемы, вызванные использованием распределенных вычислительных технологий при построении сбое- и отказоустойчивых систем управления группировками космических аппаратов разного целевого назначения. В связи с разнообразием целевых задач требуются соответствующие инструменты для их решения. Представлен сравнительный анализ существующих технологий распределенных вычислений для работы с системами ответственного применения, к которым относятся и системы управления группировками космических аппаратов, для выявления наиболее приемлемых вариантов. Приведены принципы построения сетецентрических систем для управления такими группировками. Технологии распределенных вычислений рассмотрены не только с точки зрения решения целевых задач группировками космических аппаратов, но и с точки зрения обеспечения их гарантоспособности, а также при организации систем управления этими группировками.
Ключевые слова: распределенная многомашинная вычислительная система, сбое-и отказоустойчивость, динамическая избыточность, враждебная неисправность, группировки космических аппаратов
Введение. В современном мире искусственные космические объекты стали неотъемлемой частью человеческого существования, причем наиболее значимыми из них считаются группировки космических аппаратов (КА). Обеспечение живучести и увеличение сроков активного существования необслуживаемых сбое- и отказоустойчивых многомашинных систем управления группировками КА, выполняющими многозадачные задания, — сложная и актуальная проблема, требующая разрешения.
Будем считать орбитальной группировкой (ОГ) совокупность однотипных КА, предназначенных для совместного решения одной или нескольких задач. Согласно ГОСТ Р 53802-2010, под космической группировкой (КГ) понимается совокупность одиночных КА и ОГ, предназначенных для выполнения задач определенного типа, например, космические группировки дистанционного зондирования Земли, организации спутниковой связи, навигационные и т. д.
В настоящее время можно выделить следующие общие тенденции развития КА:
• преимущественное использование КА среднего и малого классов;
• миниатюризация и удешевление бортовых приборов и аппаратуры благодаря использованию новой, более современной элементной базы;
• расширение функциональных возможностей перспективных КА в результате создания нового поколения служебных систем и приборов;
• построение кластерных ОГ из средних и малых КА с взаимным дополнением функциональных возможностей для получения системного эффекта группировки вследствие положительной эмерджент-ности, т. е. возникновения в целой системе новых качеств и свойств, не присущих ни одному из входящих в нее элементов;
• формирование многоспутниковых ОГ (в перспективе — и КГ), обеспечивающих высокую достоверность результатов наблюдений, оценки ситуации, принятия решений и выполнения требуемых действий [1].
Обеспечивать управление орбитальными группировками КА, несомненно, очень важно, но в реальности требуется решать гораздо более широкую задачу, что требует рассмотрения всех информационных, вычислительных и управляющих систем космического применения. Это обусловлено тем, что, во-первых, орбитальная группировка находится во взаимосвязи с другими элементами космической инфраструктуры, во-вторых, в основе любой управляющей системы лежат вычисления, выполняемые на микропроцессорных устройствах, именуемых далее вычислителями, которые могут иметь разные характеристики, т. е. быть гетерогенными.
В любом случае, при построении системы управления сбое- и отказоустойчивой ОГ КА ответственного применения необходимо решать комплекс следующих задач.
1. Разработка ОГ КА как объекта, предназначенного для решения определенных целевых задач и при этом рассматриваемого как объект управления, что предполагает определение: внутренней структуры ОГ КА, ее связей с внешней средой, ее целевых задач и функциональных возможностей. Причем все эти задачи решают разработчики, ориентированные на решение целевых задач [1].
2. Разработка моделей неисправностей и методов реагирования на проявления их признаков: маскирование, парирование, идентификация по месту и по типу неисправностей (сбой [2], программный сбой, отказ [3]). Эти задачи решают специалисты в области обеспечения отказоустойчивости ОГ КА совместно с разработчиками целевых задач.
3. Разработка алгоритмов и методов повышения достоверности, надежности распределенных многомашинных информационно-
управляющих систем (РМИУС), к которым в полной мере можно отнести и ОГ КА.
Анализ системы КА как объекта управления показывает, что системный эффект достигается реализацией ряда целевых эффектов многоспутниковой ОГ. В общем случае для сложной многоспутниковой многофункциональной космической системы можно выделить множество реализуемых целевых эффектов, в связи с чем встает задача выбора целевого эффекта и определение условий для его реализации: необходимой орбитальной структуры, обеспечения технической готовности КА и наличия требуемых ресурсов, возможности обмена информацией между КА, между КА и наземной инфраструктурой, а в случае реализации распределенной бортовой обработки информации — управление вычислительной сетью на основе КА [4].
При построении ОГ КА исходят из двух положений: во-первых, получение эффекта положительной эмерджентности/производитель-ности, во-вторых, обеспечение сбое- и отказоустойчивости, причем, чтобы достичь каждого из них, нужно применять соответствующие методы. В данном случае под сбое- и отказоустойчивостью понимается способность системы выполнять целевые задачи в условиях возникновения допустимых совокупностей неисправностей допустимого класса и их допустимых последовательностей, что определяется моделью неисправностей.
Особенностями РМИУС ответственного применения являются [5]: автономность ЦВМ; отсутствие общей памяти; межмашинное взаимодействие по двухточечным и широковещательным каналам связи; многоуровневость системы и отсутствие централизованного управляющего органа; необходимость самосинхронизации и самоорганизации системы для обеспечения необходимой адаптации, масштабирования, защиты от внешних воздействий, воздействий неисправностей и ошибок проектирования; выполнение работы в режиме реального времени; большой срок активного существования; высокие требования по надежности работы и достоверности результатов.
Сложность проблемы управления ОГ КА заключается в следующем:
- необходимость обработки больших объемов данных (телеметрия, альманахи, эфемериды, результаты работы систем дистанционного зондирования Земли (ДЗЗ) и т. д.), в том числе и в наземных центрах управления;
- обеспечение достоверности обрабатываемых и результирующих данных (гарантоспособность) [6, 7];
- обеспечение сбое- и отказоустойчивости работы вычислительной части группировки КА;
- обеспечение безотказной работы аппаратурной части каждого КА и группировки в целом (эта часть не входит в область рассмотрения данной работы) и др.
Все перечисленные действия сопровождаются существенной вычислительной нагрузкой как на бортовые ЦВМ КА, так и на наземные центры управления.
Например, выполнение задачи ДЗЗ по обнаружению и мониторингу совокупности и/или последовательности некоторых целевых событий (ЦС) предполагает решение двух основных подзадач:
1) подзадачи расчета зон обслуживания КА, заключающейся в обеспечении наблюдения с КА заданных районов земной поверхности с учетом ограничений по условиям освещенности и полосы обзора. При этом обеспечиваются расчет временных границ интервалов наблюдения заданных районов, а также расчет моментов прохождения траверзов точек, ограничивающих заданные площадные районы [8, 9]. Исходными данными для этого являются координаты границ площадных районов земной поверхности, минимально допустимая высота Солнца над горизонтом при освещении поверхности Земли в момент наблюдения с КА, яркость свечения ЦС, если целевой задачей предусмотрено наблюдение за светящимися объектами;
2) подзадачи расчета трассы полета КА, заключающейся в определении высоты и трассы (географической широты и долготы подспутниковых точек) полета КА в табличном виде, а также расчет графической трассы с выдачей на карту.
Для решения данной целевой задачи следует выделить особенности формирования РМИУС, делающие процесс формирования РМИУС еще более сложным и многокритериальным:
- выделение комплексов происходит в момент обнаружения ЦС;
- в формировании комплекса участвуют не все КА группировки, а лишь те, которые «видят» ЦС, т. е. с учетом вычисленных зон обслуживания КА (среда межкомплексного взаимодействия полностью формируется из любых свободных КА [10, 11]);
- при формировании комплекса необходимо учитывать «степень приближенности» элементов группировки КА к месту нахождения ЦС, т. е. необходимо учитывать данные, содержащиеся в таблицах высоты и трассы полета КА.
Все это требует привлечения современных подходов и средств к построению вычислительных процессов, в том числе и использованию распределенных вычислений.
Цель работы — выполнение сравнительного анализа существующих технологий распределенных вычислений для работы с системами ответственного применения, к которым относятся и системы управления группировками КА, для выявления наиболее приемлемых вариантов.
Для обработки больших объемов данных давно эффективно применяются методы высокопроизводительных вычислений, таких как
ОрепМР/МР1, СЦОА, ОЫБ-технология, облачные вычисления. Особого внимания заслуживают сетецентрические технологии, которые хотя и относятся к распределенным системам, имеют иные свойства и характеристики по сравнению с вышеперечисленными.
Рис. 1. Графовое представление исходной системы с тремя выделенными комплексами (вычислители 1 и 13 при начальном пуске идентифицированы как неисправные):
комплекс 1 — вершины (вычислители); 2 — 8, 28, 29; комплекс 2 — вершины 9, 11, 12, 14, 15, 16; комплекс 3 — вершины 19, 20, 23-26
Задача построения РМИУС на основе ОГ КА состоит в следующем. В исходной системе известной сетевой структуры, представляющей собой ОГ КА, должно быть организовано сбое- и отказоустойчивое параллельное выполнение поступающих извне запросов (заданий), каждое из которых является совокупностью взаимодействующих между собой задач. Для каждого исполняемого системой действия (решения задачи или межзадачного взаимодействия) задан
требуемый уровень сбое- и отказоустойчивости его выполнения, что обеспечивается за счет необходимой ее репликации, т. е. параллельного выполнения задачи на заданной совокупности вычислителей (цифровых вычислительных машин — ЦВМ), составляющих комплекс этой задачи, с обменом результатами между вычислителями комплекса и выбором из них правильного [10], а для межзадачного взаимодействия — за счет необходимой избыточности среды его осуществления [11].
Требуется обеспечить в некотором определенном множестве вычислителей решение NP-сложной задачи — гарантированного выделения в некоторой компьютерной сети произвольной, но известной структуры комплексов и сред межкомплексного взаимодействия (если это возможно) путем перебора всех возможных вариантов (рис. 1).
Рассмотрим возможности распределенных вычислительных технологий при работе с орбитальными и космическими группировками КА с точки зрения их использования как на наземных центрах управления, так и в системах, образованных бортовыми вычислителями.
Параллельные вычисления. Технология OpenMP. Эта технология позволяет в максимальной степени эффективно реализовать возможности многопроцессорных вычислительных систем с общей памятью, что обеспечивает использование общих данных для параллельно выполняемых потоков без трудоемких межпроцессорных передач сообщений [12, 13]. Технология OpenMP дает возможность поэтапной (инкрементной) разработки параллельных программ — директивы OpenMP могут добавляться в последовательную программу постепенно (поэтапно), благодаря чему уже на ранних этапах разработки можно создавать готовые к применению параллельные программы. При этом программный код получаемых последовательного и параллельного вариантов программы является единым, что значительно упрощает задачу сопровождения, развития, совершенствования и реинжениринга программ.
В программе, созданной в соответствии с технологией OpenMP, в специально указываемых с помощью директив местах — параллельных фрагментах — исполняемый программный код может быть разделен на несколько раздельных командных потоков. В общем виде программа представляется в виде набора последовательных (однопото-ковых) и параллельных (многопотоковых) участков программного кода.
Максимально возможное ускорение выполнения параллельной программы достигается благодаря равномерному распределению вычислительной нагрузки, называемому балансировкой (load balancing). Потоки могут либо выполняться на разных процессорах (процессорных ядрах) (рис. 2) [13], либо группироваться для исполнения на одном вычислительном элементе, и тогда их исполнение осуществляется в режиме разделения времени.
Процессор
-Ядро Ядро
i
Кеш |
Процессор
Ядро Ядро
1
Кеш |
I
Оперативная память
Рис. 2. Архитектура многопроцессорных систем с общей (разделяемой) с однородным доступом памятью (например, каждый процессор имеет по два вычислительных ядра)
Основные недостатки OpenMP:
- эта технология рассчитана на мультипроцессоры и системы с распределенной памятью, на основе которой моделируется общая память (DSM-системы), так что OpenMP изначально не ориентирована на кластеры;
- эффективность OpenMP-программ на DSM-системах большого размера невысока, что заставляет обращаться к MPI;
- взаимодействие потоков организовано через общие переменные, а не путем передачи сообщений, что зачастую приводит к возникновению трудно обнаруживаемых ошибок, причем средства отладки практически полностью отсутствуют [12, 13].
Вследствие перечисленных особенностей OpenMP-технология не подходит для построения сбое- и отказоустойчивых распределенных систем, одним из требований к которым является отсутствие общей памяти, однако ее можно применять в наземных центрах управления при обработке больших объемов данных.
Параллельные вычисления. MPI-вычисления. В вычислительных системах с распределенной памятью (рис. 3) [13], к которым относятся MPI-вычисления (Message Passing Interface), процессоры работают независимо друг от друга, и на них одновременно запускается одна и та же программа решения поставленной задачи. Такая модель параллельных вычислений называется SPMP (Single Program — Multiple Processes, одна программа — множество процессов).
Применение MPI способно ускорить вычислительный процесс, однако оно накладывает на способы организации вычислений следующие ограничения:
- порядок, в котором приходят сообщения, и их размеры должны быть заранее известны получателю;
- множество узлов, на котором производятся вычисления, фиксируется при запуске и не может изменяться в процессе вычисления;
- возможность пересылать данные одновременно с вычислением отсутствует или реализуется только для сообщений небольшого размера.
Процессор
I
Кеш
л
Оперативная память
ъ
SL
Процессор
Ï
Кеш
л
Оперативная память
Л
Y.
Сеть передачи данных
Рис. 3. Архитектура многопроцессорных систем с распределенной памятью
Перечисленные ограничения приводят к значительному снижению эффективности применения MPI на распределенных вычислительных установках [14], и поэтому их можно использовать только в наземных центрах управления при обработке данных для ограниченного круга задач.
Параллельные вычисления. Технология CUDA. Вычисления с GPU-ускорителем заключаются в использовании графического процессора (GPU) совместно с центральным процессором (CPU) [15]. CUDA (Compute Unified Device Architecture, унифицированная вычислительная архитектура устройств) — это архитектура параллельных вычислений от Nvidia, позволяющая существенно увеличить вычислительную производительность благодаря использованию GPU (графических процессоров).
В отличие от CPU, GPU предназначены для параллельных вычислений с большим количеством арифметических операций, причем транзисторы GPU занимаются обработкой массивов данных, а не управляют исполнением немногочисленных последовательных вычислительных потоков [13], поэтому технологию CUDA Nvidia
называют технологией массивно-параллельной обработки. На рис. 4 для сравнения показана схема того, сколько места в CPU и в GPU занимает различная логика.
Control ALU ALU
ALU ALU
Cache
DRAM
DRAM
CPU GPU
Рис. 4. Схема структуры CPU и GPU
CUDA — архитектура (совокупность программных и аппаратных средств), позволяющая производить на GPU вычисления общего назначения, при этом GPU фактически выступает в роли мощного сопроцессора.
CUDA-программа задействует как CPU, так и GPU, на CPU выполняются последовательная часть кода и подготовительные стадии для GPU-вычислений. Параллельные участки кода могут быть перенесены на GPU, где будут одновременно выполняться большим числом нитей (threads) (рис. 5).
В качестве примера применения GPU-ускорителей, построенных по технологии CUDA, следует привести работу [16], в которой предлагается подход к созданию высокопроизводительных технологий, реализованный и апробированный на гибридном кластере НКС-ЗОТ+GPU Сибирского суперкомпьютерного центра. Технологии реализованы как процессы обработки и анализа данных ДЗЗ (дистанционного зонирования Земли) [17, 18].
Преимущества CUDA:
- интерфейс программирования приложений CUDA основан на стандартном языке программирования Си с расширениями, что упрощает процесс изучения и внедрения архитектуры CUDA;
- CUDA обеспечивает доступ к разделяемой между потоками памяти размером в 16 Кбайт на мультипроцессор, которая может быть использована для организации кеша с широкой полосой пропускания;
- более эффективная передача данных между системной и видеопамятью;
- отсутствие необходимости в графических API (Application Programming Interface, программный интерфейс приложения) с избыточностью и накладными расходами;
- линейная адресация памяти, возможность записи по произвольным адресам;
- аппаратная поддержка целочисленных и битовых операций.
Рис. 5. Иерархия нитей в CUDA
Основные ограничения CUDA:
- отсутствие поддержки рекурсии для выполняемых функций;
- минимальная ширина блока в 32 потока;
- закрытая архитектура CUDA, принадлежащая Nvidia.
Использование технологии CUDA может применяться при обработке больших массивов данных, в частности ДЗЗ, на вычислительных кластерах с GPU как в наземных центрах управления, так и в бортовых вычислителях. Использование технологии CUDA способно существенно ускорить выделение комплексов и сред межкомплексного взаимодействия при построении распределенных многокомплексных информационно-управляющих систем на базе ОГ КА, выполняемых методом полного перебора различных вариантов сочетаний вершин графа исходной сети.
Кластерные технологии применительно к ОГ КА. Получение эффекта положительной эмерджентности / производительности достигается применением кластерных ОГ КА. Кластер (в распределен-
ной обработке данных) представляет собой совокупность функциональных устройств, находящихся под общим управлением, согласно ГОСТ Р ИСО/МЭК 20546-2021.
Отличием кластера от просто группы серверов является наличие специального ПО (менеджера ресурсов или системы пакетной обработки), выполняющего роль посредника между пользователями и ресурсами кластера. Менеджер ресурсов осуществляет управление очередями заданий, включая распределение заданий между узлами кластера (планирование) в соответствии с требованиями заданий и политиками, определяемыми администратором кластера, т. е. выполняет роль «лидера» по отношению к другим узлам — «ведомым». При этом прямой доступ к узлам кластера, минуя менеджера ресурсов, как правило, отсутствует. Менеджер ресурсов также предоставляет пользователям информацию о состоянии узлов кластера, очередей и заданий.
Одно из определений кластерной ОГ КА — «совокупность КА различного целевого назначения, совместно выполняющих общую задачу, воспринимаемая потребителем как единое целое и управляемая как единый космический объект». Общая модель кластерной ОГ КА представляется иерархической структурой малых КА «клиент-серверной» архитектуры, массогабаритные характеристики которых ограничивают размещение на них целевого оборудования, что и приводит к объединению малых КА в кластер для повышения их общей производительности и функциональных возможностей (при ограниченных возможностях резервирования), что вполне соответствует концепции вычислительных кластеров.
Характерными особенностями кластерной ОГ являются реализация системного эффекта эмерджентности, повышающая эффективность группировки, определение размещения элементов кластера в пространстве и их взаимодействие во времени, восприятие внешними пользователями кластера как единого многофункционального космического объекта, эффективность использования которого определяется качеством его управляющей системы [1]. Объединение в кластеры позволяет существенно расширить функциональные и надежностные возможности малых КА.
Согласно [19], в области построения спутниковых систем можно выделить два типа кластеров малых КА:
1) распределенный космический аппарат — система малых КА на орбите (обычно однотипных), в которой целевая функция равномерно распределена между множеством однотипных космических аппаратов [20-22], что предполагает распределение целевой функции между отдельными малыми КА и ее последующий синтез. Очевидно, что необходимым условием работы такой системы является синхронизация работы ее компонентов (отдельных малых КА);
2) фрагментированный космический аппарат — система малых КА на орбите, в которой каждый космический аппарат имеет свое узкое функциональное назначение. Здесь малые КА (модули) собраны в единую информационную сеть и способны объединять информационные и аппаратурные ресурсы для выполнения заданной целевой функции. Фрагментированные КА [23, 24] не однотипны: каждый элемент кластера выполняет одну из служебных или целевых функций систем полноразмерного КА (вычисления, связь с наземным центром управления) или же несет целевую аппаратуру [19].
Кластерные ОГ КА применяются, например, в сфере дистанционного зондирования Земли (ДЗЗ), однако они имеют следующие ограничения:
- небольшие размеры и массы малых КА приводят к энергоресурсным ограничениям, а также ограничениям по оснащению целевой аппаратурой;
- существование кластера как единого космического объекта предполагает задание примерно равных баллистических характеристик КА [1];
- орбитальные группировки нельзя назвать кластерами в тех случаях, когда в них отсутствует непосредственная связь между КА или эту связь обеспечивает наземный центр управления либо специальный комплекс [19].
Кластерные ОГ используются и, видимо, еще долго будут использоваться для решения широкого круга задач космического применения. Однако при разработке кластерных ОГ следует учитывать перечисленные выше особенности, создающие сложности с обеспечением таких его характеристик, как сбое- и отказоустойчивость, гарантоспособность и живучесть, обусловленные «клиент-серверной» архитектурой.
Здесь под живучестью понимается способность систем к сохранению своих основных функций (хотя бы с допустимой потерей качества их выполнения) при воздействии факторов внешней среды катастрофического характера — неблагоприятных условий эксплуатации.
Более мощными системами, чем кластеры, являются GRID-системы.
GRID-технология. Общепринятого определения, что такое GRID, нет. Обычно считают, что GRID-вычисления (grid — решетка, сеть) — это форма распределенных вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластеров, соединенных сетью, слабосвязанных гетерогенных компьютеров, работающих вместе для выполнения большого количества заданий (операций, работ) [25].
Под грид-инфраструктурой, или гридом (grid), понимают сложный ресурс, образованный из множества кластеров[26-28]. Как правило, входящие в GRID кластеры являются автономными ресурсами, распределенными и географически, и административно. В данном случае автономность означает, что ресурс может функционировать в отрыве от инфраструктуры, а его владелец сохраняет над ним полный контроль. Группу ресурсов GRID, управляемую одним владельцем, часто называют ресурсным центром.
Есть два основных критерия, выделяющих GRID-системы среди других систем, обеспечивающих разделяемый доступ к ресурсам.
1. GRID-система координирует разрозненные ресурсы. Ресурсы не имеют общего центра управления, а GRID-система занимается координацией их использования, например, балансировкой нагрузки. Поэтому простая система управления ресурсами кластера не является системой GRID, так как осуществляет централизованное управление всеми узлами данного кластера, имея к ним полный доступ. GRID-системы имеют лишь ограниченный доступ к ресурсам, зависящий от политики того административного домена (организации-владельца), в котором этот ресурс находится.
2. GRID-система строится на базе стандартных и открытых протоколов, сервисов и интерфейсов. Не имея стандартных протоколов, невозможно легко и быстро подключать новые ресурсы в GRID-систему, разрабатывать новые виды сервисов и т. д.
Специфика целевых задач ОГ КА требует наличия системы бортовой обработки информации при ограниченных мощностях бортовых центральных вычислительных комплексов (БЦВК) отдельных КА, откуда следует, что технология GRID-систем может быть использована как система с распределением задач обработки по сети компьютеров.
Концепция GRID соответствует концепции построения космических группировок, более мощных и разносторонних с точки зрения решаемых задач, чем ОГ, и ее можно использовать как основу для построения их программного обеспечения.
Технология GRID — это не технология параллельных вычислений. В ее задачи входит лишь координация использования ресурсов [25]. В рамках конкретной GRID-системы можно организовать параллельные вычисления с использованием существующих технологий, поскольку GRID-систему можно рассматривать как некий мета-компьютер, имеющий множество вычислительных узлов.
В GRID-системах вообще, а особенно лежащих в основе построения космических группировок, жизненно важным свойством является отсутствие так называемой единственной точки сбоя, т. е. отказ любого ресурса не должен приводить к сбою в работе всей системы [4]. Именно поэтому планировщик, система мониторинга и другие сервисы GRID-систем распределены и продублированы.
Несмотря на всю сложность, архитектура GRID-систем изначально разрабатывалась с целью обеспечить максимально высокое качество сервиса для пользователей. В GRID-системах используются современные технологии передачи данных, обеспечения безопасности и отказоустойчивости [29].
Возможность использования GRID-систем для построения космических группировок обеспечивают следующие их свойства:
- гибкость, т. е. возможность создания разделяемого доступа потенциально к ресурсам любых видов;
- масштабируемость — работоспособность GRID-системы при значительном увеличении или уменьшении ее состава;
- гибкая и мощная подсистема безопасности — устойчивость к атакам злоумышленников, обеспечение конфиденциальности;
- возможность контроля над ресурсами — применение локальных и глобальных политик и квот;
- гарантии качества обслуживания;
- возможность одновременной скоординированной работы с несколькими ресурсами [30].
Однако сложности практической реализации таких систем на базе ОГ малых КА позволяют рассматривать GRID-системы лишь в качестве перспективной технологической платформы.
Облачные вычисления. В информатике облачные вычисления (cloud computing) — это модель обеспечения повсеместного и удобного сетевого доступа по требованию к общему пулу (pool) конфигурируемых вычислительных ресурсов, которые могут быть оперативно предоставлены и освобождены с минимальными эксплуатационными затратами и/или обращениями к провайдеру.
Для облачных вычислений существуют три модели обслуживания.
1. Программное обеспечение как услуга (SaaS, Software-as-aService) — модель, в которой потребителю предоставляется возможность использования прикладного программного обеспечения провайдера, работающего в облачной инфраструктуре и доступного из различных клиентских устройств или посредством тонкого клиента или интерфейс-программы.
2. Платформа как услуга (PaaS, Platform-as-a-Service) — модель, когда потребителю предоставляется возможность использования облачной инфраструктуры для размещения базового программного обеспечения для последующего размещения на нем новых или существующих приложений.
3. Инфраструктура как услуга (IaaS, IaaS or Infrastructure-as-a-Service) предоставляется как возможность использования облачной инфраструктуры для самостоятельного управления ресурсами обработки, хранения, сетей и другими фундаментальными вычислительными ресурсами [31, 32].
Преимущества облачных технологий:
- отсутствие расходов на покупку и обслуживание собственного дорогостоящего оборудования;
- относительная безопасность, надежное хранение и обработка данных;
- возможность масштабирования путем задействования необходимого количестваIT-ресурсов;
- мобильный доступ;
- возможность аварийного восстановления;
- степень контроля.
Недостатки облачных вычислений, которые в настоящее время ограничивают использование облачных технологий при построении ОГ КА:
- паузы в работе вследствие перегруженности технических ресурсов;
- уровень безопасности. В облачных сервисах, как правило, задействованы самые современные стандарты безопасности и отраслевые сертификаты, но риск утечки все же остается, в частности, потому, что первый, кто получает доступ к ценной информации, — это сам поставщик услуг;
- привязка к одному поставщику, так как при переходе на облачный сервис другого поставщика возникают проблемы, связанные с совместимостью и обеспечением последующей поддержки;
- ограничение контроля для пользователя — полный контроль имеет лишь владелец сервиса, клиенту внутренняя инфраструктура сервера недоступна.
В настоящее время ведущие зарубежные компании проявляют интерес к созданию вычислительных сетей на базе КА. В частности, Lockheed Martin уже зарегистрировал торговые марки для двух спутниковых облачных систем HiveStar и SpaceCloud и планирует применить этот подход к целому ряду космических миссий для проведения анализа информации в космосе [4, 33].
Очевидно, что облачные вычисления стоит рассматривать как перспективное направление организации информационных сервисов на базе орбитальных группировок КА.
Сетецентрические системы. Сетецентрическая информационно-управляющая система представляет собой распределенную систему, организованную в виде набора независимых компьютеров, соединенных каналами связи, рассматриваемую пользователями в виде единой объединенной системы [34].
Наиболее важные характеристики, которые должна иметь такая система:
- от пользователей скрыты различия между компьютерами и способы связи между ними;
- пользователи и приложения единообразно работают в общем информационном пространстве и едином временном поле распределенной системы независимо от того, где и когда происходит их взаимодействие;
- система относительно легко поддается адаптации, расширению или масштабированию;
- возможно, что в системе некоторые ее части могут временно выходить из строя, при этом пользователи и приложения не уведомляются о том, что эти части заменены или отремонтированы или что добавлены новые части для поддержки дополнительных пользователей или приложений.
Общий эффект от применения сетецентрических систем управления — существенное повышение точности и скорости:
- наблюдения распределенными в пространстве и во времени органами управления за распределенной в пространстве и времени обстановкой в управляемой среде;
- оценки распределенными в пространстве и во времени органами управления результатов наблюдения распределенной в пространстве и времени обстановки;
- принятия распределенных в пространстве и во времени согласованных решений по управлению распределенными в пространстве и во времени взаимосвязанными и взаимодействующими объектами управления;
- распределенных в пространстве и во времени исполнений принятых решений и контроля этих исполнений [35-39].
Внедрение сетецентрических распределенных информационно-управляющих систем ответственного и критического применения требует особого внимания к вопросам их информационной безопасности. Одной из составляющих этой безопасности является обеспечение заданной сбое- и отказоустойчивости таких систем.
Рассматриваемые системы относятся к одноранговым, децентрализованным или пиринговым сетям — это оверлейные компьютерные сети, основанные на равноправии участников. В таких сетях отсутствуют выделенные серверы и каждый узел (peer) может выполнять как функции клиента, так и функции сервера. В отличие от «клиент-серверной» архитектуры, такая организация позволяет обеспечивать длительный срок активного существования и продолжительную траекторию управляемой деградации, что представляет интерес при построении ОГ малых и средних КА.
Сетецентрические системы управления строятся на следующих принципах:
- открытости;
- самоорганизации;
- слабой иерархии в контуре принятия согласованных решений при жесткой иерархии целеполаганий;
- способности порождать цели внутри себя;
- параллельного решения взаимодействующих задач в режиме реального времени;
- обеспечения информационной безопасностью (заданной достоверности выдаваемой информации, заданной сбое- и отказоустойчивости для каждой из решаемых задач критического применения) [40].
Сетецентрические системы представляют собой сложные системы с точки зрения проектирования и обеспечения сбое- и отказоустойчивости вследствие наличия следующих факторов:
- неприемлемость традиционных (константных, логических, обрывов и коротких замыканий проводников) моделей неисправностей ЦВМ и, как следствие, обеспечение их корректной работы при допустимости модели враждебной (byzantine, rigorous, malicious) неисправности;
- необходимость распределенного, синхронизированного и согласованного принятия решения в различных ЦВМ системы;
- необходимость организации и управления динамической избыточностью системы (самореконфигурация и самоуправляемая деградация системы с переходом в безопасный останов при исчерпании ресурсов) при возникновении неисправностей или манипулировании соотношением «производительность/достоверность» для различных параллельно решаемых взаимодействующих целевых задач [36].
Обеспечение отказоустойчивости в сетецентрических системах состоит в репликации задач и введении в систему динамической избыточности, гарантирующих:
- парирование проявлений допустимых враждебных неисправностей;
- обнаружение и идентификацию по месту возникновения и типу (сбой, программный сбой, отказ) проявившихся неисправностей;
- исправления ошибочной информации после сбоев и программных сбоев и восстановление целевой работы;
- реконфигурацию системы (с использованием запасных элементов) и восстановление целевой работы после отказов;
- управляемую деградацию системы с возможным допустимым снижением характеристик вплоть до предельно заданной возможной конфигурации;
- безопасный останов системы при невозможности построения такой конфигурации;
- возможность перераспределения ресурсов системы для изменения соотношения производительность/достоверность между различными решаемыми задачами [35].
Эти свойства сетецентрических систем делают их наиболее приемлемыми и представляют собой перспективный путь развития систем управления как орбитальными, так и космическими группировками КА.
Уязвимые места идеи сетецентрических информационно-управляющих систем — вмешательство в процессы самосинхронизации и самоорганизации, разрушение циркулирующих в системах информационных потоков из-за ошибок проектирования, возникновения неисправностей и несанкционированного доступа.
Заключение. Ограничения по объему и массе малых КА делают невозможным повышение их надежности путем резервирования компонентов этих аппаратов, т. е. чаще всего в ОГ используются неизбыточные малые и средние КА, что требует резервирования самих КА в составе ОГ.
Длительные сроки активного существования достигаются за счет длинной траектории самоуправляемой деградации ОГ КА с возможным снижением функциональных возможностей и переходом в состояние безопасного останова при критическом уровне деградации, что и обеспечивает повышение их живучести.
В каждом исправном элементе ОГ КА должен обеспечиваться уровень обнаружения и идентификации всех допустимых неисправностей системы, гарантирующий принятие всеми вычислителями системы своевременных и согласованных распределенных решений по дальнейшему применению имеющихся механизмов избыточности и последующими действиями каждого вычислителя и всей системы в целом.
Превращение малых КА в массовый продукт усугубляет проблему космического мусора и ставит задачу необходимого своевременного сведения спутников с низкой орбиты в плотные слои атмосферы [41].
Вопросы оптимизации характеристик группировок КА (временных, аппаратурных, информационных) имеют большую практическую значимость, поскольку связаны не только с такими важнейшими их свойствами, как производительность и живучесть [42], но еще и с вопросами финансирования, учитывая стоимость запуска спутников.
Учитывая особенности ОГ КА с точки зрения обеспечения их живучести, а также свойства рассмотренных в обзоре технологий распределенных вычислений, можно сделать следующие выводы.
Технология OpenMP рассчитана на мультипроцессоры и системы с распределенной (общей) памятью, вследствие чего не подходит для обеспечения отказоустойчивости ОГ КА. Технология MPI предполагает наличие множества вычислительных узлов, число которых фиксируется при запуске и не может изменяться в процессе вычисления. Это служит препятствием при организации динамической избыточности,
лежащей в основе реконфигурации ОГ КА в процессе ее самоуправляемой деградации. Технология CUDA, принадлежащая Nvidia, имеет закрытую архитектуру, что в современных условиях может препятствовать ее использованию в системах ответственного применения, к которым относятся ОГ КА.
Кластерная технология успешно применяется при построении современных ОГ КА и представляет собой иерархическую структуру малых КА «клиент-серверной» архитектуры, в частности, при построении систем дистанционного зондирования Земли. Однако для необслуживаемых систем ответственного применения больше подходит пиринговая архитектура, так как она обеспечивает более длительные сроки активного существования за счет более длинной траектории самоуправляемой деградации.
Сложности практической реализации GRID-систем на базе ОГ малых КА позволяют рассматривать такие системы лишь в качестве перспективной технологической платформы. При этом в задачи технологии GRID входит лишь координация использования ресурсов. То же самое относится и к облачным вычислениям.
Сетецентрическая технология построения информационно-управляющих систем больше всего подходит в качестве управляющей системы для необслуживаемых ОГ ответственного применения, образованных малыми или средними КА.
ЛИТЕРАТУРА
[1] Потюпкин А.Ю., Данилин Н.С., Селиванов А.С. Кластеры малоразмерных космических аппаратов как новый тип космических объектов. Ракетно-космическое приборостроение и информационные системы, 2017, т. 4, вып. 4, с. 45-56.
[2] Дианов В.Н. Диагностика сбоев в электронной аппаратуре. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2007, № 2, с. 116-147.
[3] Лобанов А.В. Модели замкнутых многомашинных вычислительных систем со сбое- и отказоустойчивостью на основе репликации задач в условиях возникновения враждебных неисправностей. Автоматика и телемеханика, 2009, вып. 2, с. 171-189.
[4] Потюпкин А.Ю., Пантелеймонов И.Н., Тимофеев Ю.А., Волков С.А. Управление многоспутниковыми орбитальными группировками. Ракетно-космическое приборостроение и информационные системы, 2020, т. 7, вып. 3, с. 61-70.
[5] Ашарина И.В., Лобанов А.В. Системное взаимное информационное согласование в сбое- и отказоустойчивых сетецентрических системах. Материалы Всероссийской конференции «XII Всероссийское совещание по проблемам управления» ВСПУ'14, Москва, ИПУ РАН, 16-19 июня 2014 г. Москва, 2014, с. 7387-7392.
[6] Авиженис А. Отказоустойчивость — свойство, обеспечивающее постоянную работоспособность цифровых систем. ТИИЭР, 1978, т. 66, № 10, с. 5-25.
[7] Авиженис А., Лапри Ж.-К. Гарантоспособные вычисления: от идей до реализации. ТИИЭР, 1986, т. 74, № 5, с. 8-21.
[S] Васильев Д.Г., Бетанов В.В. Применение методов имитационного моделирования в задачах изучения движения околоземных космических аппаратов. Инженерный журнал: наука и инновации, 2016, вып. 7. http:IIdx.doi.orgI10.18698I2308-6033-2016-07-1513 [9] Микрин Е.А., Михайлов М.В. Навигация космических аппаратов по измерениям от глобальных спутниковых навигационных систем. 2-е изд. Москва, Изд-во МГТУ им. Н.Э. Баумана, 20iS, 345 с.
[10] Ашарина И.В., Лобанов А.В. Выделение комплексов, обеспечивающих достаточные структурные условия системного взаимного информационного согласования в многокомплексных системах. Автоматика и телемеханика, 2014, № 6, с. 115-131.
[11] Ашарина И.В., Лобанов А.В. Выделение структурной среды системного взаимного информационного согласования в многокомплексных системах. Автоматика и телемеханика, 20i4, № S, с. 146-156.
[12] Антонов А.С. Параллельное программирование с использованием технологии OpenMP. Москва, Изд-во МГУ, 2009, 77 с.
[13] Гергель В.П. Современные языки и технологии параллельного программирования. Москва, Изд-во Московского университета, 20i2, 40S с.
[14] Копысов С.П., Новиков А.К. Промежуточное программное обеспечение параллельных вычислений. Ижевск, Изд-во «Удмуртский университет», 2012, 140 с.
[15] Боресков А.В. и др. Параллельные вычисления на GPU. Архитектура и программная модель CUD A. Москва, Изд-во Московского университета, 2012, 336 с.
[16] Русин Е.В. Технологии обработки данных дистанционного зондирования Земли на гибридном кластере НКC-30Т+GPU. Труды Х11 Международного научного конгресса и выставки "ИНТЕРЭКСПО ГЕО-Сибирь-2016", Т. 1. Дистанционные методы зондирования Земли и фотограмметрия, мониторинг окружающей среды, геоэкология, 18-22 апреля 2016, г. Новосибирск. Новосибирск, 2016, с. 46-49.
[17] Rusin E.V. Technology of high performance image processing on multiprocessor computer. Pattern Recognition and Image Analysis, 2012, vol. 22.3, pp. 470-472.
[1S] Абрамов Н.С., Макаров Д.А., Талалаев А.А., Фраленко В.П. Современные методы интеллектуальной обработки данных ДЗЗ. Программные системы: теория и приложения, 201S, т. 9, вып. 4, c. 417-442.
[19] Клюшников В.Ю. Построение кластеров малых космических аппаратов. Изв. вузов. Приборостроение, 2016, т. 59, № 6, с. 423-42S.
[20] Коротеев А. С., Ризаханов Р.Н., Собкалов О.Г. Концепция распределенных космических аппаратов на базе нанотехнологических разработок. Материалы VI Науч.-практ. конф. «Микротехнологии в авиации и космонавтике». Москва, 200S.
[21] Клюшников В.Ю. Концепция распределенной системы космических аппаратов сверхмалого класса («роя»). Актуальные проблемы Российской космонавтики: Тр. ХХХV1 Академических чтений по космонавтике. Москва, Комиссия РАН по разработке научного наследия пионеров освоения космического пространства, 2012, с. 276-27S.
[22] Клюшников В.Ю. Возможные направления реализации функций распределенного космического аппарата. Космонавтика и ракетостроение, 2014, т. 75, № 2, с. 66-74.
[23] Molette P., Cougnet C., Saint-Aubert P. H., Young R. W., Helas D. Technical and economical comparison between a modular geostationary space platform and a cluster of satellites. Acta Astronautica, 19S4, vol. 11, no. 12, pp. 771-7S4.
[24] Bethscheider G. Pat. No. 6633745 USA. Satellite cluster comprising a plurality of modular satellites. October 14, 2003.
[25] Долгов А.А., Хорохорин М.А., Минин Ю.В., Шихук А.Б. К вопросу оценки живучести сетевых структур с использованием GRID-технологий. Информационная безопасность, 2012, № 2, с. 249-253.
[26] Foster I., Kesselman C., ed. The Grid 2: Blueprint for a new computing infrastructure. Elsevier, 2003.
[27] Афанасьев А.П., Волошинов В.В., Рогов С.В., Сухорослов О.В. Развитие концепции распределенных вычислительных сред. Проблемы вычислений в распределенной среде: организация вычислений в глобальных сетях: Труды ИСА РАН. Москва, РОХОС, 2004, с. 6-105.
[28] Коваленко В.Н., Корягин Д. А. Грид: истоки, принципы и перспективы развития. Информационные технологии и вычислительные системы, 2008, № 4, с. 38-50.
[29] Рябов Ю.Ф., Кирьянов А.К. Технология GRID. Школьные технологии, 2010, № 5, с. 134-145.
[30] Фалеев М.И., Черных Г.С. Угрозы национальной безопасности государства в информационной сфере. Стратегия гражданской защиты: проблемы и исследования, 2014, т. 4, № 1 (6), с. 21-34.
[31] Шамакина А.В. Обзор технологий распределенных вычислений. Вестн. ЮУрГУ. Сер. Выч. матем. информ., 2014, т. 3, вып. 3, с. 51-85.
[32] Сухорослов О.В. Реализация и композиция проблемно-ориентированных сервисов в среде MathCloud. Вестн. ЮУрГУ. Сер. Матем. моделирование и программирование, 2011, вып. 8, с. 101-112.
[33] Макаренко С.И. Использование космического пространства в военных целях: современное состояние и перспективы развития систем информационно-космического обеспечения и средств вооружения. Системы управления, связи и безопасности, 2016, № 4. [Systems of Control, Communication and Security sccs.intelgr.com]
URL: http://sccs.intelgr.com/archive/2016-04/09-Makarenko.pdf.
[34] Ефремов А.Ю., Максимов Д.Ю. Сетецентрическая система управления -что вкладывается в это понятие? Технические и программные средства систем управления, контроля и измерения: труды Третьей Российской конференции УКИ-2012 с международным участием. Москва, ИПУ РАН, 2012, с. 158-161.
[35] Лобанов А.В., Ашарина И.В., Гришин В.Ю., Сиренко В.Г. Макетный образец высокоадаптивной распределенной сетецентрической многокомплексной сбое- и отказоустойчивой управляющей системы — актуальная проблема. Наукоемкие технологии в космических исследованиях Земли, 2018, т. 10, № 1, с. 48-55.
[36] Ашарина И.В., Лобанов А.В. Построение группировок КА на базе сбое-и отказоустойчивых сетецентрических систем управления. XIII Всероссийское совещание по проблемам управления (ВСПУ-2019) 17-20 июня 2019 г. Москва, ИПУ РАН, 2019.
[37] Ашарина И.В., Гришин В.Ю., Лобанов А.В., Сиренко В.Г. Сетецентриче-ское управление орбитальной группировкой автоматических космических аппаратов. Тезисы докладов IV Всероссийской научно-технической конференции «Системы управления беспилотными космическими и атмосферными летательными аппаратами». Москва, МОКБ «Марс», 31 октября — 2 ноября 2017. Москва, 2017, с. 9-10.
[38] Ашарина И.В., Лобанов А.В. Реконфигурация систем сетецентрического управления группировкой автоматических космических аппаратов. Инновационные, информационные и коммуникационные технологии: сборник
трудов XIV Международной научно-практической конференции ИНФО-
2017. С.У. Увайсова, ред. Москва, Ассоциация выпускников и сотрудников ВВИА им. проф. Жуковского, 2017, с. 332-334.
[39] Ашарина И.В. Метод построения отказоустойчивого распределенного алгоритма СВИС в сетецентрических информационно-управляющих системах. Материалы Х Всероссийской научно-технической конференции «Научные чтения по авиации, посвященные памяти Н.Е. Жуковского», Москва, 17-18 апреля 2014 г. Сборник докладов. Москва, Изд. дом Академии им. Н.Е. Жуковского, с. 135-138.
[40] Степанов В.В. Перспектива развития гидрометеорологического обеспечения с помощью многоцелевой космической системы «АРКТИКА». Вестник «НПО имени С.А. Лавочкина», 2016, № 4 (34), с. 55-60.
[41] Гансвинд И.Н. Малые космические аппараты — новое направление космической деятельности. Международный научно-исследовательский журнал,
2018, № 12 (78). Часть 2. с. 84-91 (ISSN 2303-9868 PRINT, ISSN 2227-6017 ONLINE, Екатеринбург).
[42] Ашарина И.В., Лобанов А.В. Построение алгоритмов системного взаимного информационного согласования в системах управления группировками КА ДЗЗ и сокращение их временной избыточности. Специальный выпуск журнала «Вопросы электромеханики. Труды ВНИИЭМ». Москва, АО «Корпорация «ВНИИЭМ», 2017. с. 45-54.
Статья поступила в редакцию 22.03.2022
Ссылку на эту статью просим оформлять следующим образом: Ашарина И.В., Гришин В.Ю., Сиренко В.Г. Технологии применения распределенных вычислений при построении перспективных сбое- и отказоустойчивых орбитальных группировок малых космических аппаратов. Инженерный журнал: наука и инновации, 2023, вып. 6.
http://dx.doi.org/10.18698/2308-6033-2023-6-2286
Ашарина Ирина Владимировна — канд. техн. наук, доцент, старший научный сотрудник АО «НИИ «Субмикрон». e-mail: asharinairina@mail.ru
Гришин Вячеслав Юрьевич — канд. техн. наук, 1-й зам. генерального директора, Гл. конструктор. e-mail:_grishin@se.zgrad.ru
Сиренко Владимир Григорьевич — д-р техн. наук, профессор, зам. Генерального директора по перспективным проектам. e-mail: vgsirenko@mail.ru
Overview of the distributed computational technologies used in construction of the advanced small spacecraft orbital constellations and ensuring their fail-safe and fault-tolerant operation
© I.V. Asharina1,2, V.Yu. Grishin1, V.G. Sirenko1
1JSC "SRI "Submicron", Moscow, Zelenograd, 124460, Russia 2National Research University of Electronic Technology MIET, Moscow, Zelenograd, 124498, Russia
The paper examines issues of introducing the distributed computational technologies in constructing the fail-safe and fault-tolerant control systems for spacecraft constellations of various purposes. Various target objectives require various tools to achieve the task. Comparative analysis of the existing distributed computational technologies operating with the responsive application systems was performed including the spacecraft constellation control systems, to identify the most acceptable solutions. Principles of constructing the network-centric systems in controlling the spacecraft constellations were considered. Distributed computational technologies were analyzed not only from the point of view of solving the target problems by the spacecraft constellations, but also from the point of view of ensuring their reliability, as well as in organizing the spacecraft constellation control systems.
Keywords: distributed multimachine computational system, fail-safety and fault tolerance, dynamic redundancy, hostile malfunction, spacecraft constellation
REFERENCES
[1] Potyupkin A.Yu., Danilin N.S., Selivanov A.S. Klastery malorazmernykh kos-micheskikh apparatov kak novyi tip kosmicheskikh obyektov [Small satellites clusters — a new type of space objects]. Raketno-kosmicheskoe priborostroenie i informatsionnye sistemy — Rocket-Space Device Engineering and Information Systems, 2017, vol. 4, no. 4, pp. 45-56.
[2] Dianov V.N. Diagnostika sboev v elektronnoy apparature [Diagnostics of malfunctions in electronic apparatus]. Vestnik MGTU im. N.E. Baumana. Ser. Priborostroenie — Herald of the Bauman Moscow State Technical University. Series Instrument Engineering, 2007, no. 2, pp. 116-147.
[3] Lobanov A.V. Modeli zamknutykh mnogomashinnykh vychislitelnykh sistem so sboe- i otkazoustoychivostyu na osnove replikatsii zadach v usloviyakh voz-niknoveniya vrazhdebnykh neispravnostey [Models of closed multimachine computing systems with fail-free and fault tolerance based on task replication in facing the hostile faults]. Avtomatika i telemekhanika — Automation and Remote Control, 2009, no. 2, pp. 171-189.
[4] Potyupkin A.Yu., Panteleimonov I.N., Timofeev Yu.A., Volkov S.A. Upravlenie mnogosputnikovymi orbitalnymi gruppirovkami [Control of multi-satellite orbital constellations]. Raketno-kosmicheskoe priborostroenie i informatsionnye sistemy — Rocket-Space Device Engineering and Information Systems, 2020, vol. 7, no. 3, pp. 61-70.
[5] Asharina I.V., Lobanov A.V. Sistemnoe vzaimnoe informatsionnoe soglaso-vanie v sboe- i otkazoustoychivykh setetsentricheskikh sistemakh [Systemic mutual information coordination in fail-free and fault-tolerant network-centric sys-
tems]. In: Materialy Vserossiyskoy konferentsii "XII Vserossiyskoe soveschanie poproblemam upravleniya" VSPU-14, Moscow, IPURAN, 16-19 iyunya 2014g. [Proceedings of the All-Russian Conference "XII All-Russian Conference on Management Problems" VSPU'14, Moscow, IPU RAS, June 16-19, 2014]. Moscow, 2014, pp. 7387-7392.
[6] Avizhenis A. Otkazoustoychivost — svoystvo, obespechivayuschee postoyan-nuyu rabotosposobnost tsifrovykh sistem [Fault tolerance: the survival attribute of digital systems]. TIIER — Proceeding of the IEEE, 1978, vol. 66, no. 10, pp. 5-25.
[7] Avizhenis A., Lapri Zh.-K. Garantosposobnye vychisleniya: ot idey do reali-zatsii [Guaranteed computing: from ideas to implementation]. TIIER — Proceeding of the IEEE, 1986, vol. 74, no. 5, pp. 8-21.
[8] Vasiliev D.G., Betanov V.V. Primenenie metodov imitatsionnogo modeliro-vaniya v zadachakh izucheniya dvizheniya okolozemnykh kosmicheskikh appa-ratov [Use of simulation modelling methods in problems of studying the near-Earth spacecraft motion]. Inzhenerny zhurnal: nauka i innovatsii — Engineering Journal: Science and Innovation, 2016, iss. 7. https://doi.org/10.18698/2308-6033-2016-07-1513
[9] Mikrin E.A., Mikhailov M.V. Navigatsiya kosmicheskikh apparatov po izme-reniyam ot globalnykh sputnikovykh navigatsionnykh sistem [Spacecraft navigation based on measurements from the global satellite navigation systems]. 2nd ed. Moscow, BMSTU Publ., 2018, 345 p.
[10] Asharina I.V., Lobanov A.V. Vydelenie kompleksov, obespechivayuschikh dostatochnye strukturnye usloviya sistemnogo vzaimnogo informatsionnogo soglasovaniya v mnogokompleksnykh sistemakh [Extracting complexes that ensure sufficient structural conditions for system mutual informational coordination in multicomplex systems]. Avtomatika i telemekhanika — Automation and Remote Control, 2014, no. 6, pp. 115-131.
[11] Asharina I.V., Lobanov A.V. Vydelenie strukturnoy sredy sistemnogo vzaimnogo informatsionnogo soglasovaniya v mnogokompleksnykh sistemakh [The allocation of the structural environment of the system mutual information matching in mnogokomponentnyh systems]. Avtomatika i telemekhanika — Automation and Remote Control, 2014, no. 8, pp. 146-156.
[12] Antonov A.S. Parallelnoe programmirovanie s ispolzovaniem tekhnologii Open MP [Parallel programming using the OpenMP technology]. Moscow, MGU Publ., 2009, 77 p.
[13] Gergel V.P. Sovremennye yazyki i tekhnologii parallelnogo programmirovaniya [Modern languages and technologies of parallel programming]. Moscow, Moscow University Publ., 2012, 408 p.
[14] Kopysov S.P., Novikov A.K. Promezhutochnoe programmnoe obespechenie par-allelnykh vychisleniy [Middleware for parallel computing]. Izhevsk, Udmurtskiy Universitet Publ., 2012, 140 p.
[15] Boreskov A.V., et al. Parallelnye vychisleniya na GPU. Arkhitektura i pro-grammnaya model CUDA [Parallel computing on GPU. Architecture and programming model of CUDA]. Moscow, Moscow University Publ., 2012, 336 p.
[16] Rusin E.V. Tekhnologii obrabotki dannykh distantsionnogo zondirovaniya Zem-li na gibridnom klastere NKS-30T++GPU., Interekspo Geo-Sibir, 4:1 [Data processing technologies for remote sensing of the Earth on a hybrid cluster NKS-30T + GPU., Interexpo Geo-Siberia, 4:1]. In: Trudy XII Mezhdunarodnogo nauchnogo kongressa i vystavki "INTEREKSPO GEO-Sibir'-2016", T. 1. "Dis-tantsionnyye metody zondirovaniya Zemli i fotogrammetriya, monitoring okru-zhayushchey sredy, geoekologiya", 18-22 aprelya 2016, g. Novosibirsk [Pro-
ceedings of the XII International Scientific Congress and Exhibition "INTEREXPO GEO-Siberia-2016", vol. 1. "Remote methods of Earth sensing and photogrammetry, environmental monitoring, geoecology", April 18-22, 2016, Novosibirsk], Novosibirsk, 2016, pp. 46-49.
[17] Rusin E.V. Technology of high performance image processing on multiprocessor computer. Pattern Recognition and Image Analysis, 2012, vol. 22:3, pp. 470-472.
[18] Abramov N.S., Makarov D.A., Talalaev A.A., Fralenko V.P. Sovremennye metody intellektualnoy obrabotki dannykh DZZ [Modern methods for intelligent processing of Earth remote sensing data]. Progammnye sistemy: teoriya i prilozheniya — Program Systems: Theory and Applications, 2018, vol. 9, no. 4, pp. 417-442.
[19] Klyushnikov V.Yu. Postroenie klasterov malykh kosmicheskikh apparatov [Construction of small spacecraft clusters]. Izvestiya vuzov. Priborostroenie — Journal of Instrument Engineering, 2016, vol. 59, no. 6, pp. 423-428.
[20] Koroteev A.S., Rizakhanov R.N., Sobkalov O.G. Kontseptsiya raspredelennykh kosmicheskikh apparatov na baze nanotekhnologicheskikh razrabotok [The concept of distributed space vehicles based on the nanotechnological developments]. In: Materialy VI nauchn.-prakt. konf "Mikrotekhnologii v aviatsii i kosmonavtike" [Materials of the VI Scientific-practical conference "Microtechnologies in aviation and cosmonautics"]. Moscow, 2008.
[21] Klyushnikov V.Yu. Kontseptsiya raspredelennoy sistemy kosmicheskikh apparatov sverkhmalogo klassa ("roya") [The concept of distributed system of the ultra-small class spacecraft ("swarm"). In: Aktualnye problemy Rossiyskoy kos-monavtiki: Tr. XXXVI Akademicheskikh chteniy po kosmonavtike [Actual problems of Russian cosmonautics: works of the XXXVI Academic readings on cosmonautics]. Moscow, Komissiya RAN po Razrabotke Nauchnogo Naslediya Pionerov Osvoeniya Kosmicheskogo Prostranstva, 2012, pp. 276-278.
[22] Klyushnikov V.Yu. Vozmozhnye napravleniya realizatsii funktsii raspredelen-nogo kosmicheskogo apparata [Possible directions for implementing the functions of a distributed spacecraft]. Kosmonavtika i raketostroenie — Cosmonautics and Rocket Science, 2014, vol. 75, no. 2, pp. 66-74.
[23] Molette P., Cougnet C., Saint-Aubert P. H., Young R. W., Helas D. Technical and economical comparison between a modular geostationary space platform and a cluster of satellites. Acta Astronautica, 1984, vol. 11, no. 12, pp. 771-784.
[24] Bethscheider G. Pat. no. 6633745 USA. Satellite cluster comprising a plurality of modular satellites. October 14, 2003.
[25] Dolgov A.A., Khorokhorin M.A., Minin Yu.V., Shihuk A.B. K voprosy otsenki zhivuchesti setevykh struktur s ispolzovaniem GRID-tekhnologiy [On the issue of assessing survivability of the network structures using the GRID technologies]. Informatsionnaya bezopasnost — Information Security, 2012, no. 2, pp. 249-253.
[26] Foster I., Kesselman C., eds. The Grid 2: Blueprint for a new computing infrastructure. Elsevier, 2003.
[27] Afanasiev A.P., Voloshinov V.V., Rogov S.V., Sukhoroslov O.V. Razvitie kontseptsii raspredelennykh vychislitelnykh sred [Development of the concept of distributed computing environments]. In: Problemy vychisleniy v raspre-delennoy srede: organizatsiya vychisleniy v globalnykh setyakh: Trudy ISA RAN [Problems of computing in the distributed environment: organization of computing in the global networks: Proceedings of the ISA RAS]. Moscow, ROKhOS Publ., 2004, pp. 6-105.
[28] Kovalenko V.N., Koryagin D.A. Grid: istoki, printsipy i perspektivy razvitiya [Grid: origins, principles and development prospects]. Informatsionnye
tekhnologii i vychislitelnye sistemy — Information Technologies and Computing Systems, 2008, no. 4, pp. 38-50.
[29] Ryabov Yu.F., Kiryanov A.K. Tekhnologiya GRID [GRID technology]. Shkolnye tekhnologii — School technologies, 2010, no. 5, pp. 134-145.
[30] Faleev M.I., Chernykh G.S. Ugrozy natsionalnoy bezopasnosti gosudarstva v infor-matsionnoy sfere [Threats to national security of the state in the information sphere]. Strategiya grazhdanskoy zaschity: problemy i issledovaniya — Civil protection strategy: problems and research, 2014, vol. 4, no. 1 (6), pp. 21-34.
[31] Shamakina A.V. Obzor tekhnologiy raspredelennykh vychisleniy [Survey on distributed computing technologies]. Vestn. YuUrGU. Ser. Vych. matem. inform. — Bulletin of the South Ural State University. Series Computational Mathematics and Software Engineering, 2014, vol. 3, no. 3, pp. 51-85.
[32] Sukhoroslov O.V. Realizatsiya i kompozitsiya problemno-orientirovannykh servisov v srede MathCloud [Implementation and composition of problem solving services in the MathCloud environment]. Vestn. YuUrGU. Ser. Matem. mod-elirovanie i programmirovanie — Bulletin of the South Ural State University. Series Mathematical Modelling, Programming and Computer Software, 2011, no. 8, pp. 101-112.
[33] Makarenko S.I. Ispolzovanie kosmicheskogo prostranstva v voennykh tselyakh: sovremennoe sostoyanie i perspektivy razvitiya sistem informartsionno-kosmicheskogo obespecheniya i sredstv vooruzheniya [Information-space systems and space weapons - current state and prospects of improvement]. Sistemy upravleniya, svyazi i bezopasnosti — Systems of Control, Communications and Security, 2016, no. 4. [Systems of Control, Communication and Security sccs.intelgr.com] Available at:
http://sccs.intelgr.com/archive/2016-04/09-Makarenko.pdf.
[34] Efremov A.Yu., Maksimov D.Yu. Setetsentricheskaya sistema upravleniya — chto vkladyvaetsya v eto ponyatie? [Network-centric control system — what is meant by this concept?]. In: Tekhnicheskie i programmnye sredstva sistem upravleniya, kontrolya i izmereniya: trudy Tretyey Rossiyskoy konferentsii UKI-2012 s mezhdunarodnym uchastiem [Technical and software tools for control, monitoring and measurement systems: Proceedings of the Third Russian Conference USP-2012 with international participation]. Moscow, IPU RAN Publ., 2012, pp. 158-161.
[35] Lobanov A.V., Asharina I.V., Grishin V.Yu., Sirenko V.G. Maketnyi obrazets vysokoadaptivnoy raspredelennoy setetsentricheskoy mnogokompleksnoy sboe-i otkazoustoychivoy upravlyayuschey sistemy — aktualnaya problema [A prototype of a highly adaptive, distributed, net-centric, multicomplex malfunction-and a faulty-tolerant control system — a topical problem]. Naukoemkie tekhnologii v kosmicheskikh issledovaniyakh Zemli — Hi-tech Earth Space Research, 2018, vol. 10, no. 1, pp. 48-55.
[36] Asharina I.V., Lobanov A.V. Postroenie gruppirovok KA na baze sboe- i ot-kazoustoychivykh setetsentricheskikh sistem upravleniya [Construction of spacecraft constellations based on fail-safe and fault-tolerant network-centric control systems]. In: XII Vserossiyskoe soveschanie po problemam upravleniya (VSPU-2019) 17-20 iyunya 2019 g. [XIII All-Russian Conference on Management Problems (VSPU-2019), June 17-20, 2019]. Moscow, IPU RAN Publ., 2019.
[37] Asharina I.V., Grishin V.Yu., Lobanov A.V., Sirenko V.G. Setetsentricheskoe upravlenie orbitalnoy gruppirovkoy avtomaticheskikh kosmicheskikh apparatov [Network-centric control of the orbital constellation of automatic spacecraft]. In:
Tezisy dokladov IV Vserossiyskoy nauchno-tekhnicheskoy konferentsii "Sistemy
upravleniya bespilotnymi kosmicheskimi i atmosfernymi letatelnymi apparatami". Moskva, MOKB "Mars", 31 oktyabrya — 2 noyabrya 2017 [Abstracts of the IV All-Russian Scientific and Technical Conference "Control Systems for Unmanned Space and Atmospheric Aerial Vehicles. Moscow, MOKB "Mars", October 31 — November 2, 2017]. Moscow, 2017, pp. 9-10.
[38] Asharina I.V., Lobanov A.V. Rekonfiguratsiya sistem setetsentricheskogo upravleniya gruppirovkoy avtomaticheskikh kosmicheskikh apparatov [Reconfiguration of network-centric control systems for a group of automatic spacecraft]. In: Innovatsionnye, informatsionnye i kommunikatsionnye tekhnologii: sbornik trudov XIV Mezhdunarodnoy nauchno-prakticheskoy konferentsii INFO-2017 [Innovative, information and communication technologies: Proceedings of the XIV International Scientific and Practical Conference INFO-2017]. S.U. Uvaysova, ed. Moscow, Assotsiatsiya Vypusknikov i Sotrudnikov VVIA im. Prof. Zhukovskogo Publ., 2017, pp. 332-334. ISSN 2500-1248.
[39] Asharina I.V. Metod postroyeniya otkazoustoychivogo raspredelennogo algo-ritma SVIS v setetsentricheskikh informatsionno-upravlyayuschikh sistemakh [A method for constructing a fault-tolerant distributed algorithm SVIS in the network-centric information and control systems]. In: MaterialyX Vserossiyskoy nauchno-prakticheskoy konferentsii "Nauchnye chteniya po aviatsii, posvyaschennye pamyati N.E. Zhukovskogo", Moskva, 17-18 aprelya 2014 g. Sbornik dokladov [Materials of the X All-Russian scientific and technical conference "Scientific readings on aviation dedicated to the memory of N.E. Zhu-kovsky", Moscow, April 17-18, 2014. Collection of reports]. Moscow, Akade-my named after N.E. Zhukovsky Publ., pp. 135-138.
ISBN 978-5-903111-67-1.
[40] Stepanov V.V. Perspektiva razvitiya gidrometeorologicheskogo obespecheniya s pomoschyu mnogotselevoy kosmicheskoy sistemy "Arktika" [Perspectives of development of hydrometeorological services by means of multi-purpose space system «ARCTIC»]. Vestnik "NPO imeni S.A. Lavochkina" — Bulletin of Lavochkin Association, 2016, no. 34/4 (October-December), pp. 55-60.
[41] Ganswind I.N. Malye kosmicheskie apparaty — novoe napravlenii kosmicheskoy deyatelnosti [Small spacecraft — new direction in space activities]. Mezhdunarodnyi nauchno-issledovatelskiy zhurnal — International Research Journal, 2018, no. 12 (78). Part 2, pp. 84-91 (ISSN 2303-9868 PRINT, ISSN 2227-6017 ONLINE, Yekaterinburg).
[42] Asharina I.V., Lobanov A.V. Postroenie algoritmov sistemnogo vzaimnogo in-formatsionnogo soglasovaniya v sistemakh upravleniya gruppirovkami KA DZZ i sokraschenie ikh vremennoy izbytochnosti [Construction of algorithms for systemic mutual information coordination in remote sensing satellite constellation control systems and reduction of their temporal redundancy]. In: Spetsialnyi vypusk zhurnala "Voprosy elektromekhaniki. Trudy VNIIEM" — Special issue of "Electromechanical Matters. VNIIEM Studies". Moscow, AO "Korporatsiya "VNIIEM" Publ., 2017, pp. 45-54.
Asharina I.V., Cand. Sc. (Eng.), Associate Professor, Senior Researcher, JSC "SRI "Submicron". e-mail: asharinairina@mail.ru
Grishin V.Yu., Cand. Sc. (Eng.), First Deputy General Director, Chief Constructor. email: grishin@se.zgrad.ru
Sirenko V.G., Dr. Sc. (Eng.), Professor, Deputy General Director for Promising Projects. e-mail: vgsirenko@mail.ru
