CC BY
11
УДК 004.421+519.178 DOI 10.18522/2311-3103-2021-3-186-198
Е.Р. Мунтян, Э.В. Мельник
ИССЛЕДОВАНИЕ СТРУКТУРНЫХ ХАРАКТЕРИСТИК РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ НА ОСНОВЕ ГРАФОВ С МНОЖЕСТВЕННЫМИ РАЗНОТИПНЫМИ СВЯЗЯМИ*
В статье рассмотрены вопросы построения отказоустойчивых вычислительных систем, в части структуры и резервирования. При проектировании распределенных вычислительных систем (ВС) возникает необходимость учета большого количества факторов, влияющих на производительность, надежность и отказоустойчивость. Для распределенных ВС к таким факторам относятся, в том числе структурные характеристики. В работе представлены графики зависимости вероятности безотказной работы ПУраспределенной вычислительной системы от характеристик ее структуры. Применение перспективных способов резервирования, таких как резервирование производительности, существенно повышает сложность задачи проектирования структуры. При резервировании производительности взамен ввода в систему специальных резервных узлов предполагается использование избыточных вычислительных ресурсов внутри задействованных процессорных узлов (ПУ). В случае отказа узла его задачи перераспределяются на свободный резерв работоспособных узлов. Для реализации такого способа резервирования системы требуется организация многопрограммного режима работы, когда на каждом узле могут одновременно выполняться несколько задач. Необходимость обеспечения мультипрограммного режима работы приводит к увеличению количества конфигураций системы, подлежащих анализу на этапе проектирования и в случае реконфигурации при отказе. Для снижения трудоемкости анализа отдельно взятой конфигурации предложен подход на основе графов с множественными и разнотипными связями. Использование моделей на основе таких графов позволяет представить структуру вычислительной системы с учетом мультипрограммной обработки информации и при этом существенно сократить время вычисления базовых характеристик за счет применения связей в виде вектора, позволяющих объединить несколько разнотипных связей.
Вычислительная система; граф; диаметр графа; множественные и разнотипные связи; мультипрограммная обработка; надежность.
E.R. Muntyan, E.V. Melnik
INVESTIGATION OF STRUCTURAL CHARACTERISTICS OF DISTRIBUTED COMPUTING SYSTEMS BASED ON GRAPHS WITH MULTIPLE EDGES OF DIFFERENT TYPES
The article considers the issues of fault-tolerant computing systems (CS) development in terms of their structure and redundancy. It is necessary to take into account a great amount of factors, which have an impact on performance, reliability and fault tolerance, during the distributed CS development. For distributed CS such factors contain, among other things, structural characteristics. The dependency graphs of processor nodes (PN)nonfailure operating probability of distributed CS against system structural characteristics are presented in the article. The application of advanced redundancy methods, such as performance redundancy, increases the complexity of structure design problem. In the case ofperformance redundancy, instead of adding redundant nodes to the system, it is proposed to use redundant computational resources among the involved processor nodes. If a node fails, its tasks are reallocated to a free reserve of nodes, which are able to work. To implement this method of system redundancy, the organization of a multi-program operation mode is required, when some tasks can be performed simultaneously on each node. Need for multi-program operation mode providing leads to increasing the number of system con-
* Работа выполнена ГЗ ЮНЦ РАН (№ гр проекта АААА-А19-119011190173-6) и гранта РФФИ 18-29-22086.
figurations, which have to be analyzed on the design stage and in the case of reconfigurations when a failure takes place. To reduce the labour intensity of a configuration analysis an approach based on graphs with multiple edges of different types is proposed. The use of models based on such graphs makes it possible to represent the structure of CS taking into account a multi-program operation mode and at the same time significantly reduce the computational time of basic characteristics by means of applying relations in the form of a vector, which allows to integrate some relations of different types.
Computing system; graph; graph diameter; different types and multiple edges; multi-program operation mode; reliability.
Введение. Характеристики надежности являются важными для широко круга вычислительных систем (ВС), применяемых в критических областях деятельности и для решения вычислительно сложных задач. Повышения характеристик надежности ВС можно достичь за счет применения высоконадежных компонентов, облегчения их режима работы, а также за счет реализации отказоустойчивости.
Объектом исследования являются отказоустойчивые вычислительные системы (ВС). Будем полагать, что исследуемые ВС содержат n процессорных узлов (ПУ) с одинаковыми характеристиками, на которых решается задача, включающая в свой состав t информационно связанных программ. Каждый i-й процессорный узел ПУ,- ( i = 1 . . п) может работать в мультипрограммном режиме, при котором на каждом на нем выполняется несколько программ из состава решаемой задачи. Между каждой парой процессорных узлов имеется хотя бы один канал для передачи данных с учетом возможной транзитной передачи через другие узлы. В процессе проектирования системы необходимо:
♦ определить структуру, включая количество узлов и количество связей на узел;
♦ обеспечить определенные характеристики, влияющие на отказоустойчивость и живучесть ВС, в том числе:
■ максимально возможную структурную живучесть,
■ максимально возможную структурную коммутируемость,
■ минимальные структурные задержки при передаче информации между узлами.
Для повышения отказоустойчивости системы требуется предусмотреть возможности парирования отказов за счет заложенной избыточности. Структуру ВС, отвечающей выше перечисленным требованиям, будем считать оптимальной в случае минимальной избыточности в части дополнительных ПУ и каналов связи. Задача синтеза оптимальной структуры ВС, реализующей однопрограммный режим работы узлов, успешно решена при помощи вычисления характеристик графа [12]. Однако остается нерешенной задача поиска оптимальной структуры системы для многопрограммного режима работы, что обуславливает актуальность предложенных исследований. Для решения поставленной задачи целесообразно использовать модифицированные графовые подходы.
Для обеспечения отказоустойчивости и живучести ВС широко применяются различные способы резервирования ПУ [1, 2, 4], однако, в работе [3] предложен метод резервирования производительности, позволяющий улучшить показатели надежности (в частности, гамма-процентную наработку до отказа). Суть данного метода заключается в том, что в составе системы отсутствуют специально выделенные резервные ПУ, в решении задачи принимают участие все узлы, входящие в состав ВС. В случае возникновения отказа программы (подзадачи) с отказавших ПУ переносятся на свободные ресурсы работоспособных. Отсутствие специально выделенных резервных узлов (как например при скользящем резервировании [4]) позволяет равномерно распределить нагрузку между ПУ, что, в свою очередь, из-
за нелинейной зависимости интенсивности отказов компонентов ПУ от температуры (температура зависит от нагрузки) позволяет увеличить величину гамма-процентной наработки до отказа для ВС. Таким образом, резервирование производительности позволяет наряду с реализацией отказоустойчивости установить рациональную нагрузку компонентов ВС с целью повышения характеристик надежности. Однако при этом требуется решение задачи размещения нагрузки для узлов, работающих в многопрограммном режиме, что усложняет поиск работоспособных конфигураций в случае отказов, например, в сравнении со скользящим резервированием. Это требует разработки соответствующих моделей, методов и алгоритмов, в том числе предназначенных для исследования структуры ВС.
1. Формальное описание графа с множественными и разнотипными связями. Для исследования свойств структуры, влияющих на надежность ВС, целесообразно использование графовых моделей. В том числе, для решения такой задачи исследователями предложены графовые модели с однотипными неориентированными связями [5, 6], где в качестве узлов ВС выступают вершины модели, а каналы связи между узлами соответствуют ребрам (связям) графа. В рамках статьи графовую модель с однотипными неориентированными связями будем называть модель 1.
Однако, такие модели позволяют исследовать взаимодействие узлов, работающих в однопрограммном режиме. В случае, если речь идет о мультипрограммной обработке информации и резервировании производительности узлов ВС, возникает необходимость в использовании графов с разнотипными связями, например, описанных в работах [7, 8]. Такие графы позволяют задать разнотипные вершины, разнотипные, в том числе и кратные, ребра между вершинами (далее будем называть модель 2). В тоже время увеличение количества связей в графе ведет к росту временных затрат на организацию вычислений в модели.
С целью снижения времени вычисления характеристик графов, задающих разнотипные отношения, предложено использование множественных связей в виде вектора, каждая из которых позволяет объединить несколько разнотипных связей. В работах [9-11] для представления объектов сложных технических систем используется графовая модель, которая учитывает однотипные, разнотипные и множественные связи в виде вектора (далее будем называть модель 3). Формально такой граф задан в виде:
G' = (GV, G'e), (1)
где GV = {gVj | i = 1, 2, ..., n}, G'e = {gej | j = 1, 2, ..., m} - соответственно, конечные множества вершин с атрибутами gvt (graph vertex) и ребер с атрибутами gej (graph edge). Вершины графа могут быть однотипными и разнотипными. Адресация к вершинам и ребрам графа выполняется через их идентификаторы. В качестве атрибутов вершин могут выступать их весовые коэффициенты, а в качестве атрибутов ребер - веса, ориентация, вид связи.
Ребра могут быть ориентированными (связи gvt ^ gvJ) или неориентированными (связи gVj - gvJ), а также - однотипными (связи gvt - gVj и gvt ^ gvj), разнотипными (связи gVj - tp - gVj и gVj - tp ^ gvj, где tp - type) и множественными в виде вектора (связи gvt- v ^ gV/Н gvt- v - gvj). Ребро в виде вектора позволяет объединить t разнотипных связей и представляется в виде v = <vj, v2, ..., vt>, где t - размерность вектора или кратность ребра v.
Весу вершины (^¿е[0, 1]) и связи (ц,-6[0, 1]) в графе может придаваться смысл меры достоверности или степени принадлежности нечеткому множеству. Степени принадлежности присутствуют в списках, задающих граф. Они могут определяться экспертом или вычисляться посредством фаззификации [12].
Рассмотрим возможности и целесообразность применения моделей 1-3, для представления структуры системы. Предварительно сформулируем общие требования к графовым моделям в зависимости от задач предметной области. Для современных ВС характерна определенная унификация, как в части вычислительных ресурсов, так и в отношении каналов связи. Для реализации вычислений в ВС, как правило, используются одинаковые процессорные узлы. Каналы связи между узлами обычно являются двунаправленными. Следовательно, графы, представляющие ВС тоже должны обладать определенной долей унификации. Например, в работах [3, 5, 14] предложено использование однородных (регулярных или цирку-лянтных) графов, т.е. графов с вершинами, локальные степени которых совпадают^iфjsi = Sj. Такие графы целесообразно задавать множеством однотипных вершин и множеством неориентированных связей.
Вычисление некоторых характеристик графа позволяет определить ряд параметров вычислительной системы. Например, структурные задержки при передаче информации между узлами системы оцениваются диаметром и средним диаметром графа. В работах [13-15] отмечается улучшение показателей структурной живучести и структурной коммутируемости системы при условии минимизации диаметра и среднего диаметра графа. Даже незначительное уменьшение среднего диаметра значительно снижает среднее время передачи данных. Подчеркивается, что структуры с минимальным средним диаметром являются оптимальными при реализации децентрализованных алгоритмов самодиагностики в ВС. Кроме того, при проектировании системы отмечается необходимость минимизации диаметра и/или среднего диаметра графа, что обусловлено необходимостью сокращения числа межмодульных обменов при решении задач [14].Следовательно, для повышения надежности систем исследуемого класса важное значение имеет поиск структур системы с минимальными характеристиками диаметра и среднего диаметра графа. Подходы к решению этой задачи предложены в работах ряда ученых [13, 14, 16], поэтому вопросы определения структуры системы с минимальными метрическими характеристиками лежат за рамками данной статьи.
Таким образом, при проектировании системы, а также при проведении мероприятий обеспечения отказоустойчивости ВС, приводящих к изменению структуры, возникает задача многократного вычисления диаметра и среднего диаметра графа, что накладывает требования минимизации временных затрат. Кроме того, использование нестандартных графовых моделей для обеспечения мультипрограммного режима работы вычислителей вынуждает исследователей искать новые или модернизировать существующие методы определения таких характеристик.
Далее авторами предлагаются подходы к определению характеристик графа с множественными и разнотипными связями с целью исследования свойств структуры, влияющих на надежность ВС.
2. Описание исследуемых характеристик графа. Ниже определены некоторые метрические характеристики неориентированного графа с однотипными связями G и дана их возможная интерпретация для представления ряда параметров вычислительной системы. Диаметр графа d (О) - максимальное расстояние между парами вершин [17] и может быть определен стандартными средствами:
й (С) = тах^=х{й (д у^д V,■) } , (2)
где й(дVI, дV ¡) - расстояние между вершинами gvi и gVj.
Диаметр графа является количественной характеристикой для максимальных структурных задержек и соответствует максимальному количеству узлов, необходимых для межмашинного обмена информацией.
Средний диаметр графа d (G) в соответствии с работой [14] можно вычислить по формуле:
d ( G) = (3)
V J 71(71-1) V '
Средний диаметр позволяет оценить среднюю задержку при выполнении межмашинных взаимодействий.
При этом необходимо отметить, что помимо задержек, увеличение диаметра и среднего диаметра для распределенной вычислительной системы приводит к росту вычислительной нагрузки на ПУ. Это связано с тем, что транзитная передача данных требует дополнительных действий со стороны узла, т.е. выполнения дополнительной работы [18], а при увеличении диаметра (среднего диаметра) как раз имеет место увеличение количества случаев такой транзитной передачи.
Для оценки влияния величины характеристик структуры системы на объем дополнительной работы при решении поставленной задачи целесообразно использовать средний диаметр, т.к. данный параметр учитывает возможности передачи данных между всеми узлами. Пусть для выполнения транзитной передачи данных от одного узла другому необходимо выполнить одинаковый объем дополнительной работы £тр на каждом транзитном узле. Будем считать, что каждый узел взаимодействует с r другими узлами, тогда общее число каналов взаимодействия между всеми узлами равно n -r, средняя нагрузка на один узел по транзитной передаче (отношение всей нагрузки по транзитной передаче данных к числу узлов) при информационном взаимодействии всех узлов составит:
^ - r - d - L-p« — j =_IL = r. d . j
^тр уз ' d j^р
В работах [19, 20] предложен следующий подход в части определения надёжности системы: вероятность безотказной работы узлов зависит от температуры их компонентов (при увеличении температуры компонентов на 10 °С интенсивность отказов удваивается), которая, в свою очередь, зависит от вычислительной нагрузки:
kL
Pit) = e-V2«H
где А0 - интенсивность отказов без нагрузки;
L - вычислительная нагрузка узла (доля от максимальной);
к - коэффициент, отражающий зависимость температуры от нагрузки, определяемый как разность температуры компонентов при максимальной нагрузке и их температуры без нагрузки.
С учетом того, что нагрузка каждого узла включает нагрузку от транзитной передачи данных (L=Lосн+Lтр уз, где L^ - нагрузка, связанная с вычислениями), вероятность безотказной работы можно определить по формуле:
к (¿осн+¿тр уз) ( ¿осн +г' й ■ £Тр)
P(t) = е~я°'2 15 f = е~я°'2 15
На рис. 1 представлены сравнительные данные по зависимости вероятности безотказной работы отдельных узлов от среднего диаметра для системы, включающей 30 узлов, при Lтр = 0,005 (0,5% от максимально допустимой нагрузки), к = 30 и r = 10 (рис. 1,а) и r = 20 (рис. 1,б)). Представленные данные показывают существенное влияние среднего диаметра на вероятность безотказной работы узлов системы даже при достаточно низких величинах дополнительной нагрузки от транзитной передачи: в представленном примере уменьшение среднего диаметра позволяет увеличить гамма-процентную наработку на отказ на 5% и 10% соответственно.
Очевидно, d и ё (О) зависят от расстояния между вершинами графа. Кратчайшим путем или расстоянием между вершинами в неориентированном графе с однотипными связями d gVj) считается наименьшая из всех возможных последовательностей ребер = (..., ge1, ge2, ..., gem, ...), таких, что каждые два соседних ребра gej.\ и gej имеют общую концевую точку [17]. Однако, возникает вопрос определения расстояния в графе с множественными разнотипными связями.
б
Рис. 1. Оценка влияния среднего диаметра графа на вероятность безотказной
работы узлов
а
Поиск путей в таком графе возможен по всем видам связи (1 случай, когда исследуется граф целиком) или же по выбранному виду связи (2 случай, когда исследуется подграф), например по заданному типу ребра, или по ребру в векторе с определенным индексом. Поиск путей во втором случае целесообразен для исследования выбранных связей, необходимых исследователю в данный момент. Движение по графу выполняется только по заданному подмножеству ребер, остальные ребра при этом временно игнорируются. Обобщив выше сказанное можно сформулировать критерий вычисления кратчайшего пути такого графа: кратчайший путь в графе с множественными разнотипными связями вычисляется с учетом полного или усеченного множества связей. Следовательно, метрики графа могут вычисляться для всего графа целиком или для каждого отдельного типа ребер в зависимости от требований задач предметной области, что не накладывает ограничения на использование формул (2) и (3) для модели, заданной в соответствии с (1).
3. Практическая реализация. В работе [22] рассмотрены модели 1-3 для системы, состоящей из восьми процессорных узлов ПУ! - ПУ8, каждый из которых имеет каналы связи с тремя соседними узлами. Моделирование и вычисление характеристик рассмотренных ниже графов выполнено в разработанном программном модуле (ПМ) [23]. Для моделирования ВС используются однородные графы степени
с однотипными вершинами и неориентированными ребрами (gej).
При этом, модель 1 задана графом G\= (GVЬ G'e1), где GVl = {gvь gv2, ..., gv8} - множество вершин, G'el = ^еь ge2, ..., gel2}- множество однотипных связей. Степень графа 5 ^'1) = 3. В такой модели каждая вершина gvi из множества GVl представляет ПУ,, а весу вершины ^ придается смысл степени загрузки узла. Связи между вершинами gej соответствуют каналам связи между узлами, а вес связи - степени загруженности каналов. Для оценки значения показателей весов вершин и ребер графа G'1 введено вербальное описание (табл. 1).
Граф G'l позволяет представить ВС, состоящую из узлов, работающих в од-нопрограммном режиме. Рассмотрим две ситуации:
1) при проектировании системы, где с целью обеспечения живучести предусмотрено резервирование производительности структуры;
2) при реконфигурации системы, работающей на пределе возможностей (когда не осталось резерва производительности вычислителей).
Таблица 1
Оценка значения показателя весов вершин и ребер
Возможное вербальное описание показателя Диапазон численных значений весов
Отсутствует 0
Слабый показатель [0,1; 0,4]
Умеренный показатель [0,41; 0,7]
Сильный показатель [0,71; 1,0]
Ситуация 1. В графе G'l веса вершин и ребер принимают следующие значения: л, = 0,7, у = 0,7 (см. табл. 2). Такие значения характеристик графа соответствуют умеренному показателю загрузки узлов и каналов связи в системе. Для графа определены диаметр d1 и средний диаметр й Таким образом, при проектировании системы предусмотрен резерв производительности узлов около 30%, также отмечается недогруженность каналов связи в целом на « 30%. При этом максимальная структурная задержка для межмашинного обмена информацией в системе соответствует значению «2,1», а средняя задержка при выполнении межмашинных взаимодействий - значению «1,1».
Таблица 2
Значения характеристик графа G'1
Характеристики графа Значения характеристик графа с учетом резерва производительности вычислителей:
имеется резерв отсутствует резерв
Вес вершин л, 0,7 1,0
Вес связей у, 0,7 1,0
Диаметры графа dl ^'1) и d2 ^'1) 2,1 3,0
Средние диаметры графа й и й2 1,1 1,7
Ситуация 2. Если в определенный момент времени в системе отсутствует резерв производительности узлов и каналы связи максимально загружены, то в модели это может быть отражено за счет определенных значений весовых коэффициентов. Тогда в графе G'l веса вершин и ребер принимают следующие значения: ■л, = 1, у = 1. В табл. 2 представлены результаты вычисления диаметра графа d2 и среднего диаметра графа й2 Таким образом, определены максимальная и средняя структурные задержки межмашинного взаимодействия в системе на пике производительности (соответственно значения 3,0 и 1,7). Время, затраченное на вычисление таблицы кратчайших путей и определение метрических характеристик в ПМ для графа G'1 - 5 ms.
Модель 2 задана графом G'2 = (GV2, G'e2), где GV2 = {gv1, gv2, ..., gv8} - множество вершин и G'e2 = {ge1, ge2, ..., geз6} - множество разнотипных связей. Степень графа 5 ^'2) = 3. В такой модели каждая вершина gvi из множества GV2 соответствует ПУ^ а вес вершины л, - степени загрузки узла. В модели 2 пары вершин
соединены /р-кратными ребрами разного типа, где численное значение /р соответствует возможному количеству программ, запущенных на ПУ. Поясним назначение разнотипных ребер на примере. Если на каждом узле может выполняться параллельно 3 программы, то передачу результатов вычисления должны обеспечить /р = 3 каналов связи. Тогда с учетом сказанного для данной модели каждое ребро из графа G\ фактически заменяется тремя ребрами разного типа. Разнотипные связи между вершинами gej соответствуют каналам связи узлов с учетом мультипрограммной обработки информации, а вес связи - степени загруженности каждого канала. Вербальное описание, представленное в табл. 1, также используется для оценки значения показателей весов вершин и ребер графа G'2.
Информационно связанные программы располагаются на имеющих прямой канал связи ПУ, поэтому транзитная передача данных через узлы отсутствует. При необходимости отразить такую передачу можно, если учесть в составе каждого из узлов служебную программу для трансляции транзитных данных. В этом случае количество каналов связи будет на один больше.
Граф G'2, в отличие от G'1, позволяет представить узлы, работающие в мультипрограммном режиме. Однако, недостатком модели 2 по сравнению с моделью 1 является необходимость использования кратных связей в графе в соответствии с мультипрограммным режимом работы вычислителей и требованиями отказоустойчивости ВС. Так, количество связей в графе G'2 в три раза больше по сравнению с графом G'l, что приводит к росту временных затрат на организацию вычислений. Например, время, затраченное на вычисление таблицы кратчайших путей и определение метрических характеристик в ПМ для графа G'2 - 28
Для решения этой проблемы предложено использование графов, учитывающих множественные связи в виде вектора [9]. Каждая множественная связь в виде вектора представляет собой объединение нескольких разнотипных связей. Такие возможности предоставляет модель 3.
Если в системе на каждом узле может быть запущено не более 3 программ, то с учетом множественных связей в виде вектора модель 3 может быть представлена в виде графа G'3 = (GV3, G'e3), где GV3 = {gvь gv2, ..., gv8} - множество вершин, G'e3 = ^еь ge2, ..., ge12} - множество связей в виде вектора (рис. 2). Степень графа ^'3) = 3. При этом каждое ребро gei представлено вектором V = <уь у2, у3>.
Ребра внутри вектора имеют свою идентификацию и отдельный вес, который соответствует степени загруженности канала при выполнении одной из задач. Для оценки значения показателей весов вершин и ребер графа G'3 используется вербальное описание, представленное в табл. 1.
gel/ V
geз/ V
ge9/ V
gel2/ V
ge5/ V
gel/ V
Рис. 2. Граф G'3 с учетом множественных связей в виде вектора
Новизной предложенного подхода является возможность определения метрических характеристик для подграфа, учитывающего определенный вид связи, например, связи по вектору уь или у2, или у3. Это соответствует критерию вычисления кратчайшего пути графа с множественными разнотипными связями, обозначенному авторами в разд. 2. Рассмотрим ситуации, аналогично как для графа G'1.
Ситуация 1. На этапе проектирования системы в графе G'3 веса вершин л, = 0.7, что соответствует умеренному показателю загрузки узлов системы (резерв производительности около 30%). Веса ребер в векторе V! = 0, а в векторах у2 и у3 принимают различные значения, соответствующие сильному показателю загруженности канала связи, например, уу.2 = 0.8, = 1.0. При этом очевидно, что канал связи, соответствующий вектору VI, не загружен, т.е. в полной конфигурации аппаратных средств не запущена одна программа, соответственно, одна связь тоже не задействована. В таком случае резерв производительности узлов и свободный канал связи могут использоваться для выполнения отдельных программ (подзадач) в случае возникновения отказа не более 30% вычислительного и коммуникационного ресурса системы.
Получены характеристики диаметра и среднего диаметра графа для каждого вида связи в векторе отдельно (см. табл. 3). Анализ результатов вычисления метрик графа позволяет сделать вывод, что на этапе проектирования в системе имеется резервный (ненагруженный) канал связи, который соответствует ребрам вида V! графа G'з. При этом резерв производительность вычислителей около 30 %.
Таблица 3
Значения характеристик графа G'3
Значения характеристик графа с учетом
Характеристики графа резерва производительности вычислителей:
имеется резерв отсутствует резерв
V1 V2 V3 V1 V2 v3
Вес вершин л, 0,7 0,7 0,7 1,0 1,0 1,0
Веса связей ^¡.2 и ^¡.3 0 0,8 1,0 0,9 0,8 1,0
Диаметры графа d! ^'3) и d2 ^'3) 0 2,4 3,0 2,7 2,4 3,0
Средние диаметры графа d! (G'3) и <?2 ^'3) 0 1,3 1,7 1,5 1,3 1,7
Ситуация 2. В результате отказа двух узлов в системе был задействован имеющийся вычислительный резерв. Теперь в графе G'3 веса вершин и ребер принимают следующие значения: л, = 1,0, , = 0,8, у,.2 = 0,9, у,.3 = 1,0. Метрики такого графа представлены в табл. 3. В результате анализа характеристик текущего графа можно сделать вывод о том, что в системе отсутствует резерв производительности узлов, а загруженность каналов связи соответствует сильному показателю.
Преимущество предложенной модели 3 заключается в возможности представления ВС в условиях мультипрограммной обработки информации, как в модели 2, с сохранением числа связей, как в модели 1. При этом время вычисления таблицы кратчайших путей и метрических характеристик в ПМ для графа G'3 - 12ms.
Для сравнения демонстрации преимуществ модели 3 в статье предложена реализация графа G'4 = (G'v4, G'e4), где GV4 = {%у\, gv2, ..., gv8} - множество вершин, G'e4 = ge2, ..., ge12} - множество связей в виде вектора (рис. 2). Степень графа 5 ^'3) = 3. При этом каждое ребро gei представлено вектором V = v2, v3>.
Ребра внутри вектора имеют свою идентификацию и отдельный вес, который соответствует степени загруженности канала при выполнении одной из задач. Для оценки значения показателей весов вершин и ребер графа G'3 используется вербальное описание, представленное в табл. 1.
4. Результаты экспериментальных исследований моделей на основе графов в ПМ. Для проведения экспериментов на графах были отобраны модели 2 и 3, так как они позволяют задать мультипрограммный режим работы узлов в системе. В рамках каждой модели использовано по 10 графов различной размерности (10-100 вершин). Вычисление метрик исследуемых графов выполнено в разработанном программном модуле.
В работе [22] приведен график зависимости времени вычисления метрических характеристик, включая формирование таблицы кратчайших путей, от размера графа в моделях 2 и 3. Анализ результатов экспериментальных исследований на графах в ПМ показал преимущества модели 3 за счет использования множественных связей в виде вектора. Например, для графов размером 10-100 вершин время поиска кратчайших путей и вычисления метрик для модели 3 в 3,4-5,6 раз меньше, чем для модели 2.
Заключение. Предложено использование графовых моделей с учетом множественных связей в виде вектора для представления узлов и каналов связи в однородных вычислительных системах, поддерживающих мультипрограммную обработку информации. Такие модели позволяют снизить временные затраты при разработке струткуры и конфигураций отказоустойчивых ВС на основе резерва производительностиПУ и загруженности каналов связи: для измерения структурных задержек при передаче информации в системе требуется решение задачи определения метрик модели, в том числе максимального и среднего диаметра графа.
В статье показана зависимость вероятности безотказной работы ПУ распределенной вычислительной системы от характеристик ее структуры. Особое внимание уделено особенностям процесса вычисления метрических характеристик в предложенных графах.
Для графов с учетом множественных связей в виде вектора сформулирован критерий вычисления кратчайшего пути. Новизной предложенных подходов является возможность учета выбранного подмножества связей при вычислении метрических характеристик графа.
Проведены экспериментальные исследования над графовыми моделями, которые позволяют представить мультипрограммный режим работы узлов в ВС. Результаты проведенных экспериментов на графах в разработанном программном модуле показали преимущества предложенной модели за счет использования множественных связей в виде вектора. В том числе, для графов размером 10-100 вершин время поиска кратчайших путей и вычисления метрик в предложенной модели сокращается в 3,4-5,6 раз по сравнению с другой моделью, поддерживающей мультипрограммную обработку информации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Хорошевский В.Г. Архитектура вычислительных систем: учеб. пособие. - 2-е изд., пере-раб. и доп. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. - 520 с.
2. Zhang Y., Jiang J. Bibliographical review on reconfigurable fault-tolerant control systems // Annual Reviews in Control. - 2008. - Vol. 32 (2). - P. 229-252.
3. Kalyaev I., Melnik E., Korovin I., Klimenko A. and Schaefer G. A Fog-computing Based Method of Information and Control System Reliability Enhancement // 7th International Conference on Informatics, Electronics and Vision & 7th International Symposium in Computational Medical and Health Technology. Piscataway Piscataway, New Jersey: IEEE, 2008.
- P. 582-587.
4. Akkaya M. Fault tolerance Mechanisms in Distributed Systems // Int. J. Communications, Network and System Sciences. - 2015. - Vol. 8. - P. 478-482.
5. Кузнецов А.А., Кишкан В.В. Исследование графов Кэли конечных двупорожденных бернсайдовых групп периода семь // Сибирский журнал науки и технологий. - 2018.
- Т. 19, № 2. - С. 217-222. - Doi: 10.31772/2587-6066-2018-19-2-217-222.
6. Parkhomenko P.P. Shaped lattice graphs as models of the multiprocessor computer systems // Automation and Remote Control. - 2005. - Vol. 66. - P. 492-502.
7. Boccalettia S. Bianconic G., Criadod R., del Geniof C.I., Gomez-Gardenesi J., Romanced M, Sendina-Nadalj I., Wangk Z., Zaninm M. The structure and dynamics of multilayer networks // Preprint submitted to Physics Reports July 16, 2014. - 157 p.
8. Contractor N.S. Monge P.R., Leonardi P.M. Multidimensional networks and the dynamics of sociomateriality: bringing technology inside the network // International Journal of Communication. - 2011. - No. 5. - P. 682-720.
9. Мунтян Е.Р. Реализация нечеткой модели взаимодействия объектов сложных технических систем на основе графов // Программные продукты и системы. - 2019. - Т. 32, № 3.
- С. 411-418. - Doi:10.15827/0236-235X.127.411-418.
10. Мунтян Е.Р. Представление знаний в граф-моделях сложных технических систем // Информатизация и связь. - 2020. - № 3. - С. 12-16. - Doi: 10.34219/2078-8320-2020-11-3-12-16.
11. Мунтян Е.Р. Трехуровневая модель представления знаний на основе графов // Известия ЮФУ. Технические науки. - 2019. - № 5. - С. 145-157. - Doi: 10.23683/2311-3103-20195-145-157.
12. Аверкин А.Н., Батыршин И.З. и др. Нечеткие множества в моделях управления искусственного интеллекта / под ред. Д.А. Поспелова. - М.: Наука, 1986.
13. SampesM. Caylay graphs as interconnection networks: A case study // Proc. of the Inter. Conf. Parsells'96. - Berlin: Akademie-Verlag. 1996. - P. 97-106.
14. Дмитриев Ю.К. Анализ самодиагностирующихся свойств структур распределенных живучих вычислительных систем // Автометрия. - 1996. - № 5. - С. 71-84.
15. Воробьев В.А., Корнев В.В. Некоторые вопросы теории структур однородных вычислительных систем Вычислительные системы // Вопросы теории и построения ВС. - Новосибирск. 1974. - Вып. 60. - С. 3-16.
16. Монахов О.Г., Монахова Э.А. Параллельные системы с распределенной памятью: структуры и организация взаимодействий. - Новосибирск: Изд-во СО РАН, 2000. - 242 с.
17. Оре О. Теория графов: пер. с англ. - М.: Наука, 1968. - 352 с..
18. Клименко А.Б., Мельник Я.Э. Исследование возможности применения концепции туманных вычислений и технологии распределенного реестра при построении информационно-управляющих систем // Известия ТулГУ. Технические науки. - 2021. - № 2. - С. 19-27.
19. Melnik E., Klimenko A., Klimenko V. A recovery technique for the fog-computing-based information and control systems // Advances in Intelligent Systems and Computing. - 2019. - Vol. 860. - P. 216-227.
20. Melnik E.V., Klimenko A.B. A workload distribution problem model and online constraint forming technique for the control systems in the fog-computing environment // Journal of Physics: Conference Series. - 2019. - Vol. 1333. - P. 042014. - Doi: 10.1088/17426596/1333/4/042014.
21. Меленьтев В.А. Аналитический подход к синтезу регулярных графов с заданными значениями порядка, степени и обхвата // Прикладная дискретная математика. - 2010.
- № 2 (8). - С. 74-86.
22. Muntyan E.R., Melnik E.V. The graph-based analysis of structural delays in distributed multiprogram systems of information processing // Journal of Physics: Conference Series.
- 2020. - Vol. 1661 (1). - Doi: 10.1088/1742-6596/1661/1/012061.
23. Мунтян Е.Р. Программный модуль для представления акторов и отношений между акторами на основе графов. Свид. о гос. рег. программы для ЭВМ № 2018665499, зарег. 05.12.2018. - М.: Роспатент, 2018.
24. Мунтян Е.Р. Разработка и исследование моделей графов и гиперграфов с учетом множественных и разнотипных связей: автореф. дис. ... канд. техн. наук (05.13.17). - Таганрог: ЮФУ., 2020. - 20 с.
25. Kolodenkova A.E. and Muntyan E.R. Researches of interaction of actors with use fuzzy hypergraph and cognitive modeling // Papers in English 14th International scientific-techical conference on actual problems of electronics instrument engineering: IEEE, 2018. - Vol. 8.
- P. 127-131. - Doi: 10.1109/APEIE.2018.8545550.
REFERENCES
1. Khoroshevskiy V.G. Arkhitektura vychislitel'nykh sistem: ucheb. posobie [Architecture of computing systems: textbook]. 2nd ed., reprint. and add. Moscow: Izd-vo MGTU im. N.E. Baumana, 2008, 520 p.
2. Zhang Y., Jiang J. Bibliographical review on reconfigurable fault-tolerant control systems, Annual Reviews in Control, 2008, Vol. 32 (2), pp. 229-252.
3. Kalyaev I., MelnikE., Korovin I., Klimenko A. andSchaefer G. A Fog-computing Based Method of Information and Control System Reliability Enhancement, 7th International Conference on Informatics, Electronics and Vision & 7th International Symposium in Computational Medical and Health Technology. Piscataway Piscataway, New Jersey: IEEE, 2008, pp. 582-587.
4. Akkaya M. Fault tolerance Mechanisms in Distributed Systems, Int. J. Communications, Network and System Sciences, 2015, Vol. 8, pp. 478-482.
5. Kuznetsov A.A., Kishkan V.V. Issledovanie grafov Keli konechnykh dvuporozhdennykh bernsaydovykh grupp perioda sem' [The Cayley graphs of finite two-generator burnside groups of exponent 7], Sibirskiy zhurnal nauki i tekhnologiy [Siberian Journal of Science and Technology], 2018, Vol. 19, No. 2, pp. 217-222. Doi: 10.31772/2587-6066-2018-19-2-217-222.
6. Parkhomenko P.P. Shaped lattice graphs as models of the multiprocessor computer systems, Automation and Remote Control, 2005, Vol. 66, pp. 492-502.
7. Boccalettia S. Bianconic G., Criadod R., del Geniof C.I., Gomez-Gardenesi J., Romanced M, Sendina-Nadalj I., Wangk Z., Zaninm M. The structure and dynamics of multilayer networks, Preprint submitted to Physics Reports July 16, 2014, 157 p.
8. Contractor N.S. Monge P.R., Leonardi P.M. Multidimensional networks and the dynamics of sociomateriality: bringing technology inside the network, International Journal of Communication, 2011, No. 5, pp. 682-720.
9. Muntyan E.R. Realizatsiya nechetkoy modeli vzaimodeystviya ob"ektov slozhnykh tekhnicheskikh sistem na osnove grafov [Realization of fuzzy model of objects interaction inside a complex technical systems based on graphs], Programmnye produkty i sistemy [Software & Systems], 2019, Vol. 32, No. 3, pp. 411-418. Doi:10.15827/0236-235X.127.411-418.
10. Muntyan E.R. Predstavlenie znaniy v graf-modelyakh slozhnykh tekhnicheskikh sistem [Representation of knowledge in graph models of complex technical systems], Informatizatsiya i svyaz' [Informatization and communication], 2020, No. 3, pp. 12-16. Doi: 10.34219/20788320-2020-11-3-12-16.
11. Muntyan E.R. Trekhurovnevaya model' predstavleniya znaniy na osnove grafov [Three-level model of knowledge representation based on graphs], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2019, No. 5, pp. 145-157. Doi: 10.23683/23113103-2019-5-145-157.
12. Averkin A.N., Batyrshin I.Z. i dr. Nechetkie mnozhestva v modelyakh upravleniya iskusstvennogo intellekta [Fuzzy sets in artificial intelligence control models], ed. by D.A. Pospelova. Moscow: Nauka, 1986.
13. Sampes M. Caylay graphs as interconnection networks: A case study, Proc. of the Inter. Conf. Parsells'96. Berlin: Akademie-Verlag. 1996, pp. 97-106.
14. Dmitriev Yu.K. Analiz samodiagnostiruyushchikhsya svoystv struktur raspredelennykh zhivuchikh vychislitel'nykh sistem [Analysis of self-diagnosing properties of structures of distributed tenacious computing systems], Avtometriya [Auto-measurement], 1996, No. 5, pp. 71-84.
15. Vorob'ev V.A., Kornev V.V. Nekotorye voprosy teorii struktur odnorodnykh vychisli-tel'nykh sistem Vychislitel'nye sistemy [Some questions of the theory of structures of homogeneous computing systems], Voprosy teorii ipostroeniya VS [Questions of the theory and construction of CS]. Novosibirsk. 1974, Issue 60, pp. 3-16.
16. Monakhov O.G., Monakhova E.A. Parallel'nye sistemy s raspredelennoy pamyat'yu: struktury i organizatsiya vzaimodeystviy [Parallel Systems with Distributed Memory: Structures and Organization of Interactions]. Novosibirsk: Izd-vo SO RAN, 2000, 242 p.
17. Ore O. Teoriya grafov [Theory of graphs]: transl. from engl. Moscow: Nauka, 1968, 352 p..
18. Klimenko A.B., Mel'nik Ya.E. Issledovanie vozmozhnosti primeneniya kontseptsii tumannykh vychisleniy i tekhnologii raspredelennogo reestra pri postroenii informatsionno-upravlyayushchikh sistem [Investigation of the possibility of applying the concept of fog computing and distributed registry technology in the construction of information and control systems], Izvestiya TulGU. Tekhnicheskie nauki [News of TulSU. Technical sciences], 2021, No. 2, pp. 19-27.
19. Melnik E., Klimenko A., Klimenko V. A recovery technique for the fog-computing-based information and control systems, Advances in Intelligent Systems and Computing, 2019, Vol. 860, pp. 216-227.
20. Melnik E.V., Klimenko A.B. A workload distribution problem model and online constraint forming technique for the control systems in the fog-computing environment, Journal of Physics: Conference Series, 2019, Vol. 1333, pp. 042014. Doi: 10.1088/1742-6596/1333/4/042014.
21. Melen'tev V.A. Analiticheskiy podkhod k sintezu regulyarnykh grafov s zadannymi znacheniyami poryadka, stepeni i obkhvata [Analytical approach to the synthesis of regular graphs with given values of order, degree, and girth], Prikladnaya diskretnaya matematika [Applied Discrete Mathematics], 2010, No. 2 (8), pp. 74-86.
22. Muntyan E.R., Melnik E.V. The graph-based analysis of structural delays in distributed multiprogram systems of information processing, Journal of Physics: Conference Series, 2020, Vol. 1661 (1). Doi: 10.1088/1742-6596/1661/1/012061.
23. Muntyan E.R. Programmnyy modul' dlya predstavleniya aktorov i otnosheniy mezhdu aktorami na osnove grafov. Svid. o gos. reg. programmy dlya EVM № 2018665499, zareg. 05.12.2018 [Certificate of official registration of a computer program No. 2018665499, "A software module for representing actors and relationships between actors based on graphs", registered 05.12.2018]. Moscow: Rospatent, 2018.
24. Muntyan E.R. Razrabotka i issledovanie modeley grafov i gipergrafov s uchetom mnozhestvennykh i raznotipnykh svyazey: avtoref. dis. ... kand. tekhn. nauk [Development and research of models of graphs and hypergraphs taking into account multiple and different types of edges: cand. of eng. sc. diss.] (05.13.17). Taganrog: YuFU, 2020, 20 p.
25. Kolodenkova A.E. and Muntyan E.R. Researches of interaction of actors with use fuzzy hypergraph and cognitive modeling, Papers in English 14th International scientific-techical conference on actual problems of electronics instrument engineering: IEEE, 2018, Vol. 8, pp. 127-131. Doi: 10.1109/APEIE.2018.8545550.
Статью рекомендовал к опубликованию д.т.н., профессор А.Г. Коробейников.
Мунтян Евгения Ростиславна - Южный федеральный университет; е-mail: ermuntyan@sfedu.ru; г. Таганрог, Россия; тел.: 88634371608; кафедра вычислительной техники; к.т.н.; доцент.
Мельник Эдуард Всеволодович - Южный научный центр РАН; г. Ростов-на-Дону, Россия; д.т.н.; г.н.с.
Muntyan Evgenia Rostislavna - Southern Federal University; е-mail: ermuntyan@sfedu.ru; Taganrog, Russia; phone: +78634371608; the department of computer science; cand. of eng. sc.; associate professor.
Melnik Eduard Vsevolodovich - Southern Scientific Center of the Russian Academy of Sciences; Rostov-on-Don, Russia; dr. of eng. sc.; chief researcher.
УДК 629.735.4 DOI 10.18522/2311-3103-2021-3-198-209
О.Ю. Воронков
СИНЕРГЕТИЧЕСКИЙ СИНТЕЗ АСТАТИЧЕСКОГО РЕГУЛЯТОРА
ДЛЯ СИСТЕМЫ УПРАВЛЕНИЯ «ЛЕТАЮЩЕЙ ПЛАТФОРМОЙ»
Работа посвящена синергетическому синтезу астатического гарантирующего регулятора для иерархической системы управления летательным аппаратом. Статья содержит общее описание вертикально взлетающего аппарата типа «летающая платформа» и астатического гарантирующего регулятора на основе интеграторов. Астатический регулятор должен обеспечить асимптотическую устойчивость замкнутой системы, выполнение технологических инвариантов, оценку неизмеряемых внешних воздействий по текущим значениям измеряемых координат состояния и парирование кусочно-постоянных внешних
