CC BY
16
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ _
ф май-июнь2023 Том 23 №3 http://ntv.ifmo.ru/ научно-технический вестник
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ. МЕХАНИКИ И ОПТИКИ
May-June 2023 Vol. 23 No 3 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
МАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ MODELING AND SIMULATION
doi: 10.17586/2226-1494-2023-23-3-608-617 УДК 004.7
Оценка готовности компьютерной системы к своевременному обслуживанию запросов при его совмещении с информационным восстановлением памяти
после отказов
Владимир Анатольевич Богатырев1®, Станислав Владимирович Богатырев2, Анатолий Владимирович Богатырев3
1'2 Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
1 Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация
2,3 ООО «Центр разработки облачных хранилищ Ядро», Санкт-Петербург, 195027, Российская Федерация
1 vladimir.bogatyrev@gmaiLcomн, https://orcid.org/0000-0003-0213-0223
2 realloc@gmail.com, https://orcid.org/0000-0003-0836-8515
3 gangleon@gmail.com, https://orcid.org/0000-0001-5447-7275
Аннотация
Введение. Исследованы возможности повышения готовности резервированной компьютерной системы к своевременному выполнению запросов, критичных к задержкам обслуживания. Рассмотрен отказоустойчивый компьютерный кластер, в котором узлы представляют собой дублированные вычислительные системы, объединяющие компьютерные узлы и узлы памяти. Предположено двухэтапное восстановление узлов памяти: физическое, а затем информационное, осуществляемое с использованием ресурсов вычислительных узлов. Метод. Предложены обоснования выбора дисциплин восстановления и обслуживания потока функциональных запросов на основе марковских моделей. Предложенные модели позволяют учесть влияние разделения вычислительных ресурсов на совместное выполнение требуемых функций и на информационное восстановление памяти, реализуемое после ее физического восстановления. Выбор дисциплин обслуживания компьютерной системы направлен на достижение компромисса между стремлением увеличить коэффициент готовности и вероятностью своевременного выполнения поступающего потока функциональных запросов. Рассмотрено доказательство выбора вариантов распределения (разделения) сохраненных после отказов вычислительных ресурсов на решение функциональных запросов (требуемых функций) и информационное восстановление памяти. Основные результаты. На основе предложенных марковских моделей исследована зависимость готовности системы к своевременному выполнению запросов от вариантов распределения сохраненных в системе вычислительных ресурсов на восстановление информации в памяти и выполнение функциональных задач. Исследование проведено в зависимости от допустимого времени ожидания функциональных запросов и интенсивности трафика. Проанализировано влияние готовности системы к своевременному выполнению запросов балансировки трафика функциональных задач между работоспособными вычислительными узлами. Показано существование оптимальной доли распределения трафика между вычислительными узлами. Обсуждение. Полученные результаты могут быть использованы при обосновании выбора дисциплин обслуживания функциональных запросов и восстановления после отказов отказоустойчивых кластерных систем, критичных к задержкам выполнения функциональных запросов. Ключевые слова
кластер, коэффициент готовности, восстановление, информационное восстановление памяти, марковская модель, дисциплина восстановления, критичность к задержкам обслуживания, вероятность своевременного выполнения запросов, дублированная система, отказоустойчивость
Ссылка для цитирования: Богатырев В.А., Богатырев С.В., Богатырев А.В. Оценка готовности компьютерной системы к своевременному обслуживанию запросов при его совмещении с информационным восстановлением памяти после отказов // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 3. С. 608-617. doi: 10.17586/2226-1494-2023-23-3-608-617
© Богатырев В.А., Богатырев С.В., Богатырев А.В., 2023
Assessment of the readiness of a computer system for timely servicing of requests when combined with information recovery of memory after failures Vladimir A. Bogatyrev1», Stanislav V. Bogatyrev2, Anatoly V. Bogatyrev3
!,2 ITMO University, Saint Petersburg, 197101, Russian Federation
1 Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation 2,3 Yadro Cloud Storage Development Center, Saint Petersburg, 195027, Russian Federation
1 vladimir.bogatyrev@gmail.com», https://orcid.org/0000-0003-0213-0223
2 realloc@gmail.com, https://orcid.org/0000-0003-0836-8515
3 gangleon@gmail.com, https://orcid.org/0000-0001-5447-7275
Abstract
The possibilities of increasing the readiness of a redundant computer system for the timely execution of requests critical to service delays are being investigated. A fault-tolerant computer cluster is considered in which nodes are duplicated computing systems that combine computer nodes and memory nodes. Two-stage recovery of memory nodes is assumed: first physical, and then informational, carried out using the resources of computing nodes. The novelty of the approach lies in the fact that for systems with a limitation of the allowable service time of functional requests, the impact of recovery disciplines on the readiness of the system with various options for dividing computing resources to restore information after memory failures and to perform the required functions is evaluated. At the same time, the reliability of the computer systems under study is assessed not only by the probability of their readiness to perform functional tasks (by the readiness coefficient), but also by the probability of the system readiness to perform tasks in a timely manner. Justification of the choice of disciplines for the restoration and maintenance of the flow of functional requests is carried out on the basis of Markov models. At the same time, models are proposed that allow taking into account the impact of the division of computing resources on the joint performance of the required functions and on the information recovery of memory, implemented after its physical recovery. The choice of computer system maintenance disciplines based on the proposed Markov model is aimed at achieving a compromise between the desire to increase the availability factor and the probability of timely execution of the incoming flow of functional requests. The justification of the choice of options for the distribution (separation) of computing resources stored after failures to solve functional queries (required functions) and information recovery of memory, implemented after its physical recovery, is carried out. Based on the proposed Markov models, the dependence of the system readiness for timely execution of requests on the distribution options of computing resources stored in the system for restoring information in memory and for performing functional tasks is investigated. The study was conducted depending on the allowable waiting time for functional requests and the intensity of their traffic. The influence on the system readiness for timely execution of traffic balancing requests of functional tasks between functional computing nodes is analyzed, taking into account the options for their possible joint use for information recovery of memory nodes after their physical recovery. The existence of an optimal share of traffic distribution between computing nodes is shown, taking into account the options for dividing their resources to service functional requests and to restore information in memory nodes after their physical recovery. The results obtained can be used to justify the choice of disciplines for servicing functional requests and recovery after failures of fault-tolerant cluster systems critical to delays in the execution of functional requests. Keywords
cluster, availability factor, recovery, information recovery of memory, Markov model, recovery discipline, criticality to service delays, probability of timely execution of requests, duplicated system, fault tolerance
For citation: Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Assessment of the readiness of a computer system for timely servicing of requests when combined with information recovery of memory after failures. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2023, vol. 23, no. 3, pp. 608-617 (in Russian). doi: 10.17586/2226-1494-2023-23-3-608-617
Введение
Надежность и эффективность распределенных компьютерных систем (КС) во многом определяется организацией их резервирования, а также дисциплинами обслуживания запросов и восстановления системы после отказов [1—4]. Обеспечение надежности и отказоустойчивости при восстановлении КС необходимо осуществлять с учетом влияния процедур контроля, реконфигурации и восстановления эффективного выполнения требуемых функций, в том числе надежности, задержки и своевременности вычислений [5-8]. Таким образом, проектирование инфокоммуникационных систем связано с многокритериальностью, обусловливающей необходимость поиска компромиссов по разрешению возникающих технических противоречий распределения ограниченных ресурсов на достижение
высокой готовности системы и на качество (задержки) выполнения требуемых задач [9-12]. В настоящее время необходимость решения подобного класса задач проектирования мотивирует исследователей на интенсивное развитие и внедрение концепции модель-но ориентированного оптимального проектирования отказоустойчивых распределенных КС обработки и хранения данных [13-15]. Концепция предусматривает построение моделей для обоснования выбора проектных решений и их структурно параметрической оптимизации [13-18]. При разработке отказоустойчивых кластерных КС представляют интерес модели, ориентированные на поиск оптимальных решений по организации процессов обработки, передачи и хранения данных. Такой поиск должен проводиться с учетом влияния на эффективность КС дисциплин обслуживания и восстановления системы при возникновении и накоплении
отказов. Разрабатываемые модели должны отражать особенности совместного функционирования средств обработки и хранения данных, особенностью которых является необходимость не только физического, но и ее информационного восстановления. Известны модели систем хранения [19-22], построенные на основе RAID-массивов (RAID, Redundant Array of Independent Disks, избыточный массив независимых дисков), которые позволяют учесть характерные для них процессы физического и информационного восстановления дисков при различных вариантах структурно-информационной избыточности. [19-22]. Вместе с тем известные модели надежности RAID-массивов не учитывают возможное торможение выполнения функциональных запросов в КС во время реализации процедур информационного восстановления накопителя.
Оценка эффективности процедур восстановления резервированных КС должна проводиться с учетом их влияния на реализацию вычислительных процессов, в том числе на их замедление и возможность сохранения непрерывности выполнения функциональных задач. Для систем с ограничением допустимого времени обслуживания запросов на решение функциональных запросов важно оценить влияние дисциплин восстановления на вероятность выполнения запросов за установленное предельно допустимое время. Такие требования обусловливают потребность оценки надежности исследуемых КС не только по вероятности готовности к выполнению функциональных задач (по коэффициенту готовности), но и по вероятности готовности к своевременному выполнению задач [23, 24]. Для оценки эффективности рассматриваемых резервированных КС, в том числе реального времени, предложено использовать коэффициент готовности к своевременному выполнению запросов (КГСВЗ) Kc.
Определим Kc как вероятность готовности системы в произвольный момент времени к выполнению функциональных задач с не превышением заданного предельно допустимого времени.
Для рассматриваемых КС, предусматривающих обработку и хранение данных, модели надежности должны учитывать двухэтапное восстановление памяти: физическое и информационное [23, 24]. На втором этапе задействованы ресурсы вычислительных узлов и может происходить динамическая миграция данных и виртуальных машин при репликации данных в узлах памяти дублированных систем, объединяемых в кластер [23-25].
Особый интерес представляет разработка моделей, позволяющих учесть влияние разделения вычислительных ресурсов на совместное выполнение требуемых функций и информационное восстановление памяти, реализуемое после физического. Заметим, что известные модели, отражающие двухэтапность восстановления памяти, такую возможность распределения вычислительных ресурсов не учитывают.
Разделение ресурсов работоспособных вычислительных узлов на поддержку двух указанных задач связано с техническим противоречием. Действительно, преимущественное выделение вычислительных ресурсов на выполнение функциональных задач замед-
ляет процесс информационного восстановления и как следствие приводит к снижению готовности системы. Приоритетность же информационного восстановления может привести к росту задержек решения функциональных задач, что нежелательно, особенно для систем реального времени. Рассматриваемые модели функциональной надежности должны быть направлены на достижение компромисса между стремлением увеличить коэффициент готовности и вероятность своевременного выполнения поступающего потока функциональных запросов. Достижение указанного компромисса особенно важно при поступлении потоков функциональных запросов реального времени, критичных к допустимым задержкам обслуживания запросов.
Цель работы — повышение готовности резервированной КС к своевременному выполнению запросов, критичных к задержкам обслуживания, при обосновании распределения (разделения) сохраненных после отказов вычислительных ресурсов на решение функциональных запросов (требуемых функций) и информационное восстановление памяти, проводимое после ее физического восстановления.
Кластер дублированных компьютерных систем
Рассмотрим отказоустойчивый вычислительный кластер, в котором узлы представляют собой дублированные КС. Комплектация кластера (рис. 1) на основе дублированных систем, объединяющих пару вычислительных узлов (В) и пару узлов памяти (М), направлена на повышение надежности кластерных узлов и кластерной системы в целом. Использование в узлах кластера двухвходовой памяти может повысить их отказоустойчивость, так как обеспечит возможность работы любого вычислителя с любым узлом памяти. Такое решение при репликации данных в двух узлах памяти дублированной КС позволит сохранить непрерывность вычислительного процесса при сохранении после отказов минимум одного вычислителя и одного узла памяти.
В рассматриваемых дублированных кластерных узлах (дублированных КС) при отказе узла памяти выполним его двухэтапное восстановление. На первом этапе осуществим физическое восстановление узла памяти,
Узлы кластера
Рис. 1. Структура кластера, комплектуемого из дублированных узлов
Fig. 1. The structure of a cluster made up of duplicated nodes
а на втором — восстановление информации в физически восстановленной памяти. Для информационного восстановления используем часть ресурсов одного из вычислительных узлов. Восстановление информации, требуемой для выполнения функциональных запросов, проведем из сохранившего работоспособность узла памяти дублированной КС. Если репликация данных выполнена только в двух узлах памяти дублированного узла, то возможности восстановления памяти (и дублированной системы в целом) ограничены недопустимостью отказов двух узлов памяти дублированной системы.
При построении модели будем считать, что информация, необходимая для восстановления функционирования памяти после ее физического восстановления, в системе имеется. Такое предположение допустимо, если для решения функциональных задач не требуются результаты предыдущих вычислений, накопленных в узлах памяти, или если для этого достаточны данные, сохраненные во внутренней памяти вычислительных узлов. Снизить отрицательное влияние потери данных после отказов двух узлов позволяет периодическое проведение резервного копирования на внешний носитель. Используя результаты резервного копирования, возможно восстановить потерянные данные в два этапа: в узлы памяти заносятся данные, сохраненные при резервном копировании, и проводится восстановление данных, накопленных в период от резервного копирования до отказа двух узлов памяти. Для восстановления данных могут быть использованы данные с внутренней памяти вычислительных узлов и данные, сохраненные при их передачах через сеть. Таким образом, при отказе двух узлов памяти и потери накопленных в них данных восстановление актуальных данных возможно, но оно сопряжено с определенными временными затратами.
Марковская модель с учетом совмещения информационного восстановления памяти и решения функциональных задач
Отличие предлагаемой модели дублированных КС заключается в том, что в ней учитывается возможность совместного использования вычислительных узлов для обслуживания поступающих в систему запросов и информационного восстановления памяти, реализуемого после ее физического восстановления.
При построении марковской модели надежности рассмотрим дисциплину обслуживания, при которой приоритет восстановления предоставлен памяти для снижения риска (вероятности) перехода в состояния потери всех (двух) реплик данных, хранимых в разных узлах памяти. Потеря функциональности дублированной КС в результате утраты накопленных данных происходит, когда каждый узел памяти отказал, либо физически восстановлен, но информация, требуемая для решения поставленных задач, не загружена.
Диаграмма состояний и переходов предлагаемой марковской модели дублированной КС представлена на рис. 2. При кодировании состояний системы верхняя строка отображает работоспособность узлов вычислителей, а нижняя — узлов памяти. Состояние работоспо-
собности обозначено «1», отказа «0». Для узлов памяти дополнительно введено состояние — узел физически восстановлен, но данные, требуемые для обслуживания запросов, не загружены (физически восстановленная память информационно не восстановлена). На схеме модели обозначены интенсивности отказов вычислительных узла и памяти а интенсивности их физического восстановления — Д21. Интенсивность информационного восстановления памяти обозначена Д22, а снижение интенсивности по результатам резервного копирования — ¿Д22. Вероятности состояний 1, 2, ..., 13 дублированной системы обозначены — Р0, Рь Р2, ... , Р13.
К работоспособным состояниям системы, при которых она способна обслуживать поток поступающих запросов, относятся состояния «0», «1», «2», «3», «6», «9». Причем для состояний «0», «1», «3» возможно разделение поступающего в систему потока запросов (нагрузки) между двумя вычислительными узлами. При этом для состояния «1» может быть разделение вычислительных ресурсов двух узлов на выполнение запросов и на информационное восстановление физически восстановленной памяти.
Выделим следующие варианты распределения вычислительных ресурсов для состояния «1»:
А1: ресурсы одного вычислителя выделены на восстановление информации, а второго — на выполнение функциональных задач;
Рис. 2. Марковская модель дублированной компьютерной системы с двухэтапным восстановлением узлов памяти Fig. 2. Markov model of a duplicated computing system with two-stage recovery of memory nodes
А2: доля в j ресурсов одного вычислителя направлена на восстановление информации, а доля (1—рх) — на выполнение функциональных задач. Ресурсы второго вычислителя полностью выделяются на выполнение функциональных задач.
Для состояния «9» возможны два варианта распределения ресурсов единственного работоспособного вычислительного узла:
В1: ресурсы вычислителя полностью задействованы в информационном восстановлении физически восстановленного узла памяти;
В2: на информационное восстановление выделена доля в2 ресурсов работоспособного вычислителя.
При Р2 = 1 вариант В2 сводится к варианту В1. Выделим следующие комбинации вариантов организации восстановления рассматриваемой системы: (А1, В1), (А1, В2), (А2, В1), (А2, В2).
Выделение всех ресурсов вычислительных узлов на выполнение функциональных задач не рассмотрено, так как это может увеличить риски потери информации в двух узлах памяти.
Составим по известным правилам [26] из диаграммы состояний и переходов систему алгебраических (или дифференциальных для нестационарного режима) уравнений [26]. Решим систему уравнений (в любой системе компьютерной математики) и найдем вероятности всех состояний Р0, Рь P2,..., Р13.
Коэффициент готовности дублированной КС рассчитаем как сумму всех работоспособных состояний, т. е. состояний, при которых возможно выполнение функциональных задач [26].
K = I Р,
tew
где W — множество работоспособных состояний дублированной системы (для комбинаций восстановления системы, включающей варианты В1 W = {0, 1, 2, 3, 6}, В2 — W = {0, 2, 3, 6, 9}).
Коэффициент Kc определим по вероятности го-тов-ности системы к осуществлению функциональных задач при условии, что они будут выполнены с не превышением заданного предельно допустимого времени
K = X I R,P, = X
j=1 iEWj
j=1
R X p.
где г — число выделяемых градаций состояний системы по ресурсам, задействованным при выполнении функциональных запросов; — множество работоспособных состояний системы, относящихся к }-й градации, характеризуемой вероятностью своевременного выполнения запросов К; Р, — вероятность /-го состояния системы, относящегося к множеству работоспособных состояний '
Для рассматриваемой дублированной КС выделим множества состояний W2 = {0, 3} и '1 = {2, 6}, для которых поток запросов может быть распределен на выполнение в два или только в один вычислительный узел. Для состояний «1» и «9» при оценке вероятности своевременного выполнения запросов учтем доли ре-
сурсов, выделенные на информационное восстановление и на выполнение функциональных запросов.
Определим КГСВЗ для рассматриваемых дублированных КС:
Кс = К2 I Р, + Л I Р, + К2РР1 + К1РР9,
jEW2
/ew1
где К 2 — вероятность выполнения функциональных запросов за время меньшее предельно допустимого, если поток запросов распределяется на два вычислительных узла; Л — поток обслуживается одним вычислительным узлом; К2р, Кф — вероятности выполнения функциональных запросов за допустимое время для состояний «1» и «9» с учетом долей вычислительных ресурсов, выделяемых на информационное восстановление памяти.
Вероятности Л и К2 выполнения функциональных запросов за время меньшее при интенсивности входного потока функциональных запросов Л имеют вид
R1 = 1 - Луехр(/0(Л - V-1)), R2 = 1 - 0^ехр(/„(0,5Л - V-1)),
где V — среднее время выполнения функционального запроса.
Для варианта восстановления В2 для состояния «9» интенсивность перехода в состояние «2» ц92 = Р2д22. Вычислим вероятность своевременного обслуживания запросов в состоянии «9»:
Riß = 1 - л-
exP ¿о л -
l-fc
1-Р2
Для комбинаций дисциплин, включающих вариант обслуживания В1, вероятность Л^ = 0.
Для варианта восстановления А1 ресурсы одного вычислителя выделим на решение функциональных задач, а второго — на восстановление информации в памяти. В этом случае К2р = К1, а ц10 = д22.
Для варианта восстановления А2 ресурсы одного вычислителя распределяются только на восстановление информации, а ресурсы второго в долях Р1 и (1 - р1) на восстановление информации и решение функциональных задач. В этом случае д10 = Р1ц22.
Наличие двух вычислительных узлов с разными долями, предоставляемых для решения функциональных ресурсов, вызывает потребность рационального (оптимального) распределения потока запросов между этими узлами.
При доле а потока запросов, распределяемой в выделенный только для выполнения запросов узел, вероятность своевременного выполнения запросов в нем имеет вид
R2iß = 1 - aAvexpl ¿о I Л - -
Получим вероятность своевременного обслуживания запросов для используемого узла, информационного восстановления памяти и выполнения функциональных запросов:
р22р = 1 - (1 - а)Л^уехр(*о [Л(1 - а) - .
Рассчитаем математическое ожидание вероятности выполнения функциональных запросов с учетом использования для этого вычислительных ресурсов двух узлов:
% = аР21р + (1 - а)Р22р.
Оценка коэффициента готовности к своевременному выполнению запросов
На основе предложенной марковской модели оценим влияния вариантов дисциплин восстановления на эффективность функционирования дублированной КС с возможным совмещением информационного восстановления памяти и решения требуемых функциональных задач.
Выполним расчеты для следующий параметров ^ = 10-4 ч-1, ^ = 2-10-4 ч-1, ^ = ц21 = 1 ч-1, Ц22 = 0,1 ч-1, Ь = 1.
Рассмотрим простейшее сочетание дисциплин (А1, В1), при котором для состояний «1» и «9» разделение ресурсов вычислителей на выполнение функциональных запросов и на информационное восстановление памяти не реализуется.
Для комбинации дисциплин восстановления (А1, В1) зависимость КГСВЗ Кс от интенсивности Л потока запросов на выполнение функциональных задач представлена на рис. 3. Из графиков видно существенность влияния ^ на Кс.
Исследуем влияние разделения ресурсов вычислителя на выполнение запросов и на информационное восстановление памяти при рассмотрении дисциплины (А2, В1). Для этой дисциплины в состоянии «1» один вычислитель полностью задействован в выполнении функциональных запросов, а ресурсы второго разделены в долях в1 и (1 - в1) на информационное восста-
\4 \
\
' 0 4 8 Л, с"1
Рис. 3. Зависимости Kc от интенсивности Л потока запросов на выполнение функциональных задач для дисциплины восстановления (А1, В1) при t0 равным: 0,15 с (кривая 1); 0,2 с (кривая 2); 0,3 c (кривая 3); 0,4 с (кривая 4)
Fig. 3. Dependences of Kc vs. the intensity Л of the flow of requests for the execution of functional tasks for the restoration discipline (A1, B1) at t0 equal to: 0.15 s (curve 1); 0.2 s (curve 2); 0.3 s (curve 3); 0.4 s (curve 4)
новление памяти и на выполнение функциональных запросов.
В зависимости от назначенных долей Pj и (1 - р^ для дисциплины (А2, В1) представляет интерес анализ влияния на коэффициент Kc долей потока функциональных запросов а и (1 - а), направляемых на выполнение в первый и второй вычислительные узлы.
Зависимость Kc от интенсивности потока запросов Л на выполнение функциональных задач при to = 0,32 с, v = 0,1 c представлена на рис. 4. На рис. 4, a кривые 1-6 соответствуют долям потока запросов а = 0,1, 0,2, 0,4, 0,5, 0,6, 1. Расчет выполнен при рх = 0,9. На рис. 4, b кривая 1 показывает зависимость Kc от интенсивности
D 410"3
2-10"3
0
hi j-........... 5
2I ¡4 "-...У 6.
10 8 • .... 7
8 Л, с
Рис. 4. Зависимости Kc и D от Л для дисциплины (А2, В1) при = 0,9: кривые 1-6 соответствуют а = 0,1, 0,2, 0,4, 0,5, 0,6, 1 (a); кривая 1 соответствует Kc при а = 1, кривые 2-10 разницам D коэффициентов Kc дисциплин А2 и В1 при а = 0,01, 0,2,
0,4, 0,6, 0,7, 0,75, 0,8, 0,9 и 0,95 (b) Fig. 4. Dependences of Kcand D vs. Л for discipline (А2, В1) at pj = 0.9: a — curves 1-6 correspond to а = 0.1, 0.2, 0.4, 0.5, 0.6, 1 (a); curve 1 corresponds to Kc at а = 1, curves 2-10 to the differences in D coefficients of Kc disciplines A2 and B1 at а = 0.01, 0.2,
0.4, 0.6, 0.7, 0.75, 0.8, 0.9 and 0.95 (b)
D 4-10"3
2-10 :
Кс
-2-Ю"-
-АЛО-
0
1 2I 3/ 4 5
¿Ê 6
" ' 7 X
XP4 10 \ ;-..8
8 Л, сг
D
М(Г3
5-КГ4
Кс
0,96
-5-10"4
0,92
-МО"3
11 /3
■ 6 ......5 ''
\
10- Y\ ..7 \ \
0
0,96
0,92
8 Л, с"
Рис. 5. Зависимости D от Л для дисциплины (А2, В1) при Р1 = 0,5 (a) и pj = 0,2 (b): для pj = 0,5 кривыми 2-10 показаны разницы D при а = 0,01, 0,2, 0,3, 0,35, 0,4, 0,5, 0,7, 0,9 и 0,95 (а); для Р1 = 0,2 кривыми 2-10 — разницы D при а = 0,01, 0,1,
0,18, 0,2, 0,26, 0,4, 0,7, 0,9 и 0,95 (b) Fig. 5. Dependences of D vs. Л for discipline (А2, В1) at pj = 0.5 (a) and pj = 0.2 (b): for pj = 0.5, curves 2-10 show differences in D at а = 0, 01, 0.2, 0.3, 0.35, 0.4, 0.5, 0.7, 0.9 and 0.95 (a); for pj = 0.2 curves 2-10 — D differences at а = 0.01, 0.1, 0.18, 0.2, 0.26,
0.4, 0.7, 0.9 and 0, 95 (b)
Л при а = 1 (когда весь трафик распределяется в вычислитель, полностью выделенный на выполнения запросов). Кривыми 2-10 представлены расчеты разницы D коэффициентов Кс при распределении на вычислитель, не задействованный в информационном восстановлении памяти, соответственно, на поступающий трафик в долях а = 0,01, 0,2, 0,4, 0,6, 0,7, 0,75, 0,8, 0,9 и 0,95.
Зависимости Кс от интенсивности потока запросов Л на выполнение функциональных задач при = 0,5 и в! = 0,2 показаны на рис. 5, а, Ь, где кривые 1 представляют зависимости Кс от интенсивности Л при а = 1 для случаев в! = 0,5 и в! = 0,2 соответственно. На рис. 5, а для вх = 0,5 кривыми 2-10 показаны разницы Б,
при а = 0,01, 0,2, 0,3, 0,35, 0,4, 0,5, 0,7, 0,9 и 0,95. На рис. 5, Ь для вх = 0,2 кривыми 2-10 — разницы Б, при а = 0,01, 0,1, 0,18, 0,2, 0,26, 0,4, 0,7, 0,9 и 0,95.
Анализ полученных графиков зависимостей показал реальное влияние распределения трафика между работоспособными узлами на КГСВЗ при совмещении использования вычислительных узлов на обслуживание функциональных запросов и восстановление памяти. Результаты расчетов позволили предположить существование оптимального распределения трафика на вычислительные узлы в зависимости от степени совмещения их использования при информационном
Кс
0,84
0,8
0,76
Рис. 6. Зависимости Kc от долей распределения трафика между вычислительными узлами: при pj = 0,2 кривые 1-3 соответствуют Л = 6, 7, 8 с-1 (a); при Л = 2 с-1 кривые 1-3 соответствуют Pj = 0,2, 0,5, 0,9 (b) Fig. 6. Dependences of Kc vs the shares of traffic distribution between computing nodes: at pj = 0.2, curves 1-3 correspond to Л = 6,
7, 8 s-1 (a); at Л = 2 s-1 curves 1-3 correspond to pj = 0.2, 0.5, 0.9 (b)
восстановлении памяти и решении функциональных задач.
Зависимости Кс от а при /0 = 0,1 с представлена на рис. 6. При Р1 = 0,2 кривыми 1-3 на рис. 6, а представлены расчеты при Л = 6, 7, 8 с-1. На рис. 6, Ь при Л = 2 с-1 кривые 1-3 соответствуют в1 = 0,2, 0,5, 0,9. Представленные графики подтверждают существование оптимальной доли распределения трафика функциональных задач между вычислительными узлами, один из которых выполняет только запросы, а второй — в том числе, реализует занесение данных в физически восстановленный узел памяти.
Заключение
Для отказоустойчивых компьютерных кластеров с построением узлов на основе дублированных вычислительных систем проанализированы возможности повышение готовности узлов кластера к своевременному выполнению запросов, критичных к задержкам обслуживания.
Предложены марковские модели дублированных узлов кластера, на основе которых исследованы зависимости готовности системы к своевременному выполнению запросов от вариантов распределения ресурсов, сохранивших работоспособность вычислительных узлов на восстановление информации в памяти и на выполнение функциональных задач. Исследование проведено в зависимости от допустимого времени ожидания функциональных запросов и интенсивности их трафика. Проанализировано влияние на готовность системы к своевременному выполнению запросов балансировки трафика функциональных задач между работоспособными вычислительными узлами при их возможном использовании для информационного восстановления узлов памяти.
Показано существование оптимальной доли распределения трафика функциональных запросов между вычислительными узлами, в зависимости от вариантов разделения их ресурсов на обслуживание функциональных запросов и на восстановление информации в узлах памяти после их физического восстановления.
Литература
1. Shubinsky I.B., Rozenberg I.N., Papic L. Adaptive fault tolerance in real-time information systems // Reliability: Theory & Applications. 2017. V. 12. N 1(44). P. 18-25.
2. Krasnobaev V., Kuznetsov A., Kiian A., Kuznetsova K. Fault tolerance computer system structures functioning in residue classes // Proc. of the 11th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS). V. 11. 2021. P. 471-474. https://doi. org/10.1109/idaacs53288.2021.9660919
3. Tatarnikova T.M., Sikarev I.A., Bogdanov P.Y., Timochkina T.V. Botnet attack detection approach in IoT networks // Automatic Control and Computer Sciences. 2022. V. 56. N 8. P. 838-846. https:// doi.org/10.3103/S0146411622080259
4. Bukhsh M., Abdullah S., Rahman A., Asghar M.N., Arshad H., Alabdulatif A. An energy-aware, highly available, and fault-tolerant method for reliable IoT systems // IEEE Access. 2021. V. 9. P. 145363-14538. https://doi.org/10.1109/access.2021.3121033
5. Wu B.-H., Alexander R.N., Liu S., Zhang Z. Quantum computing with multidimensional continuous-variable cluster states in a scalable photonic platform // Physical Review Research. 2020. V. 2. N 2. P. 023138. https://doi.org/10.1103/physrevresearch.2.023138
6. Bogatyrev V.A. An interval signal method of dynamic interrupt handling with load balancing // Automatic Control and Computer Sciences. 2000. V. 34. N 6. P. 51-57.
7. Bogatyrev V.A., Bogatyrev A.V., Bogatyrev S.V. Redundant multi-path service of a flow heterogeneous in delay criticality with defined node passage paths // Journal of Physics: Conference Series. 2021. V. 1864. N 1. P. 012094. https://doi.org/10.1088/1742-6596/1864/1/012094
8. Dinh T.D., Vishnevsky V., Pham V.D., Le D.T., Kirichek R., Koucheryavy A. Determination of subscribers coordinates using flying network for emergencies // Proc. of the 24th International Conference on Advanced Communication Technology (ICACT). 2022. P. 13091318. https://doi.org/10.23919/icact53 585.2022.9728777
9. Alsweity M., Muthanna A., Elgendy I.A., Koucheryavy A. Traffic management algorithm for V2X-based flying fog system // Lecture Notes in Computer Science. 2021. V. 13144. P. 32-41. https://doi. org/10.1007/978-3-030-92507-9_4
10. Stepanov N., Turlikov A., Begishev V., Koucheryavy Y., Moltchanov D.A. Accuracy assessment of user micromobility models for thz cellular systems // mmNets 2021: Proc. of the 5th ACM Workshop on Millimeter-Wave and Terahertz Networks and Sensing Systems, Part of ACM MobiCom 2021. V. 5. 2021. P. 37-42. https:// doi.org/10.1145/3477081.3481676
References
1. Shubinsky I.B., Rozenberg I.N., Papic L. Adaptive fault tolerance in real-time information systems. Reliability: Theory & Applications, 2017, vol. 12, no. 1(44), pp. 18-25.
2. Krasnobaev V., Kuznetsov A., Kiian A., Kuznetsova K. Fault tolerance computer system structures functioning in residue classes. Proc. of the 11th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS). V. 11, 2021, pp. 471-474. https://doi. org/10.1109/idaacs53288.2021.9660919
3. Tatarnikova T.M., Sikarev I.A., Bogdanov P.Y., Timochkina T.V. Botnet attack detection approach in IoT networks. Automatic Control and Computer Sciences, 2022, vol. 56, no. 8, pp. 838-846. https://doi. org/10.3103/S0146411622080259
4. Bukhsh M., Abdullah S., Rahman A., Asghar M.N., Arshad H., Alabdulatif A. An energy-aware, highly available, and fault-tolerant method for reliable IoT systems. IEEE Access, 2021, vol. 9, pp. 145363-14538. https://doi.org/10.1109/access.2021.3121033
5. Wu B.-H., Alexander R.N., Liu S., Zhang Z. Quantum computing with multidimensional continuous-variable cluster states in a scalable photonic platform. Physical Review Research, 2020, vol. 2, no. 2, pp. 023138. https://doi.org/10.1103/physrevresearch.2.023138
6. Bogatyrev V.A. An interval signal method of dynamic interrupt handling with load balancing. Automatic Control and Computer Sciences, 2000, vol. 34, no. 6, pp. 51-57.
7. Bogatyrev V.A., Bogatyrev A.V., Bogatyrev S.V. Redundant multi-path service of a flow heterogeneous in delay criticality with defined node passage paths. Journal of Physics: Conference Series, 2021, vol. 1864, no. 1, pp. 012094. https://doi.org/10.1088/1742-6596/1864/1Z012094
8. Dinh T.D., Vishnevsky V., Pham V.D., Le D.T., Kirichek R., Koucheryavy A. Determination of subscribers coordinates using flying network for emergencies. Proc. of the 24th International Conference on Advanced Communication Technology (ICACT), 2022, pp. 1309-1318. https://doi.org/10.23919/icact53585.2022.9728777
9. Alsweity M., Muthanna A., Elgendy I.A., Koucheryavy A. Traffic management algorithm for V2X-based flying fog system. Lecture Notes in Computer Science, 2021, vol. 13144, pp. 32-41. https://doi. org/10.1007/978-3-030-92507-9_4
10. Stepanov N., Turlikov A., Begishev V., Koucheryavy Y., Moltchanov D.A. Accuracy assessment of user micromobility models for thz cellular systems. mmNets 2021: Proc. of the 5th ACM Workshop on Millimeter-Wave and Terahertz Networks and Sensing Systems, Part of ACM MobiCom 2021. V 5, 2021, pp. 37-42. https:// doi.org/10.1145/3477081.3481676
11. Tatarnikova A.A., Turlikov A.M., Pupynin D.A. The spectral analysis of data obtained from accelerometers for musculoskeletal diseases diagnosis // Proc. of the Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). 2018. P. 8604404. https://doi.org/10.1109/weconf.2018.8604404
12. Markoval E., Moltchanov D., Pirmagomedov R., Ivanova D., Koucheryavy Y., Samouylov K. Priority-based coexistence of eMBB and URLLC traffic in industrial 5G NR deployments // Proc. of the 12th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT). 2020. P. 1-6. https://doi. org/10.1109/icumt51630.2020.9222433
13. Gurjanov A.V., Korobeynikov A.G., Zharinov I.O., Zharinov O.O. Edge, fog and cloud computing in the cyber-physical systems networks // Proc. of the III International Workshop on Modeling, Information Processing and Computing (MIP: Computing-2021).
2021. P. 103-108. https://doi.org/10.47813/dnit-mip3/2021-2899-103-108
14. Korobeynikov A.G., Shukalov A.V., Zharinov I.O., Zharinov O.O. Cyber-physical and human control of technological process and equipment sensitive to failures // IOP Conference Series: Earth and Environmental Science. 2021. V. 839. P. 42081. https://doi. org/10.1088/1755-1315/839/4/042081
15. Astakhova T., Verzun N., Kolbanev M., Shamin A. A model for estimating energy consumption seen when nodes of ubiquitous sensor networks communicate information to each other // CEUR Workshop Proceedings. 2019. V. 2344.
16. Tatarnikova T.M., Poymanova E.D. Load management in computer networks as a tool to ensure the quality of service delivery // Proc. of the Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). 2021. P. 9470535. https:// doi.org/10.1109/weconf51603.2021.9470535
17. Biryaltsev E.V., Galimov M.R., Demidov D.E., Elizarov A.M. The platform approach to research and development using highperformance computing // Program Systems: Theory and Applications. 2019. V. 10. N 2(41). P. 93-119. https://doi. org/10.25209/2079-3316-2019-10-2-93-119
18. Kazimirov A.N. Model-oriented design of a wireless sensor network // Proc. of the 2020 Global Smart Industry Conference (GloSIC). 2020. P. 391-398. https://doi.org/10.1109/glosic50886.2020.9267874
19. Rahman P.A. Advanced reliability model of the fault-tolerant disk arrays with data striping and single disk redundancy // Advances in Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proc. of the International Scientific and Practical Conference. 2017. P. 20-25.
20. 20. Rahman P.A. Advanced reliability model of the fault-tolerant disk arrays with the Dual disk redundancy and data striping // Advances in Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proc. of the International Scientific and Practical Conference. 2017. P. 40-49.
21. Uspenskaya N.N. Estimation of availability factor for the data storage systems based on redundant disk arrays with the backup // HighPerformance and Fault-Tolerant Computing technologies and systems: Proc. of the International Scientific and Practical Conference. 2016. P. 20-23.
22. Sharipov M.I. Simplified reliability model of the fault-tolerant disk arrays with data striping and single disk redundancy on basis of the Markov birth-death chain // Advances in Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proceedings of the International Scientific and Practical Conference. 2017. P. 15-19.
23. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Reliability and timeliness of servicing requests in infocommunication systems, taking into account the physical and information recovery of redundant storage devices // Proc. of the 2022 International Conference on Information, Control, and Communication Technologies (ICCT).
2022. P. 1-4. https://doi.org/10.1109/icct56057.2022.9976800
24. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Reliability of computer systems during physical and informational recovery of duplicated memory // CEUR Workshop Proceedings. 2021. V. 3057. P. 274-279.
25. Bogatyrev V.A., Derkach A.N. Evaluation of a cyber-physical computing system with migration of virtual machines during continuous computing // Computers. 2020. V. 9. N 2. P. 42. https:// doi.org/10.3390/computers9020042
26. Половко А.М., Гуров С.В. Основы теории надежности. СПб.: БХВ-Петербург, 2006. 702 с.
11. Tatarnikova A.A., Turlikov A.M., Pupynin D.A. The spectral analysis of data obtained from accelerometers for musculoskeletal diseases diagnosis. Proc. of the Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), 2018, pp. 8604404. https://doi.org/10.1109/weconf.2018.8604404
12. Markoval E., Moltchanov D., Pirmagomedov R., Ivanova D., Koucheryavy Y., Samouylov K. Priority-based coexistence of eMBB and URLLC traffic in industrial 5G NR deployments. Proc. of the 12th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT), 2020, pp. 1-6. https://doi. org/10.1109/icumt51630.2020.9222433
13. Gurjanov A.V., Korobeynikov A.G., Zharinov I.O., Zharinov O.O. Edge, fog and cloud computing in the cyber-physical systems networks. Proc. of the III International Workshop on Modeling, Information Processing and Computing (MIP: Computing-2021),
2021, pp. 103-108. https://doi.org/10.47813/dnit-mip3/2021-2899-103-108
14. Korobeynikov A.G., Shukalov A.V., Zharinov I.O., Zharinov O.O. Cyber-physical and human control of technological process and equipment sensitive to failures. IOP Conference Series: Earth and Environmental Science, 2021, vol. 839, pp. 42081. https://doi. org/10.1088/1755-1315/839/4/042081
15. Astakhova T., Verzun N., Kolbanev M., Shamin A. A model for estimating energy consumption seen when nodes of ubiquitous sensor networks communicate information to each other. CEUR Workshop Proceedings, 2019, vol. 2344.
16. Tatarnikova T.M., Poymanova E.D. Load management in computer networks as a tool to ensure the quality of service delivery. Proc. of the Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), 2021, pp. 9470535. https:// doi.org/10.1109/weconf51603.2021.9470535
17. Biryaltsev E.V., Galimov M.R., Demidov D.E., Elizarov A.M. The platform approach to research and development using highperformance computing. Program Systems: Theory and Applications, 2019, vol. 10, no. 2(41), pp. 93-119. https://doi.org/10.25209/2079-3316-2019-10-2-93-119
18. Kazimirov A.N. Model-oriented design of a wireless sensor network. Proc. of the 2020 Global Smart Industry Conference (GloSIC), 2020, pp. 391-398. https://doi.org/10.1109/glosic50886.2020.9267874
19. Rahman P.A. Advanced reliability model of the fault-tolerant disk arrays with data striping and single disk redundancy. Advances in Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proc. of the International Scientific and Practical Conference, 2017, pp. 20-25.
20. Rahman P.A. Advanced reliability model of the fault-tolerant disk arrays with the Dual disk redundancy and data striping. Advances in
Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proc. of the International Scientific and Practical Conference, 2017, pp. 40-49.
21. Uspenskaya N.N. Estimation of availability factor for the data storage systems based on redundant disk arrays with the backup. HighPerformance and Fault-Tolerant Computing technologies and systems: Proc. of the International Scientific and Practical Conference, 2016, pp. 20-23.
22. Sharipov M.I. Simplified reliability model of the fault-tolerant disk arrays with data striping and single disk redundancy on basis of the Markov birth-death chain. Advances in Fault-Tolerance and Reliability Models of the Redundant Disk Arrays: Proceedings of the International Scientific and Practical Conference, 2017, pp. 15-19.
23. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Reliability and timeliness of servicing requests in infocommunication systems, taking into account the physical and information recovery of redundant storage devices. Proc. of the 2022 International Conference on Information, Control, and Communication Technologies (ICCT),
2022, pp. 1-4. https://doi.org/10.1109/icct56057.2022.9976800
24. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Reliability of computer systems during physical and informational recovery of duplicated memory. CEUR Workshop Proceedings, 2021, vol. 3057, pp. 274-279.
25. Bogatyrev V.A., Derkach A.N. Evaluation of a cyber-physical computing system with migration of virtual machines during continuous computing. Computers, 2020, vol. 9, no. 2, pp. 42. https:// doi.org/10.3390/computers9020042
26. Polovko A.M., Gurov S.V. Fundamental Theory of Reliability. St.Petersburg, BHV Publ., 2006, 702 p. (in Russian)
Авторы
Богатырев Владимир Анатольевич — доктор технических наук, профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; профессор, Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация, sc 7006571069, https:// orcid.org/0000-0003-0213-0223, vladimir.bogatyrev@gmail.com Богатырев Станислав Владимирович — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; инженер-консультант, ООО «Центр разработки облачных хранилищ Ядро», Санкт-Петербург, 195027, Российская Федерация, sc 57183002200, https://orcid.org/0000-0003-0836-8515, realloc@gmail.com Богатырев Анатолий Владимирович — кандидат технических наук, инженер-консультант, ООО «Центр разработки облачных хранилищ Ядро», Санкт-Петербург, 195027, Российская Федерация, sc 56549712700, https://orcid.org/0000-0001-5447-7275, gangleon@ gmail.com
Authors
Vladimir A. Bogatyrev — D.Sc., Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, 197101, Russian Federation; Professor, Saint Petersburg State University of Aerospace Instrumentation, 190000, Russian Federation, sc 7006571069, https://orcid.org/0000-0003-0213-0223, vladimir.bogatyrev@gmail.com
Stanislav V. Bogatyrev — PhD Student, ITMO University, Saint Petersburg, 197101, Russian Federation; Consulting Engineer, Yadro Cloud Storage Development Center, Saint Petersburg, 195027, Russian Federation, sc 57183002200, https://orcid.org/0000-0003-0836-8515, realloc@gmail.com
Anatoly V. Bogatyrev — PhD, Consulting Engineer, Yadro Cloud Storage Development Center, Saint Petersburg, 195027, Russian Federation, sc 56549712700, https://orcid.org/0000-0001-5447-7275, gangleon@ gmail.com
Статья поступила в редакцию 03.03.2023 Одобрена после рецензирования 11.03.2023 Принята к печати 23.05.2023
Received 03.03.2023
Approved after reviewing 11.03.2023
Accepted 23.05.2023
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
