Модель масштабируемого микросервиса на основе системы массового обслуживания с «охлаждением» Текст научной статьи по специальности «Компьютерные и информационные науки»

БОТ: 10.24412/2413-2527-2022-129-39-44

Модель масштабируемого микросервиса на основе системы массового обслуживания

с «охлаждением»

д.т.н. В. А. Лохвицкий, к.т.н. В. А. Гончаренко, Э. С. Левчик Военно-космическая академия имени А. Ф. Можайского Санкт-Петербург, Россия lokhv_va@mail.ru, vlango@mail.ru

Аннотация. Предложена формализация процесса функционирования масштабируемого сервиса с учетом временных затрат на конфигурирование вычислительных узлов на основе многоканальной неэкспоненциальной системы массового обслуживания с «разогревом» и «охлаждением» каналов. Выполнено снижение сложности модели путем представления длительностей «разогрева» и «охлаждения» в виде обобщенной случайной задержки перед обслуживанием. Описаны основные этапы метода расчета вероятностно-временных характеристик системы массового обслуживания. Марковизация немарковских компонент рассматриваемой СМО осуществлена с использованием Ш-распре-деления. Получено распределение вероятностей состояний рассматриваемой СМО. Выполнено сопоставление результатов, полученных численным методом, с результатами имитационного моделирования.

Ключевые слова: микросервис, система массового обслуживания, «охлаждение» каналов, марковизация, обобщенная задержка обслуживания.

Введение

Современные информационные системы разрабатываются и функционируют с использованием широкого спектра технологий. Среди них, как одну из наиболее перспективных, необходимо выделить технологию, базирующуюся на микросервисной архитектуре с контейнерной виртуализацией [1].

Инфраструктура микросервисной информационной системы с контейнерной виртуализацией характеризуется динамическим изменением вычислительной структуры и параметров узлов (рис. 1).

Виртуальный узел К ^Виртуальный узел 2

Поток задач

Виртуальный узел 1 Очередь виртуального узла 1

Модуль управления экземплярами сервисов

Создание, запуск и проверка работоспособности экземпляра сервиса

Остановка экземпляров сервиса, освобождение ресурсов

Рис. 1. Представление процесса обработки задач масштабируемым сервисом

В частности, при рассмотрении процессов масштабирования сервисов, реализуемых на основе контейнеризованных приложений, следует учитывать временные затраты на запуск необходимого числа контейнеров, проверку их работоспособности, а также остановку контейнеров, использование которых в данный момент не предполагается [2].

Длительности отдельных операций запуска, остановки контейнеров, проверки работоспособности (с учетом типа запущенного в контейнере приложения-сервиса) представляют собой случайные величины, учет которых необходимо реализовывать в соответствующих моделях.

Формализация процесса функционирования

масштабируемого сервиса

Традиционно для моделирования процессов обработки случайного потока задач используются модели теории очередей. В частности, рассматриваемый нами процесс обработки задач может быть представлен в виде многоканальной системы массового обслуживания (СМО) с дополнительным учетом временных затрат на конфигурирование сервиса.

Указанное конфигурирование может осуществляться в нескольких случаях:

- при запуске сервиса (экземпляров сервиса), в случае если в момент прибытия очередной заявки на обслуживание сервис был остановлен;

- при изменении числа запущенных экземпляров сервиса (масштабирование в сторону увеличения или уменьшения числа экземпляров).

В зависимости от типов распределений, характеризующих случайные процессы прибытия заявок в систему, их обслуживания, масштабирования сервиса с проверкой работоспособности, могут применяться модели, основанные на различных типах СМО. Анализ работ [3-6] показал, что моделирование подобных процессов возможно на основе использования СМО с «разогревом» или «охлаждением» каналов обслуживания. Существенным ограничением данных работ является невозможность одновременного учета в одной модели процессов «разогрева» и «охлаждения» каналов. Принципиальная схема описания искомого процесса представлена на рисунке 2.

В стационарном режиме работы системы обслуживания расположение на временной оси момента наступления указанной задержки (до или после обслуживания) принципиального значения не имеет. Важен именно учет суммарной случайной длительности задержки, которая непо-

Intellectual Technologies on Transport. 2022. ^ 1

Рис. 2. Представление процесса обработки задач масштабируемым сервисом в виде многоканальной СМО с «разогревом» и/или «охлаждением» каналов

средственно влияет на время пребывания заявки в системе. Здесь необходимо учесть наличие случайных задержек обоих типов, поэтому рассматриваемый процесс возможно представить с помощью модели многоканальной СМО с «охлаждением» общего вида, предложенной в [6].

Для этого на первоначальном этапе необходимо найти обобщенную случайную задержку перед обслуживанием (или после него) на основе двух распределений случайных величин — длительности «разогрева» и длительности «охлаждения».

Представление процессов разогрева и охлаждения

в виде обобщенной случайной задержки

Для расчета искомой задержки выполним построение временной диаграммы указанного процесса (рис. 3).

При построении диаграммы определим следующие условия:

1. Режим «разогрева» инициируется только событием поступления заявки в пустую систему.

2. Режим «охлаждения» инициируется только событием окончания обработки последней заявки при отсутствии заявок в очереди.

3. Начало обработки поступающей в пустую систему заявки определяется длительностью этапа «разогрева» и остатком времени «охлаждения» при условии, что система «охлаждалась» в данный момент.

Рис. 3. Временная диаграмма работы СМО с «разогревом» и «охлаждением» каналов обслуживания

Перечисленные выше условия требуют пояснений.

Во-первых, режим «разогрева» активизируется в случае, если система была пустой (на обслуживании и в очереди не было ни одной заявки) и прибыла очередная заявка. В этом случае обслуживание прибывшей заявки начнется после случайного периода «разогрева» системы. Кроме того, все прибывающие во время «разогрева» системы заявки попадают в очередь и также не обслуживаются до окончания данного периода.

Во-вторых, режим «охлаждения» активизируется после окончания обслуживания последней заявки (обслуживание очередной заявки завершилось и в очереди нет ни одной заявки). Прибывающие во время «охлаждения» системы заявки также попадают в очередь, а их обслуживание сможет начаться не ранее чем закончится период «охлаждения», а затем и режим «разогрева».

Таким образом, искомая длительность случайной задержки перед обслуживанием находится путем свертки первого исходного распределения с остаточным вторым (например, «разогрева» с остаточным распределением случайной длительности «охлаждения»).

Так как преобразование Лапласа — Стилтьеса (ПЛС) свертки равно произведению ПЛС составляющих [7], то искомое распределение времени «задержки» перед обслуживанием в терминах ПЛС определяется как

= ВД/ф ,

где к^) — ПЛС распределения длительности «разогрева», f(s) — ПЛС остаточного распределения длительности «охлаждения».

1п1е11гс1ыа1 Technologies оп ТтитроН. 2022. N0 1

Согласно [7] начальные моменты остаточного распределения на основе начальных моментов распределения длительности «охлаждения» могут быть найдены по формуле:

ск +1

Гк =

(к + 1)с1 '

к = 1,2,...,

где к — порядок начального момента распределения.

Далее искомая случайная задержка до или после обслуживания может быть найдена на основе свертки распределений непосредственно в моментах [7]. Для этого воспользуемся символическим разложением

¿к = (Л + Пк,

в котором после развертывания бинома показатели степени переводятся в индексы соответствующих моментов. В частности, первые три начальных момента находятся согласно

й1 = к1 + ^

й2 = к2 + 2Й1/1 + [2,

а3 = къ + 3к2Ъ + +

Найденная аппроксимация случайных длительностей позволяет снизить трудоемкость моделирования на основе применения модели СМО только с «разогревом» или только с «охлаждением» каналов обслуживания вместо использования моделей с одновременным учетом как процесса «разогрева», так и «охлаждения».

Описание модели

Рассмотрим модель многоканальной СМО с «охлаждением» типа М/М/п- Щ. Напомним, что гиперэкспоненциальное распределение второго порядка относится к распределениям фазового типа и предполагает выбор случайным процессом одной из двух альтернативных фаз [8]. С вероятностью >>1 процесс «охлаждения» попадает в первую фазу и задерживается в ней случайное время, распределенное по экспоненциальному закону с параметром дЦ. С вероятностью >2 = 1 - >1 процесс попадает во вторую фазу, где экспоненциальная задержка имеет параметр д;. Диаграмма переходов между состояниями марковского процесса, описывающего систему М/М/п- Щ, представлена на рисунке 4.

Крайний левый столбец на диаграмме показывает текущее число заявок в системе и указывает на номер яруса диаграммы. На каждом ярусе система находится в одном из трех состояний: обслуживание и охлаждение одного из двух типов. Состояние охлаждения характеризует некоторую работу, которая выполняется системой после окончания обслуживания последней заявки. В данной модели длительность охлаждения системы характеризуется двухфазным гиперэкпоненциальным распределением.

После обслуживания последней заявки система переходит в режим (фазу) охлаждения 1-го типа с вероятностью >1 и в режим охлаждения 2-го типа с вероятностью >2. Каждая из фаз охлаждения характеризуется своей интенсивностью — д![ и Д; соответственно. Обслуживание заявок в системе осуществляется с интенсивностью д, умноженной на число занятых каналов обслуживания. При полной занятости (на ярусах с номерами больше п) диаграмма стабилизируется на всех нижележащих ярусах.

го а.

I—

та з сг

1а о

а.

<и э с

I-

о ^

О СП

О ш о; го

С1

о Ц

о

П-1

П + 1

Режим охлаждения

Режим обслуживания

Режим охлаждения

V

) м

2 щ ) К X )л ( /А. /

щ & V у & (

Г

!Л\

пи/ -Ы и- а &

1 /7// [' \Л £ .

Рис. 4. Диаграмма переходов для системы М/М/п — Н%

На основе диаграммы переходов марковизированной СМО строятся матрицы интенсивностей переходов и решаются векторно-матричные уравнения баланса переходов между микросостояниями.

Методика расчета вероятностно-временных

характеристик СМО Согласно [7] обозначим через Sj множество всех возможных микросостояний системы, при которых на обслуживании находится ровно / заявок, а через о/ - количество элементов в Sj. Далее, в соответствии с диаграммой переходов построим матрицы интенсивностей инфинитези-мальных переходов:

А/[0/ х о/н] — в /1 (по прибытию заявок), В/ [о/ х о/-1] — в Sj-l (по завершению обслуживания), С/[о/ х о/] — в Sj (по завершению охлаждения), £/[о/- х о/] — ухода из микросостояний /-го яруса (диагональная матрица).

В квадратных скобках здесь и далее указывается размер матриц. Элемент (/, к) любой из этих матриц представляет интенсивность перехода из /-го состояния /-го яруса в к-е состояние смежного (по переходам рассматриваемого типа) яруса.

Для СМО М/М/п — Щ матрицы переходов будут иметь следующий вид:

Ь =

X 0 0

0 X 0 , ] = 0, N — 1

0 0 X.

0 0 0 0 0 0

i= ЦУ i 0 цу 2 , В2 = 0 2ц 0

0 0 0 0 0 0

Bj =

Ci =

пц 0 0 0 L0

0 0 0

VÍ 0

té

j = n, N ;

Dj =

A + ni 0 0

0

A + min( n, j)n 0

0 0

A + Ú

j = 0, N .

Очевидно, матрицы A и C имеют одинаковый вид для всех ярусов диаграммы, а матрицы B и D зависят от номера яруса, но при j > n стабилизируются.

Введем векторы-строки у,' = [y¿i, у,;2, у,;з] нахождения СМО в микросостояниях j-го яруса. Теперь запишем век-торно-матричные уравнения баланса переходов между состояниями [7], указанными на диаграмме.

У0°о = Y0co + Y^ JjDj = Yj-Л-! + YjCj + YJ+1Bj+i, i = ^,

где N — число обсчитываемых ярусов диаграммы.

Для решения данной системы уравнений воспользуемся итерационным методом, предложенным в [8] и доработанным в [7]. Направление прогонки при расчете определим «сверху вниз» — в сторону увеличения номера яруса. В результате расчета получим отношения смежных вероятностей числа заявок в системе: Xj = Vj+i/Vj, j = 1, N.

После окончания итераций, используя значения xj, осуществим переход к вероятностям состояний системы по следующему алгоритму:

- вероятность свободного состояния p0 положить равной 1;

- рассчитать р+1 = pjXj, j = 1, N;

- вычислить сумму S = Y/j=0 Pj ;

- нормировать полученные значения: pj = Pj/S, j = 0, N.

Расчет возможен и для систем без ограничения буфера.

В этом случае предполагается, что «хвост» распределения числа заявок представляет собой бесконечно убывающую геометрическую прогрессию, знаменатель которой равен отношению двух последних рассчитанных вероятностей.

Время ожидания вновь прибывшей заявки определяется состоянием системы непосредственно перед ее прибытием. В соответствии с теоремой PASTA (Poisson Arrival See Time Average) [9] распределение числа заявок перед прибытием очередной совпадает со стационарным. Перед прибытием очередной заявки система находится в одном из трех микросостояний — охлаждение 1-го или 2-го типа или обслуживание.

Пусть перед прибытием очередной заявки в системе уже находилось j заявок. Вероятности соответствующих микросостояний записаны в векторе-строке Yj = [j j %з]-Если система находилась в первом микросостоянии j-го яруса (рис. 4), вновь прибывшая заявка будет ожидать завершения охлаждения первого типа плюс (j - n + 1) продвижений очереди. ПЛС соответствующего времени:

^ji(s) =

¡4 ( пц \J-n+1

+ s \пц

í W ) \nu + s)

В третьем микросостоянии происходит охлаждение второго типа. ПЛС соответствующего ожидания:

ц2 ( п^ ч

- +i

И2 + Б

Второе микросостояние соответствует режиму обслуживания. ПЛС времени ожидания вновь прибывшей заявки составит

/ пц \

^ =

- +i

Введем вектор-столбец ю(?) = [ю^С?), Ю/дС?), ю,;з(5)]т. Тогда ПЛС искомого времени ожидания начала обслуживания

ш(б) = X У]ш](s).

(1)

=

Для получения начальных моментов времени ожидания можно выполнить дифференцирование в нуле выражения (1), либо заменить все входящие в него ПЛС наборами начальных моментов, а их произведения — свертками в моментах [7].

Результаты численного эксперимента

Выполним расчет системы М/М/п — на имитационной модели и численным методом через Н2-аппроксимацию для следующего набора исходных данных: число каналов обслуживания п = 3, средняя интенсивность входящего потока X = 2,5, среднее время обслуживания заявок Ь1 = 1, среднее время охлаждения системы С1 = 2. Параметры ^-распределения подбирались по трем моментам различных исходных распределений длительности охлаждения:

- вырожденного Б (коэффициент вариации и = 0);

- равномерного и на интервале [0; 4] (и ~ 0,577);

- экспоненциального М (и = 1);

- гамма Г с параметром формы 0,5 (и ~ 1,41);

- Вейбулла Ж с параметром формы 0,46 (и = 2,5).

Результаты расчета распределения числа заявок в системе для Б, М и Ж распределений приведены на рисунке 5.

Рис. 5. Распределение числа заявок в системе М/М/п — Щ

На рисунке 5 штриховкой показаны графики, полученные с помощью имитационной модели, сплошными линиями — на основе численного метода расчета.

Из графиков видно согласие результатов даже в области комплексных и парадоксальных параметров гиперэкспоненты. Расстояние Колмогорова между результатами, полученными методом имитационного моделирования и с помощью аппроксимации Б, и, М, Г и Ж распределений времени охлаждения составило {0,006; 0,005; 0,006; 0,004; 0,043} соответственно, что говорит о приемлемой точности аппроксимации.

Увеличение расстояния Колмогорова для Ж-распре-деления может быть обусловлено тем, что оно относится к классу распределений с «толстым хвостом» и, следовательно, описываемая им случайная величина имеет очень большой разброс. В этой связи возрастают требования к качеству используемых в имитационной модели программных датчиков случайных чисел.

В таблице 1 представлены результаты расчета начальных моментов распределения времени ожидания }, I = 1,3, полученные численно (Числ.) и с помощью имитационной модели (ИМ).

Таблица 1

Начальные моменты времени ожидания

B(t) wi w2 w3

Числ. ИМ Числ. ИМ Числ. ИМ

D 1,788 1,709 6,674 6,495 37,19 34,16

U 1,971 1,870 7,864 7,230 40,46 37,22

M 2,272 2,225 1,035 1,035 62,88 64,02

Г0,5 2,582 2,494 1,406 1,356 108,0 103,9

W 2,600 2,802 2,586 2,476 767,0 687,7

Из представленных результатов следует, что с увеличением коэффициента вариации распределения времени «охлаждения» среднее время ожидания возрастает. Сходство результатов, полученных численно и с помощью имитационного моделирования, позволяет сделать вывод о корректности предложенной методики численного расчета вероятностно-временных характеристик СМО с «охлаждением».

Заключение

На основе проведенного исследования можно сделать вывод, что процесс функционирования масштабируемого микросервиса с контейнерной виртуализацией может быть представлен моделью СМО с «охлаждением» каналов обслуживания. В модели временные задержки на выполнение операций масштабирования микросервиса могут быть представлены в виде обобщенной задержки перед началом обслуживания заявок. Расчет вероятностно-временных характеристик рассматриваемого процесса возможен на основе применения итерационного метода, точность которого подтверждена результатами имитационного моделирования.

Представленные результаты могут быть использованы при обосновании требований к характеристикам инфраструктуры масштабируемого сервиса, способного устойчиво функционировать в условиях динамического изменения нагрузки.

Литература

1. Ньюмен, С. Создание микросервисов = Building Microservices / Пер. с англ. Н. Вильчинского. — Санкт-Петербург: Питер, 2016. — 304 с. — (Бестселлеры O'Reilly).

2. Khazaei, H. Perfomance Modeling of Cloud Computing Centers: A Thesis of the Degree of Doctor of Philosophy. — Winnipeg: The University of Manitoba, 2012. — 218 p.

3. Гиндин, С. И. Численный расчет многоканальной системы массового обслуживания с рекуррентным входящим потоком и «разогревом» / С. И. Гиндин, А. Д. Хомо-ненко, С. Е. Ададуров // Известия Петербургского университета путей сообщения. 2013. № 4 (37). С. 92-101.

4. Khalil, M. M. Testing of Software for Calculating a Multichannel Queuing System with «Cooling» and E2-approximation / M. M. Khalil, A. A. Andruk // Интеллектуальные технологии на транспорте. 2016. № 4 (8). С. 22-28.

5. Khomonenko, A. D. A Cloud Computing Model Using Multi-Channel Queuing System with Cooling / A. D. Kho-monenko, S. I. Gindin, M. M. Khalil // Proceedings of the XIX International Conference on Soft Computing and Measurements (SCM'2016) (Saint Petersburg, Russia, 25-27 May 2016). — Institute of Electrical and Electronics Engineers, 2016. — Pp. 103-106. DOI: 10.1109/SCM.2016.7519697.

6. Лохвицкий, В. А. Численный анализ системы массового обслуживания с гиперэкспоненциальным «охлаждением» / В. А. Лохвицкий, А. В. Уланов // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2016. № 4 (37). С. 36-43. DOI: 10.17223/19988605/37/4.

7. Рыжиков, Ю. И. Алгоритмический подход к задачам массового обслуживания: Монография. — Санкт-Петербург: ВКА им. А. Ф. Можайского, 2013. — 496 с.

8. Takahashi, Y. A Numerical Method for the Steady-State Probabilities of a G1/G/C Queuing System in a General Class / Y. Takanashi, Y. Takami // Journal of the Operations Reseach Society of Japan. 1976. Vol. 19, No. 2. Pp. 147-157.

DOI: 10.15807/jorsj.19.147.

9. Рыжиков, Ю. И. Итерационный метод расчета многоканальных систем с произвольным законом обслуживания / Ю. И. Рыжиков, А. Д. Хомоненко // Проблемы управления и теория информации. 1980. Т. 9, № 3. С. 203-213.

DOI: 10.24412/2413-2527-2022-129-39-44

A Scalable Microservice Model Based on a Queuing System with «Cooling»

Grand PhD V. A. Lokhvitsky, PhD V. A. Goncharenko, E. S. Levchik Mozhaisky Military Space Academy

Saint Petersburg, Russia lokhv_va@mail.ru, vlango@mail.ru

Abstract. The formalization of a scalable service functioning is proposed, taking into account the time spent on configuring computing nodes based on a multichannel non-exponential queuing system (QS) with «heating» and «cooling» of channels. The complexity of the model is reduced by representing the durations of «heating» and «cooling» in the form of a generalized random delay before servicing. The main stages of the method of calculating the probability-time characteristics of the QS are described. The markovization of the non-Markov components of the QS under consideration was carried out using the H2-distribution. The probability distribution of the states of the QS under consideration is obtained. The results obtained by the numerical method are compared with the results of simulation.

Keywords: microservice, queuing system, channels «cooling», markovization, generalized service delay.

References

1. Newman S. Building Microservices [Sozdanie mikroservi-sov]. Saint Petersburg, Piter Publishing House, 2016, 304 p.

2. Khazaei H. Perfomance Modeling of Cloud Computing Centers: A Thesis of the Degree of Doctor of Philosophy. Winnipeg, The University of Manitoba, 2012, 218 p.

3. Gindin S. I., Khomonenko A. D., Adadurov S. E. Numerical Calculations of Multichannel Queuing System with Recurrent Input and «Warm Up» [Chislennyy raschet mnog-okanal'noy sistemy massovogo obsluzhivaniya s rekurrentnym vkhodyashchim potokom i «razogrevom»], Proceedings of Petersburg Transport University [Izvestiya Peterburgskogo uni-versitetaputey soobshcheniya], 2013, No. 4 (37), Pp. 92-101.

4. Khalil M. M., Andruk A. A. Testing of Software for Calculating a Multichannel Queuing System with «Cooling» and E2-approximation, Intellectual Technologies on Transport [Intellektual'nye tekhnologii na transporte], 2016, No. 4 (8), Pp. 22-28.

5. Khomonenko A. D., Gindin S. I., Khalil M. M. A Cloud Computing Model Using Multi-Channel Queuing System with Cooling, Proceedings of the XIX International Conference on Soft Computing and Measurements (SCMS2016), Saint Petersburg, Russia, May 25-27, 2016. Institute of Electrical and Electronics Engineers, 2016, Pp. 103-106.

DOI: 10.1109/SCM.2016.7519697.

6. Lokhvitsky V. A., Ulanov A. V. The Numerical Analyses of Queuing System with Hyperexponential Distribution of Cooling Time [Chislennyy analiz sistemy massovogo obsluzhivaniya s gipereksponentsial'nym «okhlazhdeniem»], Tomsk State University Journal of Control and Computer Science [Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitel'naya tekhnika i informatika], 2016, No. 4 (37), Pp. 36-43. DOI: 10.17223/19988605/37/4.

7. Ryzhikov Yu. I. Algorithmic approach to queuing tasks: Monograph [Algoritmicheskiy podkhod k zadacham massovogo obsluzhivaniya: Monografiya]. Saint Petersburg, Mozhaisky Military Space Academy, 2013, 496 p.

8. Takahashi Y., Takami Y. A Numerical Method for the Steady-State Probabilities of a G1/G/C Queuing System in a General Class, Journal of the Operations Reseach Society of Japan, 1976, Vol. 19, No. 2, Pp. 147-157.

DOI: 10.15807/jorsj.19.147.

9. Ryzhikov Yu. I., Khomonenko A. D. Iterative Method for Analysis of Multichannel Queueing Systems with General Service Time Distribution [Iteratsionnyy metod rascheta mnogokanal'nykh sistem s proizvol'nym zakonom obsluzhivaniya], Problems of Control and Information Theory [Problemy upravleniya i teoriya informatsii], 1980, Vol. 9, No. 3, Pp. 203-213.

HHmenneKmyaMbHue техноnогии Ha mpaHcnopme. 2022. № 1

44