РЕКУРСИВНЫЙ ПОДБОР ПАРАМЕТРОВ ГИПЕРЭКСПОНЕНЦИАЛЬНЫХ РАСПРЕДЕЛЕНИЙ ПРИ АППРОКСИМАЦИИ РАСПРЕДЕЛЕНИЙ С «ТЯЖЕЛЫМИ ХВОСТАМИ» Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Научная статья УДК 519.872

DOI:10.31854/1813-324X-2023-9-2-40-46

Рекурсивный подбор параметров гиперэкспоненциальных распределений при аппроксимации распределений с «тяжелыми хвостами»

Марина Анатольевна Буранова, m.buranova@psuti.ru Вячеслав Григорьевич Карташевский, v.kartashevskiy@psuti.ru

Поволжский государственный университет телекоммуникаций и информатики, Самара, 443010, Российская Федерация

Аннотация: Известно, что многие величины, определяющие сетевые характеристики функционирования инфокоммуникационной сети, имеют распределения вероятностей с «тяжелыми хвостами», которые могут оказать существенное влияние на производительность сети. Модели с распределениями, имеющими «тяжелый хвост», как правило, трудно исследовать. Анализ можно упростить с использованием аппроксимации распределения с «тяжелым хвостом» гиперэкспоненциальным распределением (конечной смесью экспонент). В работе приведен алгоритм расчета параметров компонент гиперэкспоненциального распределения, который основан на рекурсивном подборе параметров. Данный алгоритм позволяет анализировать различные модели очередей, включая G/G/1. Показано, что рассматриваемый подход наиболее целесообразно применять для аппроксимации монотонно убывающих распределений, имеющих «тяжелый хвост». Приведены примеры аппроксимации распределений Парето и Вейбулла.

Ключевые слова: гиперэкспоненциальное распределение, распределение с «тяжелым хвостом», рекурсивный подбор, системы массового обслуживания

Ссылка для цитирования: Буранова М.А., Карташевский В.Г. Рекурсивный подбор параметров гиперэкспоненциальных распределений при аппроксимации распределений с «тяжелыми хвостами» / / Труды учебных заведений связи. 2023. Т. 9. № 2. С. 40-46. DOI:10.31854/1813-324X-2023-9-2-40-46

Recursive Selection of Hyperexponential Distributions in Approximation of Distributions

with "Heavy Tails"

Marina Buranova, m.buranova@psuti.ru Vyacheslav Kartashevskiy, v.kartashevskiy@psuti.ru

Povolzhskiy State University of Telecommunications and Informatics, Samara, 443010, Russian Federation

Abstract: It is known that many quantities that determine the network characteristics of the functioning of an infocommunication network have probability distributions with "heavy tails", which can have a significant impact on network performance. Models with heavy-tailed distributions tend to be difficult to analyze. The analysis can be simplified by using an algorithm to approximate a heavy-tailed distri-bution by a hyperexponential distribution (a

© Буранова М.А., Карташевский В.Г., 2023

40

tuzs.sut.ru

finite mixture of exponentials). The paper presents a algorithm for calculating the parameters of the hyperexponential distribution components, which is based on a recursive selection of parameters. This algorithm allows you to analyze various models of queues, including G/G/1. It is shown that the approach under consideration is applicable to the approximation of monotonically decreasing distributions, including those with a "heavy tail". Examples of approximation of Pareto and Weibull distributions are given.

Keywords: hyperexponential distribution, distribution with a "heavy tail", recursive selection, queuing systems

For citation: Buranova M., Kartashevskiy V. Recursive Selection of Hyperexponential Distributions in Approximation of Distributions with "Heavy Tails". Proc. of Telecom. Universities. 2023;9(2):40-46. (in Russ.) DOI:10.31854/1813-324X-2023-9-2-40-46

Введение

При анализе параметров функционирования современных инфокоммуникационных сетей одной из наиболее важных задач является разработка моделей, которые могут учитывать влияние особенностей обрабатываемого трафика. При этом традиционно анализ осуществляется с использованием методов теории массового обслуживания [1]. В качестве моделей систем обработки трафика очень часто используют систему М/М/1. В то же время известно, что современные потоки не обладают свойствами простейшего потока, для них характерно наличие фрактальных свойств, обусловленных, в частности, наличием «тяжелых хвостов» у распределений случайных значений интервалов времен между пакетами и интервалов обработки пакетов [2, 3]. Это требует разработки новых подходов к анализу систем обработки трафика, основанных на системах массового обслуживания с произвольными распределениями интервалов времени между пакетами и интервалов времени обработки пакетов, то есть систем G/G/1. Существуют разные модели системы G/ G/1 и, пожалуй, одной из наиболее популярных является модель, основанная на использовании гиперэкспоненциального распределения. При этом систему G/G/1 аппроксимируют системой Н1/Нк/1, где символы Н1 и Нк обозначают гиперэкспоненциальное распределение с числом экспонент l и k [4, 5]. Плотность вероятностей распределения, например для Н1, записывается в виде:

I

(1)

¿=1

где р1 и Я - вес и параметр экспоненциальной компоненты; = 1.

При использовании такого подхода для модели Нь/Нк/1 задача сводится к определению числа экспонент смеси и параметров каждой экспоненциальной компоненты [5, 6]. Существуют различные методы определения данных параметров, в основном применительно к системе Н2/Н2/1, например, использование ЕМ-алгоритма, как показано в работах [7-8], а также по первым двум или трем моментам исходного распределения [9].

Для выбора необходимого количества компонент системы Hi/Hk/1 и определения параметров модели можно воспользоваться подходом, изложенным в [5, 6], где приведены некоторые примеры определения параметров системы M/G/1.

Рассмотрим алгоритм определения параметров гиперэкспоненциального распределения при решении задачи аппроксимации распределений с «тяжелыми хвостами». Последние могут обладать бесконечным средним и бесконечной дисперсией, являются разновидностью распределений с «длинным хвостом»; при этом «хвост» может длиться достаточно долго при сохранении конечного значения первых двух моментов. В основе рассматриваемого подхода лежит возможность аппроксимировать распределения вероятностей с «длинным хвостом» простыми распределениями с «коротким хвостом», например, набором экспоненциальных распределений.

Учитывая, что процессы, протекающие в инфо-коммуникационных сетях, как правило, определяются на конечном интервале, то для анализа их функционирования можно использовать модели системы массового обслуживания (СМО) при условии, что распределения случайных величин рассматриваются на конечном интервале [tit t2] [5].

Интервал [tt, t2] разбивается на несколько по-динтервалов, число которых соответствует числу экспонент в смеси. Параметры гиперэкспоненциальных распределений определяются на данных интервалах последовательно, начиная с интервала для максимальных значений случайной величины, где определяются первоначальные значения параметров гиперэкспоненты. Эта процедура повторяется рекуррентно для всех составляющих смеси экспонент на всех рассматриваемых интервалах.

Пусть F(t) - интегральная функция распределения вероятностей; F(c) (t) - дополнительная интегральная функция распределения или функция распределения хвоста, при этом F(c\t) = 1 — F(t). Обратим внимание, что распределение вероятностей имеет «длинный хвост», т. е. F(c^(t) убывает медленнее, чем экспоненциально: справедливо F(c\t) at-b при t ^ ж, для случая, когда а и b - положительные константы.

Известно, что одно из наиболее характерных распределений с «длинным хвостом» - распределение Вейбулла - имеет Р(с\1) в виде:

Р(с)(1) = е-(^

(2)

где а и г - параметры распределения Вейбулла.

Очевидно, что Р(с\1) для распределения Вейбулла в (2) имеет «тяжелый хвост», если а < 1.

Для гиперэкспоненциального распределения Нк, состоящего из смеси k экспоненциальных распределений, дополнительную интегральную функцию можно записать в виде:

(3)

где рь> 0 для всех i и Рь = 1.

В [5, 6] показано, что для случая, когда интегральная функция F имеет полностью монотонную плотность, существуют гиперэкспоненциальные интегральные функции Р(п\ п> 1, вида:

р(п)(^ = ^р(1- е-и),Ь> 0,

(4)

с Х< ю и рп1+... +Рпкп = 1 такие, что Р(п ^ F при п ^ ю.

Основная идея заключается в выборе некоторого интегрального распределения Р(п с конечным числом экспонент, аппроксимирующего исходное F. Число экспонент, дающее необходимую точность аппроксимации, определяется экспериментальным путем.

Точность аппроксимации

Точность аппроксимации может определяться на основе анализа дополнительных интегральных функций или плотностей распределения вероятностей исходного распределения и его аппроксимации. В качестве численных показателей достигнутой точности подгонки можно использовать абсолютную погрешность представления интегральной и дополнительной интегральной функции распределения. Для обеих функций абсолютная ошибка представляется как:

АЕ(Р,С) = = №)-Рт (5)

Относительная ошибка для функции распределения и дополнительной функции распределения, записывается в виде:

, ч \НС(1)-РС(1)\

тт^СО^ЧО}'

(6)

Рекурсивная процедура подбора параметров гиперэкспоненциального распределения

Рассмотрим рекурсивную процедуру для подгонки интегрального гиперэкспоненциального распределения Нк (0 к исходному интегральному распределению Р^) в области положительных значений, аналогично показанному в [5, 6].

Нк имеет дополнительное интегральное распределение (3), и связанная с ней плотность распределения вероятностей имеет вид:

КО = Л > 0,

(7)

где ^к=1Рь = 1,\> 0,р1> 0 для всех I

Пусть экспоненциальные параметры \ в (7) удовлетворяют условию: Х1 <...<Хк . Тогда компоненты с более высокими индексами имеют «хвосты», которые затухают быстрее. Идея данного алгоритма состоит в том, чтобы рекурсивно подбирать компоненты Нк парами, то есть начиная с пары (Ях, Рх), затем переходя к (Х2, р2) и так далее.

Рассмотрим предложенный в [5, 6] алгоритм определения параметров гиперэкспоненциального распределения, когда в качестве примера аппроксимируемого распределения используется распределение Вейбулла, с Р„(с\ 1) в виде (2). В этом случае процедура определения параметров гиперэкспоненциального распределения включает четыре этапа.

Этап 1. Определяется число k экспоненциальных компонентов и k аргументов, по которым будут сопоставляться квантили: 0 < ск < ск-1 <...< с1 , а также определяется параметр Ь, где ск - квантиль распределения, определяемый как временной отрезок, на котором рассчитываются и рь.

Этап 2. Определяется Х1 и р1 так, чтобы соответствовать функции Р]МС(0 при аргументах и Ьсх. При решении уравнений:

р^с, = ^(0(С1) = ехр(-^)а),

р^ьс, = Р^(ЬС1) = ехр(-

(8)

(9)

для р1 и Х1 предполагается, что с1, Ь, Рж(с\с1) и Рш(с\Ьс1) известны.

Основываясь на (8) и (9), можно вычислить р1 и Я1по выражениям:

Я1 = (ру,(с) ы/^« (ЬС1)) =

1

( Ь - 1) 1

1п(

*хрШ")

Ш)1

(10)

ехр|

к

=1

=1

к

п

=1

Pi = Fw(c)(Cl)eXlC1 = = exp (- (i) ) • exp(ÀiCi).

(11)

Этап 3. Определяются параметры Я и р1 для /-ой компоненты смеси при 2 <1 <к:

Fwikù = Fw/^li-i)(ci-i) - £

Pje-xJCi,

j=i -i

F(c)(bc) = F rwi \bl-iJ Г1

( C)

w( -i)

(bCi-i) - £

pje-xJbci.

(12) (13)

=i

При этом для распределения Вейбулла легко получить параметры /-ой компоненты смеси в виде:

Я = (р™ {Ъсд) =

exp |

I | у V Z / /_J J_ I

-i

0i = ( exp (- (^У) - £ Pje-Xici ) • exici.

=i

Этап 4. Определяется последняя пара параметра (Хк ,рк

k-i

pk = l-£pj,

(16)

=i

и, учитывая (12), Як рассчитывается в виде:

Я. = —ln\

Pk

. (17)

, exp |

Рекурсивная процедура подбора параметров гиперэкспонент для распределения Парето

Известно, что функция распределения Парето имеет вид:

Рр(х) = 1- (^У ,й> 0,к> 0,х> 0,

тогда дополнительная интегральная функция распределения Парето может быть записана как:

к

Алгоритм рекурсивного подбора параметров для распределения Парето будет аналогичен подходу, показанному для распределения Вейбулла, при этом для определения Я1 и р1 следует воспользоваться выражением (18). Параметры /-ой компоненты смеси для распределения Парето определяются по формулам (20, 21), и последняя пара параметров (Я: ,Рк) определяется по формулам (22, 23):

Я =

l

( b - l) i

(FP(C (ci)/FP(C (bci)) = . d Kci)

l

Я =

( b - l) i l

ln

ш)

(18)

( b - l) i l

ln

( b - l) i

ln

(F(C (Ci)/FPC (bCi)) =

( (¿)-mPj^ci ^

(20)

UbB -mPje-Xibci)

Pi

-i -i

i = ((—) -£Pje-XJci)^Xi:i

=i

k-i

(14)

(15)

Pk = 1-£Pj,

Xk = — ln

=i Pk

(21)

(22)

(23)

Примеры аппроксимации для распределений с «тяжелыми хвостами»

В качестве примеров рассмотрим распределение Вейбулла с двумя наборами параметров:

1) а = 0,8; 2 = 0,8865; средним значением т = 1, коэффициентом вариации 7= 1,26; а2 = 1,6;

2) а = 0,6; 2 = 0,6646; средним значением т = 1; коэффициентом вариации 7= 1,7; а2 = 3,09.

А также - распределение Парето с параметрами:

3) й = 2,2; к = 0,55; средним значением т = 1; коэффициентом вариации 7= 1,5; а2 = 2,31.

Используемые значения коэффициента вариации в данных примерах показывают, что рассматриваемые распределения обладают «тяжелыми хвостами». Результаты аппроксимации при условии использования различного числа экспонент в смеси представлены на рисунке 1.

Для распределения Вейбулла результаты аппроксимации показывают, что данный алгоритм позволяет добиться необходимой точности за счет увеличения числа экспонент. При аппроксимации Н20 функция распределения хвоста лежит значительно выше функции исходного распределения, что излишне его «утяжеляет». Достаточным для рассматриваемого случая можно принять результат аппроксимации Нб, поскольку он дает удовлетворительный уровень точности при небольшом числе экспонент.

На рисунке 2 представлены зависимости ошибки от времени для подгонки Н2, Нб, Н10 и Н20 согласно выражениям (5) и (6).

с

k

с

k

P

а)

F(c)(t)

b)

Рис. 1. Графики аппроксимации распределения Вейбулла: а) плотность; b) дополнительная интегральная функция

Fig. 1. Graphs of Weibull Distribution Approximation: а) Density; b) Complementary Cumulative Distribution Function

AE(t)

а)

RE(t)

Рис. 2. Ошибка аппроксимации распределения Вейбулла: а) абсолютная; b) относительная

Fig. 2. Approximation Error of the Weibull Distribution: а) Absolute; b) Relative

Анализ результатов, представленных на рисунках 1 и 2, показывает, что наиболее точную аппроксимацию показывает гиперэкспоненциальное распределение с шестью экспонентами. Абсолютная ошибка аппроксимации составляет от 1,5 до 12 %; ошибка в 12 % соответствует согласно (5) точке максимального расхождения кривых.

Пример аппроксимации распределения Парето показан на рисунке 3. Анализ аппроксимации распределения Парето дает результаты, аналогичные полученным для распределения Вейбулла. Визуально наиболее близкими являются аппроксимации с двумя и шестью экспонентами.

b)

Рис. 3. Графики аппроксимации распределения

Парето: а) плотность; b) дополнительная интегральная функция

Fig. 3. Graphs of Pareto Distribution Approximation: а) Density; b) Complementary Cumulative Distribution Function

Абсолютная и относительная ошибка для распределения Парето при аппроксимации двумя и шестью экспонентами показана на рисунке 4. При этом ошибка аппроксимации распределения Па-рето гиперэкспоненциальным распределением с шестью экспонентами составляет от 1,5 до 30%. 30% соответствует точке максимального расхождения кривых. В среднем ошибка не превышает 5% и для случая аппроксимации распределения Вей-булла и для случая аппроксимации распределения Парето.

AE(t)

a)

RE(t)

Рис. 4. Ошибка аппроксимации распределения Парето: а) абсолютная; b) относительная

Fig. 4. Approximation Error of the Pareto Distribution: а) Absolute; b) Relative

Особенностью данного алгоритма является то, что он не требует знания моментов распределения при его реализации. Поэтому его можно использовать, даже если моменты не существуют или неизвестны. Однако иногда бывает полезно вычислить несколько первых моментов исходного и аппроксимирующего распределений, чтобы оценить качество подгонки. В нашем случае, как было показано выше, качество подгонки было определено через оценивание точности с использованием выражений (5) и (6).

Заключение

В работе рассмотрен алгоритм определения параметров гиперэкспоненциальных распределений, применяемый для аппроксимации монотонно убы-

вающих распределений, с использованием подхода, основанного на рекурсивном подборе параметров гиперэкспонент. Показано, что данный алгоритм может быть успешно использован для аппроксимации распределений из класса распределений с «тяжелыми хвостами».

Приведены примеры, показывающие, что алгоритм эффективен для аппроксимации распределений Парето и Вейбулла; для первого абсолютная ошибка аппроксимации составляет от 1,5 до 12 %, а для второго - от 0,2 до 30%. Такие значения ошибки не превышают значений, получаемых при использовании других методов аппроксимации, например, методов, основанных на определении первых 2-х или 3-х моментов исходного распределения. Полностью монотонные плотности распределений могут быть аппроксимированы гиперэкспоненциальными плотностями распределений с необходимой точностью.

Предложенный алгоритм позволяет с высокой точностью провести статистическую аппроксимацию любого распределения, в том числе распределений с тяжелыми хвостами, весовой суммой экспонент. Представленный подход позволяет решать задачи определения основных параметров функционирования систем 0/0/1, например, таких как задержка и вариация задержки.

Установлено, что рассмотренный алгоритм определения параметров гиперэкспоненциальных распределений, с использованием подхода, основанного на рекурсивном подборе параметров гиперэкспонент, позволяет получить аппроксимацию исходного распределения с высокой точностью (ошибка не более 5 %).

Представляет интерес развитие данного подхода на модели систем, обрабатывающие трафик, обладающий фрактальными свойствами, что позволяет учесть корреляционные свойства трафика.

В дальнейших исследованиях предполагается дать сравнительный анализ точности и вычислительной сложности предложенного алгоритма с другими возможными алгоритмами аппроксимации.

Список источников

1. Клейнрок Л. Теория массового обслуживания. Пер. с англ. М.: Машиностроение, 1979. 432 с.

2. Шелухин О.И., Смольский С.М., Осин А.В. Самоподобие и фракталы. Телекоммуникационные приложения. М.: Физматлит, 2008. 368 с.

3. Kotz S., Johnson N.L., Read C.B. Encyclopedia of Statistical Sciences. Vol. 8. New York: Wiley, 1988. PP. 352-357.

4. Keilson J., Machihara F. Hyperexponential waiting time structure in hyperexponential H_K/H_L/1 system // Journal of the Operation Research Society of Japan. 1985. Vol. 28. Iss. 3. PP. 242-250. DOI:10.15807/jorsj.28.242

5. Feldmann A., Whitt W. Fitting mixtures of exponentials to long-tail distributions to analyze network performance models // Performance Evaluation. 1998. Vol. 31. Iss. 3-4. PP. 245-279. D0I:10.1016/S0166-5316(97)00003-5

6. Буранова М.А., Карташевский В.Г. Определение параметров гиперэкспоненциального распределения методом рекурсивного подбора // XXVII Международная научно-техническая конференция, посвященная 60-летию полетов в космос Ю.А. Гагарина и Г.С. Титова «Радиолокация, навигация, связь» (Воронеж, Россия, 28-30 сентября 2021). Воронеж: Издательский дом ВГУ, 2021. С. 43-54.

7. Королев В.Ю. EM-алгоритм его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. M.: ИПИ РАН, 2007. 94 с.

8. Buranova M., Ergasheva D., Kartashevskiy V. Using the EM-algorithm to Approximate the Distribution of a Mixture by Hyperexponents // Proceedings of the International Conference on Engineering and Telecommunication (EnT, Dolgoprudny, Russia, 20-21 November 2019). IEEE, 2019. DOI:10.1109/EnT47717.2019.9030551

9. Тарасов В.Н., Карташевский И.В. Определение среднего времени ожидания требований в управляемой системе массового обслуживания Н2/Н2/1 // Системы управления и информационные технологии. 2014. №3(57). С. 92-96.

References

1. Kleinrock L. Queueing Systems. Vol. 1: Theory. New York: Wiley-Interscience, 1975. 432 p.

2. Sheluhin O.I., Smolsky S.M., Osin A.V. Self-Similarity and Fractals. Telecommunication Applications. Moscow: Fizmatlit Publ.; 2008. 368 p. (in Russ.)

3. Kotz S., Johnson N.L., Read C.B. Encyclopedia of Statistical Sciences. New York: Wiley; 1988. vol.8. p.352-357.

4. Keilson J., Machihara F. Hyperexponential waiting time structure in hyperexponential H_K/H_L/1 system. Journal of the Operation Research Society of Japan. 1985;28(3):242-250. D01:10.15807/jorsj.28.242

5. Feldmann A., Whitt W. Fitting mixtures of exponentials to long-tail distributions to analyze network performance models. Performance Evaluation. 1998;31(3-4):245-279. DOI:10.1016/S0166-5316(97)00003-5

6. Buranova M.A., Kartashevskii V.G. Determination of the Parameters of Hyperexponential Distribution by the Method of Recursive Selection. Proceedings of the XXVIIth International Technical Conference on Radar, Navigation, Communications, 2830 September 2021, Voronezh, Russia. Voronezh: Voronezh State University Publ.; 2021. p.43-54. (in Russ.)

7. Korolyov V.Yu. The EM Algorithm, Its Modifications, and Their Application to the Problem of Separating Mixtures of Probability Distributions. Theoretical Review. Moscow: IPI RAN Publ.; 2007. 94 p. (in Russ.)

8. Buranova M., Ergasheva D., Kartashevskiy V. Using the EM-algorithm to Approximate the Distribution of a Mixture by Hyperexponents. Proceedings of the International Conference on Engineering and Telecommunication, EnT, 20-21 November 2019, Dolgoprudny, Russia). IEEE; 2019. D0I:10.1109/EnT47717.2019.9030551

1. Tarasov V.N., Kartashevskij I.V. Determination of the average Waiting Time for Requirements in a Managed Mass Service System. Sistemy upravleniya i informaci-onnye tekhnologii. 2014;3(57):92-96. (in Russ.)

Статья поступила в редакцию 14.03.2023; одобрена после рецензирования 22.03.2023; принята к публикации 20.04.2023.

The article was submitted 14.03.2023; approved after reviewing 22.03.2023; accepted for publication 20.04.2023.

БУРАНОВА Марина Анатольевна

Информация об авторах:

доктор технических наук, доцент, доцент кафедры информационной безопасности, начальник управления организации учебного процесса Поволжского государственного университета телекоммуникаций и информатики

https://orcid.org/0000-0003-2986-8252

КАРТАШЕВСКИИ Вячеслав Григорьевич

доктор технических наук, профессор, заведующий кафедрой информационной безопасности Поволжского государственного университета телекоммуникаций и информатики

https://orcid.org/0000-0003-1114-3966