Алгоритм динамического управления ресурсами больших систем на основе решения обратной задачи интервальных статистик выбросов Текст научной статьи по специальности «Математика»

УДК 621.37

М. И. Богачев

Санкт-Петербургский государственный электротехнический

университет "ЛЭТИ"

Алгоритм динамического управления ресурсами больших систем на основе решения обратной задачи интервальных статистик выбросов*

Рассмотрена задача динамического управления ресурсами большой системы с позиции сохранения фиксированной вероятности наступления нежелательного события в системе. Показано, что в случае, когда наступление такого события можно выразить как выброс случайного процесса, порождаемого большой системой, алгоритм управления может быть реализован как решение обратной задачи отыскания интервальных статистик выбросов такого процесса. Предложенный алгоритм апробирован на примере динамической оценки потребной пропускной способности узла телекоммуникационной сети и оценки критических уровней риска при метеорологическом прогнозировании.

ние, большая система, управление ресурсами, телекоммуникационная сеть, метеорологическое прогнозирование

В больших системах эффективным средством для предотвращения нежелательных состояний системы является динамическое распределение ресурсов. В качестве примеров могут быть приведены системы массового обслуживания, для которых в качестве примера нежелательного события будем рассматривать превышение динамической пропускной способности узла, приводящее к отказу в обслуживании; системы прогнозирования и предупреждения чрезвычайных ситуаций природного характера, где в качестве примера нежелательного события будем рассматривать превышение наблюдаемым показателем текущего защитного уровня, и некоторые другие. Как показано в литературе (см., например, [1]), подобные большие системы обладают рядом свойств, позволяющих осуществлять прогнозирование их динамики, в том числе в части появления выбросов порождаемых случайных процессов за заданные критические значения. К указанным свойствам относится долговременная зависимость, характеризуемая степенным убыванием автокорреляционной функции с теоретически бесконечным временем корреляции. Подобные свойства неоднократно отмечались в литературе для процессов, характеризующих динамику больших информационных [2]-[6], климатических [7]—[10] и экономических [11], [12] систем.

На основе этих результатов в работах [ 13]—[ 15] предложен способ прогнозирования динамики выбросов трафика в телекоммуникационных системах (ТКС) на основе интервальных статистик предыдущих выбросов. Данный способ связан с оценкой на основании известной функции распределения интервалов CQ (t) между последовательными превышениями заданного порога Q вероятности WQ (t, At) одно- или многократного превышения порога Q за интервал прогнозирования At, начиная с момента t, истекшего после по-

* Работа выполнена при поддержке Министерства образования и науки РФ в рамках ФЦП "Научные и научно-педагогические кадры инновационной России на 2009-2013 годы" (гос. контракт № П480 от 04.08.2009).

© Богачев М. И., 2010 11

следнего превышения порога. В настоящей статье рассматривается обратная задача - отыскание критического уровня (t, At), превышение которого возможно с заданной вероятностью Ж. Данный подход был впервые предложен в работах [16], [17] в контексте оптимизации управления инвестиционными ресурсами на финансовых рынках.

Для рассмотрения алгоритма зададимся значением требуемой вероятности непревышения порога Q, например р = 0.99. В самом общем случае значение порога Q можно определить, как квантиль распределения данных, из уравнения

е

F (е )= | р (г) dr=р, (1)

—да

где F (е) - функция распределения; Р (г) - плотность вероятности порождаемого большой системой случайного процесса. Если возникновение выбросов в системе можно принять независимым, оценка текущего значения порога е определяется из уравнения

р = 1—УR^, (2)

где RQ - средний интервал повторения выбросов.

В системах с непостоянными параметрами встает вопрос об оценке текущего распределения F*(г) или Р* (г). Широко применяется динамическая оценка текущего распределения на основании некоторой предыстории процесса [18]. При этом, как правило, длительность обучающего окна выбирается из условия I« RQ. Затем оцененное текущее

распределение используется в выражении (1).

При использовании интервальных статистик существует возможность обобщения уравнения (2) за счет использования условного среднего интервала между выбросами RQ (Г)), учитывающего длительность предшествующего интервала Г). При этом уравнение (2) преобразуется к виду

р = 1 — (го), (3)

откуда находится оценка текущего порога е.

Предложенный алгоритм основан на решении уравнения

р = 1 — Же (t, At), (4)

что позволяет учитывать информацию о времени t, истекшем после последнего выброса. Же (t, At) представляет собой семейство функций, причем при изменении значения порога е также в общем случае может изменяться значение t, так как изменяется определение выброса. Поэтому задача отыскания оптимального значения е, удовлетворяющего уравнение (4), может быть решена итерационно.

В качестве начального приближения на первом шаге удобно задаться значением ео, полученным из решения уравнения (2). Затем определяется время истекшее после последнего превышения анализируемым случайным процессом порога ео, и вычисляется оценка вероятности отсутствия выброса в интервале А^ 1 — Ж^ (At), которая сравнивается со 12

значением требуемой вероятности р. Если по результатам сравнения 1 — Ж^ (At)< р, значение порога повышается: е^ = е + AQ, AQ > 0, а если 1 — Ж^ (tо, At)> р, значение порога понижается: е^ = е — AQ, AQ > 0. Процесс продолжается до тех пор, пока не будет достигнуто значение 1 — Ж^ (At) « р. При дискретной реализации итерационным путем может быть найдено ближайшее к р значение 1 — Ж^ (At).

Критерием качества при сравнении различных рассмотренных подходов будем считать минимальный средний квадрат отклонения ег- = хг- — е^ спрогнозированного значения е^ от максимального значения х^, апостериори принятого случайным процессом на интервале At. При значениях At« 1/ (1 — р) такое приближение является наиболее близким,

так как в силу дискретности более точной оценки получить невозможно. В качестве интегральной меры качества использована кумулятивная среднеквадратичная ошибка по реа-

N 2

лизации Е\ = ^ ег- , где N - длина реализации. Далее приведены результаты анализа эмпи-

I=1

рических данных для простейшего случая At = 1.

На рис. 1, а показан фрагмент реализации поминутного исходящего трафика НТТР-сервера NASA (США) после исключения суточного тренда вычитанием среднего значения и деления на среднеквадратическое отклонение трафика за текущую минуту каждых суток (кривая 1), а также результаты оценки потребной пропускной способности для заданной вероятности перегрузки 1 — р = 0.01: на основании решения уравнения (2) (кривая 2); на основании решения уравнения (1) с текущими распределениями данных, оцененными по последним I = 100 отсчетам (кривая 3); на основании решения уравнения (3) (кривая 4) и на основании решения уравнения (4) с использованием предложенного итерационного алгоритма (кривая 5)*. На рис. 1, б приведены результаты оценки ошибки Е\, из которых видно, что последние

два метода: основанный на решении уравнений (3) и (4) и основанный на использовании интервальных статистик - дают наилучшие результаты. Для выбора оптимального из двух под— N —2 —

ходов построена зависимость Е\ = ^ ег- , где ег- - выборка положительных значений ег-

I=1

(рис. 1, в). Данная статистика полезна из тех соображений, что ошибка, связанная с пропуском выброса, при оптимизации алгоритмов управления в большинстве случаев характеризуется большим весом, нежели ложная тревога (недостаток пропускной способности и связанные с ним отказы в обслуживании являются более критичными, нежели некоторое недоиспользование зарезервированного ресурса). По данному показателю метод, основанный на решении уравнения (3), значительно проигрывает остальным трем методам, поэтому можно заключить, что при принятии в рамках весовой обработки результатов риска пропуска более

* Также проанализированы реализации исходящего трафика для трех других HTTP-серверов из открытой базы данных National laboratory on applied network research (http://www.nlanr.net), при этом получены качественно сопоставимые результаты.

200

100

200 300 а

Е -10

-8

6-

3 -

7000 14 000 21 000 28 000 35 000 г б

£-•10

-6

8 6 4 2

4

5

7000 14 000 21 000 28 000 35 000

в

Рис. 1

~\5 I 2 -1 \ Ц ' \

—-Г-Ц-!, , "

100 200 300 400 г

а

Ег -10

-6

0.8 -

0.4 -

7000 14 000 21 000 28 000 35 000 г б

ЕГ" 10

-3

4.4

2.2

У ■

у

у

5

7000 14 000 21 000 28 000 35 000

в

Рис. 2

высоким, чем риск ложной тревоги, из рассмотренных методов минимальной ошибкой обладает предложенный итерационный алгоритм, основанный на решении уравнения (4).

Аналогичная постановка задачи актуальна в задачах метеорологического и гидрологического прогнозирования, где требуется оценить максимальное значение наблюдаемого показателя при заданной вероятности его непревышения р. Репрезентативные примеры результатов анализа метеорологических и гидрологических данных для р = 0.99 приведены на рис. 2-4, по структуре аналогичных рис. 1. На рис. 2 приведены результаты анализа данных посуточного уровня осадков (Санкт-Петербург, Россия), на рис. 3 - максимальных наблюдаемых в течение суток температур (Казань, Россия), на рис. 4 - потока воды в реке (Северная Двина, Россия)*.

X

X

3

4

6

3

0

0

0

4

2

* Всего проанализировано более 30 реализаций каждого из приведенных типов данных, зарегистрированных в различных районах земного шара, каждая длительностью не менее 20 лет, в период с 1881 по 2009 гг. При этом получены качественно сопоставимые результаты. 14

7.5

0

- 7.5

- 15

0

х

4 - 2 У чр 1......

2 3

7 *> ^4 X—^ 5

0 - 1 \\ 1' ' \-И

- 2 1 1 1 ^"Т^

100

200

300

400

Е -10

-6

4 -

2 -

е; -10

-4

9000

18 000 27 000 б

/

4

\

4,

2 5 3

9000

18 000

в

Рис. 3

27 000

Ег -10

-4

8 -

4 -

5000 б

/ ЕГ-10

-2

12

__Г

3 2

2500

5000 в

Рис. 4

7500

Выводы на основе полученных при анализе метеорологических и гидрологических данных результатов качественно не отличаются от таковых для данных трафика ТКС. Количественные отличия можно наблюдать для анализа данных уровня осадков, где по критерию минимума общей среднеквадратической ошибки предложенный итерационный метод значимо проигрывает методу, основанному на решении уравнения (3) (рис. 2, б), а также занимает промежуточное положение по критерию минимума ошибки типа пропуска. Указанную специфику можно объяснить слабовыраженной долговременной зависимостью уровня осадков, что делает допущения, принятые при решении уравнений (1) и (2), более уместными, нежели при анализе остальных данных.

Таким образом, на основе полученных результатов в области интервальных статистик для процессов с долговременной зависимостью предложен итерационный алгоритм управления ресурсами в больших системах. Качество работы подтверждено на примере систем мониторинга трафика в большой ТКС и систем метеорологического и гидрологического прогнозирования.

х

0

а

а

0

0

4

4

2

6

5

0

0

Список литературы

1. Coles S. An introduction to statistical modeling of extreme events. New York: Springer, 2001. 210 p.

2. Шелухин О. И., Тенякшев А. M., Осин А. В. Фрактальные процессы в телекоммуникациях. M.: Радиотехника, 2003. 576 с.

3. On the self-similar nature of Ethernet traffic I W. E. Leland, M. S. Taqqu, W. Willinger, D. V. Wilson II IEEEIACM trans. on networking. 1994. Vol. 2. P. 1-15.

4. Paxson V., Floyd S. Wide area traffic: the failure of Poisson modeling II IEEEIACM trans. on networking. 1995. Vol. 3. P. 226-244.

5. Grossglauser M., Bolot J. C. On the relevance of long-range dependence in network traffic II IEEEIACM trans. on networking. 1999. Vol. 7. P. 629-640.

6. Park K., Willinger W. Self-similar network traffic and performance evaluation. New York: John Wiley & Sons, 2000. 576 p.

7. Christensen J. H., Christensen O. B. Severe summertime flooding in Europe II Nature. 2003. Vol. 421. P. 805.

8. Hurst H. E. Long-term storage: an experimental study. London: Constable & Co. Ltd, 1965. 145 p.

9. Mandelbrot B. B., Wallis J. R. Computer experiments with fractional gaussian noises II Water resour. res. 1969. Vol. 5. P. 228-241.

10. Rodriguez-Iturbe I. Fractal river basins - change and self-organization. Cambridge: Cambridge university press, 1997. 434 p.

11. Taylor S. Modeling financical time series. New York: John Wiley & Sons, 1986. 270 p.

12. Ding Z., Granger C. W., Engle R. F. A long memory property of stock returns and a new model II J. empir. Finance. 1993. Vol. 1. P. 83-106.

13. Богачев M. И. Статистический анализ и прогнозирование динамики случайных процессов в телекоммуникационных сетях с использованием мультифрактальных моделей трафика II Изв. вузов России. Радиоэлектроника. 2008. Вып. 2. С. 34-45.

14. Богачев M. И. Сравнительная оценка информативности кратковременной и долговременной зависимостей трафика при прогнозировании его динамики в телекоммуникационных системах II Изв. вузов России. Радиоэлектроника. 2009. Вып. 2. С. 52-59.

15. Bogachev M. I., Bunde A. On the occurrence and predictability of overloads in telecommunication networks II Europhys. lett. 2009. Vol. 86. P. 66002(1-6).

16. Bogachev M. I., Bunde A. Improved risk estimation in multifractal records: application to the value at risk in finance II Phys. rev. E. 2009. Vol. 80. P. 026131(1-6).

17. Bogachev M. I., Bunde A. Nonlinear memory and risk estimation in financial records II Econophysics approaches to large-scale business data and financial crisis I Ed. M. Takayasu, H. Takayasu, T. Watanabe. Tokio: Springer, 2010. P. 27-48.

18. Duffie D., Pan J. An overview of value at risk II J. of derivatives. 1997. Vol. 4. P. 7-49.

M. I. Bogachev

Saint-Petersburg state electrotechnical university "LETI"

An algorithm for dynamical resource management in large systems based on the return interval statistics inverse problem solution

Dynamical resource management in a large system is considered from the point of preserving a fixed probability of an extreme event to occur. An algorithm for resource management based on the inverse problem solution for return interval statistics of a process generated by a large system is suggested. The performance of the proposed algorithm is exemplified using dynamical required capacity estimation for a network node and critical risk levels estimation in meteorological prognosis.

Predicting, large system, resource management, telecommunication network, meteorological prognosis

Статья поступила в редакцию 12 февраля 2010 г.