CC BY
139
УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА
УДК 004.732
А. Х. Султанов, А. А. Габдрахманов, Н. Т. Габдрахманова
ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ДЛЯ ПРОГНОЗИРОВАНИЯ ИНТЕНСИВНОСТЕЙ САМОПОДОБНОГО ТРАФИКА ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ
Предложено использование нейросетевой модели (многослойный персептрон) для прогнозирования интенсивностей самоподобного трафика сети ЕШете! Для исследования использованы данные интенсивностей реально существующей сети. Приведены результаты прогнозирования и оценка погрешностей. Нелинейная динамика; теорема Такенса; нейронные сети; многослойный персептрон; временные ряды; трафик сети Ethernet; фрактальность
ВВЕДЕНИЕ
Исследования измерений на реальных высокоскоростных сетях передачи данных, измерений потока информации при передаче изображений с помощью кодов с переменной скоростью, измерений в сети Интернет и в других сетях [1-3] привели к открытию того, что трафик в них является самоподобным случайным процессом. На качественном уровне самоподобие проявляется в том, что имеется медленно убывающая зависимость между величинами трафика в разные моменты времени, а также в том, что трафик сбивается в пачки данных и эти пачки выглядят статистически подобными в широком диапазоне изменения масштаба по шкале времени.
Сегодня с появлением широкополосных сетевых сервисов, задачи повышения качества обслуживания, долгосрочного прогнозирования загрузки каналов связи, инженерия и управление сетью становятся все более актуальными.
Сетевой трафик, приведенный к эквидистантной форме по оси времени (с помощью процедуры агрегирования) представляет собой некоторый временной ряд (реализацию дискретного случайного процесса), мгновенные значения которого можно пытаться предсказывать с помощью существующих методик прогнозирования трафика простыми, авторегрессионным предсказателями, на базе ARMA, FARIMA-моделей [4]. Однако важнейшим из свойств самоподобных процессов является то, что такие процессы имеют выбросы, величина которых сохраняется как для агрегированных из них процессов (т. е. при усреднении по различным временным интервалам), так и при сумми-
Контактная информация: (347) 275-20-42 Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, проект 10-01 -00381 -а.
ровании независимых самоподобных процессов. Это означает, что распределение числа событий во времени для трафика, представимого самоподобным процессом, носит характер сложной взаимосвязанной последовательности случайных пачек поступлений, что делает моделирование такого потока событий весьма сложной и комплексной задачей [5].
1. ПОСТАНОВКА ЗАДАЧИ
Модель трафика Ethemet обладает сложным поведением, согласующимся с понятием детерминированного хаоса. Предполагается исследовать сетевой трафик методами нелинейной динамики.
Анализ сетевого трафика фактически сводится к задаче обработки временного ряда. Теория нелинейной динамики, используя теорему Такенса о погружении аттрактора в пространствах различной размерности, предоставляет широкие возможности для изучения идентификации и прогнозирования временных рядов. Под аттрактором понимается предельное множество траекторий в фазовом пространстве системы, к которому стремятся все траектории из некоторой окрестности этого множества.
Можно восстановить параметры динамической системы по единственной реализации (временному ряду) с помощью изучения траектории системы в m-мерном фазовом пространстве, координатами которого являются компоненты следующего вектора:
гг ={х,..., хг+(И+1)Т|,
где т - временной сдвиг. Данная операция называется погружением аттрактора в пространство размерности т. Результатом успешного погружения является выявление определенных закономерностей в поведении траектории системы в пространстве данной размерности.
Для решения задачи идентификации и прогноза временного ряда предлагается использовать нейронные сети. Нейронные сети обладают обобщающей способностью.
Дан временной ряд самоподобного процесса:
брана нормировка, использующая статистические характеристики данных, такие как выборочная средняя и дисперсия:
{х ((), (е1, N}
где Х(0 - интенсивность трафика в момент времени (. Необходимо построить по экспериментальным данным математическую модель для вычисления прогнозных значений Х(0 на 3 шага вперед с заданной точностью.
2. РЕШЕНИЕ ЗАДАЧИ
Для решения поставленной задачи были использованы реально измеренные данные интенсивностей трафика на порту пограничного коммутатора сети компании Х и магистралью.
Спецификация модели:
• вектор входных переменных:
Z(f) = {Г, ДО, X(Г - 1),..., - 4)},
• вектор выходных переменных:
7(0 = {Х^ + 1), ХЦ + 2), ХЦ + 3)}.
Необходимо построить отображение вида:
7 ^(0),
где /^( ) - оператор нейросетевого отображения.
Основные этапы решения задачи
1 этап. Решается задача предобработки данных.
Предварительно необходимо исключить или скорректировать аномальные точки. Далее осуществляется выбор формул нормировки и нормировка всех данных. Общий принцип нормировки данных для построения нейросетевых моделей состоит в максимизации энтропии входов и выходов. Рассмотрим произвольную компоненту нормированных (предобработанных) данных: X. . Среднее количество информации, приносимой каждым примером X0 , где а, . - номер строки и столбца соответственно, равно энтропии распределения значений этой компоненты Н(X.). Если эти значения сосредоточены
в относительно небольшой области единичного интервала, информационное содержание такой компоненты мало. Напротив, если значения переменной хга равномерно распределены
в единичном интервале, информация такой переменной максимальна. Для нашей задачи вы-
х. =-
X. - X: 1
1 Р 1 Р 2
,х ° р Xх0 ,°2° рзт X (х° - х).
Р 0=1 Р 1 0=1
2 этап. Выбор модельной структуры.
Для решения поставленной задачи предлагается использовать нейронные сети типа многослойный персептрон (МЬР) [6]. МЬР обеспечивает аппроксимацию неизвестной функциональной взаимосвязи между входным и выходным векторами по данным наблюдений. Нейро-сетевые модели (НСМ) на основе МЬР обладают рядом свойств, необходимых для решения нашей задачи: способностью к обобщению информации, способностью строить нелинейные отображения, являются адаптивными моделями.
В случае многослойного персептрона с двумя скрытыми слоями нейронная сеть строит отображение вида:
УЦ) = ^ (X ^)) = /з(^0 +
К М п
+Х^3к/2 ^20т + X^2ш/1 (XМ/1.Х. ^) + ^10.'))),
к=1 т=1 .=1
где . = 1, 2,...,п - число нейронов входного слоя; т = 1, 2,...М - число нейронов первого скрытого слоя; к =1, 2,.,К - число нейронов второго скрытого слоя; /1, /2, /3 - функции активации нейронов первого и второго слоев; ^ш, ^20т ^30 - начальное возбуждение .-го, к-го нейрона первого, второго скрытого и выходного слоев; ^и, м2т w3k - весовые коэффициенты; xг■(f) - .-я координата входного вектора. Предполагается также, что функции активации нейронов одного слоя одинаковые. Вид функции активации определяется характером решаемой задачи. Например, в качестве функции активации может быть использована на первом слое нечетная сигмоидальная функция:
= 1 - ехр(-а^,
1 + ехр(-ау)
где а - параметр, определяющий наклон функции, V - аргумент активационной функции нейрона.
При выбранной модельной структуре нейросети процедура обучения представляет собой отображение множества экспериментальных данных на множество параметров (весовых коэффициентов) НСМ с целью получения оптимального в силу некоторого критерия, выходного сигнала. Для набора данных обучения вектор синоптических весов ^ можно вычислить путем минимизации функции стоимости по w:
E (w) = ±- Z (Y (t) - F(X(t), w)2,
2 .W t
где w e f - набор свободных параметров (синоптических весов), выбранных из пространства параметров весов.
3. ОСНОВНЫЕ РЕЗУЛЬТАТЫ РЕШЕНИЯ ЗАДАЧИ
Моделирование проводилось в среде
MATLAB с использованием пакета Neural Networks Toolbox, который содержит средства для проектирования, моделирования, обучения искусственных нейронных сетей.
При построении НСМ весь массив данных разбит на 3 массива: обучающая, валидационная и тестовая выборка. По данным обучающей и валидационной выборки построены НСМ с ранним остановом. Архитектура нейросети: многослойный персептрон имеющий два скрытых слоя с обратным распространением ошибки, в котором используется итеративный градиентный алгоритм обучения с целью минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода сети. Функция активации нейронов скрытого слоя - гиперболический тангенс; выходного слоя - линейная функция. В процессе исследования обучалась НСМ с различным числом нейронов в скрытых слоях и количеством эпох обучения, определялась интегральная ошибка.
По результатам исследования выявлено, что оптимальное количество нейронов в первом скрытом слое - 8, во втором - 4.
На рис. 1 представлены результаты обучения: график зависимости MSE от числа эпох обучения нейросети по данным обучающего и валидационного массивов.
Рис. 1. График зависимости МЖ от числа эпох обучения НС по данным обучающего массива и валидационного массива
Результаты обучения НСМ представлены в табл. 1. В таблице использованы следующие обозначения: М8Б - среднеквадратическая
ошибка обучения; NMSE - нормализованная
среднеквадратическая ошибка обучения; Min Abs Error - минимальная абсолютная ошибка обучения нейросети; Max Abs Error - максимальная абсолютная ошибка обучения нейросети. Приведенные результаты свидетельствуют о хорошей степени аппроксимации.
Таблица 1
Результаты обучения НСМ
Best Networks Training Cross Validation
Epoch # 1GGG 1GGG
Minimum MSE G,GG3861582 G,GG3568693
Final MSE G,GG3861582 G,GG3568693
Входные и выходные данные, а также результаты тестирования представлены на рис. 25 ив табл. 2-5. В таблице использованы следующие обозначения: МАЕ - максимальная абсолютная ошибка тестирования; Training - обучение; Cross Validation - перекрестная проверка; Epoch # - число эпох; Minimum MSE - минимальная среднеквадратическая ошибка обучения; Final MSE - финальная среднеквадратическая ошибка обучения; r - коэффициент парной корреляции между двумя столбцами: столбцом вычисленных и декларированных значений выходного параметра, вычисленный по формуле:
n
I(X - X )(у - y)
I(X - x )\ I(у, - У У
Таблица 2 Результаты тестирования НСМ
Performance in6 in7 in8
MSE 1,G5E-G1 1,73E-G1 2,51E-G1
NMSE 1,31E-G1 2,15E-G1 3,12E-G1
MAE 2,G8E-G1 2,66E-G1 3,1GE-G1
Min Abs Error 3,28E-G5 4,36E-G5 2,46E-G4
Max Abs Error 2,89E+GG 2,98E+GG 4,G7E+GG
r 9,35E-G1 8,96E-G1 8,46E-G1
Рис. 2. График результатов тестирования нейросети значений вектора ДО+1), Х(/+2), Х(/+3)}
,=1
r =
n
Т аблица 3
X Массив векторов входных данных
N г Х(г - 4) 1 3) 1 2) Х(г - 1) Х(г)
1 2,34 -6,67Е-01 -6,23Е-01 -6,56Е-01 -6,48Е-01 -6,39Е-01
2 2,35 -6,23Е-01 -6,56Е-01 -6,48Е-01 -6,39Е-01 -6,79Е-01
3 2,36 -6,56Е-01 -6,48Е-01 -6,39Е-01 -6,79Е-01 -7,02Е-01
4 2,37 -6,48Е-01 -6,39Е-01 -6,79Е-01 -7,02Е-01 -6,66Е-01
5 2,38 -6,39Е-01 -6,79Е-01 -7,02Е-01 -6,66Е-01 -6,81Е-01
6 2,39 -6,79Е-01 -7,02Е-01 -6,66Е-01 -6,81Е-01 -6,89Е-01
7 2,4 -7,02Е-01 -6,66Е-01 -6,81Е-01 -6,89Е-01 -7,12Е-01
8 2,41 -6,66Е-01 -6,81Е-01 -6,89Е-01 -7,12Е-01 -7,01Е-01
9 2,42 -6,81Е-01 -6,89Е-01 -7,12Е-01 -7,01Е-01 -6,91Е-01
10 2,43 -6,89Е-01 -7,12Е-01 -7,01Е-01 -6,91Е-01 -7,28Е-01
11 2,44 -7,12Е-01 -7,01Е-01 -6,91Е-01 -7,28Е-01 -6,14Е-01
12 2,45 -7,01Е-01 -6,91Е-01 -7,28Е-01 -6,14Е-01 -6,28Е-01
13 2,46 -6,91Е-01 -7,28Е-01 -6,14Е-01 -6,28Е-01 -6,58Е-01
14 2,47 -7,28Е-01 -6,14Е-01 -6,28Е-01 -6,58Е-01 -6,53Е-01
15 2,48 -6,14Е-01 -6,28Е-01 -6,58Е-01 -6,53Е-01 -6,31Е-01
16 2,49 -6,28Е-01 -6,58Е-01 -6,53Е-01 -6,31Е-01 -5,89Е-01
17 2,5 -6,58Е-01 -6,53Е-01 -6,31Е-01 -5,89Е-01 -7,42Е-01
18 2,51 -6,53Е-01 -6,31Е-01 -5,89Е-01 -7,42Е-01 -6,57Е-01
19 2,52 -6,31Е-01 -5,89Е-01 -7,42Е-01 -6,57Е-01 -4,90Е-01
20 2,53 -5,89Е-01 -7,42Е-01 -6,57Е-01 -4,90Е-01 -6,21Е-01
Т аблица 4
X Массив векторов выходных данных
N Х(г + 1) Х\г + 1) Х(г + 2) Хл(г + 2) Х(г + 3) Х\г + 3)
1 -6,79Е-01 -6,93Е-01 -7,02Е-01 -6,86Е-01 -6,66Е-01 -6,76Е-01
2 -7,02Е-01 -7,02Е-01 -6,66Е-01 -6,93Е-01 -6,81Е-01 -6,84Е-01
3 -6,66Е-01 -7,18Е-01 -6,81Е-01 -7,07Е-01 -6,89Е-01 -7,00Е-01
4 -6,81Е-01 -7,09Е-01 -6,89Е-01 -6,99Е-01 -7,12Е-01 -6,93Е-01
5 -6,89Е-01 -7,13Е-01 -7,12Е-01 -7,02Е-01 -7,01Е-01 -6,96Е-01
6 -7,12Е-01 -7,24Е-01 -7,01Е-01 -7,12Е-01 -6,91Е-01 -7,04Е-01
7 -7,01Е-01 -7,32Е-01 -6,91Е-01 -7,19Е-01 -7,28Е-01 -7,14Е-01
8 -6,91Е-01 -7,29Е-01 -7,28Е-01 -7,16Е-01 -6,14Е-01 -7,11Е-01
9 -7,28Е-01 -7,28Е-01 -6,14Е-01 -7,15Е-01 -6,28Е-01 -7,10Е-01
10 -6,14Е-01 -7,41Е-01 -6,28Е-01 -7,26Е-01 -6,58Е-01 -7,22Е-01
11 -6,28Е-01 -7,12Е-01 -6,58Е-01 -7,03Е-01 -6,53Е-01 -6,92Е-01
12 -6,58Е-01 -7,00Е-01 -6,53Е-01 -6,91Е-01 -6,31Е-01 -6,80Е-01
13 -6,53Е-01 -7,11Е-01 -6,31Е-01 -7,00Е-01 -5,89Е-01 -6,86Е-01
14 -6,31Е-01 -7,05Е-01 -5,89Е-01 -6,97Е-01 -7,42Е-01 -6,86Е-01
15 -5,89Е-01 -6,84Е-01 -7,42Е-01 -6,77Е-01 -6,57Е-01 -6,68Е-01
16 -7,42Е-01 -6,73Е-01 -6,57Е-01 -6,67Е-01 -4,90Е-01 -6,53Е-01
17 -6,57Е-01 -7,19Е-01 -4,90Е-01 -7,07Е-01 -6,21Е-01 -7,00Е-01
18 -4,90Е-01 -7,08Е-01 -6,21Е-01 -6,99Е-01 -5,76Е-01 -6,90Е-01
19 -6,21Е-01 -6,38Е-01 -5,76Е-01 -6,38Е-01 -5,14Е-01 -6,24Е-01
20 -5,76Е-01 -6,69Е-01 -5,14Е-01 -6,61Е-01 -5,04Е-01 -6,44Е-01
Т аблица 5
Относительные ошибки и ошибки вычисления НСМ
N Е(1 + 1) Еотн (? + 1) Е(г + 2) Еотн (? + 2) Е(і + 3) Еотн (? + 3)
1 0,014705 О4 2 - -0,01644 2% 0,009621 -1%
2 1,14Е-05 0% 0,026462 % О4 4 - 0,002827 0%
3 0,052086 % О4 8 - 0,025828 % о4 4 - 0,011527 % О4 2 -
4 0,028104 % о4 4 - 0,010851 % о4 2 - -0,01955 3%
5 0,024655 % о4 4 - -0,01021 1% -0,00558 1%
6 0,011939 % о4 2 - 0,010922 % о4 2 - 0,013381 % о4 2 -
7 0,031023 % о4 4 - 0,028465 % о4 4 - -0,01371 2%
8 0,038199 % о4 6 - -0,01142 2% 0,097478 -16%
9 0,000262 0% 0,10175 -17% 0,082265 -13%
10 0,12753 -21% 0,098782 -16% 0,063332 -10%
11 0,084598 -13% 0,044169 % о4 7 - 0,039207 % О4 6 -
12 0,041713 % о4 6 - 0,038145 % о4 6 - 0,049092 % о4 8 -
13 0,057785 % о4 9 - 0,068658 -11% 0,097479 -17%
14 0,073982 -12% 0,10764 -18% -0,05607 8%
15 0,095431 -16% -0,06504 9% 0,010541 % О4 2 -
16 -0,06963 9% 0,010406 % О4 2 - 0,163379 -33%
17 0,062337 % о4 9 - 0,216793 -44% 0,07901 -13%
18 0,217826 -44% 0,077698 -13% 0,113946 -20%
19 0,016888 % О4 3 - 0,062621 -11% 0,110806 -22%
20 0,092891 -16% 0,147761 -29% 0,140593 -28%
Рис. 3. График результатов тестирования нейросети значений Х(1+1)
Рис. 5. График результатов тестирования нейросети значений Х(г + 3)
- і п7 — Іп7 Оиірігі:
І
і і !и
] (і, її и
Л
—139 77 115 153 191 229 267 305 343 381 419 457 495
Рис. 4. График результатов тестирования нейросети значений Х(7 + 2)
Использованные обозначения:
Е(. + 1) - ошибка вычисления НСМ:
Е(. + 1) = X(. + 1) - ХА(. +1), где Х(. + 1) - регламентированное значение интенсивности в точке (. + 1);
Еотн(. + 1) - относительная ошибка вычисления НСМ:
Е0тн(. + 1) = ДО + 1) - ХА(. + 1)) / Х(1 + 1);
ХА(. + 1) - вычисленное НСМ значение интенсивности в точке (. + 1).
ВЫВОДЫ
1. Полученные результаты свидетельствуют о том, что для решения задачи прогнозирования интенсивностей сомоподобного трафика сети Ethernet можно использовать нейросете-вые технологии.
2. Возможность прогнозирования интенсивностей самоподобного трафика сети позволяет получить данные для решения задачи управления, а именно задачи формирования алгоритма предотвращения перегрузки.
СПИСОК ЛИТЕРАТУРЫ
1. On the self-similar nature of ethernet traffic / W. E. Leland [et al.] // Proc. ACM SIG COMM’93, San Francisco, CA, 1993. P. 183-193.
2. Crovella M. E., Bestavros A. Self-similarity in world wide web traffic evidence and possible causes // Proc. of the 1996 ACM SIGMETRICS: Intern. conf. on Measurement and modeling of computer systems, May, 1996 and IEEE/ACM Trans on Networking, 1997. V. 5, № 6. P. 835-846.
3. Городецкий А. Я., Заборовский В. С. Информатика. Фрактальные процессы в компьютерных сетях: Учеб. пособие. СПб.: СПбГТУ, 2000.
4. Шелухин О. И., Осин А. В., Смоль-ский С. М. Самоподобие и фракталы. Телекоммуникационные приложения. М.: Физматлит, 2008. 368 с.
5. Крылов В. В., Самохвалова С. С. Теория телетрафика и ее приложения. СПб.: БХВ-Петербург, 2005. 288 с.
6. Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006. 1104 с.
ОБ АВТОРАХ
Султанов Альберт Ханович, проф., зав. каф. телекоммуникац. систем. Дипл. инженер по много-канальн. электросвязи (Новосибирск. электротехн. ин-т связи, 1973). Д-р техн. наук по упр-ю в техн. системах, применению вычисл. техники, матем. мо-делир-я и матем. методов в науч. иссл. (УГАТУ, 1996). Иссл. в обл. телекоммуникац. систем, оптоэлектронных аэрокосмических систем.
Г абдрахманов Артур Айратович, инженер связи ЗАО «Самара-Транстелеком». Дипл. инж. по мно-гоканальн. системам связи (УГАТУ, 2005). Иссл. в обл. самоподобн. и фрактальные процессы в теле-коммуникац. сетях. Иссл. в обл. самоподобия трафика телекоммуникац. сети с пакетн. передачей данных, нейронных сетей.
Габдрахманова Наиля Талгатовна, доц. каф. высш. матем. РУДН. Канд. техн. наук.
Иссл. в обл. матем. моделир-я, нейросетевого моделирования.
