Методы прогнозирования параметров телекоммуникационных систем с использованием нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

-------------------□ □-----------------------

У статті надано опис основних особливостей архітектур нейронних мереж, що використовуються для передбачення часових рядів, вказані їх основні переваги та недоліки. Сформульовано вимоги до вибірок, що використовуються для навчання

Ключові слова: нейронні мережі, передбачення часових рядів

□-----------------------------------□

В статье описаны основные особенности различных нейросетевых структур, использующихся для предсказания временных рядов,

показаны их основные достоинства и недо-

статки. Сформулированы требования к обучающим выборкам

Ключевые слова: нейронные сети, предсказание временных рядов

□-----------------------------------□

The article describes the mainfeatures of different neural structures that are used for time series prediction and shows their main advantages and disadvantages. The requirements to the training set are formulated

Keywords: neural networks, time series prediction

-------------------□ □-----------------------

УДК 004.732

МЕТОДЫ ПРОГНОЗИРОВАНИЯ ПАРАМЕТРОВ ТЕЛЕКОММУНИКАЦИОННЫХ

СИСТЕМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ

К.А. Овчинников

Аспирант

Кафедра телекоммуникационных систем Харьковский национальный университет радиоэлектроники пр. Ленина, 14, г. Харьков, Украина, 61166 Контактный тел.: 096-828-83-39 E-mail: vonhaimek@gmail.com

1. Введение

Современные телекоммуникационные сети характеризуются значительным количеством элементов, большими объемами обрабатываемого трафика и множеством предоставляемых сервисов. Для эффективного функционирования таких сложных систем, как ТКС, необходима система автоматического управления, позволяющая гибко реагировать на изменения показателей трафика и качества обслуживания. Важной составляющей частью любой системы управления является блок прогнозирования состояния контролируемых параметров, который позволяет частично преодолеть устаревание статистической информации о состоянии сети и применять превентивные управляющие воздействия. Существует множество подходов для анализа и прогнозирования временных рядов (последовательности значений наблюдаемого параметра): метод Винтерса, АЯМА-модель, ЛШМЛ-модель и др. Значительный интерес привлекает прогнозирование при помощи нейронных сетей, дающее многообещающие результаты.

2. Анализ литературных данных и постановка проблемы

В последнее время наблюдается рост числа публикаций, посвященных оценке и предсказанию различных экономических показателей при помощи нейронных сетей (НС), что связано с развитием математического аппарата НС, появлением эффективных алгоритмов обучения и высокими показателями

качества формируемых НС предсказаний [1]. По результатам наблюдений формируется временной ряд значений некоторого параметра, на основании которого выбирается множество обучающих выборок для НС. Обученная нейронная сеть используется для предсказания изменений наблюдаемого параметра на основании текущих измеренных значений. Предлагается использовать данный подход для прогнозирования изменений параметров ТКС с целью повышения эффективности принимаемых управляющих воздействий (например, для борьбы с ростом задержек и потерь при перегрузке маршрутов передачи трафика).

3. Цель и задачи исследования

Целью данной работы является анализ возможностей различных нейросетевых структур в области предсказания значений временных рядов и формулирование рекомендаций к их применению для задач прогнозирования параметров ТКС.

При решении задач прогнозирования роль нейронной сети состоит в предсказании будущей реакции системы по ее предшествующему поведению. Обладая информацией о значениях переменной х в моменты, предшествующие прогнозированию х(к -1) , х(к - 2), ..., х(к - N , сеть вырабатывает решение, каким будет_наиболее вероятное значение последовательности х(к) в текущий момент к. Для адаптации весовых коэффициентов сети используются фактическая погрешность прогнозирования £ = х(к) - х(к) и значения этой погрешности в предшествующие моменты времени [2].

........................уз

4. Основные типы НС

Для решения задачи прогнозирования могут применяться следующие типы сетей: многослойный персептрон (Multilayer perceptron, MLP), радиальнобазисная сеть (Radial Basis Function, RBF), обобщеннорегрессионная сеть (General Regression Neural Network, GRNN) и сеть Вольтерра.

Многослойный персептрон

При использовании многослойного персептрона с двумя скрытыми слоями (рис. 1) нейронная сеть строит отображение множества экспериментальных данных на множество параметров (весовых коэффициентов) НС с целью получения оптимального в силу некоторого критерия выходного сигнала [3]. Это отображение имеет вид:

Y(t) = F(X(t)) = f3(w30 +

K M n , (1)

+ X W3kf2(W20m +X W2kf1(X W1iXi(t) + W10i)))

k=1 m=1 i=1

где i = 1,n - число нейронов входного слоя; m = 1,M -

число нейронов первого скрытого слоя, k = 1,K - число нейронов второго скрытого слоя; f , f2, f3 - функции активации первого, второго скрытого слоев и выходного слоя соответственно; w10i, w20m , w30 - начальное возбуждение i -го нейрона первого скрытого слоя, m -го нейрона второго скрытого слоя и выходного слоя соответственно; w1i, w2m , w3k - весовые коэффициенты (сила синаптической связи); xi(t) - i -й элемент входного вектора.

слой слой 1 слой 2 слой

Рис. 1. Многослойный персептрон с двумя скрытыми слоями

Функции активации одного слоя принимаются одинаковыми и зависят от типа решаемой задачи.

Для обучения MLP может применяться метод окон, предполагающий наличие двух окон ^ и W0 с фиксированными размерами п и т соответственно. Эти окна способны перемещаться с некоторым шагом по временной последовательности наблюдаемых данных, начиная с первого элемента, и предназначены для доступа к данным временного ряда, причем первое окно ^ , получив такие данные, передает их на вход нейронной сети, а второе - W0 - на выход. Т.о., на каждом шаге формируется обучающая пара ^ ^ W0, которая используется для подстройки параметров сети.

Многослойный персептрон - одна из самых популярных и используемых НС, что обуславливается его универсальностью и развитостью математического описания. Однако одной из главных проблем при

з.................................................

построении MLP остается отсутствие однозначных подходов к определению связности сети и количеству скрытых слоев для различных задач.

Радиально-базисные сети

Радиально-базисные сети (RBF) широко используются в задачах классификации. Они содержат один входной слой, один скрытый слой нейронов, число которых обычно соответствует числу элементов в обучающей последовательности, и один выходной слой из одного или нескольких нейронов. Радиально-базисная нейронная сеть представлена на рис. 2.

слой слой слой

Рис. 2. Радиально-базисная нейронная сеть

Выход RBF-сети с одним выходным нейроном описывается формулой:

УОО = ^№))-Wi, (2)

i=1

где {^}eF, 1 = 1,т - множество функций активации; Wi - синаптические веса для каждой радиальной функции ^ . Функция активации может быть определена как гауссова:

f = ехр(— —), г

где с - центральная точка функции f , г - ее радиус; х - вектор входных значений.

Обучение радиально-базисных сетей происходит при помощи кластеризации. Каждый кластер имеет свой центр, который может быть выбран как центр радиально-базисной функции. Существует множество алгоритмов для определения центров кластеров: метод к -средних, метод нечетких с -средних, LBG (алгоритм Linde-Buzo-Gгay) и др. Алгоритмы кластеризации вычисляют центры кластеров таким образом, чтобы суммарная квадратическая ошибка представления данных на т центрах кластеров была минимальной.

Для корректировки весов используется метод наименьших квадратов или метод псевдообратных (сингулярное разложение).

RBF-сети имеют как ряд достоинств (компактность, быстрая обучаемость), так и недостатков. Например, неумение сетей RBF экстраполировать свои выводы за область известных данных приводит к падению отклика сети до нуля при удалении от обучающего множества [4].

Обобщенно-регрессионная сеть (GRNN)

Обобщенно-регрессионная сеть реализует методы ядерной аппроксимации [5]. В задачах регрессии выход сети может рассматриваться как ожидаемое значение модели в данной точке пространства входов. Это

ожидаемое значение связано с плотностью вероятности совместного распределения входных и выходных данных.

В точку расположения каждого обучающего наблюдения помещается гауссова ядерная функция:

К(х,х,) =

1 ^(х,х,\

(о",& )‘ехр( 2о2 ’,

У(1) = ^

у0

Достоинством сети GRNN можно считать определенность структуры: сеть фактически вмещает в себя все обучающие данные. С другой стороны, такая структура НС и является ее самым большим недостатком: при большом объеме обучающих данных скорость работы сети падает, иногда очень существенно, по причине заметного увеличения сложности архитектуры.

Выходное значение сети имеет вероятностный смысл, поэтому его легче интерпретировать. При небольшом объеме входных данных сеть очень быстро обучается.

где о - СКО вдоль каждой оси; d - количество размерностей в точке х; D(x,xi) - расстояние между точкой х и экземпляром х1. Считается, что каждое наблюдение свидетельствует о некоторой уверенности в том, что поверхность отклика в данной точке имеет определенную высоту, и эта уверенность убывает при отходе в сторону от точки. GRNN-сеть копирует внутрь себя все обучающие наблюдения и использует их для оценки отклика в произвольной точке. Окончательная выходная оценка сети получается как взвешенное среднее выходов по всем обучающим наблюдениям, где величины весов отражают расстояние от этих наблюдений до той точки, в которой производится оценивание (и, таким образом, более близкие точки вносят больший вклад в оценку).

Структура нейронной сети GRNN представлена на рис. 3.

GRNN-сеть имеет два скрытых слоя: слой радиальных элементов и слой элементов, которые формируют взвешенную сумму для соответствующего элемента выходного слоя. В выходном слое определяется взвешенное среднее путем деления взвешенной суммы и^) = Хvj(t) , где vj(t) - выход ] ;=1 -Л

-го нейрона RBF слоя, на сумму весов у0 = > wi . В

качестве радиальной функции применяется функция Гаусса. Таким образом, окончательный прогноз определяется как:

Входной

слой

RBF

слой

Слой

сумматоров

Выходной

слой

Рис. 3. Обобщенная структура сети GRNN

Нейронная сеть Вольтерра

Нейронная сеть Вольтерра - это динамическая сеть для нелинейной обработки последовательности сигналов, задержанных относительно друг друга. Обобщенный вид сети Вольтерра представлен на рис.

4. Возбуждением для сети в момент времени t служит вектор х = (х^х^.^х^), где L - количество единичных задержек, а ^ +1) означает длину вектора. В соответствии с определением ряда Вольтерра выходной сигнал у генерируется по формуле (4):

L L L

У^) = X WiX(t -1) + X X Wi1 *х^ -11 )х^ -12) +

, 11 =112=1 . (4)

- il)x(t - i2)...x(t - ік)

(3)

Здесь х обозначает входной сигнал, а веса wi,wij,...wijk и т.д., называемые также ядрами Вольтерра, соответствуют реакциям высших порядков, порядок данного полинома К называется степенью ряда Вольтерра. В случае адаптации реакции системы Вольтерра к заданной последовательности значений необходимо определить соответствующую целевую функцию, например Е = 0.5[у^)-d(t)]2 и минимизировать её значение с

хі(і)

ХпО) х() ХпО) хіЮ ХпО)

Рис. 4. Обобщенный вид сети Вольтерра

Номер

слоя

Кол-во

нейронов

0 1

1 п

2 п2

3 п3

• •

• •

• •

К-1 пк-1

К пк

использованием универсальных способов оптимизации нейронных сетей [6].

На данном рисунке п - количество переменных обучающей выборки, т.е размерность вектора входных параметров [х1,...,хп]; к - количество заданных слоев сети. Как видно из рисунка, сеть Вольтерра геометрически возрастает при увеличении количества переменных и количества слоев. Количество нейронов в слое равно п8, где 8 - номер слоя.

Структуры Вольтерра дают неплохие результаты при прогнозировании временных рядов, однако процесс обучения этих сетей достаточно трудоемкий и некачественные обучающие выборки могут привести к значительному снижению точности предсказания.

5. Формирование обучающей выборки

Для обеспечения качественного обучения, а также достоверного прогноза обучающая выборка должна отвечать следующим требованиям:

1. Представительность. В общем случае для задач классификации под представительностью понимается наличие достаточного количества примеров, описывающих все многообразие распознаваемых классов. Для прогнозирующих НС под представительностью ОВ понимается то, что данные об изменении прогнозируемой величины должны быть взяты за период времени, достаточный для построения достоверного прогноза.

2. Равномерность: количество обучающих наборов в классах должно быть соизмеримо. Для оценки неравномерности обучающей выборки используется среднеквадратическое отклонение количества обучающих наборов в классе:

К^В = °^ОН) .

3. Непротиворечивость. Под непротиворечивостью понимается отсутствие в обучающей выборке одинаковых объектов, принадлежащих к различным классам. Оценка противоречивости выборки [7]:

1п

Сов = - X Сй, п1

где С - парная противоречивость (противоречивость двух обучающих наборов, 1 -го и ] -го, принадлежащих соответственно классам Ат и Лп:

С = АЛтп

1 Аа^ + ААтп ’

где ААтп = |Лт - Лп | - расстояние между центроидами классов т и п ; Аа^ - расстояние между объектами этих классов.

Выводы

Выбор типа нейронной сети для прогнозирования значения параметров ТКС обуславливается особенностями самих сетей. Так, строя систему прогнозирования при помощи многослойного персептрона, необходимо дополнительно исследовать эффективность сетей с различным количеством скрытых слоев.

Радиально-базисные сети обладают высоким быстродействием в силу простоты своей структуры, что

очень важно для своевременного принятия решения, но при этом необходимо особенно тщательно подходить к формированию обучающей выборки.

При использовании обобщенно-регрессионных сетей необходимо соблюдать баланс между объемом знаний, хранящимся в сети, и полнотой обучающей выборки.

Эффективность сетей Вольтера в общем случае незначительно превосходит таковую MLP, но при этом обладает более сложной структурой. Тем не менее, при тщательном выборе параметров эти сети эффективно справляются с узкоспециализированными задачами, где MLP дают худшие результаты.

Ключевым аспектом построения НС является обучение, поэтому при формировании выборки необходимо соблюдать требования к полноте, равномерности и непротиворечивости.

Литература

1. Крючин, О.В. Прогнозирование временных рядов с помо-

щью искусственных нейронных сетей и регрессионных моделей на примере прогнозирования котировок валютных пар / О.В. Крючин, АС. Козадаев, В.П. Дудаков.

- Электронный научный журнал «Исследовано в России»,

2010. - Т.1З. - С. З54-З62. - ISSN 1819-4192. - Режим доступа: http://zhumal.ape.relarn.ru/articles/2010/030.pdf.

2. Горбань, АН. Обобщенная аппроксимационная теорема и

вычислительные возможности нейронных сетей. - Сибирский журнал вычислительной математики, 1998. - Т.1, №1. - С.12-24.

3. Султанов, A.X. Использование нейросетевых моделей для

прогнозирования интенсивностей самоподобного трафика телекоммуникационной сети / A.X. Султанов, A.A. Габдрахманов, Н.Т. Габдрахманова. - Уфа: Вестник У^ТУ,

2011. - № 2(42), Т. 15. - С. 9З-98.

4. Amin, S.M. Traffic prediction and management via RBF neural

nets and semantic control / S. Massoud Amin, E.Y. Rodin, A-P. Liu, K. Rink. - Computer-Aided Civil and Infrastructure Engineering, 1998. - №1З. - pp. З15-З27.

5. Солдатова, О.П. Применение нейронных сетей для решения

задач прогнозирования. / О.П. Солдатова, В.В. Семенов.

- Электронный научный журнал «Исследовано в России», 2006. - Т.9. - С. 1270-1276. - ISSN 1819-4192. - Режим доступа: http://zhumal.ape.relarn.ru/articles/2006/1З6^£

6. Крючин, О.В. Прогнозирование временных рядов с исполь-

зованием нейронных сетей типа Вольтерри и сравнение показателей с многослойным персептроном / О.В. Крю-чин, О.В. Кондратков. - Электронный научный журнал «Исследовано в России», 2010. - Т.1З. - ISSN 1819-4192.

- С. 95З-967. - Режим доступа: http://zhurnal.ape.relarn. ru /articles/2010/082.pdf.

7. Олешко, Д.Н. Построение качественной обучающей вы-

борки для прогнозирующих нейросетевых моделей / Д.Н. Олешко, ВА. Крисилов, A.A. Блажко. - Штучний інтелект, 2004. - № З. - С. 567-57З.

8. Хайкин, C. Нейронные сети: полный курс / Саймон Хай-

кин; пер. с англ.; 2-е издание. - М.: Издательский дом «Вильямс», 2006. - 1104 с. : ил. - Парал. тит. англ. - ISBN 5-8459-0890-6 (рус.).

3