CC BY
11УДК 681.3.01:621.311 Н.С. Эрдниева
Использование нечеткой вейвлет-нейронной сети для прогнозирования
временных рядов
Калмыцкий государственный технолого-экономический колледж; nadyu-sha84@yandex. ru
В данной статье описана структура нечеткой вейвлет-нейронной сети (НВНС) для прогнозирования временных рядов. НВНС создана на основе ряда набора нечетких правил Такаги-Сугено-Канаг (ТСК).
Ключевые слова: нечеткая вейвлет-нейронная сеть, прогнозирование временных рядов.
This paper presents the structure of fuzzy wavelet neural network (FWNN) for time series prediction. FWNN is constructed on the base of a set of Takagi-Sugeno-Kanag (TSK) fuzzy rules.
Keywords: fuzzy wavelet neural network, time series prediction.
1. Введение.
В настоящее время известны различные методы исследования нелинейности и улучшения точности прогнозирования временных рядов: метод Бокс-Дженкинса [1], модель авторегрессивной условной гетероскедастичности, авторегрессивного случайного различия. Но эти модели неэффективны [2, 3]. Традиционные методы прогнозирования основаны на техническом анализе временных рядов, они построены на линейном подходе, имеющем существенные недостатки. Поэтому идея применения нелинейных моделей как технологии мягких вычислений, основой которой являются нейронные сети и нечеткие системы, актуальна для прогнозирования временных рядов. Эти методы показали явные преимущества над статистическими методами [4].
В статье описывается увеличение точности прогнозирования и уменьшение области поиска и времени для достижения оптимального решения вейвлет-нейронных сетей (ВНС) с нечеткой базой знаний.
Нечеткая технология - это эффективный инструмент для работы со сложными нелинейными процессами. Филлард [5] предложил построить нечеткую систему, используя вейвлет-методы. НВНС включает в себя комбинации трех подсетей: подсеть распознавания образов, нечеткая подсеть рассуждения и подсеть синтеза управления.
Известны различные методы для построения НВНС: кластерные методы, схема поиска по таблице, метод наименьших квадратов, градиентные алгоритмы. В статье применяется нечеткое объединение в кластеры с градиентным алгоритмом для уменьшения затраченного времени [6].
2. Нечеткая вейвлет-нейронная сеть.
Ядро нечеткой системы вывода - это нечеткая база знаний, в которой информация, состоящая из значений точек ввода-вывода системы, интерпретируется в нечеткие правила, имеющие форму IF-THEN. Нечеткие системы разрабатываются, используя тип Мамдани или Такаги-Сугено-Канаг (ТСК), правила IF-THEN. Нечеткие правила типа ТСК используют нечеткие значения в предшествующей части и линейные функции в последующей части. Во многих исследованиях было показано, что нечеткие нейронные системы типа ТСК могут достичь лучших показателей в обучении, чем нечеткие нейронные системы типа Мамдани [7]. В статье представлена НВНС, которая объединяет
вейвлет-функции с нечеткой моделью ТСК. Для улучшения вычислительной способности НВНС мы используем вейвлеты в последующей части каждого правила. Они имеют следующую форму:
2
Н" х1 is А11 and x2 is А12 and...and xm is А1т then у1 is Е(1 - г21 )е
г=1
т ( \ '
If Х1 is А21 and Х2 is А22 хт is А2т then У2 is Е ™г2 (1 - Р
г=1
г 2
т / ,
If х! is Ап1 х2 is АП2 хт is АПт then Уп Ю £ М гп (1 - )е 2 (1)
г2 2
г=1
Здесь, х1з х2, ..., хт - входные переменные, у1з у2,... уп - выходные переменные, которые включают вейвлет-функции мексиканской шляпы, Ау - функция семейства для
г-того правила их у-того входа, определенная как Гауссовская функция семейства, N - число нечетких правил. Часть правил содержит ВНС, которая включает в себя вейвлет-функцию. Вейвлеты определяются по следующей формуле.
ц(х) = У
'х - ьЛ
]
'|а.
ау
V ] J
, а1 Ф 0, у = 1,..., п (2)
d (сре (-гх )е(- х2 ))Р
ц. (х) - система вейвлетов, полученных от функции ц(х ) =-р- (где С -
] dxp
постоянная множителя, которая зависит от производных порядка р Сре)е(-х ), р = 4) путем дополнений и преобразований, где х = {х1з х2,..., хт} - входные сигналы, ау = {а1 у, а2у,..., ат] } и Ьу = {¿1 у, Ь2у,..., Ьту } - это параметры дополнения и преобразования соответственно. ц(х) называется материнский вейвлет, локализован по времени
и частоте. Выходы ВНС вычисляются как:
к к 1 . .
у = Е^У](х)=Е™]\а]\ Ма-1 х-d]) . (3)
у=1 у=1
Здесь ёу = (а-1 )* Ь]. ц (х) вейвлет-функция у-той частицы скрытого слоя, Му - коэффициенты веса между входом и скрытыми слоями, (а-1) и Ьу - параметры вейвлет-
функции. Вейвлет-сети включают в себя вейвлет-функции в нейронах скрытого слоя сети. Хорошая инициализация параметров ВНС позволяет получать быструю сходимость.
В формуле (1) нечеткие правила оказывают влияние каждой ВНС на выход НВНС. В связи с использованием вейвлетов улучшены вычислительная сила и способность к обобщению НВНС, и НВНС могут описать нелинейные процессы с желаемой точностью.
На рис. 1 представлена структура НВНС, которая включает в себя шесть слоев. В первом слое число узлов равно числу входных сигналов. Эти узлы используются для распределения входных сигналов. Во втором слое каждый узел соответствует одному лингвистическому терму. Для каждого входного сигнала вычислена степень семейства, до которой входное значение принадлежит нечеткому множеству. Для описания лингвистических условий используется Гауссовская функция семейства:
{х-еч }
Л.{xi) = е 2°и i = !,...,т,7 = !,...,п . (4)
Здесь т - число входных сигналов, п - число нечетких правил (скрытые нейроны в третьем слое), с. и а. являются центром и шириной Гауссовских функций семейства
соответственно. л. {хл) - функция семейства входной >той переменной для .-того термина.
Ц] .{хл
Layer 1 I лусг 2
Leyст 3 Layer 4 1лусг 5
Рис. 1. Структура НВНС
Layer 6 1лусг7
В третьем слое число узлов соответствует числу правил Я1, Я2,..., Кп. Каждый узел представляет собой одно нечеткое правило. Число нечетких правил и число функций семейства определяются при помощи кластерного алгоритма. Третий слой осуществляет механизм логического вывода. В этом слое оператор умножения ¿-нормы применяется для вычисления степени семейства данных входных сигналов для каждого правила.
Л. {х) = Л. {х1 )*Л} {х2 У'-{хт ), ] = п (5)
Здесь * - это оператор умножения ¿-нормы.
Эти сигналы л. {х) - входные сигналы для следующего слоя. Он включает в себя п ВНС, которые обозначены WNN1, WNN2, ..., WNNn. В пятом слое выходные сигналы третьего слоя умножены на выходные сигналы ВНС. Выход j-той вейвлет-сети вычисляется как:
ml, ч
Z ; ^ «=^44 - 4 >
y j = wjVj\z) ; wAz)=
(6)
a
xi - bij
Здесь zij =--
a
Здесь а. и Ь. - параметры вейвлет-функции между /-тым { = 1,..., п) входом и .-той {] = 1,..., т) ВНС. На шестом и седьмом слоях нечеткость
z
2
вычисляется на выходах каждой сети. В этом слое показано влияние каждой ВНС на выходы НВНС.
п / \ " / \
= Z Mj (x)У] / Z Mj (x). (7)
1=1 1=1
Здесь yj - выходные сигналы ВНС. После вычисления выходного сигнала НВНС начинается обучение сети, которое включает регулирование параметров функций семейства С] и О] во втором слое и параметров вейвлет-функций w, a ^, b
(i = 1,..., m, j = 1,..., n) сети в четвертом слое.
3. Параметры обновления правил.
Модель НВНС (рис. 1) включает в себя определение неизвестных параметров предшествующих и последующих частей нечеткого правила IF-THEN (1). В статье нечеткое объединение в кластеры применяется для проектирования предшествующих частей (предпосылки), а градиентный алгоритм - для проектирования последующих частей нечетких правил [6].
В первом шаге применяется нечеткая классификация c-значений для разделения входных данных и построения предшествующей части нечетких правил IF-THEN. Нечеткая классификация c-значений основана на минимизации следующей объективной функции:
N C
Jm = Z Z<dj, где di = |x,. - С] |, 1 < m < , (8)
i=1 j=1
где m - это некоторое действительное число большее 1, Uj является степенью семейства x.: в кластере j, xi - это i-тое значение d-величины, С] - центр кластера ^-величины и ||*|| - это норма, выражающая подобие между данными величинами и центром.
Нечеткое разделение выполнено посредством итеративной оптимизации целевой функции, показанной ранее с обновлением семейства Uj и группой центра С]. Алгоритм ^ состоит из следующих шагов.
1. Инициализировать матрицу U = Uj J, U(0)
2. Вычислить центр векторов C(t) = \cj J с U (t)
N \ N
Cj =|Z umm • x. I / z
3. Обновить U(t) ,U(t+1)
' d
C ( A \ m-1
Uj
4. Если |и- и^'||< г , тогда алгоритм остановится; иначе множество увеличится на 1 I = I + 1 и возвратится к шагу 2.
Далее применяется градиентный алгоритм с адаптивным темпом обучения, гарантирующим сходимость для проектирования последующих частей нечетких правил. На выходе нейронной сети значение функции вычисляется как:
1 о 2
Е =1 Z(< -Щ) . (9)
2 i=1
Здесь О - количество выходных сигналов сети (в данном случае 0=1), ы? и и1 - желаемое значение и текущие выходные значения нейронной сети соответственно. Параметры ^^, а^, Ь., (г = 1,..., т, . = 1,..., п) ВНС - это параметры семейства функции
С. и °Ч 0 = Ъ.. т> . = П) .
Регулируются нейронечеткие структуры по следующим формулам:
дЕ дЕ
WJ+1) = WJ(0+ У ; а.+1) = а.()+ У дО"'
ь. к +1) = ь. (0+у-дЕ ; (10)
дЬ.
СУ к +1) = Су (0 + У дЕ, ^ (' +1) = ^ (0 + У д^^, (11)
дСу
здесь у - правило обучения, г = 1,., т, . = 1,., п, да - число входных сигналов сети (входных нейронов) и п - число нечетких правил (скрытые нейроны). Значения производных в (10) вычисляются по следующим формулам:
дЕ дЕ ды ду.
(ы(1)-ы"(1))-Цу (1 ^Л. ,
дWJ. ды дУу дWJ. / .=1
дЕ дЕ ды дУ. дШ, „ „ 7 -^4 -05\,-|
дЕШ^ = (3.5^ -^ -0.5>^/(М
Я,. Я-,, Я,„ Я„ Я^ .УЧУ// \\ У/'
да. ды ду. дш. дги да.
У ^ . ' . у у
дЕ =^-^/(Я),
А,, Я,, Я,„ Я-г ЯА V У/ / \\ У
дЬ .. ды ду. дш. д2.. дЬ„
У ^ . ' . у у
здесь 5. =дЕ- =(ы(/)-и*(/))-л. ■ WJ Л. , г = 1,. .,т , . = 1,...,п . (12)
. ды ду. дш. . I 7=1 .
Производные в (11) определяются следующими формулами:
дЕ (13)
дс. . ды дл. дц. дс.
дЕ =zдE ^ Л ", (14)
Л-) I /^11 Л п Л ^
V
здесь
. ды дЛ, д". д°г,
дЕ=«(Г)-(Г); ^; "=П"; г = 1,...,т; . = 1,...,«; * = l,...,т. (15)
ды дл Z>J д" У .
^ - оператор произведения ¿-нормы.
ц. х. ; (х. (16)
Таким образом, по (10, 11) и (12-16) обновлены параметры типа 2 НВНС. В статье сбор сведений о параметрах НВНС начинается с малого значения темпа обучения у. Во время обучения у увеличивается, если значение изменения погрешности АЕ = Е (/)- Е (/ +1) положительно, и уменьшается - если отрицательно. Оптималь-
ное значение темпа обучения может получиться случайно с помощью функции Ляпунова. Предположим y(t) - темп обучения для весов W = \w., a., Ьг], c., о. J, тогда обучение НВНС будет использоваться в (10) и (11). Сходимость гарантируется, если будет удовлетворено следующее условие:
(17)
0 < rit)<--?-—
max t
д u ( t )
д W
4. Прогнозирование временных рядов.
Структура НВНС применяется для моделирования и прогнозирования будущих значений хаотических временных рядов. Например, Бокс и Дженкинс рассматривают данные газовых печей (ряд J) [6] как проблему прогнозирования. Набор данных был взят из процесса сгорания смеси машинного воздуха и включает 296 пар измерений входа-выхода. Вход х(^ является потоком газа в печь и выход у- концентрация углекислого газа (СО2) в газе выхода. Выборка состоит из 9 с-значений.
Обучение НВНС выполняется для двух компонентов: входного двумерного вектора и прогнозируемого выхода. Неизвестные параметры нечетких НВНС - параметры функций семейства 2-го слоя (а и с) и параметры вейвлет-функции 4-го слоя (а и Ь, случайно отобранные в [-1, Г|) (всего 8). Объединение в кластеры включает в себя определение групп для входных сигналов х^-4) и у(и1) и перевод их в нечеткие правила. Затем применяется градиентный алгоритм для сбора сведений о параметрах в последующей части. Во время изучения точки данных были разделены на 200 точек данных как набор данных обучения и оставшиеся 92 точки как набор тестов. Весь набор данных находится в [0, 1]. Обучение НВНС выполняется для 500 эпох. Моделирование выполняется для случаев, когда число групп равно 2 и 3.
Для анализа сравним полученные результаты с другими моделями. В качестве критерия используем среднеквадратичную ошибку (СКО): км8Е = —]Г Х - х У
200 400 600 500 1000 Epoch number Рис. 2. Значения СКО, полученные во время обучения
Рис. 3. Данные временного ряда Бокса-Дженкинса, модель выхода и ошибка прогнозирования
для обучения и тестирования
Во время обучения значение СКО было равным 0,014. Если изменить обучение в шаге обобщения, значение СКО будет равным 0,019. Общее количество параметров будет определено как 8 (часть предпосылки) + 20 (последующая часть) = 28. На рис. 2 показаны СКО, полученные во время обучения. На рис. 3 сплошная линия указывает на траекторию статистических данных, а пунктирная линия указывает на ожидаемое значение временных рядов. Во время обучения значения СКО для обучения и тестирования данных были равны 0,013 и 0,016 соответственно. Результаты моделирования для различного числа нечетких правил даны в таблице 1. Фактически объединение в кластеры (0,15-0,2 с) занимает меньше времени, чем градиентный метод.
Таблица 1
Прогнозируемые результаты для данных газовых печей
Модели Число Число пара- СКО Время вычисления (с)
правил метров Обучение Тест Обучение Тест
НВНС (с не-
четким объе-
динением в 4 28 0.014 0.019 40.029 0.0156
кластеры и
градиентным
обучением) 9 57 0.013 0.016 53.820 0.0312
НВНС (с градиентным 4 36 0.0151 0.020 51.729 0.0156
обучением) 9 81 0.0133 0.0167 67.657 0.0312
5. Заключение.
Представлена модель прогнозирования временных рядов, объединяющая в себе нечеткую логику, НС и технологию вейвлетов. Построение НВНС осуществляется с использованием нечеткого объединения в кластеры и градиентного алгоритма. Нечеткое объединение в кластеры применяется для выбора предшествующей части параметров нечетких правил, которые являются параметрами второго слоя. Градиентный алгоритм
используется для обучения параметров последующей части 4-го слоя структуры НВНС. Структура и правила обновления параметра системы НВНС применяются для моделирования и прогнозирования сложных временных рядов.
Литература
1. Box GEP. Time series analysis, forecasting and control. Holden Day. - San Francisco, 1970.
2. Huang W., Lai K.K., Nakamori Y., Wang S. Forecasting the foreign exchange rates with artificial neural networks: a review // Inti J Inf Tech Decis Mak. - 2004. - № 3 (1). - P. 145-165.
3. Цукерман Е.В. Прогнозирование временных рядов. - Казань: Магариф, 1997.
4. Chen Y., Yang B., Dong J., Abraham A. Nonlinear system modelling via optimal design of neural trees // Int J Neural Syst. - 2004. - № 14 (2). - P. 125-137.
5. Thuillard M. Fuzzy logic in the wavelet framework. - Oulu: Proc Toolmet', 2000, № 13-14.
6. Abiyev R.H. Fuzzy wavelet neural network based on fuzzy clustering and gradient techniques for time series prediction // Neural Comput Applic. - 2011. - № 20. - P. 249-259.
7. Juang CP, Lin CT. An on-line self-constructing neural fuzzy inference network and its applications // IEEE Trans Fuzzy Syst. - 1998. - № 6 (1). - P. 12-31.
Поступила в редакцию 8 января 2013 г.
