Аппроксимация временных рядов полиморфной вейвлет-сетью с обратными связями Текст научной статьи по специальности «Компьютерные и информационные науки»

структуры и моделирование 2016. №2(38). С. 16-26

УДК 004.896

АППРОКСИМАЦИЯ ВРЕМЕННЫХ РЯДОВ ПОЛИМОРФНОЙ ВЕЙВЛЕТ-СЕТЬЮ С ОБРАТНЫМИ

СВЯЗЯМИ

СН. Верзунов1

м.н.с., e-mail: [email protected] Н.М. Лыченко2

профессор каф. ИВТ, д.т.н., e-mail: [email protected]

1 Институт автоматики и информационных технологий, Национальная академия наук

Кыргызской Республики

2Кыргызско-Российский славянский университет им. Б.Н. Ельцина

Аннотация. В работе рассмотрена задача аппроксимации временных рядов полиморфной вейвлет-сетью (т. е. вейвлет-сетью с дополнительными настраиваемыми параметрами), в структуру которой для учёта инерционности в рядах введены обратные связи. Представлены алгоритм обучения полиморфной вейвлет-сети и результаты вычислительных экспериментов с целью сравнения аппроксимирующих свойств вейвлет-сетей с обратными связями и без них, с различными базовыми вейвлетами и различными численными методами оптимизации, используемыми для обучения сети. При этом детерминированные составляющие временного ряда моделируются численными решениями обыкновенных дифференциальных уравнений.

Ключевые слова: временной ряд, полиморфная вейвлет-сеть, обратные связи, аппроксиматор, базовые вейвлеты, численные методы оптимизации.

Введение

Как известно, временные ряды по своей природе являются инерционными, т. е. уровни временного ряда в некоторые моменты времени зависят от уровней ряда в предыдущие моменты времени. Для аппроксимации таких временных рядов были предложены различные методы, например, модель Койка, полиномиальная лаговая модель Алмона с конечным числом временных задержек, а также вероятностная лаговая модель временного ряда [1, 2].

В последние годы появление многопроцессорных вычислительных комплексов позволило сделать акцент на нейросетевых технологиях обработки временных рядов, хорошо поддающихся распараллеливанию, в частности, были предложены специализированные нейронные сети — вейвлет-сети [3], являющиеся модификацией сетей на основе радиальных базисных функций, где в качестве базисных элементов используются вейвлеты («короткие волны»), хорошо локализованные как во временной, так и в частотной области [4,5].

В работах [6,7] для обработки временных рядов предложена новая структура вейвлет-сетей, отличающаяся от традиционной тем, что она содержит дополнительный параметр смещения, а в базовые вейвлеты введены дополнительные настраиваемые параметры. Такая сеть, названная полиморфной, имеет лучшие аппроксимирующие свойства благодаря лучшей приспосабливаемости к характеру нестационарностей во временных рядах.

В настоящей работе для учёта инерционности во временных рядах в структуру полиморфной вейвлет-сети вводятся обратные связи, учитывающие уровни временного ряда в предыдущие моменты времени. Временные ряды моделируются численными решениями обыкновенных дифференциальных уравнений.

Представлены результаты вычислительного эксперимента с целью сравнения аппроксимирующих способностей вейвлет-сетей с обратными связями и без них, с различными базовыми вейвлетами, а также с различными численными методами оптимизации, используемыми для обучения сети.

1. Постановка задачи

Рассматривается задача аппроксимации (рис. 1), в которой аппроксимируемый временной ряд ¿(^) представляет собой сумму некоторой детерминированной составляющей у(и) и случайной составляющей ), характеризующейся,

например, равномерной спектральной плотностью и равномерно распределённым значением амплитуды («белый шум»):

¿(и) = у(и) + е(и).

Необходимо так настроить Аппроксиматор, чтобы его выходной временной ряд, являющийся моделью детерминированной составляющей у(^), аппроксимировал исходный временной ряд ¿(и) с минимальной ошибкой при наличии некоторых случайных факторов е(и), вызванных ошибками измерений и погрешностью вычислений.

2. Решение задачи на основе полиморфной вейвлет-сети с обратными связями

Предлагается в качестве аппроксиматора использовать полиморфную вейвлет-сеть с обратными связями, представленную на рис. 2. Предложенная

ш

Л

Рис. 2. Полиморфная вейвлет-сеть с обратными связями

сеть состоит из двух частей: полиморфной вейвлет-сети (слева) и блока с обратными связями (справа), учитывающего инерционность временного ряда.

Полиморфная вейвлет-сеть аппроксимирует временной ряд ¿(и) линейной комбинацией набора дочерних вейвлетов На,ъ,р(и), которые получаются путём растяжения и сдвига материнского (базового) вейвлета Н(и,р)\

Ь,а,ъ,р(и) — Ь

и- Ь

,Р

где р — дополнительный настраиваемый параметр, изменяющий форму материнского вейвлета. В результате в сети одновременно используется множество базовых вейвлетов, различающихся параметром р. Кроме того, эта сеть содержит параметр смещения с. Введённые параметры позволяют учесть наличие в аппроксимируемом временном ряду постоянной составляющей и позволяют сети лучше адаптироваться к нестационарному характеру временного ряда.

Таким образом, аппроксимация временного ряда полиморфной вейвлет-сетью с обратными связями может быть представлена как:

к к

у(и) — с + и^ ^ hak ък ,рк (и) + ^ Оу(ич),

3=1

(1)

к=1

где с — постоянная составляющая (параметр смещения), К — количество вейвлетов, тк — весовые коэффициенты прямых связей, Я — количество обратных связей, гз — весовые коэффициенты обратных связей.

г

При этом целью обучения вейвлет-сети является такая подстройка их весов, которая обеспечивала бы максимальное соответствие выходного временного ряда у(и) детерминированной составляющей у(и). Обозначая ошибку в момент и как:

в(и) = ^и) - у (и),

функцию энергии ошибки (суммарную квадратическую ошибку) можно записать:

1 м

Е = 1 £ е2(и).

i=1

Параметры вейвлет-сети тк, ак, Ьк, рк, г? и с могут быть настроены путём минимизации функции энергии ошибки Е на всём множестве отсчётов времени

N

£

i=1

K R

jyi°i-j)

d{ti) — [с + wk hak,bk ,pk iti) + Y^ r3 y(ti-i) k=1 j=1

^ min , (2)

w,a,b,p,r,c

где в качестве базового вейвлета могут использоваться вейвлеты Morlet, POLYWOG, RASP (см. табл. 1). Для минимизации (2) можно использовать различные методы, но для любого из них требуется определить градиенты JWE,

op dE dE dp dp

dot, db^, Ipt, dE и для последовательного изменения каждого конкретного параметра wk, ak, bk, pk, rj и с:

dE " dE Л dhin,pk)

Eeiti )thTi,pk ),QEk = — ^ dbk

i=1 i=1

dE ^ dh(Ti,pk) dE dE ^ dhfapk)

oak = —£e(ti)tiWk Ti^~ =Ti ж -Wk = —^e(ti>t'Wk^-

i=1 1 ^ i=1 dE A.....dE N

J2eiti)yiti-j= eiti)-

дтз 3 дс

3 j=1 i=1

где п = . В этих выражениях Н(т,р) и её производные определяются конкретным типом вейвлета. В табл. 1 представлены наиболее часто используемые базовые вейвлеты и их производные по настраиваемым параметрам.

Таблица 1. Наиболее часто используемые базовые вейвлеты.

2

Вейвлет h,T,p) ЭН(т,р) db ЭН(т,р) dp

Morlet cosipT )e-0'5r 2 a p sinipT)е-а5т2Th,T) — sin(pT )тe-0.5т2

POLYWOG pTe-o.5r2 a p(T2 - 1)е-а5т2 тe-0.5т 2

RASP рт р(3т2-1) т

(т 2+1)2 а(т 2+1)2 (т 2+1)2

Антиградиенты настраиваемых параметров определяются как:

дЕ дЕ . дЕ . дЕ . дЕ . дЕ

Д^к — —, АЬк — , Аак — , А'рк — - —, Атп — - —, Дс — ——. д'Шк дЬк дак дрк дгп дс

Таким образом, вектора параметров сети изменяются по правилам:

1Ъ(н + 1) — 'ш(п) + ^Д'ш, Ь(п + 1) — Ь(п) + ^ДЬ, а(п + 1) — а(п) + ^Да,

р(п + 1) — р(п) + ^Др, г(п + 1) — г(п) + ^Дг, с(п + 1) — с(п) + цДс,

где п — эпоха обучения сети.

Параметр скорости обучения ^ одинаков для всех параметров сети и находится на каждой эпохе обучения с помощью одного из методов одномерной оптимизации, например, с помощью кубической интерполяции [8].

3. Аппроксимация нестационарных временных рядов полиморфными вейвлет-сетями, содержащими различные базовые вейвлеты

Пусть у(и) моделируется численным решением обыкновенного дифференциального уравнения на интервале Дг] с шагом Дг. В представленных ниже результатах вычислительного эксперимента рассматривались два временных ряда, моделируемых дифференциальными уравнениями:

тУ + 5 дУ + [6 + 3в1п(0.5г)]у — е3(1), дуУ + [2 + яп(0.5У)]^ + 5у — е.(Ь) (3)

на интервале [0,10] с шагом 0.1 для 30 различных реализаций ошибок измерений е, где е3(г) — 0.1в1п(7У) + сов(9У). При этом е(У) — £|у(У)|, где £ — некоторая нормально распределённая случайная величина (М(£) — 0,Б(£) — 0.5).

Для сравнения в качестве аппроксиматора была также применена полиморфная вейвлет-сеть без обратных связей [6]. Вейвлет-сети обучались с использованием численного метода оптимизации Бройдена-Флетчера-Гольдфарба-Шанно (БФГШ). Метод БФГШ — один из наиболее часто используемых квазиньютоновских методов, при котором не вычисляется непосредственно гессиан оптимизируемой функции [9]. Вместо этого гессиан оценивается приближённо, что позволяет достичь высокой скорости работы алгоритма обучения сети. В качестве базовых вейвлетов в обоих случаях использовалось по 11 вейвлетов различных типов: Moгlet, POLYWOG и RASP. Результаты статистически обработаны и приведены на рис. 3.

Сравнение возможностей полиморфной вейвлет-сети с обратными связями (1) и без них в плане использования их в качестве аппроксиматоров нестационарных временных рядов с инерционностью (3) показало, что полиморфная вейвлет-сеть с обратными связями даёт меньшую энергию ошибки Е в сравнении с полиморфной вейвлет-сетью без обратных связей и, кроме того, имеет преимущества в скорости сходимости (характеризующейся скоростью сходимости п,Е(п) — 0.1Е(0), и временем, затрачиваемым на обучение Т).

+5 ду + [6 + 3в1п(0.5*)]у = е* (¿)

& + [2 + вт(0.5*)] дУ + 5у = е* (*)

Рис. 3. Результаты численных исследований аппроксимации временных рядов полиморфными вейвлет-сетями с обратными связями и без обратных связей с различными базовыми

вейвлетами

4. Аппроксимация нестационарных временных рядов

полиморфными вейвлет-сетями с обратными связями, обученными с помощью различных численных методов оптимизации

Для того чтобы сравнить численные методы оптимизации, используемые при обучении полиморфных вейвлет-сетей, рассмотрим пример аппроксимации полиморфной вейвлет-сетью с обратными связями временного ряда, детерминированная составляющая которого умоделируется численным решением обыкновенного дифференциального уравнения:

д2 у

т2 +5 ду + [6 + 20в1п(3*)]у = и(г) + е* (¿)

(4)

на интервале [0,10] с шагом 0.1, где и(Ь) = 1 + 0.2вт(2£). На рис. 4 показана аппроксимация системы (4) полиморфной вейвлет-сетью с 10-тью вейвлетами Мог1е1 с суммарной квадратической ошибкой Е = 0.025, причём на вход сети подавалось и(^). Как видно из рисунка, эта система достаточно нестационарна. Обучение полиморфной вейвлет-сети с 10-тью вейвлетами МогЫ с использованием метода наискорейшего спуска до суммарной квадратической ошибки Е = 0.025 занимает 1391 эпоху, с использованием метода сопряжённых градиентов [8] — 607 эпох, с использованием метода БФГШ — 446 эпох (рис. 5, энергия ошибки Е по оси ординат показана в логарифмическом масштабе).

На рис. 6 демонстрируется динамика изменения параметров сети в процессе обучения с использованием метода наискорейшего спуска.

Для сравнения на рис. 7 показана динамика изменения параметров сети при обучении с использованием метода сопряжённых градиентов. Обращает на себя внимание больший диапазон изменения дополнительных параметров р, по сравнению с предыдущим методом.

Рис. 4. Аппроксимация нестационарной системы полиморфной вейвлет-сетью с 10-тью

вейвлетами Morlet

Рис. 5. Динамика изменения энергии ошибки Е в процессе обучения сети с использованием

различных численных методов оптимизации

1.3 1.2 1.1 1.0 0.9 0.8 0.7 0.6 0.5 0.4

0 200 400 600 800 100012001400 О 200 400 600 800 100012001400 О 200 400 600 800 100012001400 Параметры, р Смещение, с Обратные связи, г

Рис. 6. Динамика изменения параметров сети в процессе обучения с использованием метода

наискорейшего спуска

При использовании метода БФГШ параметры сети изменяются ещё в более широких диапазонах, при этом сильнее всего изменяются масштабы вейвлетов a и дополнительные параметры p (рис. 8).

Таким образом, на основании приведённых выше примеров можно сделать вывод, что обучение полиморфной вейвлет-сети наиболее эффективно с использованием метода БФГШ. Причём значительная роль в обучении вейвлет-сети принадлежит правильной настройке масштабов вейвлетов a и дополнительных настраиваемых параметров p.

Заключение

Таким образом, в работе предложена структура вейвлет-сети с настраиваемыми параметрами (полиморфной вейвлет-сети) с обратными связями и представлен алгоритм обучения для аппроксимации временных рядов обученной сетью. Рассмотрены примеры аппроксимации нестационарных временных рядов, детерминированные составляющие которых моделируются численными решениями обыкновенных дифференциальных уравнений на некотором интервале времени. Показано, что предложенные полиморфные вейвлет-сети с обратными связями обладают преимуществами в сравнении с сетями без обратных связей, как по точности аппроксимации, так и по скорости сходимости для базовых вейвлетов различных типов: Morlet, POLYWOG и RASP.

Масштабы, a Сдвиги, Ъ Веса, w

Рис. 7. Динамика изменения параметров сети в процессе обучения с использованием метода

сопряжённых градиентов

Рис. 8. Динамика изменения параметров сети в процессе обучения с использованием метода

БФГШ

Кроме того, проведено сравнение различных численных методов оптимизации при определении параметров полиморфной вейвлет-сети. Показано, что наилучшим методом, используемым при обучении полиморфной вейвлет-сети является метод Бройдена-Флетчера-Гольдфарба-Шанно.

Предложенная структура вейвлет-сетей может быть использована для решения различных задач обработки экспериментальных данных, моделирования и управления динамическими системами.

Литература

1. Энциклопедия статистических терминов. Том 2. Инструментальные методы статистики. М. : Росстат, 2011. 482 с.

2. Бардасов С.А. Эконометрика: учебное пособие. 2-е изд., перераб. и доп. Тюмень : Издательство Тюменского государственного университета, 2010. 264 с.

3. Lekutai G. Adaptive Self-Turning Neuro Wavelet Network Controllers. Blacksburg: Virginia Polytechnic Institute, 1997. URL: https://theses.lib.vt.edu/ theses/available/etd-554502 4397 41131/unrestricted/ETD.PDF (дата обращения: 15.02.2016).

4. Дьяконов В.П. Вейвлеты. От теории к практике. М. : СОЛОН-Пресс, 2004. 440 с.

5. Добеши И. Десять лекций по вейвлетам. Ижевск : НИЦ «Регулярная и хаотическая динамика», 2001. 464 с.

6. Верзунов С.Н. Синтез полиморфной вейвлет-сети и исследование её свойств для аппроксимации нестационарных временных рядов // Информатика и системы управления. 2015. N. 2. С. 60-69.

7. Верзунов С.Н., Лыченко Н.М. Аппроксимация нестационарных динамических систем полиморфной вейвлет-сетью // Фундаментальные и прикладные проблемы науки. Материалы Кыргызской секции X международного симпозиума. М. : РАН, 2015. T. 3. C. 3-11.

8. Гилл Ф. Практическая оптимизация. Пер. с англ. М. : Мир, 1985. 509 с.

9. Nocedal J. Numerical optimization, series in operations research and financial engineering. New York: Springer, 2006. 664 p.

26 С.Н. Верзунов, Н.М. flbmeHKO. ÄnnpoKCHMauHH BpeMeHHbx pngoB.

APPROXIMATION OF TIME SERIES POLYMORPH WAVELET NETWORK

WITH FEEDBACK

S.N. Verzunov1

Junior Scientist Researcher, e-mail: [email protected] N.M. Lychenko2 Professor, Dr.Sc. (Eng.), e-mail: [email protected]

1 Institute of Automation and Information Technology, National Academy of Sciences

of the Kyrgyz Republic 2Kyrgyz-Russian Slavic University named after Boris Yeltsin

Abstract. The problem of time series approximation using polymorph wavelet network (i.e. wavelet network with additional adapted parameters) is considered. Feedbacks have been introduced in structure for allowing to take into consideration dependence of the level of the time series on levels in previous times. Algorithms of training of polymorph wavelet network and the results of numerical experiments are proposed in order to compare the approximating properties of wavelet networks with feedback and without them. Also, different mother wavelets and different numerical optimization approaches used for network training are considered. Deterministic components of the time series are simulated by numerical solution of ordinary differential equations.

Keywords: time series, polymorph wavelet network, feedbacks, approximator, mother wavelets, numerical optimization approaches.