Адаптивное прогнозирование многомерного временного ряда Текст научной статьи по специальности «Математика»

УДК 519.9

АДАПТИВНОЕ ПРОГНОЗИРОВАНИЕ МНОГОМЕРНОГО

ВРЕМЕННОГО РЯДА

© Неделько C.B.

Институт математики СО РАН Лав. Анализа да h h ы x пр-т Коптюгд, 4, г. Новосибирск, 630090, Россия

e-mail: nedelko@math.nsc.ru

Abstract. The method of heterogeneous multidimensional time series adaptive prediction is considered. This method is based on adaptive forming a discrete states set and uses some kind of informativity criterion. The method of adaptation the deciding function to changing of probabilistic properties of the stochastic process is also offered4.

Введение

Прогнозирование многомерных разнотипных временных рядов является хорошо известной задачей анализа данных. Несмотря на немалое количество работ, посвященных данной проблеме, к настоящему времени остается ряд нерешенных вопросов. Прежде всего, особенностью задачи является наличие нескольких целевых переменных, что не отражено в большинстве алгоритмов прогнозирования, когда решающая функция строится для каждой переменной отдельно, без учета их зависимостей [2]. Такой подход в случае сильной зависимости целевых переменных проигрывает в качестве прогноза [3].

Обычно прогнозирование временного ряда подразумевает построение решающей функции, которая по заданной предыстории ряда дает прогнозируемый набор значений переменных ряда для следующего момента времени. Размерность пространства, в котором ведется поиск решающей функции, увеличивается с ростом глубины предыстории, что требует использования различных эвристик либо упрощения класса решающих функций. Кроме того, построение решения в пространстве большой размерности сказывается на быстродействии работы алгоритма.

В настоящей работе рассматривается алгоритм прогнозирования многомерного разнотипного временного ряда, основанный на адаптивном формировании пространства состояний [4] ряда в классе логических решающих функций [2]. Оптимальное разбиение при этом ищется непосредственно в пространстве переменных, описывающих временной ряд, без предварительного разделения на прогнозирующие переменные (пространство значений X) и целевые переменные (пространство значений Y), что существенно снижает трудоемкость алгоритма. Такое разбиение исходного пространства переменных учитывает их зависимость и решает проблему роста размерности с увеличением глубины предыстории.

Метод оценивания условного распределения в заданном классе кусочно-постоянных распределений основан на критерии информативности и не требует

4Работа выполнена при поддержке РФФИ, проект № 07-01-00331-а

каких-либо метрических свойств пространства 2. Классические же непараметрические методы оценивания условного распределения предполагают те или иные метрические свойства пространства ¿Г, что в разнотипном случае не вполне оправдано.

Предложен метод адаптации решающей функции к изменению вероятностных свойств процесса, основанный на критерии минимума энтропии.

Задача обнаружения изменения вероятностных свойств случайного процесса (задача о разладке) известна давно и до настоящего времени активно исследуется [1]. Особенность данной работы заключается в использовании достаточно универсальной модели временного ряда.

1. Постановка задачи

Пусть дан п-мерный разнотипный временной ряд г {V / 1..\}. г* = (г[,...,г1), е Множество является множеством допустимых

значений переменной ряда. В силу разнотипности ряда в наборе переменных могут присутствовать одновременно непрерывные и дискретные переменные, а также переменные с упорядоченным и неупорядоченным множеством значений.

п

Пространство значений ряда обозначим 2 = } [ У.Требуется дать прогноз зна-

3 = 1

чений временного ряда в моменты времени / > Л' на основе анализа имеющихся эмпирических данных, то есть реализации г.

Рассматриваем статистическую постановку задачи, когда V является реализацией некоторого случайного процесса с дискретным временем. Предполагаем, что процесс задан переходной (условной) вероятностной мерой Р — 1), — 2),..., — с?)], определяемой предысторией длины <± Квадратные скобки здесь означают, что имеется в виду не мера множества '/.. а мера, заданная на некоторой сг-алгебре его подмножеств.

2. Критерии качества

Критерии качества вероятностной модели временного ряда основаны на понятии информативности распределений [6], то есть степени отличия от априорного распределения [7].

_ к

Зафиксируем некоторое разбиение А = {Еш С ¿Г|и; = 1,

_ ш= 1

и) фш Еш П Еш = 0, пространства 7.. Это позволяет исходному многомерному ряду V сопоставить одномерную символьную последовательность т = р ГТ], Тогда случайному процессу(/) будет соответство-

вать процесс переходные вероятности для которого обозначим

Рио\и1т,-т = = - 1) = шг,... - <1) = шА).

Аналогично вводится совместная вероятность

Ршо..^ = Р - Т) = шТ)^ = р -т)е е^ ,

то есть вероятность появления заданной предыстории длины с1.

Критерий информативности определим как

к к

Ро1 0 Ро)о\о)1,0)2,...,0)^ ■Ршг 0)2-0)сГ

шо=1 и><1=1

Он представляет собой средний модуль разности между вероятностями перехода и безусловными вероятностями нахождения в состояниях.

После тождественных преобразований имеем:

к к

010011...01,! Ро)оРо)\...о)г11 ■

Ш0 = 1 01г] = 1 к к к ЗдеСЬ рШ1...Шл = Е Рш0ш1...шй1 Рш0 =

Е ••• Е

Р 0)00)1...0)Л-

0)0 = 1 0)1=1 0)Л = 1

При длине предыстории 4=1 критерий принимает вид

к к КМ = Е ЕI

Ро)0о) 1 Ро)орШ1 ■

0)0 = 1 0)1 = 1

Также будем использовать критерий, основанный на энтропии:

к к к

Ке{Х) = ^ ] ■ ■ ■ ^ ] Ро)о\о)г,о)2,...,о)4 I" {Ро10\о11,о12,...,о1а) ' Ро)гО)2-..о)4 ~ ^ ] Рш0 '"(/'-и )• 0)0 = 1 ^¿ = 1 0)0 = 1

Данный критерий будет использован для обнаружения неоднородности процесса (изменения вероятностных свойств).

Для оценки введенных критериев по выборке достаточно заменить рШо...Ша на - частоту реализации предыстории на обучающей последовательности с.

3. Алгоритм прогнозирования и оценка значимости

закономерностей

Приведем краткое описание алгоритма адаптивного прогнозирования многомерного разнотипного временного ряда на основе выбора пространства состояний случайного процесса. Применяется направленный поиск (алгоритм ЬЕР) для нахождения разбиения А пространства переменных временного ряда. При этом приближенное к оптимальному разбиение строится максимизацией критерия информативности К. Алгоритм находит решение в виде дерева или непересекающихся многомерных интервалов. Полученные области из разбиения соответствуют состояниям случайного процесса, описывающего исходный многомерный временной ряд. Аппроксимация переходной вероятности случайного процесса дает возможность делать прогноз значений ряда.

Оценивание статистической значимости полученного алгоритмом решения основано на методе статистического моделирования. Предлагается исследование поведения алгоритма на случайных перестановках по времени значений временного ряда. Строится эмпирическая функция распределения для критерия информативности

матрицы переходных вероятностей и ее аппроксимация соответствующим распределением, например, методом моментов. Значение критерия информативности, полученное на реальной последовательности событий, может лежать в области вероятных значений критерия на перестановках, что объясняет полученные закономерности случайными флуктуациями. Метод опробован при нахождении закономерностей в сейсмических данных [5]. Закономерности, заключенные в относительных переходных вероятностях для состояний процесса, оказались статистически значимыми.

4. Обнаружение изменения свойств процесса

Построение логико-вероятностной модели временного ряда на основе выбора пространства состояний процесса можно также применять для обнаружения изменения вероятностных свойств. Это важно в случаях, когда исходный временной ряд составлен из реализаций нескольких случайных процессов. Требуется найти моменты времени, когда происходит изменение модели ряда.

Зафиксируем некоторый момент времени ¿0> начиная с которого будем последовательно проверять соответствие фрагмента ряда выбранной модели. Временной ряд разбивается выбранным моментом на две части. Первая часть используется для построения модели, то есть для построения пространства состояний случайного процесса и оценивания матрицы переходных вероятностей между состояниями.

В начале второй части ряда, не задействованной в построении модели, выделяем некоторый фрагмент длины г, соответствующий моментам времени ¿о + 1, •••, ¿о + г., и вычисляем для него частоты переходов между состояниями. Далее проверяем согласованность частот с построенной моделью.

В случае близости частот переходов переходным вероятностям считаем, что до момента времени ¿о + г РЯД определяется одной и той же моделью. Иначе принимаем, что в момент ¿о происходит изменение вероятностных свойств случайного процесса.

Если смены процесса не произошло, то проводим аналогичное исследование для следующего фрагмента ряда длины г. По его результатам также решаем, происходит смена модели в момент времени /() I /• или нет. Так можем продолжить до конца исходного ряда.

Если же в момент ¿0 обнаружено изменение случайного процесса, определяющего ряд, то поступаем со второй частью ряда тем же образом, что и с исходным рядом. А именно, разбиваем остаток ряда на две части, первую используем для аппроксимации переходной вероятности, а вторую последовательно проверяем на соответствие второй построенной модели. Действуя таким образом, находим моменты времени (а их может быть несколько), в которые происходит изменение вероятностных свойств случайного процесса, а также сами оцененные матрицы переходных вероятностей.

При использовании предложенного метода могут возникнуть следующие трудности. Предполагается, что фрагмент ряда до момента ¿0 подчиняется одной вероятностной модели, то есть в начале ряда не происходит быстрого изменения модели. Это необходимо, чтобы длина усеченных данных была достаточной для обучения. В то же время не следует выбирать ¿0 слишком большим, рискуя пропустить возможный момент разладки между рядом и моделью. Нахождение оптимального значения параметра г также представляет собой нетривиальную задачу.

«Таврюський В1сник ¡нформатики та математики», №2'2008

5. Выявление моментов разладки на основе критерия минимума

Определение моментов изменения вероятностных свойств процесса можно интерпретировать как расстановку на всем временном интервале границ интервалов постоянства модели. При этом важен выбор критерия расстановки.

Рассмотрим сначала простой иллюстративный пример.

Пусть дан дискретный случайный процесс Е {1,2} с непрерывным временем t Е [0,1]. При этом вероятности нахождения в каждом из двух возможных состояний не зависят от предыстории и постоянны в каждом из двух временных интервалов: Р (г(£) = 1) = рь при £ е [0, а), и Р (г(£) = 1) = р2, при £ Е [а, 1], 0 < а < 1.

Таким образом, изменение свойств процесса происходит в точке а. Если изменение процесса в точке а не предполагать, то вероятность нахождения процесса в первом состоянии оценится как среднее на всем интервале [0,1], то есть р = ар1+(1—а)р2-

В качестве критерия, позволяющего определить момент изменения свойств, может быть использована энтропия. При отсутствии границы энтропия есть Н = — р1пр. При правильно поставленной границе а энтропия уменьшится и составит Н = — (сфхЬарх + (1 — а)р2\пр2). При этом минимум энтропии достигается при правильной постановке границы, при любых параметрах а, рх, р-2.

Для предложенного алгоритма прогнозирования выполнение подобного свойства становится неочевидным, поскольку используемый в алгоритме энтропийный критерий устроен сложнее, кроме того, на разных интервалах ряда алгоритм строит разные множества состояний процесса. Однако проведенное статистическое моделирование показывает, что данный критерий позволяет находить момент разладки.

При этом критерий, основанный на отличии от априорных вероятностей, не находит момент разладки, если для одного из процессов переходные вероятности близки к априорным.

Пусть временной ряд задается случайным процессом, у которого в

некоторый момент изменяются свойства. Фактически имеем два случайных процесса, а временной ряд есть соединение их реализаций. Первый процесс выделяет в пространстве 2 три области: [0, 1] х (0, 65, 1], (0, 5, 1] х [0, 0, 65] и [0, 0, 5] х [0, 0, 65]. Для второго процесса выделены (0,65, 1] х [0, 1], [0, 0,65] х [0, 0,5] и [0, 0,65] х (0,5, 1]. Области состояний процессов наглядно изображены на рис. 1. Стрелками показаны наиболее вероятные переходы.

Переходы между областями для каждого процесса определяются матрицами переходных вероятностей. В примере обе матрицы имели вид

энтропии

6. Пример работы алгоритма

Рз\г

8 1-2 8 8 8 8 1-28

1 - 28 8 8

где г соответствует строке, а ] - столбцу.

В пределах каждой области условные распределения равномерны.

1

1

f- 2

3<Ф 2

3

Рис. 1. Модели процесса для различных временных интервалов.

Параметр <5 задается для каждого процесса отдельно и 52) и позволяет варьировать степень выраженности закономерностей (при 5 — | все переходы равновероятны и закономерности отсутствуют).

Заметим, что модели процессов на обоих временных интервалах намеренно выбраны похожими, чтобы проиллюстрировать возможности метода по их разделению.

В случае реализации одного случайного процесса,, при N — 200, алгоритм поиска логических закономерностей с любым из критериев (А' или Ке) практически точно восстанавливал разбиение, если 5 < 0, 2.

В случае изменяющихся свойств процесса использование критерия Ке позволило определять момент разладки с точностью до нескольких отсчетов (при N — 500), если хотя бы один из ^ или 5-2 не превосходил 0,15.

В работе предложен метод прогнозирования многомерного разнотипного временного ряда с изменяющимися свойствами, основанный на выделении состояний процесса в классе логических решающих функций. В роли критерия качества модели используются различные варианты меры информативности матрицы переходных вероятностей. Исследование путем статистического моделирования показывает способность метода адекватно оценивать вероятностную модель временного ряда,, а, также обнаруживать момент изменения вероятностных свойств (разладки).

1. Боровков A.A. Асимптотические оптимальные решения в задаче о разладке. // Теория вероятностей и ее применения, 1998, Т.43, Л- 4, С. 625 654.

2. Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. Институт математики СО РАН, Новосибирск, 1999. 211 с.

3. Миреикова C.B. Метод протезирования многомерного разнотипного временного ряда в классе логических решающих функций. /'/' Искусственный интеллект. Изд-во HAH Украины, 2002,

Заключение

Список литературы

№ 2. С. 197 201.

4. Неделько С.В. Критерий информативности матрицы переходов и прогнозирование разнотипного временного ряда. // Искусственный интеллект. Изд-во НАН Украины, 2004, № 2. С. 145-149.

5. Неделько С.В., Ступина Т.А. Построение логико-вероятностных моделей временного ряда при анализе сейсмических данных. // Научный вестник НГТУ. Новосибирск, 2007, № 4(29). С. 3342.

6. Lbov G.S., Nedelko V.M. A maximum informativity criterion for the forecasting several variables of different types. // Proceedings of the 6-th International Conference "Computer Data Analysis and Modeling". Minsk, 2001. P. 43-48. 1999. 211 c.

7. Ростовцев П.С. Алгоритм построения типологий для больших массивов социально-экономической информации. // Модели агрегирования социально-экономической информации. Сборник научных трудов. Изд-во ИЭ и ОПП СО АН СССР, 1978.

Статья поступила в редакцию 01.05.2008