Оценка информационной прогнозируемости стохастических процессов Текст научной статьи по специальности «Математика»

Доклады БГУИР

2015 № 1 (87)

УДК 519.2:005

ОЦЕНКА ИНФОРМАЦИОННОЙ ПРОГНОЗИРУЕМОСТИ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ

А.В. ОВСЯННИКОВ

Белорусский государственный университет пр. Независимости, 4, Минск, 220030, Беларусь

Поступила в редакцию 10 октября 2014

Приведены необходимые теоретические сведения, обеспечивающие получения алгоритмов параметрической оценки информационной прогнозируемости стохастических процессов. Рассмотрены примеры алгоритмов оценивания информационной прогнозируемости для процессов, описываемых оптимальными разностными схемами, эквивалентными прогностическим моделям в виде стохастических дифференциальных уравнений.

Ключевые слова: информационная прогнозируемость, стохастический процесс, одношаговая плотность перехода, алгоритм оценки прогнозируемости.

Введение

Введенная в работах [1, 2] функция информационной прогнозируемости (ИП), в общем случае, нестационарного стохастического процесса и его параметров, определяется изменением во времени количества информации Фишера относительно этих параметров или самого процесса в целом. Удобство такого подхода к определению прогнозируемости, в отличии от классических спектрально-корреляционных и энтропийных методов, состоит в следующем. Во-первых, в его естественной связи с информацией Фишера и, соответственно, алгоритмами оценивания, качественными и количественными характеристиками этих алгоритмов. Во-вторых, функция ИП строго положительна и имеет конкретное численное выражение для любого будущего момента времени. В-третьих, этот подход применим и к ИП стохастических систем, поведение которых описывается соответствующими стохастическими процессами.

Особый интерес представляет взаимосвязь функции ИП с величиной горизонта прогностической модели процесса, заданной стохастическим дифференциальным уравнением (СДУ) или нестационарной плотностью. Если предположить, что такая модель известна с точностью до постоянных коэффициентов, то вычисленная функция ИП количественно точно, с заданной достоверностью будет определять информацию о процессе в любые будущие моменты времени, соответствующие заданному горизонту прогностической модели.

В том случае, когда априорные данные о прогностической модели ограничены ее видом, требуется решать задачу параметрического оценивания (фильтрации) неизвестных коэффициентов модели по результатам текущих наблюдений. В рамках этой задачи нашли применение методы, работающие на коротких временных участках, в частности, адаптивные методы [3,4] и методы с использованием е-стационарности наблюдаемой части временного ряда [5]. Однако, в первом случае рассматриваются лишь линейные разностные схемы с адаптацией коэффициентов экспоненциального сглаживания прогностических моделей, а во втором требуется решение дополнительной задачи по определению границ участка е-стационарности [6] для построения соответствующих эволюционных уравнений выборочной функции распределения. В связи с этим в данной работе для оценки неизвестных коэффициентов параметрической прогностической модели предлагается использовать выборочную многомерную плотность вероятности (ВМП), сформированную из одношаговых

плотностей перехода (ОПП) марковского процесса.

Цель работы состоит в исследовании и получении теоретических инструментов, обеспечивающих определение информационной прогнозируемости стохастических процессов с использованием алгоритмов оценки параметров прогностической модели.

Теоретические инструменты параметрической оценки информационной прогнозируемости стохастического процесса

Будем рассматривать процесс, модель которого в непрерывном времени представляется СДУ: y(t) + a(t,y) = g(t)C,(t), где a(t,£),g(t) - известные детерминированные функции удовлетворяющие условию Липшица, <(t) - нормальный белый шум с нулевым средним (<(t)) = 0 и дельтообразной корреляционной функцией (<(t)<(t) = N8(t'-t)/2, N -

односторонняя спектральная плотность. Оптимальная разностная схема, при понимании СДУ в форме Ито, имеет вид [7]

У+1 = У -Aa, +AgiCi, 1 =Ik, (1)

где A = - ti малый интервал времени, на котором слева и справа интегрируется СДУ, a = a(ti,y), < = (1/A)j"i+A<(t)df, b(tr) = Hm(N/2А)|^'+Ag2(t)dt - коэффициент диффузии (в

случае g = const этот коэффициент равен b = Ng2/2), Mt = y -Aat - математическое ожидание, Д = b(tf )A - дисперсия. Глобальная среднеквадратическая погрешность разностной

(еТ \ 1/2

jM [(a'yg(t ))2 ]dt) , О = kA. В дальнейшем, там

где это не вызывает сомнений, зависимость функций от аргументов опускается.

При наблюдении на интервале времени [^ ; tk ] имеется последовательность

Y=[y ,..., yk] и соответствующая ей ВМП р = P(Y | X), где X = {x }, q = 1,Q - набор

независимых параметров ВМП. В качестве такого набора параметров ВМП могут выступать, например, математическое ожидание процесса, его дисперсия, любой другой параметр, зависящий от времени.

Согласно работам [1,2] ИП одного из параметров x ВМП Pk , в общем случае,

нестационарного стохастического процесса определяется выражением

р (tk) = ((дlnPk / 5Xq, (2)

а ИП процесса в целом есть неотрицательная функция

IPr(tk) = {(dln Рк/дГк)2)т=^х2ч1РХдЮ. (3)

Таким образом, оценка ИП состоит в последовательном вычислении ВМП Рк и, далее, непосредственном использовании формул (2) и (3). Наличие априорной информации об элементах уравнения (1) или параметрах ВМП приводит соответственно к параметрическим или непараметрическим алгоритмам. В этой статье рассматриваются только параметрические алгоритмы. В этом случае ВМП удобно представить в виде

k-1

1=0

Pk = С-1 exp 1-ХД+1, , (4)

где ВМ1 = В[у+1, у, X ] - семейство известных параметрических функций, X = , 0) -значение параметра ВМП в 7-тый момент времени, 0 - набор неизвестных параметров плотности, требующих оценки, р - плотность вероятности начальной координаты,

До = B[ уи X,], О - нормирующий множитель. Если выбрать функции Вг+1г = - 1п(сг+1г. пг+1г.) , где пг+1 . - одношаговая плотность перехода, см г - нормирующие множители, связь между выражением (4) и выборочным эмпирическим функционалом (ВЭФ) определяется

зависимостью W = к 1

к -1

IД+1,, -1п С-1

г=0

частную информационную функцию потерь. Положив О, =

р=Шч

4+1,г

. В этом случае функция ВМ{ представляет собой

(Пк=0сг+1,1), получим

(5)

и, следовательно, ВЭФ принимает вид W = - 1п(Р) / к .

Теперь, с учетом (5), входящие в формулу (2) компоненты можно представить в виде

1п Р =т> п

д 1п Рк дх

4+1,1 ■>

2 ( к-1 д 1п л,+1Л2 к- / д 1п л,+1Л2 к-2^ к-1 д 1п я,+1,д 1п п,

-/г=0 дХ V дХ1 у

к 1

л=о

V дх, у

+

21*=: I

4+1,г 3

г=°^ з =г+1 дх.

дх

На основании последних формул, рекуррентная формула вычисления информационной прогнозируемости (2) следующая: 1Рх (^) = 1Рх + 1Рх (&к) , где одношаговая ИП

Р (*к) =

Гд 1п пк ,к-Л

дхк-1

/2ук-2 д 1п Пг+1,г д 1п Пк ,к -1 '

V 1г=0 дх, дХк-1 ,

В качестве задаваемой (или считающейся известной) ОПП, используется плотность формальной конструкции - обобщенное нормальное распределение

(6)

П+1,, = В(и)ехр(-А(и)( у+1 -М, ЦЦ ) ), и > 0,5,

где А(и) = (Г(3/и)Г-1 (1/и))и/2, В(и) = А(и)уи / (2^1цГ(1 +1/и)), Г(г) - гамма-функция.

Наиболее часто такие модели используются с параметром и е {0,5;1; 2}.

Далее, для иллюстрации излагаемого подхода, ограничимся рассмотрением задачи оценки прогнозируемости параметров гауссовского процесса (математического ожидания и дисперсии), являющейся, пожалуй, самой распространенной в рамках задачи прогнозируемости, т.е. х = \М{, Ц ] и и = 2. Формула (5) примет следующий известный вид

Рк = [(2п)к ёе1(Ц)]-1/2 ехр Г-\(У-Ык )тЦ- \У-Мк) ],

(7)

где вектор Мк = {'М1}, матрица Ц = Ша§{Ц }, Ц = /(^, й) г = 1, к, й = } - набор

неизвестных параметров функции масштаба (дисперсии) V = 0, V. Тогда, для прогнозируемости математического ожидания, справедлива формула

'д 1п п+1,, V

Р с*)=1Г=-0 л

у,+1 у V дх у

Р(Уг, Уг+1)ЛУгйУг+1 , Х = [М,, Ц ] .

Таким образом, для ОПП (6) с параметром и = 2, на основании последних выражений, получаем:

1Рм (4+п ) = НЩ, ) =1к=1 Ц+П , (8)

1Рц(1к+п) = 0,51к=1 Ц+2п, п = 0,1,... .

(9)

2

у

и

Здесь индекс т означает прогнозируемость соответствующих параметров стохастического процесса по результатам его наблюдения на интервале [гх,..., гк ] на будущие моменты времени гк+т. На интервале [^,...,гк] формируется оценка вектора неизвестных 0* = dk, входящих в функции В. Таким образом, задача оценки прогнозируемости параметров [Ы, D] и самого стохастического процесса в целом у сводится к оценке выборочной дисперсии В*, точнее коэффициентов С. Такую оценку можно получить, используя стандартные статистические процедуры, применяемые к формулам (6), (7) и ВЭФ Wк.

Далее необходимо сделать следующее важное замечание. Поскольку для выборочных моментов нестационарных рядов отсутствуют утверждения об их состоятельности как оценок моментов соответствующих распределений, то нет необходимости определять их так, чтобы они давали несмещенную оценку, как в случае стационарных рядов [5]. При этом использование таких выборочных моментов не предполагает их асимптотической несмещенности, т.к. асимптотическая сходимость не определена для таких процессов ни в слабом смысле, ни по вероятности. Однако в данной работе неизвестные функции Д, входящие в формулы (8), (9), считаются параметрически заданными, оценке подлежат только неизвестные коэффициенты С, и, в этом случае, применение метода максимального правдоподобия приводит к оценкам, которые, как и все оценки этого вида, являются состоятельными, асимптотически эффективными и асимптотически нормальными [8, 9].

Метод максимального правдоподобия дает систему оценок для вектора С в точке Ц = d :

^Д=о, ^ = =)-1 _ 1(7 -ы УДЛУ —Ы). (10)

сЦ сД сЦ Д Д 2 v к' 2V к' к v к'

Рассмотрим пример оценки прогнозируемости для стохастического процесса следующего вида: >'(/) + цу(/) = , /> 0. у(/]) = у - начальное значение координаты,

ц > 0 - известный параметр, g > 0 - неизвестный параметр. Оптимальная разностная схема, эквивалентная приведенному СДУ: у+1 = (1 — Лц)у + . Математическое ожидание и

дисперсия ОПП соответственно равны Ы = (1 — Лц)у , Д = , Ц = gNЛ / 2 . Тогда, с учетом соотношений (10), получаем в явном виде оценку

к (у+1— Ы)2 Ц = к ^=1 г или в случае Л << 1

^ (у+1 - гу1 )2 г

Ц* = , г = ехр(—Лц),

(11)

(12)

откуда неизвестное значение g равно:

2 ^к (у+1 — гу )2

* 2 к (

gk = NЛк Х/=г г '

Теперь, с учетом определенных величин, оценки (8), (9) примут окончательный вид

К(Ч+т) = (Ц*)—1ггЦк+т) = (Ц*)—1 Хк^—т , (13)

¡РД)(гк+т) = 0,5(Ц*)—2, т = 0,1,.... (14)

Если положить г = /Л, то оценки (13) и (14) примут вид р,(гк+т ) = (ЛЦ*)1 [Н(к + т)—Н (т)], (15)

1Р*(гк+т ) = 0,5(ЛЦ*)—2 [^(1+т) — ^(1 +к + т)], (16)

где (г) = ^(и)(г), ¥(г) = Гг'(£) / Г(£) , Н(п) - и-ое гармоническое число.

Отметим, разность Н(к + т) — Н (т) представляет собой скользящее по т временное окно, в котором производится суммирование частичного гармонического ряда длинной к элементов. При использовании известной приближенной формулы Эйлера, формула (15) может быть заменена на следующую /РЩ (?к+т)«(А4*)—11п(1 + к / т).

Прогнозируемость стохастического процесса в целом, определяемая формулой (3), на основании (13)и(14) равна

= = т = ОД,... ,

9

и, если ? = , А, то

/Р*) = 0,5(А)2(1+т)-^(1 +к+т)], т = 0,1,... . (17)

Однако оценки типа (11) и (12) в явном виде, возможны лишь для ограниченного класса СДУ. В практически важных и более реалистичных случаях приходится прибегать к методам последовательного поиска решения. Так, например, рассмотрим СДУ более общего вида:

у(?) + цу(?) = С(0 , У(?) = У - начальное значение координаты, ц > 0 - известные

параметры, , ^ > 0 - неизвестный параметр. Такого рода СДУ могут быть использованы для описания процессов с медленными нестационарными изменениями, процессов установления, процессов ухода из контрольной зоны, процессов, описывающих метрологические характеристики аппаратно-технических средств в теории надежности. Оптимальная разностная

схема, эквивалентная приведенному СДУ: ум = (1 — Ац)у + А^Е',,, ^ . Математическое

ожидание и дисперсия ОПП равны Щ = (1 — Ац)у, Д = 4 = ^^А /2, V = 0,'.

Тогда на основании соотношений (10) получаем систему уравнений для точки 4 = 4 : дЖк к д 1п ж

1 Ек^ =—1 [(У,+, —ГУ, )2 Д—1 — 11=, = 0,

= 0, А<< 1, V = 0,'.

^ к ,=1 ^ ^

Для решения этого уравнения можно воспользоваться известными методами стохастической аппроксимации, структура которых, в общем случае, имеет вид

,п д 1п я,+1, -

= <1 —К+1 —, / = 1, к — 1 (18)

где - найденное одним из известных способов [8,10] предварительное значение оценки; Кг+1 - матрица, определяющая конкретный вид стохастической аппроксимации [8]; начальные условия для уравнения (18) 4°, К выбираются исходя из имеющейся в наличии априорной информации. Рекуррентные оценки максимального правдоподобия (18) при общих условиях регулярности состоятельны, асимптотически эффективны и асимптотически нормальны [9]. Уравнения (18) образуют замкнутую систему оценки параметров .

Моделирование алгоритмов оценки прогнозируемости стохастического процесса

Исследуем оценку прогнозируемости стохастического процесса, описанного выше: >'(0 + иКО = Для оценки параметра масштаба й* удобно воспользоваться

последовательным алгоритмом экспоненциального сглаживания, эквивалентным (11), (12):

4+1 =

,+1

(У+1 —ГУ,)2

Л

, ,=1, к—1.

(19)

На рис. 1 представлены результаты оценки функции прогнозируемости математического ожидания /Рм (?к+т) (формула (15); А = 0,1; ц = 1) в сопоставлении с функцией /Рм (?к+т) (при известном ё = 1) для двух значений количества шагов прогноза т = 100 (кривые 1, 3) и т = 500 (кривые 2, 4) при изменении объема накопленных данных по

которым производилась оценка d* ( к = 1,2000 ). Кривые 3 и 4 получены с использованием алгоритма оценки (19). На рисунке 2 приведены зависимости прогнозируемости стохастического процесса в целом, полученные по формуле (17). Кривая 1 соответствует величине накопления к = 50, а кривая 2 - к = 100. Изменение прогнозируемости показано на

интервале прогнозных значений индекса m = 50,400 .

Полученные в ходе моделирования результаты физически обоснованы. Во-первых, при одинаковых объемах накопления данных о стохастическом процессе (величина к) с увеличением индекса m ИП математического ожидания уменьшается (рис. 1). Во-вторых, оценка ИП, полученная на основе приведенных алгоритмов, адекватна теоретической (рис. 1). В-третьих, с увеличением интервала наблюдения (величина к) возрастает и величина ИП (рис. 2).

35 г

30 25 20 15 10

1Р\А1к m)

1 *

Vi?

2

s? fj 3 *******

А А / N 4

к

0 200 400 600 800 1000 1200 1400 1600 1800 2000 Рис.1. Информационная прогнозируемость математического ожидания: 1 - IPM (Yi+100) ; 2 - IPM (4+500) !

3 ~~ ЩЛ^ОО) • 4 ~~ ^М (4+500) •

35 г

30 25 20 15 10

IPl%+m)

2 ............1...

1 /

- m

0L

50 100 150 200 250 300 350 400

Рис.2. Информационная прогнозируемость процесса: 1 - IPY (t50+т) ; 2 - IPY (i100+т)

Заключение

Рассмотрены вопросы параметрической оценки информационной прогнозируемости стохастических процессов. Показано, что эта оценка связана с оценкой параметров ВМП, формируемой по результатам наблюдений. Выбор вида ОПП, как компонента ВМП, может быть осуществлен из практических соображений простоты вычислений и адекватности представления реальной ситуации. ОПП являются удобными аналитическими моделями с физически понятными при их использовании результатами.

С теоретической точки зрения оценка информационной прогнозируемости интересна и

как классификационный параметр стохастического процесса, изменяющийся во времени, и как параметр, функционально связанный с самим прогнозируемым процессом. Практическая значимость этой оценки, осуществляемой в реальном времени, состоит в том, что она может способствовать выбору наиболее адекватного метода прогнозирования или адаптивной его настройке.

ASSESSMENT OF INFORMATION PREDICTABILITY OF STOCHASTIC PROCESSES

A.V. AUSIANNIKAU

Abstract

The necessary theoretical information for parameter estimation algorithms informational predictability of stochastic processes are given. We consider examples of algorithms for estimating the predictability of information for the processes described by the optimal difference schemes, equivalent prognostic models in the form of stochastic differential equations are considered.

Список литературы

1. Овсянников А.В. // Докл. БГУИР. 2014, № 6 (84). С. 48-54.

2. Овсянников А.В., Козел В.М. // Докл. БГУИР. 2014. №. 8 (86). С. 48-53.

3. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. М., 2003.

4. Давнис В.В., Тинякова В.И. Адаптивные модели: анализ и прогноз в экономических системах. Воронеж, 2006.

5. Орлов Ю.Н., Осминин К.П. Нестационарные временные ряды: Методы прогнозирования с примерами анализа финансовых и сырьевых рынков. М., 2011.

6. ОрловЮ.Н., Осминин К.П. // Информационные технологии и вычислительные системы. 2008. № 3. С. 3-13.

7. Никитин Н.Н., Разевиг В.Д. // Журнал вычислит. матем. и математич. физики. 1978. Т 18, № 1. С. 106-117.

8. Цыпкин Я.3. Информационная теория идентификации. М., 1995.

9. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М., 1979.

10. Тартаковский Г.П. Теория информационных систем. М., 2005.