CC BY
23
2014
УДК 519.2:005
Доклады БГУИР
№ 6 (84)
ИНФОРМАЦИОННАЯ ПРОГНОЗИРУЕМОСТЬ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ В НЕПРЕРЫВНОМ ВРЕМЕНИ
А.В. ОВСЯННИКОВ
Белорусский государственный университет пр. Независимости, 4, Минск, 220030, Беларусь
Поступила в редакцию 10 марта 2014
Приведено определение информационной прогнозируемости стохастического процесса и его параметров. Получены соотношения, связывающие прогнозируемость стохастического процесса в целом с прогнозируемостью его отдельных параметров. Приведены примеры определения информационной прогнозируемости для процессов, описываемых стохастическими дифференциальными уравнениями.
Ключевые слова: прогнозируемость, стохастический процесс, стохастическое дифференциальное уравнение, нестационарная плотность вероятности.
Введение
Задача прогнозирования стохастических процессов, будущих состояний стохастических систем, при ее постановке, подразумевает, прежде всего, возможность осуществления такого прогноза, относящуюся непосредственно к самому процессу или системе. Количественная мера этой возможности - прогнозируемость - информация, содержащаяся в адекватной модели, описывающей стохастический процесс или систему, численно отражающая факт наличия знаний о них в любой будущий момент времени.
Классические определения прогнозируемости стохастических процессов и систем связаны с энтропийным подходом (Шеннон К., Колмогоров А.Н.), и последующим его развитиием в работах Реньи А., Тсаллеса К. и др., использующих неэкстенсивную форму энтропии. В стационарном случае (в строгом смысле) прогнозируемость и способы прогнозирования связаны с корреляционно-регрессионными и спектральными методами (Андерсон Т., Бокс Дж., Дженкинс Г. и др.). Однако для нестационарных процессов и систем такие методы могут быть эффективны только в пределах узких временных интервалов, относительно которых может быть принята гипотеза их стационарного поведения [1].
В статье рассматривается теоретическое предложение о прогнозируемости на основе информационного подхода Фишера, используемого в асимптотической теории оценивания [2]. Предложение состоит в определении прогнозируемости как количества информации Фишера о прогнозируемом параметре стохастического процесса, процессе в целом или системе. Так, в случае одномерной стационарной гауссовской плотности распределения вероятности, прогнозируемость параметра смещения при однократном измерении будет постоянной, и определяться величиной дисперсии 1/ с2 (при n наблюдениях соответственно n / с2). Целесообразность такой оценки прогнозируемости состоит в ее непосредственной связи с рекуррентным асимптотическим алгоритмом эффективной оценки неизвестного параметра [2-4].
Для процессов, описываемых стохастическими дифференциальными уравнениями (СДУ) с последующим аналитическим или численным вычислением нестационарной плотности (НП) информационное количество Фишера оказывается функцией времени [5]. Такая зависимость характеризует поведение информационной прогнозируемости во времени и позволяет расширить классификацию стохастических процессов, учитывая «хорошо» и
«плохо» прогнозируемые. Количественная мера информационной прогнозируемости позволяет также оценить адекватную, поставленной задаче, величину горизонта прогноза применяемой прогностической модели.
Цель работы - дать определение информационной прогнозируемости стохастического процесса и его параметров, установить основные соотношения, связывающие прогнозируемость параметров с прогнозируемостью стохастического процесса в целом. Приводятся определения и свойства информационной прогнозируемости без учета эффектов накопления информации о прогнозируемом процессе.
Определение информационной прогнозируемости стохастического процесса
Процесс ^(0 описывается СДУ
ï(t)+a(t,ç)=g(tm, (1)
где %(t) = d%f)ldt, g(t) - функции, удовлетворяющие условию Липшица, Ç(t) -
нормальный белый шум с нулевым средним (Ç(0)= 0 и дельтообразной корреляционной
функцией (Ç(t)Ç(t -т )} = N5(t)/2, b(t) = Hm(N / 2At)£+/ g2(x)dx — диффузия (при значении
g = const коэффициент диффузии b = Ng2/2), N — односторонняя спектральная плотность. Решая уравнение Фоккера-Планка-Колмогорова (ФПК) известными аналитическими способами может быть получена нестационарная плотность (НП) р = P(t, Е, | X), ( P(t0, Е, | X) = ро,
P(t, ±до | X)=0 ), где X = {Xi} , i = 1, l — набор параметров НП, ( ) — операция статистического усреднения.
Определение 1. Будем называть информационной матрицей прогнозируемости вектора параметров X стохастического процесса E(t) по Фишеру неотрицательную матрицу
IPX(t) = ((дlnр / cX)(ôlnр / 8X)T^ , t > 0, (2)
представляющую собой информационную матрицу Фишера [2] с элементами зависящими от времени, при выполнении условий регулярности для P .
В частном случае одномерного параметрического множества информационная прогнозируемость параметра X представляется функцией информационного количества
Фишера, зависящего от времени IP (t) = ((8lnр / 8X)2^ . Приведенное выше определение
остается справедливым для плотностей вероятности, у которых хотя бы один из параметров является функцией времени. Очевидно также, что если ((8lnр / 8Xi )(8lnр / 8Xj )) = 0 , i * j ,
i, j = 1,l, то матрица IPX (t) имеет диагональный вид.
Определение 2. Будем называть информационной прогнозируемостью стохастического процесса E(t) по Фишеру в целом неотрицательную функцию
ip(t) = {(рlnр / 8t)2^ , t > 0. (3)
В приведенных определениях вместо НП р можно использовать плотность перехода (ПП) ^ =n(t,E | t0,Ео,X) , при этом информационная прогнозируемость рассматривается как
внутреннее свойство стохастического процесса без учета влияния начальных условий.
Следующая теорема устанавливает связь между информационной прогнозируемостью по параметрам НП IPX (t) и информационной прогнозируемостью стохастического процесса в целом 1р (t).
Теорема 1. Информационная прогнозируемость стохастического процесса ) по Фишеру в целом (?) определяется взвешенной суммой частных составляющих элементов главной диагонали матрицы 1РХ (!):
П\0) = ^П\,0)Гг (4)
I
Доказательство. Формула (4) непосредственно следует из определения 2 информационной прогнозируемости стохастического процесса ) в целом. Действительно,
^ =( I X11 Э1пР / ЭХ) | | Э1пР / эхчГ
\Т\
/р(?) = ((Э1пр /Э?)(Э1пр /аг)^ = (Э1пр /эх)] (Э1пр /эх)г X
= Хт^(Э1пр /ЭХ)(Э1пр /ЭХ)1^ Х = Х'1Рх(/)Х.
Отсюда, с учетом условия отсутствия корреляции ((д 1пр; / ЭХ,. )(д 1пР / )) = 0 ,
I ^ у , I,7 = 1,/ непосредственно следует равенство (4). Таким образом, теорема доказана.
Вклад (степень влияния) отдельных параметров НП или 1111 в информационную прогнозируемость стохастического процесса в целом Щ1(7) можно оценить коэффициентом
влияния уХ] (?) = 1РХ] 0)Х] / (1)Х; , /,./ = й •
Представляет интерес связь определения информационной прогнозируемости процесса в целом (3) с характеристиками СДУ (1): коэффициентом сноса и диффузии. Для рассматриваемых в работе стохастических процессов коэффициент сноса и диффузии есть функции а(?,Ъ(?), и соответственно, уравнение ФПК, в логарифмической форме записи
имеет вид
Э 1п п%_да(Г, %) д 1п ^ | Ъ(?)
д? д^ (, д% 2
Гд 1п я. У д21п
) д^2
Введем обозначения ^ =—д 1п^ /дЕ,, ^ =—д 1п^ /д, тогда уравнение ФПК можно записать в следующем виде: ^ = —а'% + а^ — Ъ[^ — ^] . Для линейного СДУ с а(?,= |0,(?)^(?)
21
получаем ^ = —Ц(?) + —(Т~ [^2 — ] . Однако, использование этих соотношений для
вычисления формулы (3) более трудоемко.
Рассмотрим соотношения между информационной прогнозируемостью и дифференциальной энтропией Н. Сформулируем следующее утверждение для одного класса плотностей.
Теорема 2. Пусть НП можно представить в виде р = ей 1 ехр(—В), где В = В(у) -неотрицательная, четная функция потерь; у = — т)/ й; т = т(?) - смещение; й = й(?) -параметр масштаба; Х = [т, й]; с - нормирующая константа. Тогда справедливы следующие неравенства
(дн/эх)2<¡Рх((1пр:)Л , (5)
<¡Рх((1пр)2 ^
0<—д2Н/ЭХ2 < 1РХ (6)
Доказательство. Введем обозначение нелинейной функции ^ =—д 1пр /ЭХ, тогда
ЭН / ЭХ = (+ (2х 1п р) . Поскольку уравнение оценки параметраХимеет вид = 0, то
применяя неравенство Коши-Буняковского получаем (5).
Для получения неравенства (6) рассмотрим вторую производную дифференциальной энтропии по параметру -д2Н / ЭХ2 = 1РХ ^X ) 1пР^ . Для доказательства (6) покажем,
aZX =((z; — Z'X ) ln P^> 0. (7)
В силу того, что ZX ^ / ÔX = ^Z'X — ZX^ = 0, неравенство (7) можно переписать в виде ((Z'X — Z^ )в)^ > 0 . Пусть X = m, тогда ((Z2m — Zm )^ = d—2 ((Zy2 — Z; )^. Функции Zy2, Z'y, 5 четны относительно своего аргумента, асимптотический рост функций O(Z2) > O(Z; ), следовательно AZm > 0. Пусть теперь X = d, тогда ((Z2d — Z'd )В^ = d ^y2 (Zy; — Zy )В^ > 0 по
тем же соображениям, что и в предыдущем случае. Следовательно, неравенство (7) справедливо. Это, в свою очередь, означает справедливость неравенства (6). Таким образом, теорема доказана.
Из теоремы 2 следует, что величина —Ô2H / ÔX2 есть нижняя граница информационной прогнозируемости IPX (t) .
Для гауссовской НП имеем р = ( 2ж12 )-1/2 exp [—(Ç — m)2 / 2d2 ], d (t) = D(1 — ),
m(t) = ^0e_MÎ, величина H = ln(y[2%ëd2 ) и —Ô2H / Ôd2 = d 2, а IPd (t) = 2d~2, что соответствует неравенству (6). Также выполняется неравенство —Ô2H / dm2 = 0 < IPm (t) = d 2.
Определение информационной прогнозируемости стохастических процессов, описываемых линейными СДУ с переменными параметрами
Рассмотрим примеры, поясняющие смысл определенных величин информационной прогнозируемости. Для процесса, описываемого линейным СДУ с переменными параметрами ^(f) + \x{t )q(l ) = g(t)Ç(t) , математическое ожидание и дисперсия определяются выражениями:
M(t) = ^0, t), D(t) = (N /2)|^ ф(s, t)2g(sfds, где Ф^, t) = exp(—£ |i(x)dx), q = [^, s]. При
дельтообразном характере начальных условий P и гауссовской форме P , выбрав в качестве X = [M(t),D(t)], матрица прогнозируемости параметров примет следующий вид: IPX (t) = diag[IPM (t); ip (t)]. В матрице информационная прогнозируемость математического ожидания и дисперсии соответственно равны
IPm (t) = D(t)—1, IPd (t) = 0,5D(t)—2, IPd (t) = 0,5P (t)2. (8)
С учетом формулы (4) информационная прогнозируемость стохастического процесса в целом имеет вид
Щ (0 =M(tf / /X I) + 0,50(0 / IXD Y. (9)
Таким образом, видно, что информационная прогнозируемость отдельных параметров НП и процесса в целом полностью определяется параметрами СДУ.
В теоретическом аспекте представляют интерес исследование и анализ различных моделей СДУ с точки зрения возможности прогнозирования процессов, которые могут быть описаны этими моделями.
В табл. 1 приведены параметры СДУ, параметры НП и информационная прогнозируемость в целом для двух характерных нестационарных стохастических процессов: чисто диффузионного (столбец № 1) и гауссовского (столбец № 2). Замечаем, что для диффузионного и гауссовского процесса прогнозируемость в целом lim IP (t) = 0, в то время
как прогнозируемость отдельных параметров limIPU (t) = 0 , limIPD (t) = 0 (для диффузионного
процесса) и limIP (t) = a 2 = const, limIPD (t) = 0,5a 4 = const (для гауссовского процесса)
t г^вд
оказывается различной. При постоянной величине прогнозируемости гауссовского процесса по параметрам (t ^вд) прогнозируемость самого процесса, тем не менее, в целом стремится к нулю.
Таблица 1. Информационная прогнозируемость стохастических процессов
СДУ №1 №2
Параметры СДУ |t) = 0, g(t) = g КО = i g(t) = g
Параметры НП P? D(t) = Ng 2t /2, M (t) = ^o D(t) = a2(l - e), M(t) = ^e"1, a2 = Ng2 / 4ц
P (t) 0,5Г2 + < T a2(1 -e 1) ^ l- e 1 )
Рассмотрим прогнозируемость стохастических процессов, описываемых СДУ с более сложными функциями ) и g (t) (табл. 2). Такого рода СДУ могут быть использованы для описания процессов с медленными нестационарными изменениями, процессов установления, процессов ухода из контрольной зоны, процессов, описывающих метрологические характеристики аппаратно-технических средств в теории надежности. В табл. 2 приведены параметры трех СДУ и соответствующие им параметры НП, позволяющие определить информационную прогнозируемость как по параметрам (2), (8) так и по процессу в целом (3),
i'W
ta- e dt - неполная гамма-
X
функция, Erfi(x) = Erf (/X) / i, Erf(x) = (2/Vtc)£ e z dz - функция ошибки. На рисунке
приведены результаты моделирования трех нестационарных стохастических процессов (табл. 1 - столбец № 2, табл. 2 - строки № 1 и № 2) с целью получения функциональных зависимостей IPM (t) = од-1.
Таблица 2. Параметры информационной прогнозируемости стохастических процессов, описываемых СДУ со
сложными функциями ^(t) и g(t)
№ Параметры СДУ Параметры НП p
1 ко=ц, g(t) =^/XL gktk D(t) = XL (-2|)-k a2 e21 [ Г(1 + k, -2|t) - kГ(k)] M (t) = , a2 = Ngh /4ц
2 K(t) = Цо + g(t) = g D(t) = a2exp(-|(t)2 / |i)[Erfi(|(t)^ ^/Щ) -Erfi(| / Vl)] M(t) = ^ exp(-|ot - lit2 /2), a2 = Ng/ 4^/Щ"
3 |(t) = |(t + c)-1, c = const, g(t) = g D(t) = a2 [ t + c(1 -^(t)2)] M(t) = 4оЛ(0, a2 = Ng2 / 2(1 + 2ц), Л(0 = сц(t + с)-ц
IPM(t)
1000 t
Информационная прогнозируемость процесса 1РМ (?) : 1 - строка №1, табл. 2, К = 1; 2 - строка №2, табл. 2; 3 - столбец № 2, табл. 1
3
2
0
0
100
200
300
400
500
600
700
800
900
Формирование СДУ с заданными свойствами информационной прогнозируемости
В описанных выше примерах (табл. 1 и 2) решается прямая задача - определение информационной прогнозируемости по параметрам СДУ или НП (1111). Однако в теоретическом плане возможна и обратная задача - формирование СДУ (определение его параметров) исходя из заданной функции информационной прогнозируемости. Такая задача может возникнуть при необходимости формирования стохастического процесса с заданными свойствами. Так, например, используя одно из уравнений (8) получаем
й [!РМ (О4 Ф(?с, О-2 ] = (Ы/2)ф1(Г0,02 £(02, (10)
ф(5, t) = ф(/0, 0ф! (to, s), фЛ , s) = exp X J,
здесь ф(л,I) = ф(/0,/)ф1(/0,л), ф1('0,л) = ехр( | ц(х)йх), и, очевидно, должно выполняться
условие \_IPm() 02]>0 . Тогда, с учетом связи ¡Рп(?) = 0,51РМ(?)2, задаваясь
функциями 1РМ(^ (или 1РВ(I)), ц(1) (или g(?)) можно определить соответствующий неизвестный параметр СДУ. Пусть, например, заданы функции РРМ(?) = и + V, и,V > 0 и ц(1) = ц> 0 . Используя (10) получим g(t) = (а + Ь£)[2ц(и + VI) - V] / (Ы /2) , 2ци > V. Для
функций ¡Рм (I) = иеу', и, V > 0, ц(1) = ц> 0 получим g(t) = у] е(2ц - V) / (иЫ / 2) , 2ц > V.
В упрощенном варианте формирования СДУ с заданной функции информационной прогнозируемости можно положить ф1(10, л) = g(л)1 и ф(10,1) = g(t) . Тогда для прогнозируемости математического ожидания получим
1Рм (i) = до-1 = _( Ы /2)(1 - шо2] =[(1 - ?0)ь(1)]-1,
откуда следует g(t) = [(Ы / 2)(t - ^)/Рм (0)]-Ш и ц(1 ) = й 1п g(!) / Л .
Заключение
Предложенное в статье определение прогнозируемости стохастического процесса и его параметров на основе информационного подхода позволяет теоретически обоснованно дать количественную оценку этой характеристики. В отличии от энтропийных мер, предложенная в работе величина прогнозируемости, основана на информационном количестве Фишера и непосредственно связана с асимптотическими алгоритмами теории оценивания. Вычислительная трудоемкость аналитического получения НП или I II I может быть преодолена с использованием численных методов и последующей аппроксимацией этих решений аналитическими функциями.
Практическая значимость введенной величины информационной прогнозируемости состоит в том, что: во-первых, эта величина может способствовать теоретически обоснованному выбору наиболее адекватного метода прогнозирования, во-вторых, становится возможна генерация стохастических процессов с заданными свойствами относительно их прогнозируемости.
INFORMATION PREDICTABILITY OF STOCHASTIC PROCESSES IN
CONTINUOUS TIME
A.V. AUSIANNIKAU Abstract
The definition of information predictability stochastic process and its parameters is given in the article. Obtain relations connecting the predictability of a stochastic process as a whole predictability of its individual parameters are recieved. The examples of the definition of information predictability for processes described by stochastic differential equations, are shown.
Список литературы
1. Орлов Ю.Н., Осминин К.П. Нестационарные временные ряды: методы прогнозирования с примерами анализа финансовых и сырьевых рынков. М., 2011.
2. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М., 1979.
3. Левин Б.Р. Теоретические основы статистической радиотехники. М., 1989.
4. Тартаковский Г.П. Теория информационных систем. М., 2005.
5. ОвсянниковА.В. // Докл. БГУИР. 2013. № 7 (77). С.71-77.
