Информационная эквивалентность стохастических процессов Текст научной статьи по специальности «Математика»

Доклады БГУИР

2016 № 5 (99)

УДК 519.2:005

ИНФОРМАЦИОННАЯ ЭКВИВАЛЕНТНОСТЬ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ

А.В. ОВСЯННИКОВ

Белорусский государственный университет Независимости, 4, Минск, 220030, Беларусь

Поступила в редакцию 25 февраля 2016

Приведены необходимые теоретические сведения для получения и анализа информационной функции стохастического процесса. Введено понятие информационной эквивалентности стохастических процессов относительно отдельных параметров этих процессов. Дано определение информационной эквивалентности стохастических процессов в целом. Рассмотрен метод формирования информационно эквивалентных стохастических процессов. Приведены примеры вычисления и анализа информационных функций стационарных и нестационарных процессов.

Ключевые слова: стохастический процесс, информационная функция, информационная эквивалентность.

Введение

Наряду с известными определениями стохастической эквивалентности случайных процессов в широком и узком смысле, в ряде практических и теоретических задач возникает вопрос об их информационной эквивалентности, т.е. эквивалентности их информационных характеристик. Такая задача может возникнуть, например, при анализе возможности генерации стохастических процессов (СП), имеющих одинаковые информационные свойства. Другим примером использования информационной эквивалентности СП является анализ качественных характеристик алгоритмов информационной теории оценивания и фильтрации сигналов [1, 2].

В данной работе в качестве информационной характеристики СП предлагается использовать функцию информационного количества Фишера, изменяющегося во времени [3]. Аналитическое определение информационной функции (ИФ) СП относительно некоторого параметра этого процесса или самого процесса в целом не является принципиально сложной задачей. Например, вероятностную структуру широкого класса стационарных и нестационарных процессов можно аппроксимировать нормальной условной плотностью с параметрами математического ожидания и дисперсии, зависящих от времени. Для стационарных СП известными являются функционалы, зависящие от параметров стохастических дифференциальных уравнений (СДУ). Тогда, обобщая специальным образом определение понятия количества информации Фишера, как постоянной величины, получаем функцию количества информации, изменяющуюся во времени.

Цель работы состоит в определении информационной эквивалентности стохастических процессов, иллюстрации расчетов информационных функций на конкретных примерах и представлении методики формирования процессов с заданной информационной функцией.

Информационная функция стохастического процесса

В работах [3, 4] введена функция, отражающая изменение количества информации Фишера о некотором параметре х СП ^ =^(0 во времени:

с параметрами

IPx(t) = ln f /dxf, IPx(t) >0, t >0, (1)

где f = f (t,$; x) - одномерная нестационарная плотность (далее плотность), удовлетворяющая уравнению Фоккера-Планка-Колмогорова (ФПК) с начальным и граничным условиями f (t0, x) = f , f (t, ±вд; x) = f±x . В общем случае полагаем зависимость параметра плотности от времени xt = x(t), x Ф t. Общие условия регулярности [5], которые с учетом зависимости f от t, предполагают существование производной df / dxt , существование и конечность интеграла J(f / дхг )2 f ld$ , где f Ф 0 для любого $ eScR .

Следует отметить, в отличии от количества информации Фишера (постоянной величины), существующего только для стационарных плотностей, ИФ (1) существует для плотностей не имеющих стационарного состояния. Таким образом, ИФ (1) является обобщением классического понятия фишеровской информации.

Пример 1. Для плотности f = ^2ndt) exp - ($- mt) / ^2dl J

математического ожидания mt = $0e ц = const > 0 и дисперсии ^ = a2(1 - e 2ц), a2 = const > 0 , получаем: IPm (t) = d-, IPd (t) = 0,5d-. Замечаем, пределы функций lim IPm (t) = a-2, lim IPd (t) = 0,5a4 совпадают с известными количествами информации Фишера

для нормально распределенной случайной величины. Пусть теперь mt = $0-ц/, / = bt, b = N /2 - коэффициент диффузии, N - односторонняя спектральная плотность. Информационная функция параметров m и d определяются теми же формулами: IPm (t) = d— , IPd (t) = 0,5d-, однако количества информации Фишера для такой плотности не существует, т.к. отсутствует ее стационарное состояние: lim IPm (t) = 0, lim IP (t) = 0.

Информационная функция IP (t) не аддитивна относительно t, поскольку для любых моментов времени t3 > t2 > t > 0 и t3 = t2 +1 имеют место неравенства: IP (t3) < IP (t2)+IPX (tx) -для монотонно убывающих и IP (t3) > IP (t2) + IP (tx) - монотонно неубывающих информационных функций. Причем, первое неравенство характеризует строго монотонную потерю информации о параметре процесса с увеличением t, а второе - ее неубывание. В точке

t0 ИФ IP (t) определяется начальным условием f0 и IP (t0) = lim IP (t) . Однако, если

t ^t0

начальные условия дельтообразные f0 = 5($-$0), = $(t0), то такого предела в случае t0 = 0 может не существовать: при t0 ^0 имеем IP(t0) ^вд (см. пример 1). С физической точки зрения это означает полную информационную определенность относительно параметра стохастического процесса, характеризуемого плотностью f в момент времени t .

В общем случае, если плотность f допускает представление f = f ($; X), где X = {xi}, i = 1, l - набор статистически независимых параметров плотности, x = x (t), x Ф t, ИФ процесса в целом определяется

функцией IPt(t) = Е% (ein// öf)2 = £x2/Px (/),

t > 0. Например,

i

для плотности, рассмотренной в примере 1, получаем IPt{t) = m2tIPm{t)+d2IPd{t) .

Определение информационной эквивалентности стохастического процесса

Приведенное определение информационной функции позволяет ввести в рассмотрение понятие информационной эквивалентности стохастического процесса.

Определение 1. Если найдутся такие В - измеримые случайные процессы {^, ^ с плотностями {/,/}, удовлетворяющими оговоренным ранее условиям регулярности, для которых для любого фиксированного момента времени г е [0, да) выполняется условие

P (t) = P (t), Vi, t > 0, (2)

то эти случайные процессы будем называть эквивалентными (IP-эквивалентны) относительно их информационной функции по параметру x(t). Если для момента времени t е[0, да) справедливо неравенство

P (t) > P(t), t > 0, (3)

то убывание информации о параметре x(t) процесса ^ происходит строго не быстрее, чем для процесса ^ и такие процессы не являются информационно эквивалентными.

Пример 2. Для двух диффузионных процессов ^, qt с параметрами плотности (см. пример 1) m%t = mqt = ^0 -^.t, d%t = bft, dqt = b_t, hq < b , убывание информации о параметре математического ожидания процесса ^ происходит строго не быстрее, чем для процесса qt: IP,qm(t) = (b^t)"1 >IPqm(t) = (b t)_1, т.е. процессы оказываются неэквивалентными по ИФ IPm (t) . В то же время, если положить m^ Ф mqt, d^t = d? t, процессы ^ , ^ будут считаться эквивалентными по информационной функции математического ожидания, поскольку теперь IPm (t) = IPim (t) , Vt, t > 0 .

Распространяя определение 1 на ИФ для СП в целом, т.е. функцию вида IPt(t), заключаем, что два СП }>0 информационно эквивалентны в целом, если для любого

фиксированного момента времени t е[0,да) выполняется условие IP^ t(t) = IP^ t(t), t > 0.

Приведенное соотношение позволяет сформулировать следующую теорему. Теорема. Стохастическая эквивалентность случайных процессов в широком смысле означает и их информационную эквивалентность. Обратное утверждение не верно.

В качестве примера информационно эквивалентных СП, не являющихся стохастически эквивалентными в широком смысле, можно привести процессы ^, qt имеющие плотность,

указанную в примере 1, с параметрами m^ = 0, d^t = a + ßi, а, ß> 0, mqt =Л/уТ~2 ln(1 + ßt / а),

d i = y> 0, t > 0. ИФ и в том и другом случае одинакова и равна IPt (t) = ß2 / 2(а + ßt )2.

Рассмотрим теперь информационную эквивалентность СП заданных СДУ с учетом времени наблюдения за реализациями этих СП. Пусть (Q, F, F, Р) - полное вероятностное пространство, F = [Ft\t>o - неубывающее семейство, некоторый выделенный поток о-алгебр из F и w = (wt, Ft), t > 0 - винеровский процесс с Ewt = 0, Ew2 = t. Тогда СП с дифференциалом в форме Ито и Fo измеримым начальным условием имеет вид

d^t + at & )dt = gtdwt, ^(t0) = ^0, (4)

где at), gt - функции, такие, что a,g:R+ xRxD^R для каждого t >0 [ as)2ds <да и

J 0

\[g2sds причем limE|^\ Tt\ = at&) - снос, limE[)21 F^ = bt - диффузия,

b = gf . "

Пусть на интервале времени [0,T ] наблюдается СП определенный дифференциалом (4),

выполняются условия | b- \at (x, ^ )| dt <да, j" b-1 at (x, ^ )2 dt <да и функции at (x, ^ ), g

непрерывно дифференцируемы в пространстве L (0,T) [5, 6]. Пусть также Pw - распределение вероятностей в пространстве непрерывных функций, порожденное винеровским процессом w и все меры P абсолютно непрерывны относительно меры Pw, причем p = P / P - функция правдоподобия, имеющая вид [6-8\:

( г 1 г ^

р% (х) = ехр I I ь;1а1Д^ + - I

Го 20 ,

Тогда информационное количество Фишера, интегралов [6, 9], определится выражением

согласно

свойствам

стохастических

Р (Т) = Е

1п рЕ

Л2

сХ

V

^]] =Е/Ъ, ^ j Д. (6)

Учитывая (6) ИФ относительно некоторого параметра СП, заданного дифференциалом (4), определим как неотрицательную функцию от т и Т:

Р (Т) = ЕI Ъ+т (^ ] Л = Е^/Ъ,1 [са, Д, (7)

где т>0 - параметр, определяющий информационный «горизонт» модели (4). Очевидно, что в случае т = 0 ИФ (7) приобретает вид (6), т.е. /рТ=0 (Т) = ¡рх (Т).

Пример 3. Пусть а(ц,^) = ц, х = ц, gí = g, тогда /рТ(Т) = Т / Ъ , т.е. ИФ параметра ц линейно возрастает со временем наблюдения Т и не зависит от величины т .

Пример 4. Пусть а(Ц,^) = , х = ^, gí = g, тогда /р^(Т) = Ц2Т / Ъ, т.е. ИФ самого процесса ^ линейно возрастает со временем наблюдения Т. В то же время, если положить

~е2ц(Т+т) _1_

х = ц, то получим р (Т) = Ъ 1 / = (2ца2) 11п

2цт

где Е£2 = и (1 _ е^)

2ц^ _1

а2 = Ъ /2ц . Если 2цт >> 1, то возможно упрощение: ¡р^(Т)« Т/ а2.

Для вычисления ИФ математического ожидания щ процесса (4), формулу (7)

т +т

преобразуем к виду ¡рщ (Т) = | (5а, (щ,)/ 5щ, )2 Л . В частности, возвращаясь к примеру 4,

Т

имеем а (Ц, Щ) = ЦЩ, х = щ, gí = g. Тогда /рхт (Т) = ц2Т / Ъ . В этом случае ИФ процесса ^ (пример 4) и ИФ его математического ожидания оказываются эквивалентными и линейно возрастают со временем наблюдения Т, т.е. /рЩ (Т) = /р^ (Т).

На основании выражения (7) и рассмотренных примеров определим информационную эквивалентность СП , ^ }>0 относительно некоторого параметра СДУ, в общем случае х = х(,), на интервале времени [0, Т + т] как равенство

рх(Т) = рх(Т) , Ут,Т, т > 0, Т> 0. (8)

Пример 5. Пусть заданы следующие параметры СДУ: а0, (ц, ) = ц4,, х = ^, g0, = , а, > 0 . Тогда ИФ /р^(Т) = (ц/ g0)2T. Информационно эквивалентный СП с ИФ при задании ^, = ^^, ^ > 0, согласно определению (8), будет иметь снос а ) = ц^Р, / «Д*.

X

Метод формирования информационно эквивалентных стохастических процессов

Для практически распространенного случая аппроксимации плотности гауссовской

формой / = ) ехр _ (£_ щ,) / ^

с параметрами щ = щ(,) и Д = Л (,)

согласно (1) получаем ИФ 1Рщ (,) = Л,1 и 1РЛ (,) = 0,5 Д2.

Ограничимся построением стохастического дифференциального уравнения по заданной информационной функции математического ожидания. Рассмотрим случай гауссовского приближения плотности с разложением коэффициента сноса в ряд Тейлора в окрестности математического ожидания щ в виде а(^) = а (щ) + а'((щ_щ) . Тогда, с учетом

уравнения дисперсии [10] ¿/( + 2с/1са1 (т1) / дт, — />, = 0. получаем дифференциальное уравнение относительно ИФ математического ожидания:

й1Рт(О-1/йг + 21Рт(г)-1 да(т)/дт1 -Ъ = 0, 1Рт(0) = 1Рт0. (9)

Теперь, используя формулу (9), и обозначив у, = 1Рт (г )-1, стохастический дифференциал (4) можно переписать в виде

й ^ +

да, (т) . да, (т)

—+ а (т) - т—

—* г V г / г

ат1 ат1

Л = ф(+2у(да({т()/дт^'(, ) = , (10)

где у1+2у1да1{т1)1дт>0. Заметим, что уравнение (10) позволяет получать семейства II'-эквивалентных по ИФ математического ожидания стохастических процессов.

Пример 6. Пусть ИФ математического ожидания стохастического процесса имеет вид

1РШ(1) = 1 /у,. /Р„,(0) = 1 /у,,. Если выбрать а/(т/) = 0, то из (10) получим б/с,, у, > 0 .

Если выбрать а1 (т1) = \.У1т1. то получаем с1с11 + = ^у, + 2ц, у, б/и-. Таким образом,

получены две эквивалентные по ИФ математического ожидания модели СДУ.

На рисунке представлены результаты моделирования процессов с эквивалентной ИФ полученные в примере 6 с у = у0 +у г > 0 и ц = ц > 0 . Такой результат указывает на то, что с информационной точки зрения генерация этих двух процессов эквивалентна. Это, в свою очередь, позволяет выбрать для генерации СП более простые в реализации схемы.

Стохастические процессы с эквивалентными ИФ, у0= 0,1; у= 0,01: 1 - ц = 0,1; 2 - ц = 0

Заключение

Предложенное определение эквивалентности СП (отдельных их параметров и самих процессов в целом) на основе информационного подхода Фишера позволяет теоретически обоснованно ввести в практику статистического анализа СП понятие их информационной эквивалентности, а также дать оценку этой количественно изменяющейся во времени характеристики.

Введенное в работе понятие информационной функции выступает и как инструмент анализа СП, и как обобщение классического информационного количества Фишера как постоянной величины на функцию, зависящую от времени. В отличие от классического информационного количества Фишера, ИФ может быть определена также и для плотностей вероятности, не имеющих стационарного состояния.

В практическом аспекте представляют интерес изучение и анализ информационных функций для различных классов СДУ с целью исследования возможности формирования СП с эквивалентными информационными свойствами. Это позволяет использовать алгоритмически и конструктивно более простые схемы генерации информационно эквивалентных СП.

INFORMATION EQUIVALENCE OF STOCHASTIC PROCESSES

A.V. AUSIANNIKAU Abstract

The necessary theoretical knowledge to obtain and analyze the information function of the stochastic process is shown. The concept of information equivalence of stochastic processes on the individual parameters of these processes is introduced. The definition of information equivalence of stochastic processes is given. The method of information equivalent formation to stochastic processes is considered. The examples of calculation and analysis of information functions of stationary and non-stationary processes are submitted.

Keywords: stochastic process, information function, information equivalence.

Список литературы

1. Тартаковский Г.П. Теория информационных систем. М., 2005.

2. Цыпкин Я.З. Основы информационной теории идентификации. М., 1984.

3. ОвсянниковА.В. Фильтрация и прогнозирование стохастических процессов. Germany, 2015.

4. Овсянников А.В. // Докл. БГУИР. 2014, № 6 (84) С. 48-55.

5. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М., 1979.

6. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов (нелинейная фильтрация и смежные вопросы). М., 1974.

7. Розанов А.К. Нелинейная фильтрация сигналов. СПб., 1994.

8. КузнецовД.Ф. Стохастические дифференциальные уравнения: теория и практика численного решения.СПб., 2010.

9. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. М., 2002.

10. Тихонов В.И., Миронов М.А. Марковские процессы. М., 1977.