Информационный аспект в совместной задаче непрерывно-дискретной фильтрации и интерполяции. Анализ Текст научной статьи по специальности «Математика»

Управление, вычислительная техника и информатика

УДК 519.2

ИНФОРМАЦИОННЫЙ АСПЕКТ В СОВМЕСТНОЙ ЗАДАЧЕ НЕПРЕРЫВНО-ДИСКРЕТНОЙ ФИЛЬТРАЦИИ И ИНТЕРПОЛЯЦИИ. АНАЛИЗ

С.В. Рожкова, О.В. Рожкова

Томский политехнический университет E-mail: rozhkova@tpu.ru

Исследуются свойства количеств информации по Шеннону в совместной задаче фильтрации и интерполяции стохастических процессов по непрерывно-дискретным наблюдениям, касающиеся информационной эффективности наблюдений с памятью относительно наблюдений с запаздыванием. Получено непосредственное нахождение совместного количества информации по Шеннону в совместной задаче фильтрации и интерполяции.

Ключевые слова:

Сигнал, стохастические системы, фильтрация, интерполяция, количество информации.

Key words:

Signal, stochastic system, filtering, interpolation, information amount.

1. Введение

В [1, 2] на основе анализа научных публикаций для систем калмановского типа была решена задача нахождения количества информации по Шеннону в совместной задаче фильтрации и интерполяции стохастических процессов по непрерывнодискретным наблюдениям с памятью для общего и условно-гауссовского случаев. В данной работе рассматривается информационная эффективность дискретного канала наблюдения с фиксированной памятью единичной кратности относительно дискретного канала без памяти для стационарного гауссовского марковского процесса диффузионного типа (процесс Орнстейна-Уленбека) и непосредственное нахождение совместного количества информации по Шеннону в совместной задаче фильтрации и интерполяции. Система обозначений та же, что ив [1, 2].

2. Информационная эффективность наблюдений

с памятью относительно наблюдений

с запаздыванием

Представляет интерес вопрос об эффективности наблюдений с памятью в задачах фильтрации и интерполяции, т. е. увеличивает или уменьшает количество информации наличие памяти. Данное

исследование проведем для частного случая скалярных стационарных процессов х,, z, n(tm) определяемых соотношениями

dxt =-axtdt + '\lQdwt, a > 0, p0(x) = N{x; л0, y0],

dzt = H0xtdt + 4Rdvt,

П((т ) = G0 Xtm + GA+^0m X (1)

когда непрерывные наблюдения без памяти, дискретные наблюдения с памятью единичной кратности (N=1, т1=т), процесс xt является стационарным гауссовским марковским процессом диффузионного типа с корреляционной функцией K(a)=[Q/2a] exp{—a|a|} и временем корреляции ak=1/a. Этот процесс, известный как процесс Орн-стейна-Уленбека, широко используется как в технических приложениях для моделирования реальных процессов с корреляционной функцией экспоненциального типа [3], так и в финансовой математике для моделирования процесса изменения процентной ставки [4]. В качестве меры информационной эффективности наблюдений с памятью n(tm) относительно наблюдений без памяти ff(tm), когда G0=O в задаче фильтрации может быть взята величина (см. (3.6), (3.8) в [1])

и А1=А/1'"[х1;го'", п(ОЬ А/Лад'", п('т)]

(см. (3.22), (3.24) 1~ [1]) в задаче интерполяции, где А/, А/_ и А//", А/.'т - приращения количеств информации в моменты времени 'т, поступающие соответственно из наблюдений п('т) и п('т). Рассматриваем случай редких дискретных наблюдений, когда на интервалах 'е('т, 'т+1) решения дифференциальных уравнений для элементов матрицы Г2(т, ') достигают стационарных значений [5].

Уп(«‘) = у[к + (1 -к)ехр{-2Я«*}],

Уо^О = 7 ехР{-Я«*Ь (1)

где у=(Я-а)/5, 8=И02/Я, Я=^a2+8Q, к=(Я+а)/2Я и '*='т-т является величиной, характеризующая глубину памяти. Тогда, согласно (13), (14) и Следствия 2 в [2]

А ' = (1/2) 1п[ у( )/ К «т)].

а' = (72)1п[ уп( т, о/ Уи( т. «т)]. (2)

где согласно [5]

Y(tm ) = Y -

[G0y + G,yoi(í )]2

V + Go2y + G12y11(í *) + 2GoG1Yo1(t *) f(tm) = Y - [G12Yo21(í*)/(V + G1W))], (2.4)

= Y„(t*) -

Yn^, С) =

[GoYo1(t*) + fiMO]2

V + Go2Y + G12yu(0 + 2GoG1Yo1(t*)!

УпТ, «т) = Ун («*) - [С1272 («*) / (V + С2^ («*))]. (3)

Относительно глубины памяти имеются две крайние ситуации: случай малой глубины, когда '*—>0, случай большой глубины, когда '*—да. Пусть А0/=ИшА/, А0‘=КшА‘' при Г—0, и А^^ИшА/ при '—да. Из (1-3) следует

А о = АО = (1/2)1п(1 + ро),

Ада! = (1/2) 1п(1 + ), Ада = (1/2) 1п(1 - р),

Ро = [(Со2 + 2ед)у]/[Г + С^],

р£ = [Со2у]/[г + С2ку],

Р' =________________GW___________. (4)

Рда Со2С>2 + V[V + (Со2 + о^к)г] ( ;

Исследование поведения А7( '*), А‘( '*) как функции глубины памяти '* на основе (1-4) дает следующие результаты (Утверждение 1 для А7( '*) и Утверждение 2 для А‘( '*)), в предположении, что

О = {(Со,С1):С2 + 2ОД < 0},

О-= {(Со,^):Со2 + 2ОД < о}.

Утверждение 1.

1) В случае большой глубины памяти наблюдения с памятью более информативны относительно наблюдений с запаздыванием, т. е. Ада>0.

2) Если (6^) ев-, то в случае малой глубины памяти наблюдения с памятью менее информа-

тивны относительно наблюдений с запаздыванием, т. е. А0/<0, и D(/>0 если (G0, Gj)gG-.

3) Если (G0,Gj)eG-, то А/( Г) является монотонно возрастающей функцией глубины памяти от значения А0/<0 до значения A¿>0, обращаясь в ноль в точке f=t¡, для которой справедлива формула

t* = (1/ Я)1п[2 |^|/ |Go|], (5)

4) Если (G0,Gj)gG-, то А/(t*)>0 для всех t*>0. Утверждение 2.

1) В случае большой глубины памяти наблюдения с памятью менее информативны относительно наблюдений с запаздыванием, т. е. A¿<0.

2) Если (G0, G1)gG, то в случае малой глубины памяти наблюдения с памятью более информативны относительно наблюдений с запаздыванием, т. е. А0>0, и А0‘<0 если (G0,G1)eG.

3) Если (G0,G1)gG-, то А1'^*) является монотонно убывающей функцией глубины памяти от значения А0>0 до значения Ада>0, обращаясь в ноль в точке t'=t¡, для которой справедлива формула

* 1 ,

t, = — ln

|Go|(V + G2y )

N(VV2 + Go2Y(V + G2y) ± V)’

(6)

1.

где знак «-», если, и знак «+», если .

4) Если (б^б^ев, то А('*)<0 для всех '*>0. Прокомментируем полученные результаты. Величины / и '■*в виде (5) и (6) получаются как единственный корень, соответственно, уравнений А/(',)=0 и А‘(',)=0, которые имеет вид

|Со|2 -2\О0\|С^ехр{-Я«*} = о, (7)

С2(К + О^у )ехр{-2 а« *} +

+2^^ ехр{-а« *} - С^2/ = о. (8)

Условия (60,61)ев- и (60,61)гв являются условиями существования таких решений. Заметим, что точное решение (6) уравнения А‘('*)=0 получено только для случая отсутствия непрерывных наблюдений, когда 5=0, Я=а, к=1иимеет вид (8). В общем случае присутствия непрерывных наблюдений получается уравнение четвертой степени относительно ехр{-Я'*}, что не позволяет получить аналитического решения. Найденные значения / и '■* могут быть определены как эффективная глубина памяти в рассмотренной задаче соответственно при фильтрационном и интерполяционном приемах.

2. Влияние непрерывных наблюдений на информативность дискретных наблюдений осуществляется через параметр 5=И02/Л, который пропорционален отношению сигнал/шум по интенсивности в непрерывном канале наблюдения. При 5=0, что соответствует случаю отсутствия непрерывных наблюдений, справедливы формулы (1-6), в которых Y=Q/2a, Я=а, к=1, т. е. в этом случае появляется явная зависимость / и '■* от времени корреляции ак=1/а про-

цесса х. При 5=да А/m[.]=А/J•]=А/т'm[.]=А/т'm[.], что дает А/=А/=0. Таким образом, при достижении абсолютно точного измерения в непрерывном канале дискретные наблюдения как с памятью так и с запаздыванием не привносят новой информации о значениях хТ, х.

3. В случае большой глубины памяти '*^ак, где ак=1/а есть время корреляции процесса х, что приводит к отсутствию корреляционных связей между хт, Х'т. Поэтому при больших ' * сигналы У('т)=60Х'т и Ух(т)=6{хч не содержат взаимной информации и значениях хт и хт, что приводит к свойству А/>0 в задаче фильтрации. В задаче интерполяции отсутствие корреляционных связей между хт и хт дает, что сигнал У0( 'т) действует в канале с памятью как дополнительный шум, что приводит к свойству Ада<0. В случае малой глубины памяти, когда '*^ак, коэффициент корреляции между значениями хт и хт близок к единице и поэтому сигналы У01( т,'т)=60хт+61хТ и Ух(т) воспринимаются как У01('т)=(60+61) хт, У1('т)=61хт. Так как условия (60,61)еО- и (б061)^С означают |60+61|<|61| и |60+61|>|61|, а интенсивности сигналов У01('т) и ^('т) пропорциональны |60+61|2и|61|2, то это и приводит к свойствам А/<0 и А0<0.

На рис. 1 и 2 приведены семейства кривых А7( '*) и А'( '*) для ситуаций 3) в Утверждениях 1 и 2. Поведение кривых соответствует проведенному исследованию.

3. Непосредственное нахождение совместного количества информации

Утверждения Следствия из [1] и Следствия 1 из [2] могут быть доказаны непосредственно без использования соответственно Теорем 1 и 2 из [1, 2]. Докажем сначала Следствия из [1]. Доказательство. Априорная плотность (2.6) из [1] определяется уравнением

^р(', х; ^, %) = Ц * Ь(', х; ъ, ^)]^, (9)

которое следует из (3.1) в [1]. Дифференцирование по формуле Ито с использованием (3.1) из [1] и (9) дает

р\ (х;х N)

1

р (х; %) ',: 1

1

- ~ [И(', х, XN, z) - И(', z)] х

хЯ (', z)[И(', х, XN, z) - И(', z)]^' +

+[И(', х, XN, z) - И(', z)] Я (', z)dzt.

(10)

Применяя к (10) для 'т<'< 'т+1 формулу Ито-Вентцеля [6, 7], получаем

1п

р (х'; хт^)

= 1п[]|'+

1 'г

+- 11х

2 }

р(', х' ^, хтЖ)

Я-1 (а, z)[И(а, ха, х^, z) - И(а, z)] х х[ И (а, ха, х^, z) - И(а, z )]Т

dа

1' - 71

в(а)

5 1п ра( хст; х")

5х„

д 1п ра( ха; ^)

5х„

5 1п Р(а, ха; fN, хг" )

0х„

в (а)

1

5 1п р(а, ха; ТN, хт" )

дха

52 ра (ха; хт)

dа -

рТ (ха ; ^ ) 1

5х2

52 р(а, ха ; Ь, ^ )

йх2

р(а, ха ; Ь , хг )

+ | [ И (а, ха, х", z) - И(а, z)]Т Я -1(а, г) Ф(а, г )dVа. (Ш

а (, •)

2 = 1; ¿ = 1; К = 1; £0 = 1.3; G1 =-1.2; Т = 0.1 аг = 1; а2 = 2; а3 = 5

А'!(*)

2 = 1; £ = 1; V = 1; С0 = 4; ^ = 1.5; Т = 0.1

а1 = 0.5; а2 = 2; а3 = 5

Аналогично [4], а также (П. 13) в [3] 1 52 (x„; xf)

M

рТ (X:; xf) 1

dx2

д 2p(a, ха; iN, )

_ P(: , X: ; fN , x. )

5x2

= O. (12)

Вычисление математического ожидания от левой и правой части (11) с учетом (12) и последующее дифференцирование по / приводит к (3.32) из [1] с учетом Замечания 2 из [1], а (3.33), (3.34) из [1] следуют в результате подстановки (3.3) из [1] в (2.17) из [1].

Докажем теперь Следствие 1 из [2].

Доказательство. Из (1-3) в [2] и формулы

h(t, z) = M{h(t, х,, Xf, z) |z0,^} из Утверждения 1 в [1] следует, что

h(t, z) = h(t, z) + Нq,n (t, z) ßf +1(Tn ,t).

Тогда (см. (1-4) в [2] с соответствующей заменой переменных: (t-tN')^ rN))

M

I [h(t, х,, XT , z) - h(t, z)] x

|x[h(t, x,, xf, z) - h(t, z)]T = H0,N (t, z)ГN +1(^N , 0H0,N (t, z). (13)

По свойству гауссовских плотностей [8] для

P|T(x|xN ) = dP {x, ^ ^ = xN , z‘o,rH}l& ,

с учетом (5) в [2] имеем

PT (4xN ) = N{x; ß(t\ fN X Г(| I fN ) },

ß(tl Tf) =

= ß(t) + Г 0 N Cff , t)r N (^N , t)[ xN — ßßN (fN , t)],

а Г(/1 ~N) определено в (11) из [2]. Из (14) и p (x; xn) = р‘т (x Ixn )p (xn),

следует, что

3 ln P (x; ^N Vdx = d ln pT (x ^)/9x =

= —Г—1(t| ff)[ x —ß (t| ff)].

Тогда

i[5ln p (xt; ^ Vdxt] x

M

x[5ln p (xt;xf Vdxt]T

Аналогичные вычисления для априорных плотностей р(',х,Ту,.**) (см. Замечание в [2]) приводят к формуле

M

I [5 ln jp(t, x, ; ff, xf) / dxt ] x

t______m I

zo По r =

(14)

z0,n4 = r—1(t|fN). (15)

x[3 ln jp(t, Xt; fN, X^)/dxt ]

= D-1(t| Tn ). (16)

Так как M{.}=M{M{.|z0',n0m}} [8], тогда подстановка (3),(15), (16) в (3.32) в [1] приводит к (40) в [2].

Из (3.3) в [1], (5) в [2] следует

pm (x; xn ) = pm~0( x; ^n )

= N{xn+1; ЛN+1(Ту , tm ), + 1(fy , ^m )} =

N{xn+1; Mn+1 (TN , tm - 0), ГN +1(^N , tm - 0)}

= [C(x; ^N,n(tm ), z)/C(n(«m ), z)].

Тогда, с учетом M{.}=M{M{.|z0',n0m}} и

M{.}=M{M{.|z0',n0m-1}} [5] получаем

M{ln[C (x; xw ,n(tm), z)/ C(n(tm X z)]} =

= ^ M{ln[| Г N+1( Tn , tm - 0)|/| Гу+1( fy, 4 ) |]}. (17)

Подстановка (17) в (3.34) из [1] приводит к (41) в [2].

Результаты работы могут быть использованы при исследовании таких базовых задач теории информации и теории передачи сообщений, как информационная эффективность каналов передачи и оптимальная передача (оптимальное кодирование и декодировние), когда в качестве математических моделей сообщений используются стохастических процессы диффузионного типа.

Выводы

Рассмотрен пример информационной эффективности наблюдений с памятью относительно наблюдений с запаздыванием в задачах фильтрации и интерполяции. Проведенное исследование показало, что наличие памяти может как увеличивать, так и уменьшать количество информации. Получено непосредственное нахождение уравнений для совместного количества информации в совместной задаче непрерывно-дискретной фильтрации и интерполяции для общего и условно-гауссовского случаев.

Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013гг., проект № 02.740.11.5190 и Deutscher Akademischer Austauschdienst.

СПИСОК ЛИТЕРАТУРЫ

1. Демин Н.С., Рожкова С.В. О структуре количества информации в совместной задаче фильтрации и интерполяции по наблюдениям с памятью. Общий случай // Известия Томского политехнического университета. - 2004. - Т. 307. - № 3. -С. 13-17.

2. Демин Н.С., Рожкова С.В. О структуре количества информации в совместной задаче фильтрации и интерполяции по наблюдениям с памятью. Условно-гауссовский случай // Известия Томского политехнического университета. - 2004. -Т. 307. - № 4. - С. 6-10.

3. Дэвис М.Х.А. Линейное оценивание и стохастическое управление. - М.: Наука, 1984. - 205 с.

4. Ширяев А.Н. О некоторых понятиях и стохастических моделях финансовой математики // Теория вероятностей и ее применения. - 1994. - Т. 39. - № 1. - С. 5-22.

5. Демин Н.С., Рожкова С.В., Рожкова О.В. Обобщенная скользящая экстраполяция стохастических процессов по совокупности непрерывных и дискретных наблюдений с памятью // Известия РАН. Теория и системы управления. - 2000. - № 4. -С. 39-51.

6. Демин Н.С., Короткевич В.И. О количестве информации в задачах фильтрации компонент марковских процессов // Автоматика и телемеханика. - 1983. - № 7. - С. 8-96.

7. Липцер Р.Ш. Оптимальное кодирование и декодирование при передаче гауссовского марковского сигнала по каналу с бесшумной обратной связью // Проблемы передачи информации. - 1974. - Т. 10. - № 4. - С. 3-15.

8. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. - М.: Наука, 1974. - 696 с.

Поступила 15.06.2011 г.

УДК 519.2

ИНФОРМАЦИОННЫЙ АНАЛИЗ В СОВМЕСТНОЙ ЗАДАЧЕ ФИЛЬТРАЦИИ И ОБОБЩЕННОЙ ЭКСТРАПОЛЯЦИИ. АНАЛИЗ

С.В. Рожкова, О.В. Рожкова

Томский политехнический университет E-mail: rozhkova@tpu.ru

Исследуются свойства количеств информации по Шеннону в совместной задаче фильтрации и обобщенной экстраполяции стохастических процессов по непрерывно-дискретным наблюдениям с памятью, касающиеся информационной эффективности наблюдений с памятью относительно наблюдений без памяти.

Ключевые слова:

Сигнал, стохастические системы, экстраполяция, количество информации.

Key words:

Signal, stochastic system, extrapolation, information amount.

Введение

В [1] для систем калмановского типа была решена задача нахождения количества информации по Шеннону в совместной задаче фильтрации и обобщенной экстраполяции стохастических процессов по непрерывно-дискретным наблюдениям с памятью для общего и условно-гауссовского случаев. В данной работе рассматривается информационная эффективность дискретного канала наблюдения относительно дискретного канала без памяти для стационарного гауссовского марковского процесса диффузионного типа (процесс Орнстейна-Уленбе-ка). Система обозначений та же, что ив [1].

Информационная эффективность наблюдений

с памятью относительно наблюдений без памяти

Представляет интерес вопрос об эффективности наблюдений с памятью в задаче экстраполяции, т. е. увеличивает или уменьшает количество информации наличие памяти. Данное исследование проведем для частного случая скалярных стационарных процессов х, п('т) определяемых со-

отношениями

dX' = -а^й' + л/вяЦ, а > о, ро(х) = ^х;ло,/„},

Й2' = Но х^' + л/Яй^' ,

П('т ) = Со х,, + СЛ +#£(4 ), (1)

когда непрерывные наблюдения без памяти, дискретные наблюдения с памятью единичной кратности (N=1, т= т), процесс х1 является стационарным гауссовским марковским процессом диффузионного типа с корреляционной функцией Да)=^/2а]ехр{-а|а|} и временем корреляции ак=1/а. Этот процесс, известный как процесс Орн-стейна-Уленбека, широко используется как в технических приложениях для моделирования реальных процессов с корреляционной функцией экспоненциального типа [2], так и в финансовой математике для моделирования процесса изменения процентной ставки [3].

В качестве меры информационной эффективности наблюдений с памятью п('т) относительно наблюдений без памяти п ('т), когда 61=0 в задаче экстраполяции в случае может быть взята величина (см. (3.6), (3.8) в [1])