О количестве информации в задаче обратной экстраполяции при передаче стохастических процессов по непрерывно-дискретным каналам с фиксированной памятью Текст научной статьи по специальности «Математика»

др(х\у)

= Р(х I У)

ду

Введем функцию 1(х,у) =

хгГ(у)

Ш

2 (ol+fiy))1 2(ст„ + f (у))

*7'00

/'Су)

2(aJ+/(y))2 2(CTq + /(у)) Тогда (48) примет вид

(48

(49)

Р2(х,.у) = Р?{х>У) +

Тогда (51) запишется в виде дгр{х\у)

дР?{х,у) ду

ду2

- ¿К* (*.?)•

(52)

(53)

ày

= р(х\у)Р,{х, у).

(50)

Аналогично для второй производной будем иметь

С учетом введенных обозначений уравнения (42) и (47) запишутся в следующем в виде: т(Тк + 0) = ш(Тк -0) + . 0(Тк -0)Р,{х,т(Тк -0))

дуг

= р(х\у)

дР?(х,у) ду

(51)

1 + ~ D(Tt - 0)Р2 (х, т(Тк - 0))

(54)

D(Tt

\ I 0) ^ т2(Тк -°Жх>т(Т* , ОД -0)[l + 2/«(rt -0)/>,(x,w(r, -0))+m(7; -О)2P2(x,m(T„ -0))]

1 + j D(Tt - 0)Рг (x, m(Tt - 0))

m(Tk -0)+-

-0)P2(xMTt -0))

D(7; — O)/3; (x, m(rt -0))

1 + -0)P2(xMTk -0))

(55)

Заключение решениями уравнений (22), (34) с начальными усло-

виями (54) и (55).

На интервале между измерениями в случае гаус- Решение этих уравнений уже гораздо проще, чем совой аппроксимации m(t) и D{t) определяются решение исходных уравнений в частных производных.

........................'ЛЙТЁРХТ*УрА'.......................

Х.Хазен Э.М. Теория оптимальных статистических решений и задачи оптимального управления М.: Сов. радио, 1968.256 с.

2. Поттосина С.А., Терпугов А.Ф. // Изв. вузов. Физика. 1993. № 12. С. 54.

3. РадюкЛЕ., Терпугов А.Ф. Теория вероятностей и случайных процессов. Томск: Изд-во ТГУ, 1988.174 с.

4. Гнеденко Б.В. Курс теории вероятностей. М.: Наука, 1969. 400 с.

5. Федосов E.H. //Известия вузов. Физика. 1995. № 3. С. 17.

Статья представлена кафедрой теории вероятностей и математической статистики факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию 1 марта 2000 г.

УДК 621.391.1:519.2

Н.С.Демин, М.Р. Кадыров

О КОЛИЧЕСТВЕ ИНФОРМАЦИИ В ЗАДАЧЕ ОБРАТНОЙ ЭКСТРАПОЛЯЦИИ ПРИ ПЕРЕДАЧЕ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ ПО НЕПРЕРЫВНО-ДИСКРЕТНЫМ КАНАЛАМ С ФИКСИРОВАННОЙ ПАМЯТЬЮ

Рассматривается информационный анализ задачи обратной экстраполяции (предсказания, прогноза) стохастических процессов по совокупное™ реалжаций непрерывных и дискретных во времени процессов, которые зависят не толы® огтекущего, но и от прошлого значения ненаблюдаемого процесса Получено уравнение для совместного количества информации по Шеннону, на основе которого для гродесса Орнлейна-Уленбека исследована эффективность наблкдашй с памяпюсмхителью наблюдений без памяти.

1. Постановка задачи

Полезный сигнал (ненаблюдаемый процесс) х,

принадлежит к классу л-мерных марковских случайных процессов диффузионного типа и определяется уравнением (в смысле Ито) [1]:

(к, = /(/,х, )сЛ + Ф,(/,х, )<*о,, ¿20. (1.1). Сигналом на выходе непрерывного канала передачи (наблюдаемым процессом) является /-мерный процесс г,, определяемый уравнением

t0 < X < t, т = const.

Сигналом на выходе дискретного канала передачи (наблюдаемый процесс) является ^-мерный процесс г|(?и) с дискретным временем вида

(1.3)

(1.2)

Л('„ ) = ,х,„,х,) + Ф з('„ ) и = 0,1.....

В (1.1)—(1.3) ш, и V, - стандартные винеровские процессы размеров г, и г2; Е,((т) - стандартная белая последовательность, а

б()=ф ,()ф Го, ю=ф 2()ф 1(1 у()=ф }(-)ф Го

- не вырождены. Требуется найти совместное количество информации по Шеннону (Л/{ -} - математическое ожидание, -} - вероятность) [2]:

где рЦх.х') = д2р\р, й х,х, £ х'| z'0X]/àcÔx', p(s, x; t,x') = ô2P{xI йх,х, й х'} / дхдх', о значениях процесса ха в текущий o=f и произвольный будущий о=s>t моменты времени, которое содержится в совокупности реализаций z'0 = {za : 0 й а й t) и г)" = = {r|(/0 ), îi(î, ),..., Т10я )} наблюдаемых процессов.

2. Основные результаты Теорема 1. Количество информации го » "П о ] удовлетворяет на произвольном интервале времени tm<t<tm+l уравнению

xM

ain b(*„*,)]i 5in[p;(x„x,)] 8x, l àx, ,

d ln[p(i, xs ; x, )] f Э1п[р(д,лс,;/,х,)]У

dx,

-tr

Q(t)M fd\n[p(t,Xl)]

ôln|p(s,xs\t,x,)] 5 ln\p(t,x,j\

dx,

Vil Г r

+ tr Q(t)M\

; JJ L l

dx,

Э1п[р;(х„х,)] dx,

gln[p((x,)]T51nU(x,)] dx, l dx, ^

,(2.1)

где

A(r |s,t) = A/{ft(f,x,,xt)|x, — x,x, = x',(2.2)

W) = Mfy(t,x,,x,)\zl4ï}, (2.3) p(t,x') = dP{x, йх'}/дх',

с начальным условием

К" k«^ «л"]= Km~°\?„xlm >z'" ■<"']+

где

c(r\(tj)

с(л(/„),х,х') = = м{*т)Уя),х,т,х,)\х, =х,х<в =x,,zj-,nr1)»

с(7(/я)) = м{с(т}(1я),х,ш ,х,)\г'0",}, ),*',х") = ехр{- (1/2)[л(/я ) -

1'.т~°[х.>х.т>го >лГ']=

и является решением уравнения (2.1) на предыдущем интервале времени, вычисленным в точке ¡т.

Доказательство. Совместная апостериорная плотность р\г (х, х', х") =

= 53/>{х, ¿х,х, ¿х'.х, ^х'К.Ло} dxdx'dx'' описывается уравнением [3]

4 к, (*. х'. х> {4,, \р[ (х\х-)]-I Р,{х ,х )

(2.5)

р'хЛх,х',х")

>dt +

р'Лх',х')

+ (х^ х")[А(/, Х', Х') - А(о[ Ц(2.6) с начальным условием

где сЯ(1) = ск1 — Л(г)сЛ ,

п'Лг»

рДх,* ) =-1-Гуг-,-

их (к

¿--°(х,х',х") = ,

а ![•] и !*[•] соответственно прямой и обратный операторы Колмогорова [1].

Интегрируя (2.6) слева и справа по х", получаем, что совместная апостериорная плотность р\ (х, х')

I Р,(х)

-P,(x')L'

р'Лх,х•)

>dt +

РМ')

+ р',(х,х')^(ф7)-TR'] (t)dv(t). (2.8) Априорная плотность p(t,x') удовлетворяет прямому уравнению Колмогорова d,p(t, x') = L ^ \p(t, x')]dt, a переходам гшотосп» p(s, х|/, x' ) = dP{x, < x\x, =x'}/dx, при s>t, по переменным {/,x'} удовлетворяет обратному уравнению Колмогорова d, p(s, x \ t, x') = = -L\\p{s,x\t,x')\lt. Тогда

[ p{t,x)

_p{t,¿)L* 30IL, (2.9)

'4 PM JJ

так как p(s, x; t, x') = p(s, x \ t, x1)p(t, x') . Дифферен-

цируя по формуле Ито с учетом (2.8) и (2.9) и учитывая, что процесс у(0 - винеровский [1,6], получаем

d, ln

xL

¿(x.xQ p(s,x,t,x')

Ps(x,x') P,{x')

p(t,x') p(s,x;t,x')'

/,r

/>,(*') ^ 1 р'Лх,х') >dt-\—í— L ■ [/?(/, x')l-

x

p(s,x;t,x') P(t,x')

>dt-

- ^ [¿(t|í,0 - h(t)] R~l (í)[a(t|5,/) - h(t)\dt

+

+ [л(г I М)-Л(0Г*~'(0^(0. (2.10) Применим к (2.10) формулу Ито-Венцеля [4,5]: Р[(х,,х,)

p(s,xs\t,x,)

Р,(х,)

»,(*,) ' Ji [р'Лх^х,) *

p(t,x,) . p(s,xs;t,x,)

p(s,xs;t,x,)

P(t,x,)

p,(x,) dt +

+1 [a(t|5,0 - A(/)f R~l (t)[h(r 15,0 - h(t)]dt + 1 dp's(xs,x,) 1

p'si.xs,x,) dx, p(s,x/,t,x,)

dp(s,x,;t,x,) dx,

,dp'Áxs>x,)

f(t,x,)dt +

P'ÁX„X,)

1

др(з,х>и,х,)

dx,

p(s,xs;t,x,) dx,

1 a v; (*„*,)

1

¿(x,,x,) dxf

p(s,x,,t,x,)

d2p(s,x,\t,x,)

dx?

\dt--tr\Q(tÍ

_ dln[p(5, х,;Г,х,)] dx,

[di.

(2.11)

Проводим преобразования: раскрываем члены с операторами Колмогорова ![•] и /,'[•], интегрируем уравнение (2.11) слева и справа в пределах от /0 до г, берем слева и справа математическое ожидание, дифференцируем слева и справа по / и в результате получаем уравнение (2.1).

Для вывода начального условия (2.4) используем в (2.7) представление

(х,х',х') = (*' | х,х>;- (х, х'),

¿--°(х,х',х') = РФ,„Ж | х,х')р'^(х,х'),

где

Ргк,т(.х"\х,х') = = 5P(xt á х" | х, = х,х,я = х',z'0m,ti" }/ах*,

/V,.-o(*"l х,х') = =5/>{rt ¿ х* i х, = х, х,я = х', *;-, лг1 )/а*' • Проинтегрировав (2.7) слева и справа по х", получаем

P's"(x,x') =

ФК'»))

¿"-°(х,х'). (2.12)

Подставляя (2.12) в (1.4), при t = tm имеем

= А/<1п

1 + A/ita

p(s,xs\t,x,) J 1 [ J

gln[p;(x„x,)]^r _ dx,

= к. ; «о*. лГ1 ]+ [*.. п? ],

т.е. получили (2.4). Теорема доказана.

Теорема 2. Пусть - нормальное ра-

спределение с параметрами а и В)

<к, = F(/)x,í// + Фl(í)í/íaм =[Я0(/)х, + Я,(0хг]Л + <1>2(0А>|. (2.13) Л('м) = С?о (<„>,„ +С|(/„)хт +Фз(0%и)> р0(х) = Л^{х;^0,Г0}. Тогда на интервалах /т</<Гт+у уравнение.для. [х,,х,; г^, п".] принимает цид . ,

<[х„хгл, ло] = 1,г[л-'(/)я0 2(0г''(5,/))х в/ 2

X Я0>)ЦЬ(')[г(/) - Г^ОЦг' (5,0^(5,/)]"']+

+1 ¡2(о[дО - (5, /)£>-' (*)£>£ (5, *)]"' ]. (2.14)

где Г(0, Г02(5,0, Ги($,0 определяются из системы дифференциальных уравнений

Г(0 = ^(0Г(0+Г(0/ГГ« +

+б(0-я0г(/)/г-'(/)я0(/), (2.15)

Гп(г,0 = -Я,г (0/Г1 (')£,('). (2.16)

Г22 (5,0 = -я2г(0/г' (0Я2 (0. (2.17)

4 (Г,о = ^(/)Г01 (г,0 - НК0Л"1 (0Я, (Г), (2.18)

о=Ио+ео^'ЧоК^о-

0Л-'(0Я2(0, (2.19)

Г|2(г,*,0 = -Я,г(0Л-'(0Я2(0 (220)

с начальными условиями

Г(/Я) = Г(ГМ -0)-С0гЮГ-1((„)д0({„), (2.21)

-СТг((т)1У-\1я)д2«т), (222)

Г01 (х, 1Я) = Г01 (т,Г. - 0)-01 (Гт)Г-1 (1Я )С, (/„), Ги («,'„) = -

-Со'О^-'с^дм, (223)

г

—— ^-[iSho

я0.2(0 = [яо(0 я2(/)], я0(О = Яо(0А0+я,(0/^(г>'). Я1(0-Я0(/)Гв1(г,0 + Я1(Г)Г11(г,0,

я2(0 = ВД/^.О+ВД/ЖМ),

бо('.) = <?0(Г.)Г(/в -0) + G1(ijrj;(T)/o, -0), G, 0. ) = С70 (f. )Г01 (т, - 0) + G, (f„ )г„ (t, tm - 0), G2(tJ = G0(tm)r<a(s,tm - 0)+G, (/„)Г,2(т,s,tm -0),

ПО«г(О+с0(ОГ(/„ -0X?(/.)+3(O*

хГо'Кх.Г. -0)Gq (/„)+G0(/„)Г0|(т,tm -0)G,r(tm) +

+ Gl(tn)ru(r,tm-0)G[(tK) и всюду <p(-,tK -0) = limp(-,f) при / î обозначают решения соответствующих дифференциальных уравнений на предыдущем интервале времени, вычисленные при ( = tK. "Матричкые функции D(t) й Dn (s, t) определяются уравнениями

D(t) = F(.t)D(t)+D«)FT(t)+Q(t),

Dm(s,t)=[яо+шд-чоК^')

с начальными условиями D(t0) = Г0, D02 (s, t) |,=,о = = Dm(s,t0), D(s) - решение уравнения для £>(/) в точке t = s, a Dm(s,t0) - решение уравнения ¿02(>>,/0) = Dm(y,ta)FT(у) с начальным условием D02 (y,t) |>=<о = Г0, вычисленное в точке у = s. Начальное условие для уравнения (2.14) имеет вид (2.4), где (|-| - определитель матрицы) AJ'" [.] =

= -1п 2

Доказательство данного ре-

ï'n(t',T) = у ехр{- a(t' + Г)}, t' =t-T, T = s-t, формулы (2.21)-(2.23) принимают вид

r(tj = r'~

(y')2(G0+Gt exp{-ai'})2

V + y'fâ + 2G0G, expba/'î+G,2] '

Гв(*.'«) = Г* -(y')2 e\p{-2aT}[G0 +G, expl-a/'})2 ~ V + flGS +2G0G,exp{-ai'} + G12] '

Если канал наблюдения без памяти (G, = 0 ), то (У')2 Go'

r(tm) = r'-

V + y'GÏ

■ Г' ~

где

(x')2G2 ехр{ -2аТ) V + Y'Gl rm(T,tm) = r(lm)exp{ -2аТ) . Введем меру информационной эффективности

a,,. л ô ]-

зультата основано на вычислении математических ожиданий в (2.1), (2.4) с использованием (2.13).

3. Дискретная передача гауссовского марковского процесса диффузионного типа

Рассматривается задача обратной экстраполяции скалярного стационарного гауссовского марковского процесса х,, описываемого уравнением

ск, = -ах,Л + <Р, ¿а, (а > 0) (3.1)

по наблюдениям скалярного стационарного процесса Л(О = С0 х(в+сл+«о (32)

(непрерывные наблюдения отсутствуют).

Для случая редких дискретных наблюдений, когда на интервалах [/я,гт+1) решения дифференциальных уравнений (2.15Н2 20) для рассматриваемой задачи достигают установившихся значений

/=Г*(Г) = Г,Ж) = е/(2а), Уо\ С) = Г' ехр{- аГ}, уп (Т) = у' ехр{- аТ},

= -1п 2

YYv<J)-(y'm{T))2

7('.)/22 См«)-(/02(•*>'»)) . Л

0.8

= -1п

Рис. 1

гУв(П-(г«(П)2

(3.3)

(3-4)

(3.5) 163

- есть приращения шенноновских количеств информации соответственно канала с памятью и канала без памяти. Подставляя (3.4) и (3.5) в (3.3), получаем

4, =-ln

гЮ

внее канала с памятью всегда. Следовательно, Л, ,т

как функция от { является монотонно убывающей, если ((70,</,)« Л/ (рис.2).

Рассмотрим зависимость Л, , от параметра /", характеризующего глубину памяти канала наблюдения. При малых /', когда а «1 (ехр{-д/'} = 1), имеем

К,.

а -*)

4, =~1п

1 +

y\2G0 G, +<J|2) У + r'GI .

(3.7)

Как видно из (3.7), Д®^ >0, если (£70,С,)е М, и Д°,,. <0, если (С0,С,)еМ (рис. 1), где М= ^о.а,):^2 +2С0О, <о} т.е. если (С0,С,)е Л/, то

при малых канал с памятью несет в себе больше совместной информации о значениях х, их,, чем канал

без памяти. При больших Г*, когда а/*»1 (ехр{-а/'} = 0),имеем 4 . ><,.,где

Рис.2

Это говорит о том, что при * * < ¡ф, где

G^V + y'Gt)

GayV*+y'(VGt+y'G20G?) -F]

Д=-ln

1-1

(/XW

(3.8)

У+у'с2Лк+у'с2]

откуда следует, что А", < 0, т.е. при больших /* ди-11

скретный канал наблюдения без памяти информати-

находится из условия =0, член Gxxr содержит дополнительную информацию о значениях процесса х,, а при /* £ t\g не содержит такой информации и действует как дополнительный шум.....

ЛИТЕРАТУРА

1. Гихман И.И., Скороход А.В. Введение в теорию случайных процессов. М.: Наука, 1977.

2. Шеннон К. Работы по теории информации и кибернетике. М.: ИЛ, 1963.

3. Демин Н.С. Экстраполяция случайных процессов при непрерывно-дискретных каналах наблюдения с памятью // Автоматика и те-

лемеханика. 1992. № 4. С. 64-72.

4. Розовский Б.Л. О формуле Ито-Вентцеля // Вестник МГУ. Сер. матем., механ. 1973. № 1. С. 26-32.

5. Демин Н.С., Короткееич В.И. О количестве информации в задачах фильтрации компонент марковских процессов // Автоматика и

телемеханика. 1983. № 7. С. 86-96.

6. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974.

Статья представлена кафедрой прикладной математики факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию 15 февраля 2000 г.

УДК 519.2

Н.С.Демин, О.В. Рожкова

РАСПОЗНАВАНИЕ В СТОХАСТИЧЕСКИХ СИСТЕМАХ В СЛУЧАЕ НАБЛЮДЕНИЙ С ФИКСИРОВАННОЙ ПАМЯТЬЮ

В классе нерандомизированных байесовских решающих правил решена задача распознавания в случае, когда ненаблюдаемым является процесс с непрерывным временем, а наблюдаемыми являются процессы с непрерывным и дискретным временем, которые зависят не только от текущих, но и от произвольного числа прошлых значений ненаблюдаемого процесса.

1. Постановка задачи

Ненаблюдаемый л-мерный процесс х, и наблюдаемый / -мерный процесс г, с непрерывным временем заданы на решениях стохастических дифференциальных уравнений [1]:

(Ьс, £0, (1)

А,-

H0(t,e)x, + Ънк(ив)хи ]<Й+02(t)dv,, (2)

а д-мерный наблюдаемый процесс л{(т) с Дискретным временем имеет вид

лЮ = с0«я,в)х,я (/.,*)*„ +£(0> (3)

где т = 0,1,--; 0</о <...<г, <1Я £1.

Предполагается: 1) процессы со, и v, являются соответственно г,-мерным и г2 -мерным стандартными винеровскими процессами [1];