Распознавание в стохастических системах при наблюдениях с фиксированной памятью Текст научной статьи по специальности «Математика»

- есть приращения шенноновских количеств информации соответственно канала с памятью и канала без памяти. Подставляя (3.4) и (3.5) в (3.3), получаем

4, =-ln

гЮ

внее канала с памятью всегда. Следовательно, Л, ,т

как функция от { является монотонно убывающей, если ((70,</,)« Л/ (рис.2).

Рассмотрим зависимость Л, , от параметра /", характеризующего глубину памяти канала наблюдения. При малых /', когда а «1 (ехр{-д/'} = 1), имеем

К,.

а -*)

,, где

А, =~1п

1 +

/(20,0, +С?|2) V + y'Gl .

(3.7)

Как видно из (3.7), Д®^ >0, если (£70,С,)е А/, и Д°,ш <0, если (С0,С,)еМ (рис. 1), где Л£= ^о.а,):^2 +2С0С, <о} т.е. если (С0,С,)г Л/, то

при малых канал с памятью несет в себе больше совместной информации о значениях х, их,, чем канал

без памяти. При больших Г*, когда а/*»1 (ехр{-а/'} = 0),имеем 4 . ><,.,где

Рис.2

Это говорит о том, что при С у где

G^V + y'Gt)

овууг+у'(уо?+у'о20о?) - и]

Д=-1п

1-1

(/XW

(3.8)

У+у'с2Лк+у'с2]

откуда следует, что ¿1°, < 0, т.е. при больших /* ди-11

скретный канал наблюдения без памяти информати-

находится из условия ASJm =0, член Gxxr содержит дополнительную информацию о значениях процесса х,, а при /* £ t\g не содержит такой информации и действует как дополнительный шум.....

ЛИТЕРАТУРА

1. Гихман И.И., Скороход А.В. Введение в теорию случайных процессов. М.: Наука, 1977.

2. Шеннон К. Работы по теории информации и кибернетике. М.: ИЛ, 1963.

3. Демин Н.С. Экстраполяция случайных процессов при непрерывно-дискретных каналах наблюдения с памятью // Автоматика и те-

лемеханика. 1992. № 4. С. 64-72.

4. Розовский Б.Л. О формуле Ито-Вентцеля // Вестник МГУ. Сер. матем., механ. 1973. № 1. С. 26-32.

5. Демин Н.С., Короткееич В.И. О количестве информации в задачах фильтрации компонент марковских процессов // Автоматика и

телемеханика. 1983. № 7. С. 86-96.

6. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974.

Статья представлена кафедрой прикладной математики факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию 15 февраля 2000 г.

УДК 519.2

Н.С.Демин, О.В. Рожкова

РАСПОЗНАВАНИЕ В СТОХАСТИЧЕСКИХ СИСТЕМАХ В СЛУЧАЕ НАБЛЮДЕНИЙ С ФИКСИРОВАННОЙ ПАМЯТЬЮ

В классе нерандомизированных байесовских решающих правил решена задача распознавания в случае, когда ненаблюдаемым является процесс с непрерывным временем, а наблюдаемыми являются процессы с непрерывным и дискретным временем, которые зависят не только от текущих, но и от произвольного числа прошлых значений ненаблюдаемого процесса.

1. Постановка задачи

Ненаблюдаемый л-мерный процесс х, и наблюдаемый / -мерный процесс г, с непрерывным временем заданы на решениях стохастических дифференциальных уравнений [1]:

(Ьс, £0, (1)

А,-

H0(t,e)x, + Ънк(ив)хи ]<Й+02(t)dv,, (2)

а д-мерный наблюдаемый процесс л{(т) с Дискретным временем имеет вид

лЮ = с0«я,в)х1я (/.,*)*„ +£(0> (3)

где т = 0,1,--; 0</о <...<г, <1Я £1.

Предполагается: 1) процессы со, и V, являются соответственно г,-мерным и г2 -мерным стандартными винеровскими процессами [1];

2) в € П, = {в0, в,,..., вг} с заданными вероятностями = = ^ (4)

3) процесс 4((я) является при всех в - ву' = 0;г, белым гауссовским с математическим ожиданием А//т) ( и матрицей икгенсивности

4) х0 при 6 = 6} является нормальным с параметрами ;

5) матрицы Щ)=Фг(1)Ф[ О&в^Ф^врь? Щ, ,в)) для всех у = 1;г, являются положительно определенными;

6) хнезависимы.

Требуется по совокупности реализаций

г'0 = 0 5 5 < /} и т£ = {^оМ'.)-"^'».)) решить задачу распознавания гипотез {б = ^},

у = 0; г. Поскольку в классе неравдомизированных байесовских стратегий достаточными статистиками являются отношения правдоподобия , то их нахождение составляет содержание данной работы.

Обозначения: /*{ •} - вероятность события; Л/{-} -математическое ожидание; и[у\а,В\ - плотность нормального (гауссовского) распределения с параметрами а и В\ и - определитель и след матрицы В;

«Ъ> - транспонирование, если используется как правый верхний индекс; / и О - единичная и нулевая матрицы.

2. Предварительные результаты

Пусть х? , х„ = [х,г

Ш ]

/ЬК).

Мн+(7м>*\Ъ)ж

(6)

г т 1

=><(*;*лг|0/) =

Пусть

--'у=0;л

а"+1р{*, <дс, х? йхАе^х] . —

хдхк

,У = 0;г.(9)

к = 2\И, I = — 1, к>1,

где

Лемма 1. Дня условных апостериорных плотностей (9) имеет место свойство

= ; , 'К ), (т„, )}. (10)

Блочные составляющие -см. (5), (6) - параметров распределения (10) на интервалах < t < ^ определяются уравцещтяци

) = Р(1,в] Щв^ + Н1 (1\0] У1 (()£, 1) «Цг»,/^) = Нтк{\в]я-^)£,[в), (12)

+ ф, в]) - Щ(\в, )/Г1Ш0(/|б>), (13) г* Ь. 'К )= -"I ('К )*"' № Й';= (14)

г» (<„ .мКЬ('К )*(')"* ('К )'

* = ПЛГ,/ = 1;АГ-и>/, (16)

с начальными условиями

- (/„ ^ )<50 (г„ (19)

(20) (21)

-Gf^^e^W'^t^e^G^t^e/j, (22) У = 0;г,а = 0;г, на интервалах t„<t< определяется

где dzt\Pj)=dzt-

уравнением

(33)

ТС-M'

expi- i fn('». Iе j )~ЬА{» )Г w ('« Iе ; )

+ £н,(1>в^г1,(т>Ав)> (24) с начальным условием Л,(âj :0а)=

+ ÎH,(t,ej)r[l(ri,ri,t\dJ), (25) ХЦП

2'

х

expj-i^JeJ-iai/JlV-^leJ

(26) х1л('„|0.)-К(t„)|} Л'""с J :е° (34)

(27)

/ / \ / I \ а и определяются по (26) и (29).

*\я1 -'/ *Vя" "Г*''" ^ J/+ Доказательство. Из [3, ч. I] следует, что при tm<

+ £^(/.,^(^,^,/.-01^), (28) <t<t^x для =

" Л, UW,.,*.)+ . = (36) #

\ ml J/ jI имеет место уравнение

СоЖ.е > (37)

= m , , n « n

Данный результат следует из [3, ч. Щ с учетом того, что где HQ\t,ejjx+L,Hk\t,ejjxk, (38)

рассматриваемый в данной работе случай фиксирован- — , . м )

ной памяти, когда т^ = const, является частным случа- hit) = My\t,х,,х?,, rfî j. (39)

ем скользящей памяти, и т k=t-t\, t'k = const, кого- По формуле условной вероятности

рый рассматривался в [3]. р,{х\хн\в^ = р{х-,хк\в^р,[в^, (40)

Лемма 2. Процесс i}^), определяемый фор- где введен0 по определению (9), а

мулой (26), является при гипотезе H¡\в = ô}} гаус- /> ) = ty - & ^г) (41)

совским с параметрами bj(tm} и w{tm,9j), т.е. и являются апостериорными вероятностями гипотез

= (31> = Интегрирование (37) по х,х„

> \ \ I) приводит с учетом (5), (35), (40) к уравнению

где j определяется формулой (29). d, р, (0у )=

Доказательство. Использование (3) в (26) дает = (42)

при гипотезе Ну{0 = 0,|для r\[t„\Qj) с учетом (5>- V ;/L V| " J 1 * J

(8), (30) следующее представление: где = (43)

4 | ч / ' 1 Формула (43) следует из (39), (40). Согласно [2]

Тогда (31) следует из (10) с учетом (32), (5Н8) и имеет место формула

условий 3,6 постановки задачи. л ^ -в.\ (44)

3. Основные результаты Теорема 1. Отношение правдоподобия A,{ôj : ва) в задаче различения гипотез {в = 0j} и На{0 = ва}, 166

где P{et:e^p,(e)lp,(ea). (45)

Так как процесс Тп с дифференциалом = = (к, винеровский [1], то дифференцирование

(45) по формуле Ито с использованием (42) дает:

X [^7)- Л^Г)] Г Л-1 - (46)

Использование (44) в (46) приводит к (33). По формуле Байеса для Р,{р]) при 1 = имеем

р / М^'о'^Р'Л^ > (47)

где р,т _0(<9;) = р{в = в\г'0т, |. Использование (44) -(45) и (47) дает:

Из (26) с учетом (М) следует, что

"Г-^МпШ-ьйЛ <49>

Использование (49) при / = у и / = а в (48) приводит к (34). Теорема 1 доказана.

Следствие 1. Апостериорные вероятности гипотез на интервалах 2 / < 'т+1 определяются уравнением (42) с начальным условием

1=0 (50)

которое получается после использования (49) в (47). 4. Частные случаи

Теорема 2. Пусть непрерывные наблюдения отсутствуют. Тогда для справедливо рекуррентное соотношение

»ад

„ л л .л \

а в правых частях уравнений (11)-(16) отсутствуют члены, содержащие Яо|г|0,|,

Данный результат следует го теоремы 1 с учетом того, что в случае отсутствия непрерывных наблюдений Я0(/,в) = 0,Нк(/,в)=0, а при /я </<для

справедливоуравнение <И,Л,\р} :ва)=0.

Следствие 2. В случае отсутствия непрерывных наблюдений для Д справедлива формула

ехр

(52)

Данный результат следует из (51) с учетом того, что А\ва)=\. Рассмотрим случай, когда гипотезы связаны только с шумом £(/„), т.е.

(53)

В этом случае зависимость от сохраняется только в начальных условиях и только через Ь$т) и v([m,вj), а дифференциальные уравнения (11)—(16) зависят от типа гипотезы только через начальные условия (17)-(22) указанным способом. Если дискретные наблюдения редкие, то в решениях дифференциальных уравнений (11Н16) га интервале > *я) теряется различие в начальных условиях к мо-мету времени С учетом сказанного, согласно (26),

|)= п(*.)=С0 (*. )м{(я ~0)-

(54)

Кроме того, в случае редких дискретных наблюдений решение имеет смысл выносить только по текущим значениям которые приобрета-

ют вид А,.^ :0а)=

ехр

ехр

где

ВШЖЯ'

Утверждение. При условиях (53) в случае редких дискретных наблюдений односторонние дивергенции [2]

фа) = мЬт(в,:вв]Н;\ 1,т{а-.]) = -М%т(в]-.ва)на\ (57)

(55)

(56)

гдеЛ,т(в) :ва)=1п{л1т{дJ :ва)), определяются формулами:

\

2 I ^ х и \ т /л J Л J т ' и \ /n/J ^

Формулы (58), (59) следуют в результате непосредственного вычисления по формулам (57) с учетом (31), (55) и условий 3 и б постановки задачи.

ЛИТЕРАТУРА

1. Липцер Р.Щ., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974.

2. Фукунага К. Введение в статистическую теорию распознавания образов. М.: Наука, 1979.

3. Абакумова О.Л., Демин Н.С., Сушко Т.В. Фильтрация стохастических процессов по совокупности непрерывных и дискретных на-

блюдений с памятью // Автоматика и телемеханика. 1995.1. № 9. С. 49-39; П. № 10. С. 36-49.

Статья представлена кафедрой прикладной математики факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию 10 февраля 2000 г.

УДК 519.72

Н.С.Демин, И.Е. Сафронова

НАХОЖДЕНИЕ ШЕННОНОВСКОГО КОЛИЧЕСТВА ИНФОРМАЦИЙ

В ЗАДАЧЕ ЭКСТРАПОЛЯЦИИ ПРИ ПЕРЕДАЧЕ СТОХАСТИЧЕСКИХ СИГНАЛОВ ПО НЕПРЕРЫВНО-ДИСКРЕТНЫМ КАНАЛАМ С ПАМЯТЬЮ

Получены уравнения для шенноновской меры количества информации о значениях стохастического процесса в будущий момент времени, которое содержится в совокупности реализаций процессов с непрерывным и дискретным временем, обладающими памятью относительно ненаблюдаемого процесса.

1. Постановка задачи

Пусть »-мерный ненаблюдаемый процесс х, и 1-ме-

3) •*о>и'«>г'/>£('».) независимы в совокупности. Задача: найга количество информации ] о

рный наблюдаемый процесс г, с непрерывным време- зшчениях х1, содержащееся в реализациях г0 нем определяются уравнениями (в смысле Ито [1,2]):

Л,=/(/,х> + Ф,(*,х,)^, (/>0), (1) (Ь, = л(/,х,,хГ1 ,...,хг„ + Ф2 (/>Л>,, (2)

^мерный наблюдаемый процесс фя) (т = 0,1,...;Г0 > 0) р^да^ с „арамефами а и В ; *[] и | • | -

с дискретным временем имеет вид ~ _

г / ч ) \ ^ / \ / ч определитель мгприцы; «Т»-транспонирование.

где 0 < ты < <...<?,</„,</; -м>, и V, гг и ггмер-ныестандартныевинеровскиепроцессы; -стандартная гауссовская г, -мерная последовательность с М{^я)} = 0 и (I-единичная

матрица, 8тк - символ Кронекера). Предполагается:

1) матрицы е()=ФХОФГСХ )=Ф2(>г (X

У() = Ф3( )Ф[() не вырождены;

2) задана начальная плотность

р0(х) = дР{х0 <.х}!дх\

<, 5 £ I} и 770" = {т)((0), ,).....Т}({я ); ■

Обозначения: м{ } - математическое ожидание; Р{ } -вероятность события; Л'{у; а, В} - плопюсть гауссовского

следи

Введем расширенные процессы х", х"*? и расширенные переменные хы, Хд,+1, Ху+2: х.

X? =

х„ =

-ЛГ+1 _ Г X, I ~ЛГ+2 _ X*/'

(4)

Количество информации по Шеннону о значениях х,, содержащееся в совокупности реализаций, выражается формулой [3]: