Управление, вычислительная техника и информатика
УДК 519.2
ОПТИМАЛЬНАЯ НЕПРЕРЫВНО-ДИСКРЕТНАЯ ПЕРЕДАЧА СИГНАЛА ПО КАНАЛАМ С ПАМЯТЬЮ ПРИ НАЛИЧИИ БЕСШУМНОЙ ОБРАТНОЙ СВЯЗИ
С.В. Рожкова
Томский политехнический университет E-mail: rozhkova@tpu.ru
Рассматривается задача оптимальной передачи стохастических процессов по непрерывно-дискретным каналам с памятью при наличии бесшумной обратной связи в наблюдениях. Доказываются экстремальные свойства оптимальных кодирований в смысле максимизации количества информации.
Ключевые слова:
Сигнал, стохастические системы, канал передачи, кодирование, декодирование.
Key words:
Signal, stochastic system, transmission channel, coding, decoding.
1. Постановка задачи
Сигнал x,, сообщение на выходе канала передачи z.t и сообщение на выходе дискретного канала передачи n(tm) задаются на реализациях процессов, определяемых стохастическими дифференциальными уравнениями
dxt = F(t)xtdt + Ф1 (t)dwt,
P0(t) = N{x; Mo,Уo}, (1)
dzt = h(t, xt, xT, z)dt + Ф 2(t )dvt,
П (tm ) = g (tm x, , XT , z) + ф3 (tm % (tm ),
(2)
т. е. наблюдаемые процессы ^ и п(0 обладают фиксированной памятью единичной кратности (N=1, т1=т) с наличием мгновенной бесшумной обратной связи по процессу I.
Используемые обозначения: Р{-} - вероятность события; М{-} - математическое ожидание; ЭДа;Ь} -плотность нормального распределения с параметрами а и Ь; Ф12(1)=0(1), Ф22(1)=Д1), Ф32(1)=Г(1).
Задача: в классе кодирующих функционалов К={Ы;0}={А{-},^{-}}, удовлетворяющих энергетическим ограничениям
M{h2(t, xt, xT, z)} < h(t) < h,
M{g2 (tm , xtm , xT , z)} < g(tm ) < g,
найти функционалы й°(-) и #°(-), обеспечивающие относительно задачи фильтрации минимальную ошибку декодирования А°(1)=МА(1), где
А(1)=М{[х-х(1,^п)]2} является ошибкой оценки фильтрации х(1,1,п) процесса х, которая соответствует принятому сообщению ^П™} при заданных й{-}, #{-}. Так как при заданных Н{-} и #{-} оптимальной в среднеквадратическом смысле оценкой фильтрации является апостериорное среднее /л(1)=М{х^,ц0т}, то А(1)>М{т(1)}, где у(1)^М{[х-л(1)]2№,щ!"}. Таким образом, А°( 1)=ММ{у( I)}.
2. Основные результаты
Замечание 1. Считается, что до момента т передача шла оптимальным способом.
Теорема 1. На классе К= {ВД} линейных функционалов
ГА(-): х', Хт, 2) =
И,
G, =
[= h(t, z) + H 0(t, z) xt + H j(t, z) xT
\g ('): g (tm , xtm , ^ z) =
I = g(tm , z) + G0(tm , z)xtm + G1(tm , z)xt
(4)
1) оптимальные кодирующие функционалы A0(-), ^“(•) имеют представления
h0(t, z0) = - H 00(t, z >0(t), H00(t, z0) = [h(t )/ A 0(t )]1/2,
Я°0, 20) = О,
В °(С , 2 0) =-(7 00(?т , 2 >О0т - 0), От , 20) = [£От )/А0(?,„ - 0)]^2,
(6)
^От, 20) = 0;
2) оптимальное сообщение {^ПЮ} определяется соотношениями
о2(° = [/(?)/а°(?)]1/2[х, - л°0)]й? + Ф20№, (7)
^От ) = [ £ (¿т V А^ - 0)]/2 X
х[ х?т -л0о„ - 0)]й?+фз0„ ж*т); (8)
3) оптимальное декодирование л°0) и минимальная ошибка декодирования А°(1) на интервалах 1т<1<1т+1 определяются уравнениями
й/(?) = ^(?)л°0)й? + Л"(?Р(?)А0(?)]1/2й2(0, (9)
йА0(?)/й? = [2^(?) - Л-1(?)Л0)]А0(?) + б(?) (10) с начальными условиями
/От ) = /0» - 0) + [ £ От )А0(?т - 0)]^ X
Х[К(0 + £(?„ )]-1П°(?т ), (11)
А0(?т) = К(ГЯ)[К0т) + ¿0, )]-1А0(?т -0), (12)
где б(0 = Ф12(0, Д^ФДО, ^(1т) = Фз2(1т),
Л°(1т-°)=11тл(1), А°(1т-0)=11шА(1) при 1<1Л. Доказательство:
При заданных {Л(-);#(-)} eK; на интервалах 1т<1<1т+1 (см. [1]) л°0) и /(I) определяются уравнениями
й л (?) = ^ (?) л(? )й? +
+Л-1(?)[Н0(?, 2М?) + z)Yol(т, ?)] х
х[й2( - (/(?, 2) + Н0(?, 2)л(?) + #10, 2) л(т, ?)) й?], (13)
йу(? У й? = 2^ (?)у(?) -- Л-1 (?) [ Н0(?, 2М0 + Н1 (А 2) Yol(т, ?)] 2 + бОХ (14)
с начальными условиями
^От , 2М?т - 0) +
_ + ^От , 2 )Yol(T, ?т - 0) _
ПОт ) - В От , 2) -
-^)0т, 2)Л(?„ - 0) -
_-^От , 2)Л(T, ?т - 0) _
/0« ) = У0т - 0) +
^>0« , 2)У<Х - 0) + П2
_ + 71(?т , ?т - 0) _
л0„) = л0„ - 0) +
х*-1(?,)
(15)
*Л?, ),
(16)
где
л(т, ?) = м{хт |20 ,n0"},
У01(т,О = м{[ х?- л(?)] [ хт- л(т, ?)] |20, пТК
Yll(т,О = м{[хт -л(т,?)]2120,n0"},
^ (?т , 2) = V (?, ) + С2(?т , 2 Ж?, - 0) +
+ 712(?т , 2 )Г11(Т:. ?т - 0) + ^1 От , 2)Yol(т, ?т - 0) +
+2^ , 2)^ , 2)/01(Т, - 0). (17)
Пусть до момента 1т передача шла оптимальным способом. Тогда из (16), (17)
/От ) = V (?т )А0(?т - 0)(* 0(?т , 2))-1 +
_А° (?т - 0)А01(Т, - 0) -"
+ С>0т, 2 0)
-(А01 (Т, - 0))2
Х(Ж 0(?, , 2))-1,
(18)
где
* 0(?, , 2) = V (?, ) + С2(?„ , 2 )А 0 (?, - 0) +
+ С12(?т , 2)А01(Т, - 0) +
+ 71 (?, , 2)А01(Т, - 0) +
+2^ , 2)С1(?, , 2)А01(Т, - 0).
Для 1<1т по неравенству Коши-Буняковского [2] относительно M{-|z0I,n0m-1} получаем у(1)уи(т,1)--Тг°1(т,1)>°. Так как
702 От, 2) 7(?„ - 0) + 712 От, 2) 711 (т, - 0) +
+270(?т, 2)^0т, 2 - 0) =
70(?т , 2)(х?т -Л(?„ - 0)) + П2 ^_ + 71(?т, 2)(Хт-Л(Т, - 0)) ^
то W(Im,z)>0. Таким образом из (18)
У(?т ) > V (?, )А 0(?т - 0)(* 0(?т , 2)) ".
По неравенству Иенсена [2]
М{(* 0 (?, , 2))-1} > [ М{* °(?т , 2)}]-1.
Тогда для A(Im)=M{Y(tm)} из (17), (19) следует А(?т) > V(?т)А0(?т - 0)х
= М-
? т-1
20 ,П0
>0,
V (?т) + м
^(?т , 2)А0(?т - 0) +
+ О120т , 2)А01(Т, ?т - 0) +
2^0 (?т , 2)^1(?т , 2) А^Т, Г, - 0)
. (2°)
Так как M{-}=M{M{-|z0tm,n0m-1}} [2], то использование (4) в (3) дает
М{£ 2(-)} =
В От , 2 ) + ^>0т, 2) Л(?т - 0) +П 2 _ + 71 От, 2)Л(Т, ?т - 0) _
= м<
м
72(?т , 2)К?т - 0) +
< В От ). (21)
+ ^От , 2 )^11 СТ:> ?т - 0) +
+270(?т, 2)71(?т, 2 )Yol(Т, ?т - 0) ^
Из (20), (21), (12)
А(?т ) > V(?т )А0 (?т - 0)^(?,„ ) + ^ )]-1 = А 0({, ). (22) Использование (6) в (18) дает
70(?т ) = V (?т ) А0 (Г,,, - 0)^ (?т ) + £ & )]-1.
Совпадение /(1т) с нижней границей (22) для А(1т) доказывает оптимальность кодирования (6), а (8), (11), (12) следуют в результате подстановки (6) в (2), (15), (16) при
( _т-1ч (( 0\?т /___0\т-1-к
{20т П } = {(2 )0т ,(П )0 }.
Прибавление и вычитание в правой части (14) Вт1(1) Я12(t,z) 711(т,1) дает для 1т<1<1т-1, с учетом того, что в момент 1т используется оптимальный функционал £°(-), эквивалентное (14) интегральное уравнение
К?) = А0 (?т ) х
2| Г(ст)йст-
\Н o2(ст, г)у(а)
-/>'ст)
хехр
хйст + | Л !(ст)Н12(ст, 2) х/-1(ст)йст
-Гест) х
2 Г Г(и)йи
Л ст
н2)У(м)
+Н1 (СТ 2)Уц(т,ст) +
+2Н 0(ст 2) Н! (ст г)у01(т,ст) у(ст)у11(т,ст) --Г0!(т,ст)
х ехр
-Г л-1(и)
•< и
хйи + Г Л-1(и)Н,2(и, 2)
Л ст
+Н12 (и М) +
2Н 0(и 2) 2) ^ 01 (т и)
X(м)Хи(т,и) -- Х0?1(т, и) х/-1(м)йм
йст,
(23)
справедливость которого устанавливается дифференцированием по I. Так как M{-}=M{M{-|z0tm,n0m}} [2], то использование (4) в (3) дает
м{/2(-)} = м<
/(?, 2) + Н 0(?, 2)л(?) + +Н 1(?, 2)л(т, ?)
+м
Н02(Л 2М0 + Н12(Л 2)Yll(т, ?) + +2Н0(Л 2)Н1(?, 2)Yol(т, 0
Л?т ) = А0(?т ).
Пусть А°(1) - правая часть (26). Тогда дифференцирование А°(1) по приводит к уравнению (10) с начальным условием А°(!т). Очевидно, что решения (10), (26) совпадают, т. е. /(^А0^). Совпадение /(I) с нижней границей (25) для А(!) доказывает оптимальность кодирования (5), а (7), (9), (10) следуют в результате подстановки (5) в (2), (13), (14). Справедливость данного результата для произвольного интервала времени следует по ин-
дукции с учетом Замечания 1.
Замечание 2. Согласно (5), (6), в классе ^ при ограничениях (3) в задаче фильтрации вся энергия {/г(0; КО} сообщения {Л°(-);^°(-)} сосредоточена относительно сигнала х1 в текущий момент времени, т. к. ЯД^)^, 0^(4,^)=°. Таким образом, Теорема 1 дает решение и на начальном интервале времени [0, т], когда память отсутствует, и Замечание 1 теряет свою актуальность. Задача непрерывной передачи процесса х1 вида (1) при отсутствии памяти решена в [2. Теорема 16.6].
Теорема 2. Кодирующие функционалы, оптимальные в классе ^ линейных функционалов (4), являются оптимальными в общем классе K нелинейных функционалов.
Доказательство:
Идея доказательства заключается в следующем. Пусть А°(!) - ошибка декодирования, достигаемая на {Л(-);#(-)} еК Так как K;cK, то А°(!)<А°(!), где А°(!) определена в Теореме 1. Аналогично Теореме 16.5 в [2] доказательство проводится от противного путем доказательства неравенства А°(!)>А°(!). Тогда противоречие исключается только при условие А°(!)=А°(!).
Так как при условиях (1) ^х^^х^!), Д 0} [2], то при произвольном кодировании {h(-);g(-)}еK Согласно [3] для tm<t<tm+1
I?[х,;20,п0т] = I, [-] +
1
< /(?). (24) где
По неравенству Коши-Буняковского относительно M{-|z0t,n0m} получаем т(!)711(т,!)-т!01(т,!)>0. Тогда использование неравенства Иенсена M{ф(¿;)}>ф(M{¿;}) для выпуклой функции ф(£)=ехр{£} в (23) приводит с учетом (24) для A(t)=M{Y(t)} к неравенству
А(?) > А0 (?т )ехр{ Г [2Г(ст) - Л-1(ст)] йст} +
■*т
+ |* б(ст)ехр{2 £[2Г(и) - Л-1(и)]йи}йст, (25)
Использование (5) в (14) приводит для к уравнению
йу0(?)/й? =
= [2 Г (?) - Л-1(0/(0(у0(0/А°(0)]у0(0 + е(0, (26)
Л 1(ст)м{[/(т,2|хст) -/(т,2)]2}йст -| 0(ст)[м{./[хст]}-£-1(ст)]йст
3[ х?] = м{[51п[ р,(х?)] / 5х] 2120, }.
Л
, (27)
Есть условное информационное количество Фишера [4]. Так как
/(т, 2) = м{/(т, 2 |х?) |20,п0
то
м{[/(т, 2 х?) - /(т, 2)]2} = м{м{[-]2 20,П0т}} =
= м
Г-----1--2 -----2
^|/(т, 2 |х?) + /(?, 2) -
|-2Л(т, 2 |х?) -/(?, 2)
= м{/(т, 2 |х?) - /(?, 2) } < м{/(т, 2 |х?) }. По неравенству Иенсена с учетом (3)
м{/(т, 2 |х?) } = м{[м{/(-) |х?, 20, П0т}]2} <
< м{м{/2 (-) | х?, 20, П0т}} = м{/2 (-)} < /(?).
Таким образом,
м{[/(т,2|х?) -/(т,2)]2} </(?),
и с использованием неравенства Фишера M{/[x!]}>A-1(t) [4] из (27) следует
I, [ х; « ] <
(
|* R l(a)h(a)da -
-Jf Q(a)[A-1(a) - D-1(a)]da
(28)
Пусть передача проходила в соответствии с кодированием {Л°(-);^°(-)} вида (5), (6). Так как в этом случае д(х)=^х;л°(!),А°(!)}, то из (27) с учетом [3], (5), (6)
( Г Е>-1 1,СТ\^ст - ^
1?0[-]=10 [-]+2
I* R 1(a)h(a)da --Jf Q(a)[(A°(a))-1 -D-1(a)]da
I* [•] < I* [•] - - Jf Q(a)[A-1(a) - (A°(a))-1]da. (30)
Из [3] с использованием неравенства Иенсена и учетом того, что ехр{-у}<(1-у)-1, 1п{у}<у-1 следует
А1?т [-] < (1/2) 1п[1 + £(?т )/П?т)]. (34)
Использование (34) в (33) приводит при А(!т)=А°(!т) к требуемому противоречию А°(!т)>А°(!т). Справедливость доказанного результата для произвольного интервала т<!т<!<!т+1 следует по индукции с учетом Замечания 2.
Теорема 3. Пусть /!0[х!;^)0!,(п0)°'"] есть количество информации, достигаемое на кодирующих функционалах (5), (6). Тогда имеет место свойство
i*°[ x;(z °)°,(^0):]=sup i [ x*; z°,^mm], где sup берется по всем {A(-);g(-)}eK={H;G} и I*°[ x*;(z ХЮ:] =
= (1/2) X ln[1 + (g( t, )/ V (t,))] +
(35)
. (29) +(1/2)
"R-1(a)h(a) -v-Q(a)[(A “(a))-1 - D-1(a)]
da
(36)
Так как [А-1-^-1]=[А-1-(А°)-1]+[(А°)-1-^-1(ст)], то при передаче на интервале !с [0,!0] в соответствии с кодированием (5), (6), из (28), (29) следует
1 2
Так как, согласно [1, 2] (неравенство Ихары), А(?) > Д0ехр{-21?[-]}, (31)
то из (29), (31)
А(?) > Щ(? )ехр{-21?0[-]} х
хехр{| б(ст)[А-1(ст) -(А0(ст))-1]йст}. (32)
Так как то А0(!)<А0(!), т. е. А°-1(!)>(А°(!т))-1.
Из [3] прир(!,х)=^х,а(!),Д!)}, р((х)=^х,л0(!),А0(|)} следует 1°[-]=(1/2) 1п[Д!)/А(!)]. Таким образом, (32) при А(!)=А0(!) приводит к требуемому противоречию А°(!)>А°(!). Завершается доказательство теоремы выводом противоречивого неравенства А°(!т)>А°(!т) в предположении, что на интервале 1е[0,1т) передача происходила в соответствии с кодированием {Л°(-);^°(-)} вида (5), (6). Из (31) с учетом [3] А(1т)>Д1т) ехр{-2/°т-°[-]}ехр{-2А/0,[-]}. Так как р1°(х)=Щх;л!,(!т-0),А(>(!т-0)} [2] при
Ж-Ш-)}={А°(-М-)}, то 7?т-°[-]=(1/2)1п[^(!т)/А°(!т-0)] и, таким образом, А(!т)>А°(!т-0)ехр{-2А1т[-]}. Умножение слева и справа последнего неравенства на ^(!т)[^(!т)+~(!т)]-1дает с учетом (12)
А(?т ) >А0(?т - 0)V-1(?т ) х х[V(?т) + £(?т )]ехр{-2А1? [-]}. (33)
+(1/2)
, (37)
Доказательство:
Из (27) с учетом [3] для т<!;<!т<! следует
I? [ х; 20 ,п0т ] =
= (1/2) ^ м{1п[С(п(?/), 2|х(()/с(п(?), 2)]} +
т <?• <?
-1(ст)м{[/(т,2|хст) -/(т,2)]2}йст -
-£е (ст)[м{ 3 [ хст ]} - Щ-1(ст)] йст
где У[хст] - упомянутое выше условное информационное количество Фишера. Использование (28), (30), (34) в (37) дает, что /,[х,;г°!,П0т]<10[-], где /Д-] определяется правой частью формулы (36). Использование [3], (5), (6), (12), (16) в (37) дает, что верхняя граница 7Д-] для I [-] достигается на кодирующих функционалах й°(-) и £°(-) вида (5), (6). Следовательно (35) доказано для т< т< . Справедливость результата и для начального интервала времени [0,т] следует с учетом Замечания 2.
Заключение
Полученные результаты могут быть использованы для анализа пропускной способности каналов в задаче оптимальной передачи сигналов, и в частности непрерывно-дискретных сигналов, реализациями которых являются случайные процессы.
Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013, проект № 14.B37.21.0861.
СПИСОК ЛИТЕРАТУРЫ
1. Демин Н.С., Рожкова С.В., Рожкова О.В. Обобщенная скользящая экстраполяция стохастических процессов по совокупности непрерывных и дискретных наблюдений с памятью // Известия РАН. Теория и системы управления. - 2000. - № 4. - С. 39-51.
2. Липцер Р.Ш., Ширяев А. Н. Статистика случайных процессов.
- М.: Наука, 1974. - 696 с.
3. Dyomin N.S., Rozhkova S.V., Safronova I.E. About structure of Shannon information amount for joint filtering and extrapolation
problem by continuous-discrete memory observations // Informati-ca. - 2004. - V15. - № 2. - P. 171-202.
4. Липцер Р.Ш. Оптимальное кодирование и декодирование при передаче гауссовского марковского сигнала по каналу с бесшумной обратной связью // Проблемы передачи информации.
- 1974. - № 4. - С. 3-15.
Поступила 03.10.2012 г.
УДК 519.2
ОПТИМАЛЬНАЯ НЕПРЕРЫВНО-ДИСКРЕТНАЯ ПЕРЕДАЧА СИГНАЛА ПО КАНАЛАМ С ЗАПАЗДЫВАНИЕМ
С.В. Рожкова
Томский политехнический университет E-mail: rozhkova@tpu.ru
Рассматривается задача оптимальной передачи стохастических процессов по непрерывно-дискретным каналам с запаздыванием. Доказываются экстремальные свойства оптимальных кодирований в смысле максимизации количества информации.
Ключевые слова:
Сигнал, стохастические системы, канал передачи, кодирование, декодирование.
Key words:
Signal, stochastic system, transmission channel, coding, decoding.
1. Постановка задачи
Сигнал х,, сообщение на выходе канала передачи ^ и сообщение на выходе дискретного канала передачи п(,т) задаются на реализациях процессов, определяемых стохастическими дифференциальными уравнениями
йх( = Г (? )х(й? + Ф1 (? )йЦ,
р>(х) = ^{х; Лo,Yo}, (1)
й2? = /(?, хт, 2)й? + Ф2(? )йу?, (2)
П(?т ) = В(?т , хт , 2) + Ф3 (?т Ж?т X
0<!°<т<1т<1, т. е. в отличие от [1] в данной работе рассматривается случай непрерывно-дискретной передачи с запаздыванием, когда в непрерывном и дискретном каналах передаются прошлые значения хт процесса х1 при наличии мгновенной бесшумной обратной связи по процессу zt■
Используемые обозначения: Р{-} - вероятность
события; M{-} - математическое ожидание; ЭДа;Ь} - плотность нормального распределения с параметрами а и Ь; Ф2(1)=е(1), Ф22(!)=Я(!), Ф32(1т)=Г(1т).
Задача: в классе кодирующих функционалов K1={H1;G1}={h{-},g{-}}, удовлетворяющих энергетическим ограничениям
м{/2(?, хт, 2)} < /(?),
м{В2 (?т , ^ 2)} < В(?т X (3)
найти функционалы А0{-| и обеспечивающие относительно задачи фильтрации минимальную ошибку декодирования A0(t)=infA(t), где
A(t)=M{[x-x(t,z,n)]2} является ошибкой оценки фильтрации x(t,z,n) процесса xt, которая соответствует принятому сообщению {z0t; n0m} при заданных h{-}, #{•}. Так как при заданных Н{-} и #{•} оптимальной в среднеквадратическом смысле оценкой фильтрации является апостериорное среднее ^(t)=M{xJzo',n0m} [2], то A(t)>M{y(t)}, где т(/)>М{[х,-^(/)]2^',П0т}. Таким образом, A0(t)=infM{y(t)}.
2. Основные результаты
Замечание 1. Очевидно, что до момента т, где 0<t0<T<tm<t, мы имеем h(^)=h(t,xt,z), g(0=h(tm,xm,z), т. е. передаются текущие значения процесса x,, справедливо Замечание 2 из [1]. Считаем, что при T<t передача шла оптимальным способом согласно этому Замечанию.
Теорема 1. На классе K;1={H;1;G;1} линейных функционалов
И) = {й(-) : h(t, Хт, z) = z) + HjCt, z)Хт}, (4)
G) = {gQ : g(tm , Хт , z) = g(tm , z) + G1(tm , z)Хт } :
1) оптимальные кодирующие функционалы
h°(t,xT,z°), g0(tm,xT,z0) имеют представления
h°(t, z °) = -H°(t, z >0(т, t),
H°(t, z °) = [h (t )/A0i(T, t)]1/2, (5)