Минимаксная оценка псевдо-периодической функции, наблюдаемой на фоне стационарного шума Текст научной статьи по специальности «Математика»

УДК 519.21

Вестник СПбГУ. Сер. 1. 2010. Вып. 2

МИНИМАКСНАЯ ОЦЕНКА ПСЕВДО-ПЕРИОДИЧЕСКОЙ ФУНКЦИИ, НАБЛЮДАЕМОЙ НА ФОНЕ СТАЦИОНАРНОГО ШУМА

С. В. Решетов

С.-Петербургский государственный университет «Институт точной механики и оптики», ассистент, соискатель СПбГУ, [email protected]

1. Введение

Рассмотрим задачу оценивания неизвестной функции в, наблюдаемой на фиксированном конечном интервале [а, Ь] на фоне белого шума малой интенсивности е:

¿у (г) = в(г)л + едШ (г). (1)

Здесь У (г) —доступный наблюдению процесс, Ш (г) — стандартный винеровский процесс. Предположим, что неизвестная функция в лежит в пространстве Ь^ Ь] на отрезке

[а, Ь] и в(г) = ^ 63 (в)у3(г) —ее разложение по некоторому ортонормированному ба-

3=1

зису {у} пространства Ьа Ь]. Пусть N — некоторое положительное целое число. Если 63, 1 < ] < N,—какие-либо оценки величин 63(в), построенные по наблюдениям У (г), г € [а, Ь], то функция

N

б(г) = Е 6У (г) (2)

3=1

является оценкой неизвестной функции в. Этот метод оценивания был инициирован

_ ь__ь_

Н. Н. Ченцовым [1] с = У = / ¿У (г) = 0,-(в) + е / <Ш(Ь).

а а

Заметим, что величины 6 = у являются несмещенными оценками неизвестных коэффициентов 63(в). Поэтому в соответствии с (2) может быть построена оценка 6 неизвестной функции в. Эта оценка уже будет иметь смещение, поскольку величина N конечна. Точнее, оценка, построенная в (2), несмещенно оценивает функцию

N

вN(г) = 63 (в)уз (г), являющуюся ортогональной проекцией функции в на подпро-

3=1

странство ЬN, порожденное куском {уч,..., } ортонормированного базиса, и заставляет нас пренебрегать величиной остатка QN = 63(в)у3(г). Поэтому главный во-

j=N+1

прос состоит теперь в том, как выбирать упомянутую величину N и подпространство ЬN. Этот выбор нельзя сделать разумным, если не иметь априорной информации о неизвестной функции в. Принятый способ задания такой априорной информации состоит в указании компакта £ С Ь^а Ь], из которого черпаются функции в. В этом случае качество процедуры оценивания, задаваемое оценкой в6, естественно измерять величиной квадратичного риска Ж (66; £) = вир Е У6 — в||^2 . Минимаксным риском называ-

© С. В. Решетов, 2010

ется величина (£) = М Ж (в ; £); здесь М берется по всем оценкам, построенным по

в

наблюдениям (1).

Обратим внимание также на следующее обстоятельство: соотношение У, = в, (в) +

еХ,, X, = § у, (£) ¿Ш(£), переводит нашу задачу в эквивалентную ей задачу оценива-

а

ния неизвестного вектора в = (9\, в2, • • •) € ¡2 по наблюдениям

Уз = ву + еж,-, ] = 1, 2,... (3)

Здесь ж1, • • •, жп, • • • —независимые стандартные гауссовские величины, величина е > 0

известна. Априорное предположение в € £ переходит в предположение о том, что в € ©,

где © — подходящим образом выбранное компактное подмножество пространства ¡2. В

2 „

- в

риск оценки в, предложенной для оценива-

этой задаче R ( в ; ©) = sup E

^ ' вев

ния вектора в £ ©, а R* (©) = inf R 1°;©) —минимаксный риск, inf берется по всем ~ в

измеримым функциям 0 от вектора наблюдений (yi,y2, • • •) со значениями в /2.

Задачам оценивания неизвестного в в модели (3) или эквивалентной ей задаче оценивания неизвестной функции s в модели (1) посвящено большое число работ (см. [1-9]).

Приведем следующий пример. Рассмотрим для целого положительного в и т > 0 пространство Соболева Пут п/т] С Ь2_п/Т п/т] периодических с периодом 2п/т

функций s = s(t), t £ R, таких что s(n) £ ¿2-п/Т п/т], п = 0, 1, • • •, в. Норма в этом пространстве задается соотношением

1/2

в .....

I п/т

Е

n=0

2тг J

\ -п/т

s(n)(t)

dt

Используя разложение s(n)(t) = ^ sk (¿kr)" eifcTi, n = 0, 1,... получаем

и2 = ¿f E si2 (Tk)2n) = E (W ¿(Tk)2"'

n=0 \-TO<fc<TO / -TO<fc<TO \ n=0 /

Легко видеть, что введенная норма эквивалентна норме || • ||в:

IsMe = Е |Sk|2 (1 + |Tk|)2e .

2

|Sfc

Последнее соотношение позволяет естественным образом обобщить определение пространства Соболева на случай нецелого ß.

Предположим теперь, что в модели (1) подлежащая оцениванию неизвестная функция s лежит в шаре S (ß, т, C) С W[— Пут п/т] для некоторого ß > 0:

S (ß, т, C) = {s G W-^n/T] : llsue < C}-

s

Ибрагимов и Хасьминский [3, 4] получили асимптотику поведения минимаксного риска Ж* (5 (в, т, С)) в этой задаче при е ^ 0 с точностью до порядка:

Л2 (в, т, С) е2в/(2в+1) < (5 (в, т, С)) < А1 (в, т, С) е2в/(2в+1). (4)

В 1980 г. Пинскер получил точную асимптотику (см. [8]).

В этой работе рассматривается случай, когда на большом отрезке [—Т, Т] наблюдается функция в на фоне стационарного шума X. Априорная информация состоит в том, что функция в лежит в компактном подмножестве пространства псевдо-периоди-ческих функций. Получены нижние и верхние границы для величины минимаксного риска, найдена оценка функции в, риск которой имеет такой же порядок по Т, что и минимаксный.

2. Постановка задачи. Формулировка основных результатов

Пусть на растущем отрезке [—Т, Т] наблюдается случайный процесс У:

У (*) = в(*)+ X (*). (5)

Здесь в € £* (Л) —неизвестная, подлежащая оцениванию функция, X(£) —обобщенный гауссовский стационарный процесс с нулевым средним и спектральной плотностью /. Дадим пояснения.

Обозначим через £ банахово пространство функций в = в(£), £ € К с ||в||^ =

х+1

вир / |в (£) |2 Л < то; пусть £(Л) С £ —пространство псевдо-периодических функций

х X

со спектральным множеством Л, состоящее из функций в € £, представимых в виде в(£) = ^ ап в®"4, ^ |аи|2 < то. Предполагается, что Л — счетное множество, удовле-

«еЛ «ел

творяющее условию, такое, что т = М |и — > 0. Параметрическое множество

и, «еЛ

(Л) состоит из функций в € £(Л), выделяемых условием

£ |0п |2(М + 1)2в < С, в> 1/2. (6)

«ел

Неизвестная плотность / удовлетворяет условию

Тш/л*)Лш/мЛ-м' (7)

где вир берется по всем интервалам I, |11 —длина I.

Слова «X (£) —обобщенный гауссовский стационарный процесс с нулевым средним и спектральной плотностью /» означают, что X —линейный оператор из пространства В = В (-1) бесконечно дифференцируемых финитных функций у в гауссовское подпространство Г пространства Ь2((Р), построенного по вероятностной мере Р, и для него выполнены следующие условия. Во-первых, для функционала уг) =

ЕX[уч^[^2] равенство $(уч, у>2) = ^(п^ь П4У2) справедливо при любом действительном £ и любых функциях у>1 и у2 из пространства В. Здесь п —оператор сдвига: = + г). Во-вторых, ЕX[у] = 0, у € В. И наконец, в-третьих,

У2) = ЕХ[у>1]Х[у>2] = У (и)/(и) ¿и,

где у — преобразование Фурье функции у. 108

Слова «на растущем отрезке [-Т, Т] наблюдается случайный процесс У» (см. соотношение (5)) означают, что мы располагаем случайными величинами

сю

У[р\= J где Ъ(Т) = {ср : ср £ "В, вирр ¡р С [-Т, Т]} .

Качество оценки в неизвестной функции в мы будем измерять величиной риска:

И •

Я (в, £* (Л)) = Я (в, £* (Л), Т)= вир Е ||в - • (8)

яе-с*(Л)

Минимаксным риском будем называть величину

Я* (,С* (Л), Т)=1М Я (в, £* (Л), Т), (9)

в

где М берется по всем оценкам вс

Рассмотрим систему функций {ф„(£) = в®"4, и € Л} и сопряженную (в пространстве т], построенном по нормированной мере Лебега) к ней систему функций

Сф"(*) = Ф«,т(*), и € Л}:

т

(У«, <л0 = J = 5иу,

-т

Эта система, разумеется, существует, и ниже мы это покажем. Обозначим через г целую часть в и введем в рассмотрение функцию Л.(ж), заданную на отрезке [-1/2,1/2], предполагая, что функция Л.(ж) является г + 1 раз непрерывно дифференцируемой и

/1\ 1 dк

Цх) = -1г(-х), к - = -, -—Н(х)= О

у2) 2' dжк

в точках ж = ±1/2, к = 1, • • •, г +1. Пусть

й(ж + Т - 3/2)+ 1/2, ж € [-Т +1, -Т +2],

к( ) = к(Т ) = ^ 1, ж € (-Т + 2, Т - 2),

к(ж) к(Т ;ж) ^ ж - т + 3/2)+ 1/2, ж € [Т - 2, Т - 1],

0, |ж| >Т - 1

Рассмотрим для 7 > -1 следующую оценку функции в:

в* = Е укф", м = Т 1/(1+^+2в), (10)

«ел, |«|<м

где

^ = «ел. (И)

Наконец, определим класс В7 = В7 (01, С2, То, в, Л), 7 > -1 неотрицательных функций д таких, что

0 < с2 < М2в Е / д(ж) dж < с1 < то

«ел, ы<м, 1^1

для любого Т > Т0. Здесь снова М = Т 1/(1+7+2«.

Теорема. Рассмотрим задачу оценивания функции в, определенную условиями (55)-(6). Пусть спектральная плотность / удовлетворяет условию (7), а также / € В7 (с1, С2, То, в, Л) для некоторого 7 > —1. Тогда

1) существует такая постоянная С1 = С1 (с1, То, 7, в, т, М, С) < то, что для всех Т > Т* (То, т) справедливо неравенство

Я (в* £* (Л), Т) < С1 Т—2в/(2в+7+1); (12)

2) существует такая постоянная С2 = С2 (с1, С2, То, 7, в, т, М, С) > 0, что для всех Т > Т* (То, т) справедливо неравенство

Я* (£* (Л), Т) > С2 Т—2в/(2в+7+1). (13)

Замечание 1. В условии теоремы мы требуем, чтобы спектральная плотность / € В7, 7 > —1, удовлетворяла еще и условию (7). Приведем пример функций, лежащих в классе, определяемом соотношением (7), одновременно лежащих в В7, 7 > — 1. Пусть /(ж) ~ |ж — и|с, |ж — и| < е, и € Л, с < 1/2в. Из-за условия (7) приходится сразу предполагать, 'что с > —1. Вне указанных окрестностей функции / разрешается вести себя как угодно, лишь бы было выполнено условие (7). Понятно, что мы можем теперь выбрать То = То (е, Л) так, чтобы для любого Т > То выполнялось

М2в ^ [ /(ж) (ж ~ Т(2в+1)/(2в+1+7)—(с+1).

пеЛ М<М|и—х|<1/т

А значит, условие / € В7 выполняется с 7 = —с (2в + 1)/(с + 1) > —1.

Замечание 2. Из неравенств (12) и (13) очевидным образом следуют, во-первых, неравенство

Я* (£* (Л), Т) < С1 Т—2в/(2в+7+1), (14)

а во-вторых, минимаксность по порядку оценки (10):

Я (Л), Г)

^ Я* (Х* (Л), Г) <Сз<°°-

Прежде чем перейти к доказательству, проиллюстрируем неравенства (13) и (14) на примере (см. пример во введении, а также [8, 13]). Предположим, что спектральная плотность / = а > 0, а множество Л = {тп : п € Другими словами, мы наблюдаем периодический с периодом 2п/т сигнал в = в(£) в гауссовском белом шуме фиксированной интенсивности а на большом отрезке [—Т, Т]. Все условия теоремы выполнены, легко видеть, что 7 = 0. Поэтому, согласно (13) и (14) при Т > Т*

С2 Т—2в/(2в+1) < Я* (£* (Л), Т) < С1 Т—2в/(2в+1),

где постоянные С1 и С2 зависят от величин в, С, т, а, Т*.

3. Доказательство теоремы

Некоторые вспомогательные результаты, ввиду ограничений на объём статьи, будут формулироваться без доказательств.

Покажем справедливость неравенства (12). Несложным следствием результатов, полученных Винером и Пэли (см. [10]), является Лемма 1. При Т > Т.(т) три нормы

ж+1 т

12 ____ [ | ,2 ы и м2 1 /,\\2 ы II и2^| < м2

т «ел

.заданные на £ (Л), эквивалентны с точностью до постоянных, не .зависящих от Т.

Из этого факта с помощью теоремы Бари (см. [11]) легко получить следующий результат.

Лемма 2. Пусть на пространстве £ (Л) задана норма || • ||т. Система функций {ф„(£) = в®"4, и € Л} является равномерно по Т > Т.(т) риссов-ским базисом в £ (Л). Существует сопряженная к ней система функций |ф«(£) : (фИ, ф,) = ¿и,, ад, V € Л; и € Л}, которая также является равномерно по Т > Т.(т) риссовским базисом в £ (Л).

Обозначим через р£(Л) ортопроектор на пространство £ (Л) в метрике пространства

т _

Ь?_т Т1, и пусть Ъи = 1/(2Т) ^ /г(Т;Л, и £ Л, — коэффициенты при разло-

7[-т, т ],

-т

(

жении функции Рс(Л) {кв} по системе функций {ф«(£), и € Л}. Стало быть, используя (11), мы можем написать

Ук = Ь« + и € Л,

где х«, и € Л, — нормальные стандартные случайные величины,

кф

1

2Т 2Т

/

2

кф«(£) /(¿) dt, и € Л^

В силу леммы 1 для Т > Т.(т)

|2 _ ^ , ^ „и ~*112

Я (?*, £* (Л), Т) = вир Е || в - 8*||. < К (т) вир Е ||в - в*, т.

«е£»(Л) «ел»(л)

Зафиксируем любую функцию в = ^ а„ ф„ € £* (Л). Имеем

«ел

2 2 2 Е ||в - л*|т < 2 ||в - Рс(л)кв||т + 2Е ||Ръ(А)кв - ?7*|| <

|2 , ^ М п 7. . ~*м2

< 2 ||в - кв|т + 2Е ||Рс(л)кв - в* ||т •

х+1

Исходя из построения функции к имеем ||кв - в||т < 2/Твир / |в (¿)|2 dt. А в силу лем-

х х

х+1

мы 1 и условия (6) получаем вир £ |в (¿)|2 dt < К2( т) 2 |аи | < СК2(т). Стало быть,

х х «ел

||кв - в|т < Кз (С, т) 1/Т, и для доказательства (12) достаточно установить неравенство

Е ||Рс(л)кв - в* ||т < К Т-2в/(2в+7+1) (15)

=

-с

для всех достаточно больших Т. Имеем

¿(л)'

*2 8*|| 7 11т

2

53 ЬиУ>П — 53 аиХпУ"* «ел, |«|>м «ел, |«|<м

2

<

ЬиУ>П

«ел, |и|>м

+ 2Е

аиХиУи

«ел, |«|<м

2

<

< К5(т) 53 |6«|2 + К5(т) 53 |а«|2 .

«ел, |«|<м

«ел, |«|>м

Последнее неравенство справедливо в силу леммы 2. Для завершения доказательства нам понадобятся еще две леммы.

Лемма 3. Существует такая постоянная Кб = Кб (т, в), что для всякой функции в = ^ аи уи € £* (Л) справедливо неравенство

ие л

53 |Ьи|2 (1 + |и|)2в < К |2 (1 + |

иел иел

Здесь, как и выше, Ъи = т^р / к(Т] t)(í5И(t)s(t) сЙ, и £ А, —коэффициенты при разложе-

—Т

нии функции Рс(л) {'в} по системе функций {у«(£), и € Л}.

Докажем эту лемму, ограничившись случаем целого в. Обозначим в^ = 'в. Учитывая, что к(т)(Т) = к(т)(—Т) = 0 для всех т, получаем с помощью интегрирования по частям

1

2Т

Т

Таким образом, для любого и € Л справедливо равенство (ш)в6« = 6^(и), где 6^(и), и € Л,—коэффициенты при разложении функции Р&(л) |в^! по системе {у«, и € Л}. Отсюда, с помощью лемм 1 и 2, а также с помощью определения функции к получаем для достаточно больших Т

53 \Ъи\2 (М + I)2" = 53 |В»|2 + ^ < Кг(г, /3) 53 |В»|2 <

ие л

ие л

ие л

< К8 (т, в) ||Рс(л) {(кв)(в)} ||Т < К (т, в) ||Рс(л) {(кв)(в)}

<

Т—2

22 < К9 (т, в) (кв)(в) = К9 (т, в) в(в) = К9 (т, в)

Т—2

Т—2

53 «и Мвв®

ие л

<

Т—2

< Кб (т, в) 53 1«и Мв|2 < Кб (т, в) 53 |«и |2 (|и| + 1)2в.

иел

иел

Лемма доказана. 112

2

2

Лемма 4. Пусть функция / удовлетворяет условию (7). Тогда при всех Т > 2 для любого и

Ь

2

/(*) dt <

1

|4-«|<1/т

кф«(4) /(4) ^ < Ь1 I /(4) Л,

|4-«|<1/т

где 0 < Ь2 (М) = Ь2 (й, М) < Ь1 (М) = Ь1 (й, М) < то.

Кратко изложим идею доказательства. Прежде всего, устанавливается справедли-

л 2

вость неравенства к (4) /Т < с (й)(Т - 3/2)/(1 + (Т - 3/2)2 42) для всех Т > 2. В [12] доказано, что если / удовлетворяет условию (7), то

эир I Ру(и — г>)/(г>) дм х I Ру(и — у)—-!— ¿V < К(М) < то, у>о,«ек ./ ./ / (V)

где = + у2), откуда

к (*)

Т

-/(4) dt х

к (4)

Т / (4)

dt < К10(Ь, М)

равномерно по Т > 2. Отсюда, с учетом равенства

. а/2соз 4 ~ \ зш(Т - 3/2)4

несложно показать, что

кф« (4) /(4) dt < Кп(й, М)

кф« (4) /(4) ^

|4-«|<1/т

И, стало быть, для доказательства леммы достаточно установить несложное неравенство

Ь

2

2

|4-«|<1/т

|4-«|<1/т

кф«(4) /(4) ^ < Ь^ у /(4) ^

|4-«|<1/т

Вернемся к доказательству неравенства (15). Нам осталось получить оценки для

|Ь«|2 и КГ Итак, с помощью условия (6) и леммы 3 получаем

«ел, |«|>м «ел, |«|<м

2

Е |Ь«|2 < М-2в ]Т |Ь«|2 (|и| + 1)2в < |а« |2 (1 + |и|)2в < СКбМ-2в•

«ел, |«|>м «ел, |«|>м «ел

А поскольку М = Т 2в/(1+^+2в), для всех достаточно больших Т имеем

Е |Ь«|2 < СКбТ

-2в/(1+7+2в)

«ел, |«|>м

(16) 113

2

2

1

с

с

Далее, из леммы 4 получаем, что

Е ы2 < K12 (M) E

f(t) dt.

\t~«|<i

иЕЛ, |и|<м иЁЛ, |и|<м|(

А поскольку функция / лежит в классе В7, то для любого Т > То можем написать

M2в Е / f (t) dt < ci,

^еЛ, |«|<M|

i —u|<T

и, стало быть,

E |а„|2 < K13T-

иеЛ, |и|<м

2 э

1+7 + 2/3.

(17)

Из (16) и (17) следует (15), и, следовательно, (12) доказано.

Доказательство неравенства (13) довольно громоздкое, поэтому мы опишем здесь только его общие идеи.

Первый шаг состоит в переходе от задачи оценивания функции s G L* (Л) к задаче оценивания вектора, лежащего в подходящем компактном подмножестве I2. Положим, как и выше, уЦ = 1/(2T)Y для каждого u G Л. Тогда, сохраняя введенные обо-

значения, можно написать

уЦ = b„ + а„х„, u G Л. (18)

Удается показать, что существует такая постоянная Di = Di (т, C), что для всех T > T2 (т) справедливо неравенство R* (L* (Л), T) > D1Rt(AC*, а), а = (аи)иел. Здесь R*(Ac*, а) —величина минимаксного риска в задаче оценивания вектора (Ьи)иел G Ас* по наблюдениям (18),

Ас* = |(Миел : Е 1Ь«|2 (|u| + 1)2в < C* (C, т, вП , C * = C * (C, т, в) I иеЛ )

Участвующие в (18) случайные величины хи, u G Л, не являются независимыми. Поэтому следующим шагом является переход к задаче оценивания вектора (Ьи)иел G Ас* по тем же наблюдениям (18) с дополнительным условием независимости случайных величин хи, u G Л. Для этого с помощью соотношения

/

(хи xv )

f/ f

справедливого для любых и, V £ Л, и условия (7) мы показываем, что для всех и € Л и любого положительного N справедливо неравенство

inf E | х„ -

av, vеЛ, v=u

« E

vеЛ, |v|<N

av xv I > e(M) > 0.

Благодаря этому неравенству удается показать, что

R*(AC*, а) > D2 (M) R°(Ac*, а),

f

2

где R0(Ac*, 0) —риск в той же задаче при дополнительном условии независимости случайных величин xu, u G Л. Для последнего удается получить оценку R0(Ac*, 0) > ^з(т, M, C, в) , которая вместе с леммой 4 приводит нас к (13).

иеЛ, |«|<м

Литература

1. Ченцов Н. Н. Оценка неизвестной плотности распределения по наблюдениям // ДАН СССР. Т. 147. 1962. С. 45-48.

2. Centsov N. Statistical Decision Rules and Optimal Inference. Providence: AMS, R.I. 1972.

3. Ибрагимов И. А., Хасьминский Р. З. Об оценке бесконечного параметра в гауссовском белом шуме // ДАН АН СССР. Т. 236. №5. 1977. С. 1053-1056.

4. Ибрагимов И. А., Хасьминский Р. З. О пропускной способности при передаче гладкими сигналами // ДАН АН СССР. Т. 242. №1. 1978. С. 32-37.

5. Ибрагимов И. А., Хасьминский Р. З. Об оценивании плотности // Записки научных семинаров ЛОМИ АН СССР. Т. 98. 1980. С. 61-85.

6. Ибрагимов И. А., Хасьминский Р. З. К асимтотической скорости сходимости в задаче оценивания непараметрической регрессии // Записки научных семинаров ЛОМИ АН СССР. Т. 97. 1980. С. 88-101.

7. Nussbaum M. Spline smoothing in regression models and asymptotic efficiency in L2 // Ann. Statist. Vol. 13. 1985. P. 984-997.

8. Пинскер М. С. Оптимальная фильтрация квадратично-интегрируемых сигналов на фоне гауссовского шума // Проблемы передачи информации. Т. 16. №2. 1980. С. 52-68.

9. Donoho, David L., Liu Richard C., MacGibbon Brenda. Minimax Risk Over Hyperrectangles, and Implications. The Annals of Statistics. Vol. 18, N 3. 1990. P. 1416-1437.

10. Винер Н., Пэли Р. Преобразование Фурье в комплексной плоскости. М.: Наука, 1964.

11. Гохберг И. Ц., Крейн М. Г. Введение в теорию линейных несамосопряжённых операторов в гильбертовом пространстве. М.: Наука, 1965.

12. Солев В. Н., Зербет А. Условие локальной асимптотической нормальности для гауссов-ских стационарных процессов // Записки научных семинаров ПОМИ. Т. 278. 2001. С. 225-247.

13. Решетов С. В. Нижние границы для риска в задаче оценивания псевдо-периодической функции, наблюдаемой на фоне белого шума // Записки научных семинаров ПОМИ. Т. 339. 2006. С. 102-110.

Статья поступила в редакцию 24 ноября 2009 г.