CC BY
80
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2012 Математика и механика № 1(17)
УДК: 517.16; 519.2
В.В. Конев, Е.А. Пчелинцев
ОЦЕНИВАНИЕ ПАРАМЕТРИЧЕСКОЙ РЕГРЕССИИ С ИМПУЛЬСНЫМИ ШУМАМИ ПО ДИСКРЕТНЫМ НАБЛЮДЕНИЯМ1
Рассматривается задача оценивания параметров в модели периодической регрессии с непрерывным временем с шумами, описываемыми негауссовским процессом Орнштейна - Уленбека, по наблюдениям в дискретные моменты времени. Предлагаются улучшенные оценки неизвестных параметров регрессии, превосходящие по среднеквадратической точности оценки по методу наименьших квадратов. Получены явные формулы для минимального выигрыша в среднеквадратическом риске. Устанавливается асимптотическая минимаксность оценок при неограниченном росте числа периодов и частоты наблюдений процесса.
Ключевые слова: негауссовская параметрическая регрессия, улучшенное оценивание, метод наименьших квадратов, импульсный шум, процесс Орнштейна - Уленбека, квадратический риск, минимаксность.
1. Введение
Рассмотрим регрессионную модель с непрерывным временем, определяемую стохастическим дифференциальным уравнением
й
йУ; = X 0} Ф} + й^, 0 < / < п, (1)
1=1
где 0 = (01,...,0й)' - вектор неизвестных параметров из открытого ограниченного множества 0с!й (штрих обозначает транспонирование), п - число периодов наблюдения; (ф ■ )1йй - система 1-периодических функций, ортонормиро-
ванных в пространстве £2 [0,1] и удовлетворяющих условию Липшица с постоянной Ь:
|ф; (0-ф; (^) |< Ь |;-51. (2)
Предположим, что шум (^ );>о является квадратично интегрируемым семимар-тингалом с неизвестным условно-гауссовским распределением относительно некоторой с-алгебры О, таким, что для любой функции / е ^[0, п] определен стохастический интеграл
1п (/) = //5,, (3)
обладающий свойствами
Ее/п (/) = 0 и Ее/2(/) <ае Щ/2(4) где Е^ - усреднение по распределению Q помехи (^);>0; > 0 - постоянная.
1 Работа выполнена при финансовой поддержке РФФИ, грант N° 09-01-00172-а.
Распределение помехи Q неизвестно и принадлежит некоторому параметрическому классу распределений Q*n в пространстве Скорохода Х>[0, п].
Предположим, что процесс (1) доступен наблюдению только в дискретные моменты времени
;; = 1 /р, 1=0, пр, (5)
где р - целое положительное число, определяющее частоту наблюдений.
Задача состоит в том, чтобы оценить вектор неизвестных параметров 0 по наблюдениям процесса (у■ )0<пр при некоторых общих условиях на функцию условной ковариации соу(|; 51 О) шума .
Важным примером семимартингального шума (|;);>0 является негауссовский процесс Орнштейна - Уленбека с импульсными возмущениями:
й + йи;, (6)
где а<0, (и;);>0 - однородный процесс Леви
и; = ^ М; + 02 , (7)
представляющий собой смесь стандартного броуновского движения (); >0 и составного пуассоновского процесса ();>0, определяемого равенством
N
Ъ =Х , (8)
1=1
где (N);>0 - однородный пуассоновский процесс с интенсивностью X > 0 , а (7;-) 1 >1 - последовательность н.о.р. гауссовских случайных величин с параметрами (0,1). Параметры шума а, дх, д2 и X неизвестны.
Процесс (6) является квадратично интегрируемым семимартингалом, который имеет условно-гауссовское распределение относительно с-алгебры О = > 0},
порожденной пуассоновским процессом, с нулевым средним и функцией условной ковариации соу(|; 5 | О), зависящей от мешающих параметров а, д1, д2 и X.
Известно [3], что негауссовский процесс Орнштейна - Уленбека (4) успешно используется при моделировании помех с различными структурными зависимостями и существенными отклонениями от гауссовости. Выбор параметров шума дает возможность описывать различные воздействия импульсного типа.
Регрессионная модель (1) применяется при обработке сигналов [2] и описании эволюции стоимостей активов на финансовых рынках с непрерывным временем типа Блэка - Шоулса, допускающих скачкообразные изменения [1, 3].
Задача оптимального оценивания функции регрессии в параметрической модели типа (1), а также в непараметрической постановке подробно исследована в случае белого гауссовского шума [2].
Цель работы - построить оценки неизвестных параметров функции регрессии в (1), имеющие более высокую среднеквадратическую точность по сравнению с обычными оценками наименьших квадратов (МНК), а также получить явные формулы для минимального выигрыша в риске.
При выборе оценок функции регрессии по дискретным наблюдениям используется подход, восходящий к работе Джеймса и Стейна [4], в которой установлено, что если в задаче оценивания векторного параметра 0 = (01,...,0й)' в регрессионной модели
¥ =0 + | (9)
со стандартным гауссовским шумом ^N(0/^) вместо оптимальной несмещенной оценки МНК 0 = ¥ использовать смещенную оценку вида
0=('-рг)¥’ <10)
то можно подобрать число с>0 так, что среднеквадратический риск оценки
й
Я(0,0) = Е0 || 0-0 ||2, || х ||2 =£ х2
1=1
будет строго меньше, чем оценки МНК 0 . Оценки типа (10) стали называть улучшенными. В дальнейшем метод построения улучшенных оценок Джеймса -Стейна был развит для общей гауссовской модели (9) с известной [5 - 8] и неизвестной ковариационной матрицей шума [9 - 11]. В [12] были исследованы улучшенные оценки параметров регрессионных моделей с дискретным временем и с шумами, имеющими сферически симметричные распределения.
Рассматриваемая задача построения улучшенных оценок для вектора неизвестных параметров 0 = (01,...,0й)' процесса (1) по дискретным наблюдениям (У;. )0<]■<пр связана, как показано в разделе 2, с оцениванием параметра 0 в модели типа (9), в которой, однако, шумы являются только условно-гауссовскими, причем характеристики условного распределения неизвестны. Для такой схемы наблюдений предлагается вместо (10) использовать оценку вида
0=(‘- й¥й )¥ ■
которая - в отличие от (10) - позволяет построить улучшенную по точности оценку для вектора 0 в модели (1) по наблюдениям процесса в дискретные моменты времени (5), а также получить явные формулы для выигрыша в среднеквадратической точности в модели (1) с общим условно-гауссовским шумом (теорема 1) и с негауссовским шумом типа Орнштейна - Уленбека (теорема 2).
В разделе 4 устанавливается асимптотическая минимаксность в смысле робастного риска предложенных оценок при неограниченном росте числа периодов п и частоты р наблюдений процесса (1). В приложении приводятся доказательства некоторых вспомогательных результатов.
2. Выбор оценки. Основные результаты для модели с семимартингальным шумом
В данном разделе задача оценки параметров (01,_ ,0й) по дискретным наблюдениям процесса (у; )0<;<пр в модели (1) с общим семимартингальным шумом,
имеющим условно-гауссовское распределение, сводится к оцениванию тех же параметров в схеме регрессии с дискретным временем и условно-гауссовскими шу-
мами. Основная трудность оценивания в результирующей схеме регрессии связана с тем, что шумы в ней имеют смещение, зависящее от частоты наблюдений и неизвестных параметров, а также неизвестную условную ковариационную функцию.
Поскольку распределение шума ^ в уравнении (1) неизвестно, для оценивания неизвестных параметров естественно использовать метод наименьших квадратов. В случае, когда процесс (1) допускает непрерывное наблюдение, оценки 9 ;-
МНК по п периодам определяются формулами
/V /V /V 1 *п
9 = (91,..., 9 Л), 9}. = - |0Ф; (1)ёу(.
Оценка МНК вектора 9 = (91,...,9^)' по дискретным данным (у^ )о<<пр зависит от частоты дискретов р и имеет вид
9р(п) = (91,р(п),-,9^р(п))', 9;,р(п) =1 /0* У],р «Ф-ь (11)
где у 1, р «=X 7=1 ф ! (ь ^-^ ](о, т.е.
1 пр ____________________
91, р(п) = _ Хф 1 (1к )Дук > 1 =1 ^ • (12)
п к=1
Используя уравнение (1), находим
ДУк =1X 9гФг &) + К (9) + Д^к; Д^ = ^ ^-1, (13)
Р г =1
Кк (9) = X 9г /^ (Фг (м) - Фг (1к ))^М^
г=1 Нк-1
Подставляя (13) в (12), получаем
9 р(п) = 9 + п-17 2Ср (п), (14)
где С,р(п) = (С1;р (п), •••,,р (п))' - вектор шумов с координатами
С1, р (п) = пу 2 И}р р (9) + п-у 21п (у 1, р);
й р к
И1 р (9) = X 9г X /! Фг (и)(Ф 1 (гк ) - Ф] (иМи,
г=1 к=1 ‘к-1
а функционал 1п (/) определен в (3). Вектор шумов ^р (п) в уравнении (14), в силу условий на шумовой процесс ^ в модели (1), является условно-гауссовским
относительно с-алгебры G с неизвестным вектором средних значений
И р (9) = (И р (9),..., ИЛ, р (9))' и неизвестной случайной ковариационной матрицей
¥рп (£) := осу(Ср (п)Ср (п)'|£)• (15)
Принимая во внимание, что неизвестный параметр 9 = (91,.„ ,9^)' в (1) удовлетворяет уравнению (14), предлагается в качестве его оценки использовать оценку вида
(
\
ер (п) = 1
V
(16)
где с - некоторая положительная постоянная [13].
Такой выбор оценки, как показано ниже, дает возможность контролировать среднеквадратическую точность оценивания при определенных условиях на условную ковариационную матрицу шума ^ р (п).
Предположим, что:
(Сх) максимальное собственное значение матрицы ЕУрп (Я) ограничено сверху, т.е.
При изучении свойств оценки (16) нам потребуются следующие обозначения
где а = (1 + Ьё/(л/3р))р и в = Бир{|| е||: ее©}.
Нижнюю границу для величины уменьшения среднеквадратического риска Д (е) при переходе от оценки МНК (11) к модификации оценки Джеймса -
Стейна (16) дает следующая теорема.
Теорема 1. Пусть в регрессионной модели (1) семимартингальный шум
удовлетворяет условиям (3), (4), (Сх) и (С2), ©с!ё , ё > 2 . Тогда разность рисков (17) оценки (16) с постоянной с = с„ := куп/п и оценки МНК (11) удовлетворяет неравенству
где Ь = (Ь^...,Ьё)' = е + Нр(е). Первое слагаемое в правой части (19) запишем в
где g(У) = 1 - с/1| У ||, У = е р(п). Обозначив / (У) = ^ (У) - 1)У;. и используя ус-
Д; (е) := Л(ер (п),е) - Я(ер(п),е);
(17)
1
(18)
а + л/ ё Х*/п
0е© \/3 р
Доказательство. Рассмотрим риск оценки (16):
Л(ер (п),е) = Ее || ер (п) -е ||2 = Ее || (ер (п) - Ь) + Н; (е) ||2 =Ее | |е р (п)-Ь||2 +2Ее (е р (п)-Ь)’Н р (е) +1 Нр (е)| |2,
(19)
виде
Ее II ер(п) -Ь ||2 = Ее || ер(п) -Ь ||2 +Ее(g(У) -1)2 || У ||2 +
+2^ Ее [Е((g(У) - 1)У; (У; - Ь}) | Я)],
(20)
} =1
ловную плотность распределения вектора У относительно с-алгебры Я
пё / 2 ехр (- ((х - Ь')'¥р^п (Я)(X - Ь))
^(Х|Я) = (2п)ё 2^е1^(Я) ’
имеем Ь. := Е(/. (У)(У; -Ь.) | Я) = /. (х)(х. - Ь.)ру (х | Я)ёх, ] = 1, ё.
Переходя к новой переменной интегрирования и = ^р,1п/ 2 (Я)(X - Ь) и полагая
/ (и) = /}. (^(Я )и + Ь),
ё/2 ё ( ,„ц,„||2
находим Ь. = -2-ш Ё < С2 (Я) >а ^ .(и)и1 ехр
(2П) I=1
п II и I
2
=1 Ё <<2 (Я) >. Е(/ (X)Х{ | Я), . =
ёи =
где < А >. обозначает (/, .)-й элемент матрицы А, а X - ё-мерный условно-гауссовский относительно с-алгебры Я вектор с нулевым средним и единичной матрицей условной ковариации. Для вычисления условных математических ожиданий Е(/ (X)Х{ | Я) нам потребуется следующий результат, непосредственно вытекающий из леммы 2 работы [14].
Лемма 2.1. Пусть X - ё-мерный условно-гауссовский относительно с-алгебры Я вектор с нулевым средним и единичной матрицей условной ковариации. Пусть
к : Ж.ё ^ Ж. - непрерывно-дифференцируемая функция и Е(|| Vk(X) ||| Я) <“ п.н., где Vk = | -р-I. Тогда
йхЛ" ,дхё,
Ек( X ^ = EVk( X) п.н.
Положим к(и) = / .(и). Нетрудно проверить (см. приложение), что
Е(|| V/(X) ||| Я) <« п.н. (21)
Применяя лемму 2.1, находим
Поэтому
Е(/(X)X, | Я) = Е [/ (X)|Я. = Ё < ^(Я) >к1 Е [/- (У)|Я
Ь, = 1ЁЁ<ОЯ) >/г<Г%(Я) >к1 Е№-(У)\Я |, ] = 1,.
п1=1 к=1 Vдиk 1
Отсюда и из (20) получаем
Ее II ер (п) - Ь ||2 = Ее || ер(п) - Ь ||2 +Ее (g(У) -1)2 || У ||2
+Ч|ЕЁЁ<ОЯ) >а<У]£(Я) > дИ-ШУ)-] .
п V.=1 I=1 к=1 дИк у
Перепишем это равенство в виде
Ее II ер (п) - Ь ||2 -Ее || ер(п) - Ь ||2 = EеW(У),
^ 2 2с ( г’Ур,„ (Я)Г ГтГрп (Я)
где W (2 ) = с2 +—|—V—--
п V II 2 II3 || 2 II
Используя оценку 2А2 < 'ктах (А) || 2 112 для положительно определенной матрицы А и условие (С2), приходим к неравенству
Ее II ер(п) -Ь II2 -Ее II ер(п) -Ь II2<
2с „ ^Ур.п(Я) -^тах (К.п (Я)) . 2 2кс 1
< с2 — Ее р’пУ '---------тахУ рпУ ” < с2 - —Ее
Далее оценим снизу величину Е 11У | [
Лемма 2.2. В условиях теоремы 1
п || У || п || У |
1
Е IIУ II-1 >уп.
(Доказательство этой леммы приводится в разделе 5.) Отсюда получаем
Ее II ер (п) -Ь ||2 -Ее || ер(п) - Ь ||2< с2 - 2куПс/п =: ф(с). Минимизируя функцию ф(с) по с, находим
Ее II ер(п) -Ь ||2< Ее || ер(п) -Ь ||2 -с,2 =
= Л(е р(п), е) - с,2 - 2Ее (е р(п) - е)'Нр (е)+ || Нр (е) 112 .
Подставляя эту оценку в (19), имеем
Д р (е) < -с,2 + 2Ее (ер (п) - е р(п))'Нд (е). (22)
-*р\~/ — “~е ^ р V*/ " р
С помощью элементарного неравенства
2 | аЬ |<еа2 + Ь2/е, е> 0, (23)
получаем
и н (е) ||2 || Н (е) ||2
2Ее(ер(п)-ер(п))'Нр(е) <еЕе || ер(п)-ер(п) ||2 +--------р---= ес,2 +------р-------.
Далее, применяя неравенство Коши - Буняковского, имеем оценку
II Нр (е) Н2 =Ё Ё ^ Ё Фг (И)(Ф 1 (1к ) -Ф1 (и))ёи <
.=1 V г =1 к=1 к-1 У
.2
<
<IIе II2- ЁЁ|Ё{' к Ф. (и)(Ф 1 (?к) -ф 1 (и))ёи
1=1 г =1 V к=1 к-1
<Р2 РЁ Ё Ё {‘к Ф2(и)ёи (Ф1 (Ч ) -Ф] (И))2 ёи
1 1 . . , Л ^к _1
1 =1 г =1 к=1
Отсюда, в силу условия (2),
| Нр (е) ||2 < Ь2р2 рё ЁЁГ Фг2(и)ёи {к ^к - и)2 ёи
2
Поэтому 2Ее (0* (n) -§p(n))'Hp (0) <ес*2 + (L$d)2/(3p2e).
Выбрав значение е, минимизирующее правую часть этого неравенства, и используя полученную оценку в (22), приходим к требуемому результату. Теорема доказана. ■
Следствие. В условиях теоремы 1 разность рисков (17) обладает свойствами:
1) если частота наблюдений p > 2Lpd/(л/3с*), то
sup Дp (0) < 0;
0Е0
2) если условие (C2) выполнено для достаточно больших р, то
limsup sup Д р (0) < -с2.
p^W 0G0
3. Случай негауссовского шума Орнштейна - Уленбека
Изучим свойства построенной в разделе 2 процедуры оценивания параметров
0j,...,0d в случае, когда шум ^ в уравнении (1) описывается негауссовским процессом Орнштейна - Уленбека (6), а функции (<pj,...,<pd) являются тригонометрическими, т. е.
Ф1 = 1, Ф2 j (t) = л/2 cos(27ijt), Ф2 j+1 (t) = л/2sin(2n/'t), j = 1,2,[d/2],
где [b] - целая часть числа b.
Предположим, что параметры процесса (6) - (8) удовлетворяют условиям
-«max < « < 0, ft > Р > 0 и ^ + X,o22 < д*, (24)
*
причем amax, р и д - известны.
Пусть у - значение величины уn в (18) при X* = 3д*, а
С := ку Jn.
Теорема 2. Пусть шум (|t )t>0 в уравнении (1) описывается негауссовским процессом Орнштейна - Уленбека (6) - (8), причем выполнены условия (24). Тогда найдутся числа d0 и p0 , такие, что для всех d > d0 и p > p0 оценка (16) при с = С является улучшенной, т.е. разность рисков (17) удовлетворяет неравенству
sup Дp (0) < 0.
0Е0
Доказательство. Чтобы воспользоваться теоремой 1, требуется проверить выполнение условий (Ci) и (C2) для негауссовского процесса Орнштейна - Улен-бека.
Лемма 3.1. В условиях теоремы 2 выполняется условие (C1) с X* = 3д*. Доказательство. Из (14) и (15) имеем
<Vp,n (G) > = n-'E(/n (у, p) In (V j, p) | G).
Отсюда находим
X max (E Vp,n (G)) = sup z’EV^ (G) Z = sup n^fe),
N1=1 ||z||=1
где g ^) = Ё ё= 2^ у у, р (t), а 1п (/) и у у, р (t) определены в (3) и (11) соответственно. Учитывая, что для процесса (6) - (8) выполнено условие (4) с <5д = 3д* и ортогональность функций у р ^) на решетке (5), получаем
||2
г
п1Е12„{g) < 3^‘п-1 2(t^ = 3/
т.е. выполнено условие (Сх):
Xтах(Е^р,п(О)) < 30*.
Лемма 3.1 доказана. ■
Лемма 3.2. В условиях теоремы 2 найдутся ё0 и р0 , такие, что для всех
ё > ё0 и р > р0 выполнено условие (С2) при к = р2(ё/4 - 2).
Доказательство. Учитывая независимость процессов (м>г )(>0 и (2г )(>0 , имеем
Урп (Я) = ^ Ар,п + ^Вр,п (Я),
где А - матрица с элементами
< Ар,п >у. = п-1Е(/п1)(уг,р)/п1}(у 1,р)); (25)
!(„) (/) = Щ / (Оё ^, ё|((1) = а|(1) Л + ё^,
а Врп (Я) - матрица с элементами
<Вп (Я) >> = Е( 1(п2\Фг) 1(п2\ф 1 )|Я);
Щ2)( /) = Щ ^ )ё ё |(2) = а|(2ё + ё2(.
Отсюда получаем оценку
* ^,п (Я)-Хтах(¥р,п (Я)) > £2(^Ар,п -Хтах(Ар,п )) П•H•, (26)
где
^тах V Лр,п
Xтах (Ар,п ) = «Ир п“'Е(g))2 .
II 2||=1
Применяя формулу Ито, находим
Е(/п1} (g ))2 = 2а Щ g «Е!(1) (g )|((1) Л + Щ g 2 (t )Л
= а Ю" ^ {” g (t) g ^ - v)ёtёv + {” g 2 ^ )ёt• (27)
Поскольку для всех а < 0
Е(/п1}(g))2 < Щ g2а^(1+1 а | Ю° eavёv) = 2Щ g2а)Л = 2п || 2 ||2,
то Хтах (Ар,п ) < 2. (28)
Далее оценим снизу ^ Арп, предполагая, без ограничения общности, что ё яв-
ляется нечетным, ё=2Л/+1. Используя (25) и (27), получаем
1Г Ар,п =Ё < Ар, п > - = - ЁЕ (/«)(У ], р ))2 = ё +Ё Т1 (P, п) (29)
1=1 п 1=1 1=1
т 1(р,п) = - Г у 1,р(5){”е—а 5)у 1,р(t)ё^ё5 = - Ё Ё ^к,/(Л
п 5 п к=1 /=1
^к,,(1') = ^ 1 Ф1(*1) 1 Ф1 (tk^ - ^ Х(, а)ёё = </(1') + Гм + гк(,^} + Гк];
^М(-) = ; Ф1(5){ttk; Ф1 (Ле“(t-5)Х(5<о
Гм = ; (Ф] (к) - Ф](5)) ; Ф]({)е“(t^)Х(^^
Гм} = 1 Ф1(5) {,^к 1 (Ф 1 (*к) -Ф1V))ea(t "") Х( я</ )ёё
Гм = {^ (ф 1 (11) - ф 1(5)){*к (Ф 1 (1к) - Ф1(*))е“(-5)Х(^)ё^.
12
р ■ ’ р ■ ’ р2
Поскольку 1 $ |< -р-ц,,к, 1 гк,2} |< — Ц/,к и 1 гк,1 |< 2^Ц/,к,
где
то т: (р, п) > — { п Ф: (5) { п ea(t 5)ф, (t)ёtёs + — + 2(1 1 { п { nea(t 5)ёё-.
п^0 п V р р У 0 5
Отсюда и из (29) следует, что
а { V* { п
п ■’0 ■’5
/гАр п > ё + — { еа5 { Ф(^ 5)ёё
2пё (ё +1) п2 ё (ё + 1)(2ё +1)
р + 3р2 .
(30)
ё N
где Ф (?, 5) = Ё Ф1 (1 )Ф 1 (! - 5) = 1 + 2Ё cos(2п-■s)•
1=1 1=1
Интегрируя, получаем
а { еа5 { Ф(/, 5)ё?ё5 = а { еЖФ(5)(п - 5)ё5
п ■'0 ■’5 п ■'0
п п /
> а {о еа5 | Ф(5) | ё5 = —ё /;_1 еа5 |Ф(5) | ё5. (31)
и
Заметим, что для l -1 < s < l
. sin(nds)
Ф( s) =—Ь
sin(ns)
Пусть 0 <5< 1/4 . Тогда для всех интервалов l -1 + 5 < s < l -5 , l = 1, n, справедлива оценка
| sin(ns) |= sin(n(s -1 +1)) > sin(5n) > 2V25.
Поэтому sup | Ф^) |< —^=-
l-1+5< s<l-5 2V25
и j- eas | Ф(s) | ds = j^ eas | Ф(s) | ds + jl-5 eas | Ф(s) | ds
+ j1-1+5 eas |Ф(s) | ds <—^- j1 easds + 2d5a, l = Щ h-1 1 Wl 2V25il-1 1 - ea
Подставляя эту оценку в (31), имеем
a cn as cn = ,, 4 . a г n
n
- j jn Ф (t, s)dtds > —^- jn easds + 2d 5—— >
J0 Js 2у125> 0 1 - ea
>-------+ 2d 5 c', c'=- amax
2л/28 ’ 1 - е~—пах
Используя эту оценку в (30) при
8 =-----1---,
4(1 + с')
получаем
ГАрп >ё-,/2(1 + с')-(1-<)„ё(ё +1)(6р+ (2ё +1)п),
' 2 3р2 атахп
Далее, выбирая сначала ё', а затем р', приходим к оценке
й Ар п > ё для всех ё > ё' и р > р'.
Отсюда и из неравенств (26) и (28) следует, что при ё0 = тах(ё' , 9) для процесса (6) - (8) выполнено условие (С2), т.е.
^р,п (Я) - Хт—х (УРп (Я)) > р2 (ё/4 - 2) пн
Лемма 3.2 доказана. ■
В силу теоремы 1, для всех ё > ё0 и р > р разность рисков (17) удовлетворяет неравенству
,2 , 2ДЗё ;
sup Д p (0) < -С2 + с.
0G0 V3 p
Отсюда, полагая p0 = max( p', [2Lpd / (V3c)] +1),
приходим к утверждению теоремы 2. ■
4. Минимаксная граница для рисков оценок
В данном разделе для модели (1) с негауссовским шумом Орнштейна - Улен-бека (6) устанавливается асимптотическая минимаксность оценки (16) в смысле робастного риска при неограниченном росте числа периодов наблюдений n и предположении, что частота p зависит от n, причем функция p = p(n) возрастает достаточно быстро с ростом n.
В качестве оценки вектора 9 в модели (1) может использоваться произвольная борелевская функция Tp n от наблюдений (yt )0SSnp. Робастный риск оценки
Tp n для модели (1) с негауссовским шумом Орнштейна - Уленбека (6) определим
по формуле
R*(Tp,n,9) := sup 8enEe& || Tp n -9 ||2, (32)
Qn een
где Q*n = Q*n (amax ,p, g*) - семейство всех распределений Qn в пространстве Скорохода D[0, n] процесса (6) с параметрами a, д1, д2 и X, удовлетворяющими неравенствам (24). Нормирующий множитель SqI выберем из условия, чтобы
асимптотический робастный риск оценки МНК (11) по дискретным наблюдениям при заданной функции p(n) равнялся единице, т.е.
limsup Я* (9 p(n),9) = 1.
n^w 9е0
Как будет показано ниже, это требование выполняется, если
Sq1 = lim trE^V^ (G).
^ n^w ^n r
Применяя формулу Ито и равенство (25), получаем
tr E9, QVpn (G) = (ft2 + X&2)d + (g2 +Xg2)a , p (n), (33)
n j=1
где Cj, p (n) = eat у j, p (t) (ch(av)yp (v)dv ) dt.
Оценку (Tpn )n>1 назовем асимптотически минимаксной в смысле робастного риска (32), если
lim inf sup Я* (Tp n ,9) = lim sup Я* (Tp n ,9). (34)
n^wTp,n 9e0 n^w9e0
Согласно теореме 2, риск улучшенной оценки (16) при выполнении условий (24) не превосходит риска оценки МНК (11). Поэтому достаточно доказать асимптотическую минимаксность соответствующей оценки МНК 9 p(n)(n).
Теорема 3. Пусть распределение помех в модели (1) принадлежит классу Qn = Qn(amax,Р,в*), определенному в (32), и частота наблюдений p=p(n) такова, что lim p(n)l^fn = +w. Тогда оценка МНК параметра 9 по дискретным наблю-
n^w
дениям (11) является асимптотически минимаксной в смысле робастного риска.
Доказательство. Чтобы доказать асимптотическую минимаксность оценки МНК 0п = 0 („)(«} в смысле робастного риска, требуется проверить равенство
(34). При нахождении нижней границы для асимптотического риска воспользуемся теоремой Гаека для параметрического семейства, обладающего свойством ЛАН (см., например, [2, с. 223]). Рассмотрим частный случай модели (1) - (6) с а=0, £1 = 1 и д2 = 0 , т.е.
й
0ф(/)Ж + йЦ, 0 < ( < п. (35)
1=1
Этой модели отвечает семейство распределений (Р0п) : 9е©) процесса (у )0<Кп . Это семейство обладает свойством ЛАН. Действительно, согласно теореме 1, Прил. 2 в [2], плотность меры Р0п) относительно Р0п) имеет вид
йР0п) . . „ .гп .. , ||0-00||2 1
(У) = exp I £(9} - 9о,})jj ф} (t)dwt -19-9
<п) 1;=1
Отсюда, полагая 0 = 00 + и /V; для любого и ев, получаем требуемое представление
_________Ь, и! 1
dP,
(n)
(У) = exp | и'Д n —
1 (Ч
Д n = (Д1,п^ Дd ,n ) , Д j, n = "^ j0 Фу (t)dwt
где Дn = (Д1 n,..., Дd n) , Д у n = —:= | фу (t)dwt имеют стандартное гауссовское рас' ' ' vn ‘"
пределение. Из теоремы Гаека вытекает следующее утверждение.
Лемма 4.1. Пусть (P0n) : 9е0) - семейство вероятностных мер процесса
(35). Тогда для любой последовательности оценок (Tpn )n>j минимаксный робастный риск удовлетворяет неравенству
liminf inf sup Я* (Tp ,9) >1.
n^w Tp,n 9£0 p
Доказательство. Так как распределение броуновского движения Q° = Qh (0, ft, 0, X) принадлежит классу Q*n, то
inf sup Я* (Tpn ,9) = inf sup sup SqiE9,q || Tpn -9 II2 > inf sup nd-1E 0 || T -9 ||2 .
Tp,n 9g0 Tp,n 9g0 Qn^Q^ Tp,n 9g0 ’ n
В правой части неравенства учтено, что согласно (33) Sq = d_1. Применяя
теорему Гаека с квадратичной функцией потерь w(x) =|| x ||2 (см., например, [2, с. 223]), получаем требуемое неравенство. ■
Следующее утверждение дает верхнюю границу для риска оценки МНК.
Лемма 4.2. В условиях теоремы 3 риск (32) оценки МНК (11) удовлетворяет неравенству
limsup Я* (9 p(n),9) <1.
n^w 9е0
0
Доказательство. Из (14) с помощью элементарного неравенства (23) получа-
ем
Е I
Лп)(п) -0||2< (1 + в)Е| Отсюда и из (32) следует, что
<«)
(п)-0-Ир(0) II2 +(1 + 6-1) II Ир(0) II2
Я*(0р(п),0) < (1 + е) 8ир 8епЕ0,е || 0р(п)-0-Нр(0) ||2 +(1Р^)2(1 + 6 1^-Пт 8ир 5е.
бебп
3 р2
бебп
Устремляя п и учитывая, что п/р ^ 0, приходим к неравенству
ИшБир Я (0 р(п),0) <1 + 6,
п^ш 0Е0
из которого, в силу произвольности 6 , следует утверждение леммы 4.2. ■
Из Лемм 4.1 - 4.2 приходим к утверждению теоремы 3. ■
Следствие. При выполнении условий теорем 2 и 3 предлагаемая оценка (16) параметра 0 в модели (1) с негауссовским шумом Орнштейна - Уленбека, построенная по дискретным наблюдениям процесса (у. )0<пр является асимптотически минимаксной в смысле робастного риска.
5. Приложение
5.1. Проверка условия (21)
Из (20) имеем
% )=£ < к ®у)=-с£ < уц ®) >в (^ _ Ж
I к=1 к
где 5к - символ Кронекера. Отсюда д /
ди,
-(X)
<ТУЯТ; Т(^) = 2с£ < Ур,п (Я) >ы •
II 1 II к=1
Заметим, что
т. е
( а л2
Т2(Я) = 4с2 £ < ур/2 (Я) >к, < 4с2а ГгУрп (Я) < 4с2а2 Хтах (Ур,п (Я)),
V к=1 )
.е. | Т(Я) |< 2с^Xтах (Ур,п (Я)) < “ . Далее оценим
Е(| IУ 11-11 Я) = |0° Р(| I У II-1 > и | Я)Ли = |0° Р(| | Ь + Ур/2 (Я)X | < и-1 | Я)Ли.
Применяя лемму Андерсона (см. [2, гл. II, § 10]), получаем оценку
( Л
Е(|| У ||-1|Я) < Е(|| ур/2 (Я)X ||-1|Я) < Е
1
л/Хтт(Ур,п (Я)) II X
-1я
Поскольку матрица Ур п (Я) является положительно определенной, существует X» > 0, такое, что Xтт (Ур,п (Я)) > X» п.н. Поэтому
e Г-1-|g]< * e (-±- G J= f d^ л = r((d -1)/2)
III Г II J JT {II х II J JT(2n)d/2 J»d II И II
ТхГ(2n)d/2 J®d II И II 72хТг(./2)'
Таким образом, Е(|| Г || | G) < го п.н. и, следовательно, выполняется условие (21), а именно
d ( -
l=1
E(|| Vf .(X) || | G) <X E
* 2cd VXmax(Fp,„ (G))
d f. f (X)
5mi
r((d -1)/2)
< го п.н.
V2x7r(d/2)
5.2. Доказательство леммы 2.2
Рассмотрим
Ее || Г ||-1 = Ее || 0 + пу2Zp(n) II-1 = Ее(|| 0 + Hp(0) + ny2np(n) ||)-1, где Г :=0p(n), Пр(n) := n-1/2(In(y^),...,In(yp))'. Применяя неравенство треугольника и оценку || Hр (0) ||< Zpd/(л/3р), имеем
Ее || Г If1 > Е0 (а + пу 2 || In (у р) ||)-1,
где а = (1 + Ld/(V3р))Р . Отсюда, используя неравенства Йенсена, Коши - Буня-ковского и условие (Ci), следует, что
Е0 II Г 1Г1 > уn.
Лемма 2.2 доказана. ■
ЛИТЕРАТУРА
1. Barndorff-Nielsen O.E., Shephard N. Non-Gaussian Omstein - Uhlenbeck - based models and some of their uses in financial mathematics // J. Royal Stat. Soc. 2001. No. 63. P. 167-241.
2. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979. 528 c.
3. Delong L., Kluppelberg C. Optimal investment and consumption in a Black - Scholes market with Levy driven stochastic coefficients // Annals of Applied Probability. 2008. No. 18(3). P. 879-908.
4. James W., Stein Ch. Estimation with quadratic loss // Proc. of the Fourth Berkeley Symposium on Mathematics Statistics and Probability. V. 1. Berkeley: University of California Press, 1961. P. 361-380.
5. Baranchik A. A family of minimax estimators of the mean of a multivariate normal distribution // Ann. Math. Statist. 1970. No. 41. P. 642-645.
6. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // Ann. Statist. 1976. No. 4. P. 11-21.
7. Lehmann E.L., Casella G. Theory of Point Estimation. 2nd edition. New York: Springer-Verlag Inc., 1998. 617 p.
8. Закс Ш. (Zacks S.) Теория статистических выводов. М.: Мир, 1975. 776 c.
9. Berger J.O., BockM.E., Brown L.D., et al. Minimax estimation of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1977. No. 5. P. 763-771.
10. Berger J.O, Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions. 1983. № 1. P. 105-129.
11. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1986. No. 14. P. 1625-1633.
12. FourdrinierD. Statistique Inferentielle. Dunod, 2002. 336 p.
13. Пчелинцев Е.А. Процедура Джеймса - Стейна для условно-гауссовской регрессии // Вестник Томского государственного университета. Математика и механика. 2011. № 4(16). С. 6-17.
14. Stein Ch. Estimation of the mean of a multivariate normal distribution // Ann. Statist. 1981. No. 9(6). P. 1135-1151.
Статья поступила 31.01.2012 г.
Konev V.V., Pchelintsev E.A. ESTIMATION OF THE PARAMETRIC REGRESSION WITH A PULSE NOISE BY DISCRETE TIME OBSERVATIONS. The paper considers the problem of parametric estimation in a continuous time linear parametric regression model with a non-Gaussian Ornstein - Uhlenbeck process by discrete time observations. Improved estimates with smaller mean square risk as compared with the ordinary least square estimates are proposed for the unknown regression parameters. The asymptotic minimaxity of these estimates in the sense of the robust risk has been proved.
Keywords: non-Gaussian parametric regression, improved estimation, least square estimates, pulse noise, Ornstein - Uhlenbeck process, quadratic risk, minimaxity.
KONEV Victor Vasil’evich (Tomsk State University)
E-mail: [email protected]
PCHELINTSEV EvgenyAnatol’evich (Tomsk State University, Universite de Rouen (France)) E-mail: [email protected]
