Процедура Джеймса Стейна для условно-гауссовской регрессии Текст научной статьи по специальности «Математика»

2011

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Математика и механика

№ 4(16)

МАТЕМАТИКА

УДК 517.16; 519.2

Е.А. Пчелинцев

ПРОЦЕДУРА ДЖЕЙМСА - СТЕЙНА ДЛЯ УСЛОВНО-ГАУССОВСКОЙ РЕГРЕССИИ

В статье рассматривается задача оценивания р-мерного (р>2) вектора среднего многомерного условно-гауссовского распределения при квадратической функции потерь. Задача такого типа возникает, например, при оценивании параметров непрерывной регрессионной модели с негауссовским процессом Орнштейна - Уленбека. Предлагается модификация процедуры Джеймса - Стейна вида 0 (У) = (1-с/||У||)У, где У - наблюдение и с > 0 - специальная константа. Для этой оценки найдена явная верхняя граница для квадратического риска и показано, что ее риск строго меньше риска обычной оценки максимального правдоподобия для размерности р>2. Эта процедура применяется к проблеме параметрического оценивания непрерывной условно-гауссовской регрессии и к оцениванию вектора среднего многомерного нормального распределения, когда ковариационная матрица неизвестна и зависит от некоторых мешающих параметров.

Ключевые слова: условно-гауссовская регрессия, улучшенное оценивание, процедура Джеймса - Стейна, негауссовский процесс Орнштейна - Уленбека.

Введение

В 1961 г. Джеймс и Стейн, рассматривая задачу оценивания вектора среднего 0 р-мерного нормального распределения случайного вектора У с единичной ковариационной матрицей 1р, ввели оценку

= |1 - р-22'| у , ()

XJJS

которая дляр>3 превосходит оценку максимального правдоподобия

V = Г (2)

при квадратическом риске

Я(0,0) = Ее||е-0||2, (3)

т.е. для всех значений параметра 0

Я(0,0JS) < Я(0,0щ).

Этот неожиданный результат вызвал большой интерес математиков статистиков и стимулировал многих авторов к развитию теории улучшенного оценивания. Задача Джеймса - Стейна была изучена для более общих моделей, в том числе с неизвестной ковариационной матрицей [1, 2, 6, 9]. Значительные усилия были направлены на решение задачи улучшенного оценивания в негауссовских моделях.

В [3, 5] были предложены процедуры улучшенного оценивания для регрессии со сферически симметричными распределениями шумов. В [4] изучалась непараметрическая модель регрессии с зависимыми шумами.

Оценки Джеймса - Стейна и другие улучшенные оценки нашли применение в эконометрике и в задачах, связанных с обработкой сигналов.

В статье рассматривается задача оценивания среднего в модели регрессии, в которой шум является только условно-гауссовским. Предположим, что наблюдаемый р-мерный случайный вектор У удовлетворяет уравнению

где 0 - вектор постоянных параметров из некоторого компакта © с Ж.p , £ - условно-гауссовский случайный вектор с нулевым средним и условной ковариационной матрицей D(G), т.е. Law(SJG)=Np(0, D(G)), где G - некоторая фиксированная ст-алгебра.

Для данной модели исследование оценки Джеймса - Стейна провести не удается и вопрос о нахождении её риска остается открытым. Предлагается рассмотреть следующую модификацию оценки Джеймса - Стейна:

где с - положительная константа, определяемая ниже. Основное отличие оценки (5) от (1) в том, что вместо квадрата нормы ||У||2 используется норма в первой степени ||У||. Как показано ниже, оценка 0 позволяет решать задачу улучшенного оценивания регрессии с условно-гауссовскими шумами при некоторых дополнительных предположениях. В теореме 2.1 раздела 2 устанавливается, что оценка (5) превосходит по точности оценку максимального правдоподобия (2) равномерно по 0 для любого компакта © с Ж.р и всех размерностей р>2. Для сравнения заметим, что преимущество оценки Джеймса - Стейна для гауссовской регрессии проявляется только для р>3. В разделе 3 оценка (5) применяется для решения задачи улучшенного параметрического оценивания в непрерывной регрессионной модели с негауссовским шумом, являющимся смесью белого шума и импульсных возмущений, описываемых составным процессом Пуассона. В разделе 4 оценка (5) применяется для оценивания параметра в дискретной регрессионной модели с гауссовским шумом, зависящим от неизвестных мешающих параметров. В приложении приводятся некоторые технические результаты.

В данном разделе получена верхняя граница для риска оценки (5) при некоторых условиях на случайную ковариационную матрицу -О(^).

Предположим, что

(Сі) - минимальное собственное значение матрицы -О(^) отделено снизу от нуля, т.е. существует положительная постоянная X*, такая, что

Y = О + £,

(4)

(З)

2. Верхняя граница для риска оценки

хшт(°(3)) п.н.;

(С2) - математическое ожидание максимального собственного значения матрицы -О(^) ограничено сверху на некотором компакте © с Жр , т.е.

sup ЕеХmaxCD(G)) < а ,

0Е©

*

где а - некоторая положительная постоянная. Обозначим разность рисков оценок (5) и (2) как

Д(е) := R(е,е*) -я(е, еML).

Нам потребуется также следующая константа

d-2 i-1

d-2 ^ / ,■ + Л

X 2 2 (-1)p-j(K)p-1-jr( )-(-к)pI(к)

j=0 V 2 '

p ^p/2-li

2 p/2-1Г(р/2)d

I p-r2/2

к = d /va* , I (a) = f-----------------dr и d = sup{||е||: ее©}.

J СЧ -L v

' e

где ....................

0 a+r

Основной результат для условно-гауссовской регрессии содержит следующая теорема.

Теорема 2.1. Пусть шум £ в (4) имеет _р-мерное условно-гауссовское распределение Np(0, D(G)) и его ковариационная матрица D(G) удовлетворяет условиям

(С1), (С2) для некоторого компакта ©clp . Тогда оценка (5) с c = (p- 1)X*yp

доминирует оценку максимального правдоподобия (2) для всех p>2, т.е.

sup Д(е) <-[(p - 1)X*Yp ]2.

ее©

Доказательство. Сначала установим нижнюю границу для математического ожидания случайной величины ||Y||-1.

Лемма 2.2. В условиях теоремы 2.1

inf Ее т1; > y p.

ее© е Y lp

Доказательство леммы приводится в приложении.

Чтобы получить верхнюю границу для Д(0), нам потребуется модифицировать доказательство леммы Стейна [9] применительно к модели (4) со случайной ковариационной матрицей.

Рассмотрим риски оценок (2) и (5)

R^ml,е) = Ее ||еml -е2 = Ее (Е((V-е||2 I G)) = ЕеЮ(д);

R(е*,е)=R(ml,е)+Ее[£(g(()-1)2 YI2|G)]+2^Eе[E((g(()~Щ Y -е;)|G

j=i

где g(Y) = 1 - c /|\Y\\.

Обозначив f (Y) =(g (Y) -1) Yj и используя условную плотность распределения вектора Y относительно ст-алгебры G

1

pY (x | G) =---------------------------/2 , =exp

(2п)p -y/det D(G)

имеем

1} := Е(()(Yj■ -0}) \ д) = | f(x)(x] -0})PY(x\g)(іх, Л = 1,p .

к р

Делая замену переменной u = D~1/2(g)(x-0) и полагая (и) = f^112(д)и +0). находим

^ £<^/2(д) >л I /(и)ul ехР

(2п) 1=1 „ р

2

и

du, А = 1, р,

где <4>у обозначает (г, л)-й элемент матрицы А Эти величины можно переписать как

!} = £ £ Е Г< ^/2(д) >I < ^/2 (д) >и (и) I и=Y \ д 1, а = 1.

I=1 к=1 V ^к /

Таким образом, квадратический риск для оценки (5) представляется в виде

Я (0*, 0) = Я (0 мь, 0) + Е0(Я (X) -1)2

+2Ер

Р Р Р

£££< D1/2(g) > л < ^/2(д) >кі -^[( (и) - 1) ]| „

V л=1 I=1 к=1 к

где

После простых преобразований получаем

Я (0*, 0) = Я (0 мь, 0) + Е0^ ^),

Ш (х) = с 2 + 2с - 2ґЮ(д) • с-1-.

Н3 ІІХІ

Отсюда разность рисков Д(0) принимает вид

Д(0) = Е0^ (У).

Поскольку х Ах ^ Хтах (А) || х||2, приходим к неравенству Д(0) , С2 - 2СЕ0 ^)"V ^)) .

Следовательно,

Д(0) , с2 - 2с£ ЕвЬ^Р±.

() & 0 П

Принимая во внимание условие (Сх) и лемму 2.2, имеем Д(0) ^ с2 - 2(р - 1)Х*урс =: ф(с„).

Минимизируя функцию ф(с) по с, приходим к желаемому результату

Д(0) ^-[( р - 1)^*т р ]2.

Теорема 2.1 доказана.

В отличие от (1), оценку (5) можно использовать для регрессионной модели с зависимыми гауссовскими шумами.

Следствие 2.3. Пусть в (4) шум £^Np(0, D) с положительно определенной неслучайной матрицей D>0 и Xmm(D)>\*>0. Тогда оценка (5) с c=(p-1)X*7p доминирует оценку максимального правдоподобия для всех p>2 и любого компакта ©clp , т.е.

sup Д(е) <-[(p - 1)X*Yp ]2.

ее©

Замечание. Заметим, что если D=ct2Ip, то

sup Д(е) <-[(p - 1)ст2y ]2.

ее©

Следствие 2.4. Если £^Np(0, Ip) и 0=0 в модели (4), то риск оценки (5) дается формулой

R(0, е ) = p -

(p - 1)Г(( p -1)/2)

Тщ p /2) ,

p

Применяя формулу Стирлинга для гамма-функции Г(х)=\р2жхх 1/2е х (1+о(1)). можно проверить, что гр^0,5 прир^ж. Поведение риска гр при малых значениях р представлено на рис. 1. Заметим, что в этом случае риск оценки Джеймса -Стейна является постоянным для всех р>3, т.е. Я(0,0^) = 2 , а риск оценки максимального правдоподобия 0М1 равен р и стремится к бесконечности при р^ж. Таким образом, оценка (5) для регрессии с единичной матрицей шумов превосходит по точности как оценку максимального правдоподобия, так и оценку Джеймса

- Стейна.

0,48

0,46

0,44 ■

0,42

“1--------1------1-------Г

6

~1---------1-----------------1--------1

18 p

10 14

Рис. 1. Риск оценки (5) при 0 =0

r

р

2

3. Улучшенное оценивание в негауссовской регрессионной модели

В данном разделе применим предложенную оценку (5) к негауссовской непрерывной регрессионной модели. Пусть наблюдаемый процесс (у) описывается уравнением

р

ёу, = £ 0ф(, )А + ё, 0 < , < п , (6)

1=1

где 0=(01,..., 0р)' - вектор неизвестных параметров из некоторого компакта © с Ж.р , п - натуральное число. Предположим, что (ф/)1<!<р — система линейно независимых 1-периодических ортонормальных функций из пространства £2[0,1]; шум (6,,),>0 — скалярный негауссовский процесс Орнштейна - Уленбека, т.е.

ё + ёи,, (7)

где а<0 - мешающий параметр, а (и) - процесс Леви вида

Щ = 0^1 + 92 ^ , ()

(^),>о - стандартное броуновское движение, (),>0 - составной пуассоновский процесс, т.е.

N

Ъ =£ , (9)

1 =1

(),>0 - однородный пуассоновский процесс с интенсивностью X > 0 , а (7;-)>1

- последовательность н.о.р. гауссовских случайных величин с параметрами (0, 1). Параметры а, д1, £2 и X - неизвестные постоянные.

Заметим, что регрессионная модель (6) - (9) позволяет рассматривать также модели с зависимыми шумами, включающими импульсные возмущения.

Задача - оценить неизвестный вектор параметров 0=(0Ь..., 0р)' в модели (6) по наблюдениям (у, )0<,<п .

Качество оценки 0 будем измерять квадратическим риском

Я(0,0) = Ее||0-0| |2.

Пусть д = ст{Ы,,, > 0} обозначает а-алгебру, порожденную пуассоновским процессом. Заметим, что модель (6) является условно-гауссовской относительно определенной а-алгебры д. Поэтому можно использовать оценку (5), чтобы получить улучшенную оценку параметра 0. С этой целью представим исходную регрессионную модель с непрерывным временем (6) в виде модели типа (4).

Классической оценкой для неизвестного вектора 0 в модели (6) по наблюдениям (у, )0<,<п является оценка по методу наименьших квадратов (МНК)

0=(01,...,0р)' с

01 = П ф 1(,) ёу,, 1 =1 р.

Отсюда, принимая во внимание (6), имеем

0 = 0 + 8пС(п), (10)

где еп = п 1/2 и фп) - случайный вектор с координатами

^1(п) = “р Iф 1(1 )ё^ •

'1п о

Заметим, что вектор ((п) имеет условно-гауссовское распределение с нулевым средним и случайной ковариационной матрицей ¥п (Я) = еоу(^(п), С(п)'| Я) с элементами (п) = Е(Сг- (п)С(п) | Я) •

Таким образом, исходная задача оценивания параметра 9 в (6) сводится к задаче оценивания неизвестного параметра 9 в условно-гауссовской регрессии (10).

Теорема 3.1. Пусть регрессионная модель определяется уравнениями (6) - (9), Оу > 0 . Тогда для всех п> 1 ир>2 оценка для 9

1 -

(p - l)grY p n\ 1011

доминирует для любого компакта 0с!p оценку МНК

A,0W (Р -1)^" Y p

sup A(0) <-

6e0

Для доказательства теоремы достаточно проверить условия (Сх), (С2) для случайной матрицы Vn(G) и применить теорему 2.1. Доказательство теоремы 3.1 приводится в приложении.

4. Улучшенное оценивание в авторегрессии

В данном разделе оценка (5) применяется для решения задачи улучшенного оценивания неизвестного среднего многомерного нормального распределения, когда ковариационная матрица неизвестна и зависит от некоторых мешающих параметров.

I. Пусть в модели (4) шум |=(|1,...,|p)' описывается гауссовским процессом авторегрессии

= ^k-1 + sk, к = 1Р , (П)

где |а| < 1, Е|0 = 0 и sj,...,sp - независимые стандартные гауссовские случайные

величины. Предположим, что параметр а в уравнении (11) неизвестен и принадлежит сегменту [-а0, а0], где a0 - известное число из интервала (0,1).

Нетрудно проверить, что ковариационная матрица шума £, имеет вид

D (а) =-

1 - а

1

а

-.p-1

а

1

,p - 2

3p-1 ^ ,p-2

1

(12)

уи \Л ... ± у

Далее рассмотрим задачу оценивания вектора параметров 9 в модели (4) с шумами (11).

1

Предложение 4.1. Пусть шум £, в модели (4) определяется уравнением (11) с а е [-а0, а0]. Тогда для всех р>1/(1-а0)2 оценка для 9, определяемая равенством

l-

l

(1 - a0)2

Л

Л0> /I

доминирует для любого компакта 0 с Жp оценку максимального правдоподобия, т.е.

supA(0) <-fp~ 1 \ Yp.

0e0 ^ (1 - И0) /

Доказательство. Воспользуемся схемой доказательства теоремы 2.1. Имеем, что trD(a) = p /(1 - а2). Оценим сверху максимальное собственное значение матрицы D(a), учитывая, что

Xmax (D(а)) = sup z'D(a)z .

И=1

Из (12) следует, что

p p 1 f p- p- Л

z+i

ZD(a) z=X X <D(a) >ij zizj =—Ц- 1+2X X a'zizi-

i=1 j=1 1 - a V i=l l=1

( p-l p-і л

zi+l

1 11+2X a X zizi. l=l i=l

l - a2

Применяя неравенство Коши - Буняковского, получаем

1 f ^ Л 1

X max (D(a)) <--г I 1 + 2Х а0 \=----------

1 - а0 V 1=1 / (1 - а

Таким образом,

I1 - a0 )2

trD(a) -Xmax(D(a)) ^ Г - 1

(1 - а0)2

Отсюда, в силу теоремы 2.1 приходим к утверждению предложения 4.1.

II. Рассмотрим модель (4) с шумом, зависящим от нескольких неизвестных мешающих параметров. Пусть в модели (4) шум §=(§j,...,§p)' описывается стационарным многомерным гауссовским процессом авторегрессии q-го порядка AR(q)

Zk = a1^k-1 + a2^k-2 + ... + aq Zk-q +ek , k = 1 p , (13)

где sj,...,s - независимые стандартные гауссовские случайные величины. Неизвестный вектор a=(a1,...,aq)' принадлежит области устойчивости процесса

A = {a £ Ж.q :maxReXi (a) < 0},

1<i <q

где (Xi (a))1<i<q - собственные значения матрицы

a ... aq

A = A(a) = I q-l 0q Г

іq - единичная матрица порядка q.

Как можно проверить, ковариационная матрица вектора £, в данном случае имеет вид

ґ

D =

< F >п < AF >п ... < Ap 1F >п

< AF >п < F >п ... < Ap-2F >п

Л

(14)

ч< Ар 1 F >11 < Ар 2Е >11 ... < F >11

F - матрица, удовлетворяющая уравнению

F-AFA' = В,

В = ||81г- 81 ;|| - матрица размера д х д, 5у - символ Кронекера.

Обозначим р0 = 1 + Бир(2с* 11^||) /((1 - р) < F >11), где К - некоторый компакт

аеК

из области устойчивости А, с* > 0 и 0 <р<1 - постоянные.

Предложение 4.2. Пусть вектор шумов £, в (4) определяется (13). Тогда для всех р>р0 оценка для 9, определяемая формулой

2с*р|^П Ур

= |1 -|(p-1) < F >11 -^^j^jY,

доминирует для любого компакта 0 < т. е.

sup Д(Є) <-I (p-1) < F >11 -

Єє© V 1 -P

оценку максимального правдоподобия, 2c*p|L

Y p .

Доказательство. Используем схему доказательства теоремы 2.1. Имеем, что tr D = p < F >jj . Оценим сверху максимальное собственное значение матрицы D, воспользовавшись тем, что Xmax(D) = sup z'Dz. Учитывая (14), находим

z’Dz =

X X < D>ijzizj

i=1 j=1

< < F >n +2

И=1

■F >11 +2X X < Af >11 zzi+i

i=1 l=1

p-1 p~l

X<AlF >11X zizl+i

l=1 i=1

Применяя неравенство Коши - Буняковского и матричные неравенства \AB\ < ||A||||B|| и ||Al|| < c*pl, получаем

2c*p||F|

sup z’Rz << F >n +-

И=1 1 -p

Таким образом,

trD-^max(D) ^ (p-1) < F >11 -

2c*p| F||

1 -P

Принимая во внимание теорему 2.1, приходим к утверждению предложения 4.2.

5. Приложение

5.1. Доказательство леммы 2.2 Доказательство. Исходя из (4), имеем

J = E^-іЛ:^E^ 1 .. >Ee 1

|є+И" °d+ц|-

Перейдем к повторному условному математическому ожиданию. Так как при фиксированной а-алгебре G случайный вектор I распределен нормально с нулевым средним, то

J > Ee-----i_________ f exp{~Dі-1 Х/2} dx.

(2n)p'VdetD(g) > d +И

Обозначая и = Б(Я) 12 х и применяя оценку и'^(Я)и < Хтах(^(Я))||и|| , находим

г > 1 Е Г ехР{-1 \и\\2/2> йи

(2П)Р/2 9 ^й +Х1т/а2х(^(Я))|и|| .

Далее, переходя к сферическим координатам, имеем

-) ш ,.р--„-г2/2

3 > —---------------Е9Г------------------—-йг.

2р/2Г(р/2) 0 й + Сх(Б(Я))г

Отсюда, при использовании неравенства Йенсена, Коши - Буняковского и условия (С2) следует, что

ад р-1 -г 2/2

к сгр -е г ,

3 >—/71-------------I------------йг.

2р/2-1Г(р/2)й 0 к + г

Вычислим интеграл, стоящий в правой части неравенства. Разделив гр-1 на к+г , получим

р-1., - г2/2 р-2 Ц. / ■ .

|------------йг = £2 2 (-к)р-2-1 гГ1—1 + (-к)р-11(к),

0 к + г 1=0 ^ 2 '

е-г2/2

где функция I(а) = I--------------йг . Лемма 2.2 доказана.

0 а + г

5.2. Проверка условий (С1) и (С2) для матрицы V (Я) Элементы матрицы Уп (Я) могут быть переписаны как [8]

2 п 2 п 2

vij (n) = — I ф (t)ф j (t)dt + f I (i (t)єфj (t) + ф j (t)єф, (t)) dt + ~ X фі (Tl )ф j (Tl )X(Tl <n) n 0 2n 0 n l>1

+— X1 (фі (t)(( (t - T, т) + ф j (t)Lфii (t - T, T))X(Tl <t))t, (15)

” l >1 0

где Є/ (t) = aI0 ea(t-v) f (v) (1 + e2 av) dv,

Ь/ (х, г) = аеа (/(г) + аЮе-/(V + г) йу)

и (Т )г >1 - моменты скачков пуассоновского процесса (N ), >0, те.

Т = > 0:N = /}.

Лемма 5.1. Пусть (^)(>0 определяется уравнением (7) с а<0. Тогда минимальное собственное значение матрицы Уп (Я) с элементами, определенными (15), удовлетворяет следующему неравенству:

^ ^тт (V (Я)) > £-2-

п>1

Доказательство. Согласно (15), матрицу Уп (Я) можем представить в виде

V, (Я) = (- 1р + ^ + Вп (Я), где Гп - неслучайная матрица с элементами

2 n

fJ (П) = Т- j ( (t)8ф; (t) + ф J (t )Бф, (t)) dt )

2n 0

а Bn (G) - случайная матрица с элементами bj (n)=^ 2

11

n l>1

фг' (Tl )ф j (Tl )x(Tl<n) + j( (t)( (t ( ,( ) +ф j (t)Li (t Tl ,Tl ))X(T)<t)dt

_ 0

Отсюда находим

z' V (G)z = ft2z'z + z'Fnz + z'Bn (G)z > q1 I|z||2 для всех n> 1. Поэтому

Xmin (Vn (G)) > ft2.

Лемма 5.1 доказана.

Обозначим д* = a2 + X^2 и М=1+2 K2, где max |ф, (t)| < K, j = 1, p .

0a <n' J 1

Лемма 5.2. Пусть (Zt)t>0 определяется уравнением (7) с а<0. Тогда максимальное собственное значение матрицы Vn (G) с элементами, определенными (15), удовлетворяет для любого компакта 0 с Ж.p следующему неравенству:

sup sup E0Xmax (Vn (G)) < MpQ .

n>1 0£0

Доказательство. Имеем

E0Xmax(Vn (G)) < E0tr (Vn (G)) = £ E0Z2 (n) = £ T; (n) :

n^J j =1 n j=1

где tj (n) = J ф21 (t)dt + а|фj (t)J ea(t u)фj (u)(1 + e2au )udt. Поскольку (^j)i</<p

0 00

n

1-периодические ортонормальные функции, то Jф2 (t)dt = n и, ввиду ограничен-

ности этих функций, для любого а<0 находим

n t n t

a J ф j (t)J ea(t-u)ф j (u) (1 + e2au ) dudt < 2K2 \a\ J J ea(t“u)dudt < 2K2n .

0 0 0 0 Таким образом, для всех n>1 и 0е0

E0Xmax (Vn (G)) < Mpg* .

Лемма 5.2 доказана.

В леммах 5.1 и 5.2 показано, что матрица Vn (G) является положительно определенной и для любого компакта 0 с Ж.p удовлетворяет условиям (С1), (С2) с X* = ft2 и a* = Mpg*. В силу теоремы 2.1 получаем утверждение теоремы 3.1.

ЛИТЕРАТУРА

1. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions. 1983. No. 1. P. 105-129.

2. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // Ann. Statist. 1976. No. 4. P. 11-21.

3. FourdrinierD. Statistique inferentielle // D. Fourdrinier. Dunod. 2002. P. 336.

4. Fourdrinier D., Pergamenshchikov S. Improved selection model method for the regression with dependent noise // Ann. Inst. Statist. Math. 2007. V. 59 (3). P. 435-464.

5. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates // J. Multivariate Anal. 2008. V. 99. P. 2221-2233.

6. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1986. V. 14. No. 1625-1633.

7. James W., Stein C. Estimation with quadratic loss // Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability. V. 1. Berkeley: University of California Press, 1961. P. 361-380.

8. Konev V., Pergamenchtchikov S. Efficient robust nonparametric estimation in a semimartingale regression model. URL: http://hal.archives-ouvertes.fr/hal-00526915/fr/ (2010).

9. Stein C. Estimation of the mean of a multivariate normal distribution // Ann. Statist. 1981. V. 9(6). P. 1135-1151.

Статья поступила 19.07.2011 г.

Pchelintsev E.A. THE JAMES-STEIN PROCEDURE FOR A CONDITIONALLY GAUSSIAN REGRESSION. The paper considers the problem of estimating a p-dimensional (p > 2) mean vector of a multivariate conditionally normal distribution under quadratic loss. The problem of this type arises when estimating the parameters in a continuous time regression model with a non-Gaussian Ornstein-Uhlenbeck process. We propose a modification of the James-Stein procedure of the form 0 (Y) = (1 - c/||7||) Y, where Y is an observation and c > 0 is a special constant. This estimate allows one to derive an explicit upper bound for the quadratic risk and has a significantly smaller risk than the usual maximum likelihood estimator for the dimensions p>2. This procedure is applied to the problem of parametric estimation in a continuous time conditionally Gaussian regression model and to that of estimating the mean vector of a multivariate normal distribution when the covariance matrix is unknown and depends on some nuisance parameters.

Keywords: conditionally Gaussian regression model; improved estimation; James - Stein procedure; non-Gaussian Ornstein - Uhlenbeck process.

PCHELINZEV EvgeniiAnatol’evich (Tomsk State University,

Laboratoire de Mathematiques Raphael Salem, Universite de Rouen (France))

E-mail: [email protected]