Минимаксное оценивание гауссовской параметрической регрессии Текст научной статьи по специальности «Математика»

2014 Математика и механика № 5(31)

УДК 519.2

В.А. Пчелинцев, Е.А. Пчелинцев

МИНИМАКСНОЕ ОЦЕНИВАНИЕ ГАУССОВСКОЙ ПАРАМЕТРИЧЕСКОЙ РЕГРЕССИИ

Рассматривается задача минимаксного оценивания а-мерного вектора неизвестных параметров регрессии с гауссовскими шумами при квадратической функции потерь. Предлагается модификация процедуры Джеймса - Стейна, для которой найдена явная верхняя граница для среднеквадратического риска и показано, что ее риск строго меньше риска классической оценки максимального правдоподобия для размерности а>2. Проведено численное сравнение среднеквадратических рисков рассматриваемых оценок.

Ключевые слова: параметрическая регрессия, улучшенное оценивание, процедура Джеймса - Стейна, среднеквадратический риск, минимаксная оценка.

Рассмотрим классическую задачу оценивания неизвестных параметров регрессионных моделей. Пусть наблюдения описываются уравнением

у = е+ст^, (1)

где 9 - неизвестный вектор постоянных параметров из некоторого ограниченного множества 0сК^, £ - гауссовский случайный вектор с нулевым средним и единичной ковариационной матрицей 1а, т.е. Law(Q=N¿(0, 1а), с - некоторое известное положительное число. Задача состоит в том, чтобы оценить параметр е по наблюдениям У. В качестве меры точности оценки е выберем среднеквадратический риск, определяемый следующим образом:

2 а

я(е,е):= Ее|е-е| , |х|2 = 2х2,

II .=1 J

Ее - математическое ожидание относительно меры Ре . Напомним, что оценкой параметра е является любая борелевская функция от наблюдений У [1].

Известно [2], что наилучшей по точности в классе линейных несмещенных оценок является оценка по методу максимального правдоподобия

е^ = у, (2)

которая имеет нормальное распределение Nа (е, ст2) и ее среднеквадратиче-ский риск определяется равенством

я (е, е мо, ) = а ст2.

В 1961 г. Джеймс и Стейн [3] предложили сжимающую оценку вида

18

( \ 1

|у|2

у,

которая для всех 0 < с < 2 (а - 2) равномерно по е превосходит по среднеквадра-

тической точности оценку метода максимального правдоподобия при d > 3 , т.е.

d

для любого бе Ж. справедливо неравенство

R(0, ejs) < R(0,0ML).

Оценка Джеймса - Стейна является минимаксной оценкой [3, 4]. Полученный результат побудил многих статистиков к развитию так называемой теории улучшенного оценивания. Появилась серия работ, в которых были предложены различные минимаксные модификации оценки Джеймса - Стейна. Одной из простых

модификаций является оценка

( \

^JS

1 —

YI2

Y, a+= max (a,0),

которая известна как положительная часть оценки Джеймса - Стейна и была предложена в 1964 году Баранчиком [5]. В этой работе было доказано, что такая оценка превосходит по среднеквадратической точности не только оценку по методу максимального правдоподобия, но и оценку Джеймса - Стейна (см. рис. 1).

о

/У

J.' У /; г f / f

У ' /'

/у //

/ // /

/ -' /

/

- Риск оценки (2)

---Риск оценки 18

-----Риск КРР

-------Риск оценки (3)

Риск оценки (4)

101

Рис. 1. Среднеквадратические риски оценок максимального правдоподобия (2), Джеймса - Стейна, её положительной части, (3) и (4) как функции от |0|

Различные оценки, обладающие аналогичным свойством, были предложены в работах [6-8]. В перечисленных работах сжимающий коэффициент не был явно определен аналитически, а лишь предложены алгоритмы его численной оптимизации. Задача Джеймса - Стейна была изучена для более общих моделей, в том числе с неизвестной ковариационной матрицей [9-11]. Значительные усилия были направлены на решение задачи улучшенного оценивания в негауссовских моделях [12-17].

В работах [14-17] для модели регрессии, в которой шум является условно-гауссовским, предложены новые минимаксные модификации оценки Джеймса -Стейна вида

(3)

-"- Y1 >■■

Здесь, в отличие от всех других модификаций, сжимающий коэффициент определяется множителем, содержащим |Y|, а не |Y|2. Такая замена оправдана тем, что позволяет получить явные формулы для среднеквадратической точности и контролировать ее.

Лемма. Пусть наблюдения описываются уравнением (1). Тогда оценка 6* с c - (d -1)a25d , где 5d - ( + a4d) , p - sup{6} , превосходит по среднеквадра-

6е0

тической точности оценку максимального правдоподобия для любого а > 2 и является минимаксной, причем разность рисков удовлетворяет неравенству

д* (е) := я(е, е*) - я(е, е) < - ((а - 1)ст25а )2.

Доказательство. Рассмотрим риски оценок (2) и (3):

R(66ml , 6) - Еб |6ML -6|2 - а2Еб 2 - а2d;

d

z

j-1

R (6*, 6) - R (6ml , 6) + Еб (g(Y) -1)2 \Y\2 + 2Z Еб (g(Y) -1)Y} (Y] - 6;),

где g(Y) - 1 - c /|Y|.

Обозначив f (Y) - (g (Y) -1) Yj и используя плотность распределения вектора Y

2

x

Py (x) -

(2n)d/2а

exp

2а2

имеем

Ij :- E6 f (Y )(Yj - 6 j) -J f (x)( Xj - 6 j)Py (x)dx, j - 1, d .

Делая замену переменной u - (x -6)/ а и полагая f (u) - f (au +6), находим

1

Ij -

(2n)d/2 „d

J f (u )Uj exp

2

u

2

v

du, j - 1, d .

Эти величины можно переписать как

I] - а2Е6

f

vduj

(u)

u - Y

j -1, d .

Таким образом, квадратический риск для оценки (3) представляется в виде

d ( д

R (6*, 6) - R (6ml , 6) + Е6 (g(Y) -1)2 |Y|2 + 2а2Е6 Z — [(g(u) - 1)u; ]

j-1 vduj

u - Y

Отсюда, после несложных преобразований, получаем

Л(9,9*) = Л(9,0) + ЕеЖ (У),

где

Ж(х) = с2 - 2(й - 1)ст2 С.

х

Следовательно,

Д(9) = с2 - 2(й - 1)ст2сЕе |У|-. Оценим снизу величину Ее |У| 1. Из неравенства Йенсена [18] имеем

Ее |У|-1 >(|9| + аЕе|ф-1 >(р + стл/^ )-1 =5^. Тогда для всех ее© :

Д^) < с2 - 2(й - 1)ст%с =: ф(с). Минимизируя функцию ф(с) по с, получим

дЧе) <-( - 1)ст% )2.

Лемма доказана.

Цель настоящей статьи выяснить, является ли оценка

Ч1 -и!у (4)

- положительная часть оценки (3), улучшенной по сравнению с оценками метода максимального правдоподобия (2) и е* и, следовательно, минимаксной. Введем следующие обозначения:

( , 1 с \2 Л

M = (d - 1)ст%г(||/y

V

-1„-t,

d ((d - 1)aSd )2 2 :

Г(z) = { tz-1e-tdt, y(z, a) = { tz-1e-tdt

0 0

- полная и неполная гамма-функции соответственно,

©м = {9е© : |9|< M}. Теорема. Пусть наблюдения описываются уравнением (1), причем 9 е ©м . Тогда оценка (4) с c = (d - 1)a2Sd превосходит по среднеквадратической точности оценку максимального правдоподобия (2) для любого d > 2, т.е.

sup ГR(9,9+) - R(9,9)1 < 0,

9е© м

и является минимаксной.

Доказательство. Рассмотрим риск оценки (4):

I |2 I |2 I |2

R(9,9+ ) = ^е|9-9+| = ^9|9-9+| !(\Т |>c) + ^9|9-9+| !(\Т |<c ) =

- Ее|0-0+1 VI>с) + Ее|е|21{\у\<с) - Ее |е-е+1 (-1\у\<с)) + Ее 1е|21

- я(е, е*) - Ее |е - е*I21т<с)+10|2 Ре (|У | < с),

ЧУ1 <с)

где 1А У) - индикатор множества А, т.е.

{1, t е А, (0, t г А.

1а (t) -

Поскольку второе слагаемое неотрицательно, то для риска оценки (4) получаем оценку

я(е, е+) < я(е, е*)+|е|2 Ре(|у| < с). (5)

Используя неравенство Андерсона [18], для вероятности имеем

Ре (|У| < с) - Ре (|е + а£| < с) < Ре |2 < ^ .

^ 2а ;

Подставляя эту оценку в (5) и учитывая, что величина |||2 имеет хи-квадрат-распределение с ё степенями свободы, получаем

я(е,е+) <я(е,е*)+|е|2 ^2.^. (6)

< I,

Далее, из предыдущей леммы следует, что

ж(е, е+) < ж(е, е) - ( - 1)а25ё )2 + |е|2

Г ё \\ё - 1)а5ё )2 ^

Отсюда и из условий теоремы имеем следующее неравенство для рисков оценок (4) и (2):

ж(е, е+) - ж(е, е) < о.

Теорема доказана.

Замечание. В теореме утверждается, что предложенная оценка (4) является улучшенной в смысле среднеквадратической точности по сравнению с оценкой максимального правдоподобия (2) и, следовательно, является минимаксной оценкой. Остался открытым вопрос: будет ли оценка (4) превосходить по среднеквадратической точности и оценку (3). Из неравенства (6) следует, что оценка (4) может иметь большую точность по сравнению с (3) лишь в случаях, когда неизвестный параметр лежит в некоторой малой окрестности нуля.

Для подтверждения аналитически установленных результатов, в среде 8сПаЪ проведено численное моделирование среднеквадратических рисков рассматриваемых в работе оценок. При численном моделировании наблюдений У предполагалось, что размерность вектора параметров ё = 5, коэффициент с = 1 и £ - вектор с независимыми случайными гауссовскими (0, 1) компонентами. Вектор парамет-

У

ров 9 выбирался таким, что |9| изменяется в пределах от 0 до 100. Оценки вычислялись по соответствующим формулам (2) - (4). Среднеквадратический риск оценки вычислялся по эмпирической формуле

R (9,9 ) = — £ 19-9 k I2, v ) k|

где 9k - k-я реализация оценки 9 и N = 10 000.

На представленном рисунке видно, что в заданной области наилучшей по среднеквадратической точности является предложенная минимаксная оценка (4). Отметим, что при |9| ^ да риски всех изучаемых в работе оценок будут стремиться к риску оценки максимального правдоподобия (2).

ЛИТЕРАТУРА

1. FourdrinierD. Statistique Inferentielle. Paris: Dunod, 2002.

2. Lehmann E.L., Casella G. Theory of Point Estimation. 2nd edition. N.Y.: Springer, 1998.

3. James W., Stein C. Estimation with quadratic loss // Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability. V. 1. Berkeley: University of California Press, 1961. P. 361-380.

4. Stein C. Estimation of the mean of a multivariate normal distribution // The Annals of Statistics. 1981. V. 9(6). P. 1135-1151.

5. Baranchik A.J. Multiple regression and estimation of the mean of a multivariate normal distribution // Technical Report / Department of Statistics, Stanford University. 1964. V. 51.

6. Strawderman W.E. Proper Bayes minimax estimators of the multivariate normal distribution // Annals of Mathematical Statistics. 1971. V. 42. P. 385-388.

7. Guo Y.Y., Pal N. A sequence of improvements over the James - Stein estimator // J. Multivariate Analysis. 1992. V. 42. P. 302-317.

8. Shao P.Y.-S., Strawderman W.E. Improving on the James - Stein positive-part estimator // The Annals of Statistics. 1994. V. 22. P. 1517-1538.

9. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // The Annals of Statistics. 1976. No. 4. P. 11-21.

10. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions. 1983. No. 1. P. 105-129.

11. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // The Annals of Statistics. 1986. V. 14. P. 1625-1633.

12. Fourdrinier D., Pergamenshchikov S. Improved selection model method for the regression with dependent noise // Ann. of the Inst. of Statist. Math. 2007. V. 59 (3). P. 435-464.

13. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates // J. Multivariate Anal. 2008. V. 99. P. 2221-2233.

14. Пчелинцев Е.А. Процедура Джеймса - Стейна для условно-гауссовской регрессии // Вестник Томского государственного университета. Математика и механика. 2011. № 4(16). С. 6-17.

15. Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестник Томского государственного университета. Математика и механика. 2012. № 1(17). С. 20-35.

16. Pchelintsev E. Improved estimation in a non-Gaussian parametric regression // Statistical Inference for Stochastic Processes. 2013. V. 16 (1). P. 15-28.

17. Конев В.В., Пергаменщиков С.М., Пчелинцев Е.А. Оценивание регрессии с шумами импульсного типа по дискретным наблюдениям // ТВП. 2013. V. 58(3). С. 454-471.

18. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.

Статья поступила 15.07.2014 г.

Pchelintsev V.A, Pchelintsev E.A. MINIM AX ESTIMATION OF THE GAUSSIAN PARAMETRIC REGRESSION

The paper considers the problem of estimating a d>2 dimensional mean vector of a multivariate normal distribution under quadratic loss. Let the observations be described by the equation

Y = (1)

where 0 is a d-dimension vector of unknown parameters from some bounded set 0c8d , £, is a Gaussian random vector with zero mean and identity covariance matrix Id, i.e. .Lfifw(^)=Nd(0, Id) and a is a known positive number. The problem is to construct a minimax estimator of the vector 0 from observations Y. As a measure of the accuracy of estimator 6 we select the quadratic risk defined as

R(6,6):= E0|6-6|2, |x|2 =]Tx2 ,

j=i

where E0 is the expectation with respect to measure P6 .

We propose a modification of the James - Stein procedure of the form

6+ =11 I Y

Y,

where c > 0 is a special constant and a+ = max(a,0) is a positive part of a. This estimate allows

one to derive an explicit upper bound for the quadratic risk and has a significantly smaller risk than the usual maximum likelihood estimator and the estimator

0- =|1 -C Iy

n

for the dimensions d > 2. We establish that the proposed procedure 0+ is minimax estimator for the vector 0.

A numerical comparison of the quadratic risks of the considered procedures is given. In conclusion it is shown that the proposed minimax estimator 0*+ is the best estimator in the mean square sense.

Keywords: parametric regression; improved estimation; James - Stein procedure; mean squared risk, minimax estimator.

Pchelintsev ValeryAnatolyevich (Candidate of Physics and Mathematics, Assoc. Prof., Tomsk Polytechnic University, Tomsk, Russian Federation) E-mail: vpchelintsev@vtomske.ru

Pchelintsev EvgenyAnatolyevich (Candidate of Physics and Mathematics, Assoc. Prof., Tomsk State University, Tomsk, Russian Federation) E-mail: evgen-pch@yandex.ru

REFERENCES

1. Fourdrinier D. Statistique Inferentielle. Paris, Dunod Publ., 2002.

2. Lehmann E.L., Casella G. Theory of Point Estimation. 2nd ed. N.Y., Springer, 1998.

3. James W., Stein C. Estimation with quadratic loss. Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability. Berkeley, University of California Press., 1961, vol. 1, pp. 361-380.

4. Stein C. Estimation of the mean of a multivariate normal distribution. The Annals of Statistics, 1981, vol. 9(6), pp. 1135-1151.

5. Baranchik A.J. Multiple regression and estimation of the mean of a multivariate normal distribution. Technical Report. Department of Statistics, Stanford University, 1964, vol. 51.

6. Strawderman W.E. Proper Bayes minimax estimators of the multivariate normal distribution. Annals of Mathematical Statistics, 1971, vol. 42, pp. 385-388.

7. Guo Y.Y., Pal N. A sequence of improvements over the James - Stein estimator. J. Multivariate Analysis, 1992, vol. 42, pp. 302-317.

8. Shao P.Y.-S., Strawderman W.E. Improving on the James - Stein positive-part estimator. The Annals of Statistics, 1994, vol. 22, pp. 1517-1538.

9. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution. The Annals of Statistics, 1976, no. 4, pp. 11-21.

10. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix. Statist. Decisions, 1983, no. 1, pp. 105-129.

11. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix. The Annals of Statistics, 1986, vol. 14, pp. 1625-1633.

12. Fourdrinier D., Pergamenshchikov S. Improved selection model method for the regression with dependent noise. Ann. of the Inst. of Statist. Math., 2007, vol. 59 (3), pp. 435-464.

13. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates. J. Multivariate Anal., 2008, vol. 99, pp. 2221-2233.

14. Pchelintsev E.A. Protsedura Dzheymsa - Steyna dlya uslovno-gaussovskoy regressii. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i mekhanika, 2011, no. 4(16), pp. 6-17. (in Russian)

15. Konev V.V., Pchelintsev E.A. Otsenivanie parametricheskoy regressii s impul'snymi shumami po diskretnym nablyudeniyam. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i mekhanika, 2012, no. 1(17), pp. 20-35. (in Russian)

16. Pchelintsev E. Improved estimation in a non-Gaussian parametric regression. Statistical Inference for Stochastic Processes, 2013, vol. 16 (1), pp. 15-28.

17. Konev V.V., Pergamenshchikov S.M., Pchelintsev E.A. Estimation of a regression with the noise of pulse type from discrete data. Theory of Probability and its Applications, 2014, vol. 58, no. 3, pp. 454-471.

18. Ibragimov I.A., Khas'minskii R.Z. Statistical Estimation. Asymptotic Theory. New York, Springer-Verlag, 1981.