CC BY
21
2017 Математика и механика № 49
УДК 519.23
Б01 10.17223/19988621/49/4
М.А. Повзун, Е.А. Пчелинцев
ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИИ С ЗАВИСИМЫМИ ШУМАМИ1
Рассматривается задача оценивания ё-мерного вектора неизвестных параметров регрессии с нелинейными условно-гауссовскими шумами типа АШАЯСН. В качестве метода оценивания используется модификация процедуры Джеймса - Стейна. Предлагается улучшенная оценка в смысле сред-неквадратической точности. Приводятся результаты численного сравнения эмпирических рисков предлагаемой оценки и оценки МНК для модели с шумами АК(1)/АКСИ(1).
Ключевые слова: регрессия, улучшенное оценивание, среднеквадратиче-ский риск, условно-гауссовский шум, процесс типа АЯ/АЯСИ.
1. Введение. Постановка задачи
Основной задачей при описании статистических данных является построение адекватной модели и оценка её коэффициентов [1, 2]. Когда речь идет о нахождении оценки, то классическими являются метод наименьших квадратов (МНК) и метод максимального правдоподобия. Эти методы позволяют построить оценки с хорошими свойствами, такими, как несмещенность, оптимальность и состоятельность, для схемы независимых наблюдений [3]. Применение классических методов к более общим моделям, в которых возмущения являются зависимыми и не-гауссовскими, не всегда приводит к наилучшим оценкам.
В 60-х годах 20 века Джеймс и Стейн предложили подход, позволяющий повысить точность оценки среднего многомерного нормального распределения, если не ограничиваться несмещенными оценками. Была построена процедура сжатия, которая открыла возможности для повышения качества оценивания [4]. Метод Джеймса - Стейна получил развитие для более общих моделей, в том числе с шумами, имеющими неизвестную ковариационную матрицу [5-8]. В [3, 9] были предложены процедуры улучшенного оценивания для регрессии со сферическими симметричными распределениями шумов.
В данной работе рассмотрим задачу улучшенного (в смысле среднеквадрати-ческой точности) оценивания ё-мерного вектора регрессии с нелинейным стохастическим условно-гауссовским шумом. Пусть на вероятностном пространстве (О, Т, Р) наблюдения описываются уравнением
у = е+v', (1)
где ее© с - вектор неизвестных параметров, V - известное положительное число, ' = (',...,) - вектор первых ё значений процесса АЯ(р)/АЯСН^), который удовлетворяет уравнению
1 Работа выполнена при финансовой поддержке РНФ, проект № 17-11-01049.
Ъ = во + 2 Р^--1 + к+^О^й • (2)
¿=1 \ 1=1
Предположим, что Ъ имеет условно-гауссовское распределение относительно некоторой с-алгебры 0 с нулевым средним и условной ковариационной матрицей 0(&), такой, что
ГгВ(0) - Хтах (В(0)) ) > 0,
а математическое ожидание максимального собственного значения ограниченно сверху, т.е.
ЕХт3х(В(0)) <Х*
и Ъ0 - некоторая случайная величина с нулевым средним и дисперсией равной s2. Сама матрица 0(&) зависит от параметров V, р;, а, s2 модели (1), (2), причем коэффициенты а0,...,неотрицательны. Здесь (е,) - последовательность независимых одинаково распределенных случайных величин с конечным математическим ожиданием и постоянной дисперсией ст2 [2]. Предполагается, что мешающие параметры шума (Рг- )1<г< , (а 1 )1й<д , 52 неизвестны.
Задача заключается в том, чтобы оценить вектор неизвестных параметров 0 = (01,..., 0^) в модели (1) по наблюдениям вектора У.
В настоящее время эффективные оценки рассматриваются с позиции минимизации среднеквадратических рисков [10]. Напомним некоторые определения [1].
Определение 1. Функция Ь : Ж.а ^ Ж. + называется функцией потерь, если она симметрична, неотрицательна и удовлетворяет условиям:
1. Множество {и е : Ь (и) < с} выпукло при всех с > 0.
2. Ь(и) растет медленнее любой из функций /И,8>0 при |и| ^ <Х>. Определение 2. Функцией риска для оценки параметра 0 называется функция
Я(0,0) = Е0 Ь (0),
где Е0 - обозначает усреднение по распределению Р0 .
В качестве меры точности оценки в работе выберем среднеквадратический риск вида
Я(0,0) = Е0Ь-0|2, |х|2 = 2 х2 . 1 1 1=1
Основная цель - развить метод улучшенного оценивания, предложенный в [10], для моделей типа (1), (2), в которых шум имеет нелинейно зависимые гаус-совские компоненты. Такие модели имеют широкое применение в эконометрике при описании эволюции экономических показателей, подверженных влиянию сложных шумов с неизвестными вероятностными характеристиками [2].
2. Основной результат
Известно [1], что в классе линейных несмещенных оценок наилучшей в сред-неквадратическом смысле является оценка по методу наименьших квадратов
е=у. (3)
На практике, например, при воздействии шумов импульсного типа, такая оценка может иметь низкую точность. В работах [10-14] предлагается модификация этой оценки для дискретных и непрерывных моделей с зависимыми условно-гауссовскими шумами со скачкообразной компонентой. Согласно этому подходу, в данной работе предлагается для оценивания параметра е использовать следующую сжимающую процедуру:
( \ I - с,
где с = v2 к(ё)8Й, Ъл =
+ & Г(( +1))2)' Г(ё/2)
у, (4)
-1
р= 5ир{|е|>. ее©
Основным результатом работы является следующая теорема.
*
Теорема. Существует ё0 > 2, такое, что для всех ё > ^ оценка е превосходит по среднеквадратической точности оценку МНК (3). Более того, разность рисков
д (е) = я (е*, е) - я (е, е) < -с2.
*
Доказательство. Рассмотрим среднеквадратический риск оценки е :
я (е*, е) = Ее|е*-е^ =Ее|е-е+я (у )у-е|2 =
= Ее |е - е2 + Ее ((я(У) -1)2 |У|2) + 2 Ъ Ее ((У) -1) ( - е),
х ' 1=1
где я(х) = с/|х| . Вычисляя второе и третье слагаемые, как показано, например, в [10], имеем
Я (е*, е) = Я (е, е) + с2 - Ее№ (У) , № (х) = с2 + 2сх'°(^) х - 2(Ю(д) • с Д .
|х| |х|
Учитывая здесь, что шум ' имеет условно-гауссовское распределение Ьам>е \&) = МЛ (0,Б(&)) и неравенство ХАх < Хтах (А) ||X2, получаем
Ее№(У) <-2^Ее ^^.
*
Рассмотрим разность рисков оценок е и е :
Де = с2 -сv2Eе ^< с2 -сv2к(ё)Ее |У|-.
Оценим теперь математическое ожидание величины |У| 1. Используя неравенство треугольника и Йенсена, имеем оценку снизу
Е0 У Е>+уЪ|>р + уЕ0|Ъ'
1 х'Р-1(0) х
где ЕвИ = К,1^*2 л
Для вычисления интеграла сделаем замену переменной и = Б~1/2(0)х,. Тогда
Е0 1Ъ = ^ I К2 (0)и|Лёи <^(20)) Яи|е—. (2п) (2п) К
Переходя в последнем интеграле к сферическим координатам, получаем
2
2 ё/2 __
Е0|Ъ^^тах(Б(0))-ТТТ I гёе 2 ёг <
(2п)ё/2Г(|) 0
г ё +1
I--2 ё-1 ,-Г
< Л*-I (2/)Т" е^ёГ 2Х* - ,
Таким образом, Е0 |У| 1 >5ё и
Д0 < с2 - су2к(ё)5ё.
Минимизируя правую часть по с, находим с = у2к(ё)5ё. Следовательно,
Д0 < -с2. Теорема доказана.
Замечание. Теорема утверждает, что предложенная оценка (4) превосходит по среднеквадратической точности оценку МНК. При этом минимальное снижение
риска равно -с2.
Далее рассмотрим пример модели (1), в которой координаты вектора шумов задаются процессом ЛЯ(1)/ЛКСИ(1) вида
Ъ =Р&-1 +^1^-1 Е(. (5)
где |Р1 < в < 1 , 0 <а < |а11 <1 и
ЕЪ0 = 0, Щ0 = 52 и Е^ = 0, Бе, = ст2 ,
52 < 52, 0 <ст2 <ст2 < (ст*)2. При этом предполагается, что в, а, 5, ст* ист * -известные положительные величины. Введем обозначения:
а* = а ст2, а* =¡32 + (ст *) и ё0 = где [а] - целая часть числа а.
а (1+ Р) а*(1 -Р)
Следствие. Пусть в модели (1) шум описывается уравнением (5). Тогда, для всех ё > й?0 разность рисков оценки
- 52 Г аё - 17
I 1-р) 7 )
и оценки МНК (4) удовлетворяет неравенству
зирД(9)<^а*ё - а*1^!1 V4д2ё .
6е0 V 1 -Р)
Доказательство. Заметим, что при заданных условиях элементы ковариационной матрицы имеют вид = 52р1 •jamin{г,1 виде
ё-1 1
или в развернутом
0(£) = 52
а аР1 ... аРё ар1 а2 ... а2рё-2
арё-1 а 2рё-2
След данной матрицы &В(&) = 52 X а1 . Нужно найти верхнюю оценку для
мак-
1=1
симального собственного числа матрицы Б(&). Рассмотрим следующую квадратичную форму:
ё ё
zD(G) z = 52 XX Р1
'- ]\am:^n{i, ]}
= 5
(
= 5
' =1 1 =1
ё-1 ё-1
ё-1 ё
Xaz2 + 2 XXaipíZiZí
1=1
=1 г=1
X а^2 + 2ХР! X аЧл+г
ч1=1 г=1 '=1 Далее оценим разность
^ ~2 * < 5 а
Г ш 1 1+2Хр1
V I=1 )
^ ~2 * < 5 а
1 +
1 -р
г+'
А ^2 *
*В(£) -Хтах(Я(Я) > 5
X а1
V !=1 1
а (1 + р)
-Г
1 Г
> 5"
а*ё + а
:1 + Р
ИЗ.
52 а (1+ Р)
1 -Р
= к(ё) > 0 .
Отсюда следует требуемый результат.
Как видно, существуют модели, которые удовлетворяют заданным условиям. Этим подтверждается целесообразность построения улучшенных оценок.
3. Численный анализ эмпирических среднеквадратических рисков
Для численного подтверждения аналитических результатов проведено имитационное моделирование в среде МЛТЬЛБ. Предполагаем, что 6 - единичный вектор размерности ё, ^ - значения процесса ЛЯ(1)/ЛЯСИ(1), описываемого уравнением (5) с коэффициентами Р0 = а0 = 0 , т.е.
^ =Р&-1 +^1^-1 ^.
Остальные параметры модели меняются. Среднеквадратический риск оценки вычислялся по следующей эмпирической формуле:
1 N 2
*(0,0)N2|0-0М ,
где 0к - к-я реализация оценки 0 , а N = 1000. Далее в таблицах приводятся результаты моделирования при изменении параметров шума.
Таблица 1
Поведение эмпирических среднеквадратических рисков оценок при изменении параметра а1 при Р1 = 0.1; а2 = 1; я2 = 1; й = 5; у = 1
а1 Д(0,0) я(0*, 0) Д(0) 2 -с
0.1 0.6514 0.6383 -0.0131 -0.0013
0.2 2.3788 2.2696 -0.1092 -0.0149
0.4 36.5023 34.4281 -2.0741 -0.3936
0.8 502.7098 478.9157 -23.7941 -2.9729
Таблица 2
Поведение эмпирических среднеквадратических рисков оценок при изменении параметра Р1 при а1 = 0.1; а2 = 1; я2 = 1; й = 5; у = 1
в1 я(0,0) я(0*, 0) Д(0) 2 -с
0.1 0.6900 0.6800 -0.0100 -0.0013
0.2 0.6521 0.6316 -0.0206 -0.0042
0.4 1.0896 1.0357 -0.0540 -0.0195
0.8 5.4522 5.1229 -0.3293 -0.0470
Таблица 3
Поведение эмпирических среднеквадратических рисков оценок при изменении параметра я2 при Р1 = 0.1; а1 = 0.1; ст2 = 1; й = 5; у = 1
я(0,0) я(0*, 0) Д(0) -с2
1 0.6582 0.6459 -0.0124 -0.0013
2 2.4482 2.3790 -0.0691 -0.0040
4 10.8724 10.5511 -0.3213 -0.0116
8 40.6176 39.4273 -1.1902 -0.0315
16 143.0420 139.0146 -4.0275 -0.0810
Таблица 4
Поведение эмпирических среднеквадратических рисков оценок при изменении параметра ст2 при Р1 = 0.1; а1 = 0.1; я2 = 1; й = 5; у = 1
с2 я(0,0) я(0*, 0) Д(0) 2 -с
2 0.7752 0.7611 -0.0140 -0.0013
4 27.7204 27.2507 -0.4697 -0.0149
8 5.3665е+04 5.3611е+04 -53.6798 -0.3936
16 2.3232е+07 2.3228е+07 -3.861е+03 -2.9729
Как видно из табл. 1 - 4, при изменении параметров риск улучшенной оценки меньше, чем риск оценки МНК, что численно подтверждает утверждение теоремы о преимуществе в среднеквадратической точности предложенной оценки (4).
Таблица 5
Поведение эмпирических среднеквадратических рисков оценок при изменении параметра d при Р1 = 0.7; а1 = 0.2; «2 = 1; ст2 = 1.5; V = 2
d R(0,0) R(0*, 0) А(0) 2 -c
2 7.3268 6.6627 -0.6641 -0.0657
3 10.7353 9.4675 -1.2678 -0.2025
4 15.7660 13.8821 -1.8839 -0.3863
5 20.2577 17.7924 -2.4653 -0.6079
6 24.7658 21.8361 -2.9297 -0.8609
10 25.5038 21.6807 -3.8231 -2.0996
Из табл. 5 видно, что при увеличении размерности d улучшенная оценка точнее и разность рисков д(е) возрастает.
Замечание. При малых значениях дисперсий с2, s2 шум £ быстро затухает с ростом размерности d, а когда дисперсии увеличиваются, процесс выходит из области стационарности. Отсюда вытекает, что сделанные предположения относительно областей изменения этих параметров в (5) являются вполне оправданными.
В заключение отметим, что в случаях, когда шумы оказывают сильное влияние на данные, предлагаемая оценка (4) обеспечивает более высокое качество оценивания по сравнению с классической оценкой МНК (3). Полученные результаты могут использоваться при статистической идентификации моделей, шум которых описывается резко меняющимися (скачкообразными) временными рядами.
ЛИТЕРАТУРА
1. ИбрагимовИ.А.,Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.
2. Ширяев А.Н. Основы стохастической финансовой математики. Т. 1. Факты. Модели. М.: ФАЗИС, 1998. 512 с.
3. FourdrinierD. Statistique inferentielle. Paris: Dunod, 2002. P. 336.
4. James W., Stein C. Estimation with quadratic loss // Proc. Fourth Berkeley Symposium on Mathematics Statistics and Probability, University of California Press, Berkeley. 1961. V. 1. P. 361-380.
5. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions. 1983. No. 1. P. 105-129.
6. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // Ann. Statist. 1976. No. 4. P. 11-21.
7. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1986. V. 14. No. 4. P. 1625-1633.
8. Stein C. Estimation of the mean of a multivariate normal distribution // Ann. Statist. 1981. V. 9(6). P. 1135-1151.
9. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates // J. Multivariate Anal. 2008. V. 99. P. 2221-2233.
10. Пчелинцев Е.А. Процедура Джеймса - Стейна для условно-гауссовской регрессии // Вестник Томского государственного университета. Математика и механика. 2011. № 4(16). C. 6-17.
11. Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестник Томского государственного университета. Математика и механика. 2012. № 1(17). C. 20-35.
12. Конев В.В., Пергаменщиков С.М., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Теория вероятностей и ее применения. 2013. Т. 58. № 3. C. 454-471.
13. Pchelintsev E. Improved estimation in a non-Gaussian parametric regression // Statistical Inference for Stochastic Processes. 2013. V. 1. P. 16-28.
14. Пчелинцев Е.А., Пчелинцев В.А. Минимаксное оценивание гауссовской параметрической регрессии // Вестник Томского государственного университета. Математика и механика. 2014. № 5(31). C. 40-47.
Статья поступила 11.07.2017 г.
Povzun M.A., Pchelintsev E.A. (2017) ESTIMATING PARAMETERS IN A REGRESSION MODEL WITH DEPENDENT NOISES Tomsk State University Journal of Mathematics and Mechanics. 49. pp. 43-51
DOI 10.17223/19988621/49/4
Let on the probability space (Q, F,P) the observations be described by the equation
Y = 0+vi, (1)
where 0e®c Md is a vector of unknown parameters, v is a known positive number, ; is the vector of first d values of the AR(p)/ARCH(q) process which satisfies the equation
it=Po+£ P&-1+>o+£ a-1 et. (2)
i=1 v ,=1
We suppose that the noise i has a conditionally Gaussian distribution with respect to some a-algebra G with a zero mean and the conditional covariance matrix D(G) such that
trD(G) -WD(G)) >K(d) >0
and E^max(D(G)) <X*.
Let ;o be a random variable with a zero mean and variance s . The matrix D(G) may depend on v,Pi,a,,s2. The coefficients a0,...,ak are assumed to be nonnegative. The noise (st)t>0 in
(2) is a sequence of i.i.d. random variables with a finite mean and constant variance u2 [13]. The nuisance parameters (p.)1£i< , (a, )1£,<q , and s2 of the noise are unknown.
The problem is to estimate the vector of unknown parameters 0 = (01,..., 0d) in the model (1) by observations Y.
It is known that, in the class of linear unbiased estimators, the best one is the least-squares estimator (LSE)
0 = Y . (3)
However, for example, in the case of pulse-type disturbances, such an estimate may have a low accuracy. In [8-12], special modifications of this estimate were developed for discrete and continuous models with dependent conditionally Gaussian noises. Following this approach, this paper proposes the following shrinkage procedure for estimating the parameter 0:
0*=('- C>; (4)
where c = v2K(d)Sd, 5d ^p + fiV, P = sup{101
The main result of this paper is the following theorem.
Theorem. There exists an integer d0 > 2 such that for any d > d0 the estimate 6* given by
(4) outperforms the LSE (3) in the mean square accuracy. Moreover, the minimal gain in the mean square accuracy satisfies the inequality
A(6)= R (6*, 6)-R (6,6)<-c2.
The results of numerical simulation of the empirical risks of the proposed improved estimate and LSE for the AR(1)/ARCH(1) noise model confirm the statement of the theorem.
Keywords: regression, improved estimation, mean square risk, conditionally Gaussian noise, AR/ARCH process.
POVZUNMariya Anatolyevna (Tomsk State University, Tomsk, Russian Federation) E-mail: povzunyasha@gmail.com
PCHELINTSEV Evgeniy Anatolyevich (Candidate of Physics and Mathematics, Tomsk State University, Tomsk, Russian Federation). E-mail: evgen-pch@yandex.ru
REFERENCES
1. Ibragimov I.A., Khasminsky R.Z. (1979) Asimptoticheskaya teoriya otsenivaniya [Asymptotic estimation theory]. Moscow: Nauka.
2. Shiryaev A.N. (1998) Osnovy stokhasticheskoy finansovoy matematiki [Fundamentals of stochastic financial mathematics]. Vol. 1. Facts. Models. Moscow: PHASIS.
3. Fourdrinier D. (2002) Statistique inferentielle. Paris: Dunod.
4. James W., Stein C. (1961) Estimation with quadratic loss. Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability. University of California Press, Berkeley. V. 1. pp. 361-380.
5. Berger J.O., Haff L.R. (1983) A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix. Statist. Decisions. 1. pp. 105-129.
6. Efron B., Morris C. (1976) Families of minimax estimators of the mean of a multivariate normal distribution. Ann. Statist. 4. pp. 11-21.
7. Gleser L.J. (1986) Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix. Ann. Statist. 14(4). pp. 1625-1633.
8. Stein C. (1981) Estimation of the mean of a multivariate normal distribution. Ann. Statist. 9(6). pp. 1135-1151.
9. Fourdrinier D., Strawderman W.E., William E. (2008) A unified and generalized set of shrinkage bounds on minimax Stein estimates. J. Multivariate Anal. 99. pp. 2221-2233.
10. Pchelintsev E. (2011) Protsedura Dzheymsa - Steyna dlya uslovno-gaussovskoy regressii [The James-Stein procedure for the conditionally Gaussian regression]. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i Mekhanika - Tomsk State University Journal of Mathematics and Mechanics. 4 (16). pp. 6-17.
11. Konev V.V. (2012) Otsenivanie parametricheskoy regressii s impul'snymi shumami po diskretnym nablyudeniyam [Estimation of parametric regression with pulsed noise from discrete observations]. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i Mekhanika - Tomsk State University Journal of Mathematics and Mechanics. 1 (17), pp. 20-35.
12. Konev V.V., Pergamenschikov S.M., Pchelintsev E.A. (2014) Estimation of parametric regression with pulsed noise from discrete observations. Theory of Probability and its Applications. 58(3). pp. 442-457.
13. Pchelintsev E. (2013) Improved estimation in a non-Gaussian parametric regression. Statistical Inference for Stochastic Processes. 1. pp. 16-28.
14. Pchelintsev E.A., Pchelintsev V.A. (2014) Minimaksnoe otsenivanie gaussovskoy parametricheskoy regressii [Minimax estimation of the Gaussian parametric regression]. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i Mekhanika - Tomsk State University Journal of Mathematics and Mechanics. 5(31). pp. 40-47.
