Устойчивые оценки параметра авторегрессионного уравнения со случайным коэффициентом Текст научной статьи по специальности «Математика»

Наука и Образование. МГТУ им. Н.Э. Баумана. ВсШИб Электрон. журн. 2014. № 12. С. 392-400.

DOI: 10.7463/1214.0742725

МГТУ ИМ. Н.Э. Баумана Представлена в редакцию: 01.12.2014

Сетевое научное издани © МГТУ им НЭ БаУмана

ISSN 1994-0408 УДК 004.3+519.6

Устойчивые оценки параметра авторегрессионного уравнения со случайным коэффициентом

Горяинов В. Б.1'*, Горяинова Е. Р.2 [email protected]

1МГТУ им. Н.Э. Баумана, Москва, Россия 2НИУ ВШЭ, Москва, Россия

Работа посвящена анализу одной из наиболее распространенных нелинейных моделей временных рядов — авторегрессионной модели со случайными коэффициентами. Рассмотрена задача оценивания параметра одномерного авторегрессионного уравнения для стационарного случая. Предполагается, что распределение вероятности обновляющего процесса и авторегрессионного коэффициента неизвестно. Предложен робастный метод оценивания, основанный на подходе Хьюбера. Доказаны состоятельность и асимптотическая нормальность построенной оценки. Получено выражение для ее асимптотической относительной эффективности по отношению к оценке наименьших квадратов.

Ключевые слова: оценка наименьших квадратов; асимптотическая относительная эффективность; авторегрессионное уравнение; случайные коэффициенты; робастная оценка

Введение

Во многих областях науки и техники (см., например, [1, 2, 3]) наблюдения описываются уравнением авторегрессии

X* = Ф*Хг-1 + £г, 1 = 0, ±1, ±2, ..., (1)

в котором коэффициент Ф* является случайным. В наиболее распространенном случае

Ф* = а + п, г = 0, ±1, ±2, ..., (2)

где п*, г = 0, ±1, ±2, ..., — последовательность независимых одинаково распределенных случайных величин с нулевыми математическими ожиданиями Е п* = 0. Основной задачей анализа уравнения (1) является оценивание авторегрессионного параметра а. Традиционным методом оценивания является метод наименьших квадратов [4], который при разумных ограничениях на вероятностные свойства процессов п*, позволяет получить состоятельные и асимптотически нормальные оценки.

Наука йОбразо

В частном случае, когда коэффициент Ф; неслучаен (п = 0), существуют оценки, имеющие во многих случаях большую эффективность, чем оценка наименьших квадратов. Например, М-оценки являются предпочтительнее оценки наименьших квадратов, если е; имеет распределение Тьюки [5].

В данной работе построены М-оценки параметра а = Е Ф;, доказана их состоятельность и асимптотическая нормальность, что позволило вычислить асимптотическую относительную эффективность этих оценок по отношению к оценке наименьших квадратов.

1. Постановка задачи

Далее всюду предполагается, что Е et = 0 для любого Ь = 0, ±1, ±2, ... иу случайных величин п и е; существуют конечные дисперсии:

О п = и2 < ж, Э е; = а2 < ж, (3)

удовлетворяющие условию

и2 + а2 < 1. (4)

При выполнении этих условий существует стационарное решение уравнения (1), предста-вимое в виде сходящегося с вероятностью 1 ряда

г=0

где 6о = 1 и

г-1

дг = П(а + Пг-з), г =1, 2, ... з=о

Обозначим через а-алгебру событий, порожденную множеством случайных величин П, е;, t < к. Оценка наименьших квадратов аП параметра а по наблюдениям Х0, Х1, . .., Хп случайного процесса Х;, описываемого уравнением (1), определяется как точка минимума функции [6]

п

^ьз(а) = ^(Х; - Е(Х;|&-1 ))2, ;=1

где Е(Х;|^;-1) — условное математическое ожидание ЕХ; относительно а-алгебры ^-ь Поскольку Е(Х;|&-1) = аХ;_ь то

^ьз(а) = Е(Х; - аХ;- )2 ;=1

В [4] показано, что при выполнении (3)-(4) оценка наименьших квадратов является состоятельной и асимптотически нормальной. Состоятельность означает, что последова-

тельность аП при п ^ ж сходится по вероятности к истинному значению а0 параметра а, т.е. для любого е > 0

Р{|аП — а| > е} ^ 0 при п ^ ж.

Асимптотическая нормальность последовательности аП означает, что последовательность ■\/п(аП — а0) стремится по распределению к нормальной случайной величине с нулевым математическим ожиданием и дисперсией, равной

(1 — а0 — и2)2(а2 Е Х0 + и2 Е Х4)

а4 . (5)

Обобщим оценку наименьших квадратов, определив оценку ап параметра а как точку минимума функции

п

Р (а) = £ р(Х; — аХ;-1), (6)

;=1

где р — некоторая функция. Эта оценка является аналогом М-оценок в авторегрессионных моделях с неслучайными коэффициентами. В частном случае, когда р(х) = х2, получается оценка наименьших квадратов.

Для построения робастных оценок в качестве р обычно выбирается четная функция, которая либо ограничена, либо растет на бесконечности медленнее, чем х2. Наиболее распространенными являются р-функция Хьюбера [7]

х2 I хI "СГ к*

, . I ) | | ' ' )

Рн(х) = \ п11 , ^

2к|х| — к2, |х| > к,

и бивес Тьюки

рт(х) = < 1 — I1 — (Э ) , |х| < к*

1, |х| > к.

Эти функции зависят от параметра к > 0, изменение которого позволяет регулировать степень робастности оценок.

2. Основные результаты

Основным результатом работы является доказательство состоятельности и асимптотической нормальности М-оценок ап, приведенное в следующей теореме.

Теорема 1. Пусть выполнены условия (3)-(4), плотности f и д случайных величин е; и п являются четными функциями, функция р(х) выпукла, а ее вторая производная р"(х) непрерывна и ограничена. Тогда случайная величина -^/п(аП — а0) является асимптотически нормальной с нулевым математическим ожиданием и дисперсией

Е[(р'(щ Х0 + е1 )Х0 )2 ] (7)

(Е[р"(п1 Х0 + е1 )Х,2])2. ( )

Доказательство. Идея доказательства заключается в том, чтобы приблизить Т (а) квадратичной формой (параболой) Т* (а), доказать асимптотическую нормальность решения аП уравнения Т*(а) = 0 и затем доказать, что \[и(ап — а^) ^ 0 по вероятности при п ^ то.

Заметим, что ап является точкой минимума (6) тогда и только тогда, когда вп = \/П((ап — а0) — точка минимума функции

¿(Ь) = Е р(х4 — аоХ*-1 — в— Л — Е р(Х* — аоХ*_1)

*=1 4 Уп у *=1

вХ*-1

' " Р(Х

*=1 х vn 7 *=1

или, с учетом

Х* — ао Х*-1 = п*Х*-1 + е*

— точка минимума функции

п / вХ \ п

¿(Ь) = ЕР П*Х*-1 + е* — — ЕР(Х — аоХ*-1).

*=1 ^ Уп / *=1

Разложив левую часть ¿(Ь) в окрестности нуля по степеням в, получим

¿(6) = —А Ь + 1 В Ь2 + (Ь),

где

1 п 1 п

Ап = -р Е р'(п*Х*-1 + е*)Х*-1, Вп = - Е р"(пХ4_1 + е4)Х_1,

п ¡=1п *=1

- п , , ТЬ X \ \

ап(Ь) = — Е(р'^п*Х*_1 + е* — — р''(пХ_1 + е*)]Х^Ь2, 0 < т < 1.

Случайные последовательности

Си = р''(п*х*_1 + е )Х*2_1

и

<2* = (р''(п* Х*_1 + е* — ^) — р'' (п*Х*_1 + е*))х*2_1

являются стационарными и эргодическими как преобразования процессов типа «белого шума» п* и е* [8, р. 170, 182]. Из стационарности (2* следует, что

¡р''(тХо + е1 — Т-Х°) — р''(щХо + е1 )Х Ь2

МЬ)|< 1 Е

Поэтому, а также в силу непрерывности и ограниченности р'' по теореме Лебега о мажорируемой сходимости Е |ап(Ь)| ^ 0 при п ^ то, откуда вытекает, что ап(Ь) = ор(1) при п ^ то (здесь и в дальнейшем ор(1) означает последовательность случайных величин, сходящихся к нулю по вероятности). Из стационарности и эргодичности следует [8, р. 181], что

существует предел по вероятности

B = lim Bn = E

Поэтому

p"(ni Xo + £i)|X,

L(b) = +1 Bb2 + 7„(b),

где Yn(b) = op (1) при n ^ ж.

A 1

Обозначим через bn = —n точку минимума функции —Anb +— Bb2. Покажем, что

последовательность bn асимптотически нормальна и bn — bn = op(1), откуда будет следовать асимптотическая нормальность последовательности bn.

Так как плотности f и g случайных величин et и п — четные функции, а р' — нечетная функция, то E[p'(ntXt-1 + )Xt — 1|Ft-i] = 0. Поэтому [9, теорема 23.1] последовательность An является асимптотически нормальной с нулевым математическим ожиданием и дисперсией E[(p'(n1 X0 + e1)X0)2]. Следовательно, последовательность bn является асимптотически нормальной с нулевым математическим ожиданием и дисперсией (7).

Теперь докажем, что bn — bn = op(1) при n ^ ж. Так как L(b) выпукла, то выпуклой будет и последовательность функций L(b) + Anb, которая при n ^ ж сходится по вероятности к

выпуклой функции Bb2. Поэтому [10] sup |y„(b)| = op (1) для любого компакта K С R при

ьек

n ^ ж. Покажем, что для любого $ > 0

lim P f|bn — bra| >4 = 0, (8)

га^те I J

что равносильно bn — bn = op(1). Обозначим через Un отрезок [bn, bn + $]. Так как последовательность bn схдодится по распределению, то существует такой компакт K С R, что P{Un С K} сколь угодно близка к единице. Поэтому при n ^ ж

An = sup |y„(b)| = Op(1). beun

Так как L(b) выпукла, то для b1 = bn + $ и для любого b = bn + s, где s > $,

bn) + 1

ss

Поэтому

(l - bn) + ~L(b) > L(bi).

Ц(6) > 7(Ь(б1) - )) + Ц).

о

Так как

Ь(&1) = Ц) + 1 о2В + 7га(61) - 7„(6га),

то

« 1 1п£ Ц(6) = Ц) + 1п£ -(Ц(61) - Ц (6п)) > Ц6п) + 102в - 2Д„.

ьеи„ «>г о 2

Поэтому с вероятностью, стремящейся к единице, минимум Ц(6) не может быть больше, чем

Ъп + о.

Аналогично показывается, что минимум Ц(6) не может быть ме ньше, чем 6п - 0. Таким образом, для любого 0 > 0 выполняется (8) и, следовательно, асимптотическое распределение 6п совпадает с асимптотическим распредел ением 6 = 6п. Теорема доказана.

Полученная теорема позволяет найти асимптотическую относительную эффективность е М-оценки по отношению к оценке наименьших квадратов. Асимптотическая относительная эффективность оценок определяется как обратное отношение их асимптотических дисперсий. Поэтому из (5) и (7) следует, что

(1 - - и2)2(а2 ЕX2 + и2 ЕХ04)(Е[р"(шХ0 + £1 )Х2])2

е = -

Е[(р (П1Х0 + £1)Хо)2]а4 .

Вычислить е для различных вероятностных распределений процессов п и £ можно при помощи компьютерного моделирования.

Заключение

В работе рассмотрена нелинейная модель временных рядов, описываемая уравнением авторегрессии со случайным коэффициентом. Для параметра авторегрессионного уравнения построены оценки, занимающие промежуточное положение между оценками наименьших квадратов и наименьших модулей. При достаточно умеренных предположениях о вероятностном распределении обновляющего процесса и авторегрессионного коэффициента доказаны состоятельность и асимптотическая нормальность предложенных оценок. Получено явное выражение для асимптотической относительной эффективности этих оценок по отношению к оценке наименьших квадратов.

Список литературы

1. Aknouche A. Two-stage weighted least squares estimation of nonstationary random coefficient autoregressions // J. Time Ser. Econom. 2013. Vol. 5, no. 1. P. 25-46.

2. Liang Y., Thavaneswaran A., Ravishanker N. RCA models: joint prediction of mean and volatility // Statist. Probab. Lett. 2013. Vol. 83, no. 2. P. 527-533.

3. Praskovaz., VanecekP. Onaclassof estimators in amultivariateRCA(1) model//Kybernetika. 2011. Vol.47, no.4. P. 501-518.

4. Nicholls D.F., Quinn B.G. Random coefficient autoregressive models: an introduction. New York: Springer, 1982. 154 p.

5. Maronna R.A., Martin D., Yohai V. Robust Statistics: Theory and Methods. Chichester: Wiley, 2006. 403 p.

6. Tjostheim D. Estimation in nonlinear time series models // Stochastic Process. Appl. 1986. Vol. 21, no. 2. P. 251-273. DOI: 10.1016/0304-4149(86)90099-2

7. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В.А. Робастность в статистике. Подход на основе функций влияния: пер. с англ. М.: Мир, 1989. 512 с. [Hampel F.R., Ronchetti E.M., Rousseeuw P.J., Stahel W.A. Robust statistics. The approach based on influence functions. New York: Wiley, 1986. 502 p.]

8. Stout W.F. Almost Sure Convergence. New York: Academic Press, 1974. 381 p.

9. Биллингсли П. Сходимость вероятностных мер: пер. с англ. М.: Наука, 1977. 352 с. [Billingsley P. Convergence of probability measures. New York: Wiley, 1968. 253 p.]

10. Andersen P.K., Gill R.D. Cox's regression model for counting processes: a large sample study //Ann. Statist. 1982. Vol. 10, no. 4. P. 1100-1120.

Science^Education

of the Bauman MSTU

Electronic journal

ISSN 1994-0408

Science and Education of the Bauman MSTU, 2014, no. 12, pp. 392-400.

DOI: 10.7463/1214.0742725

Received: 01.12.2014

© Bauman Moscow State Technical University

Stable Parameter Estimation for Autoregressive Equations with Random Coefficients

Goryainov V. B. ' , Goryainova E. R. *[email protected]

1 Bauman Moscow State Technical University, Moscow, Russia 2Higher School of Economics, Moscow, Russia

Keywords: least squares estimate, asymptotic relative efficiency, autoregressive equation, random coefficients, robust estimate

In recent years there has been a growing interest in non-linear time series models. They are more flexible than traditional linear models and allow more adequate description of real data. Among these models a autoregressive model with random coefficients plays an important role. It is widely used in various fields of science and technology, for example, in physics, biology, economics and finance. The model parameters are the mean values of autoregressive coefficients. Their evaluation is the main task of model identification. The basic method of estimation is still the least squares method, which gives good results for Gaussian time series, but it is quite sensitive to even small disturbances in the assumption of Gaussian observations. In this paper we propose estimates, which generalize the least squares estimate in the sense that the quadratic objective function is replaced by an arbitrary convex and even function. Reasonable choice of objective function allows you to keep the benefits of the least squares estimate and eliminate its shortcomings. In particular, you can make it so that they will be almost as effective as the least squares estimate in the Gaussian case, but almost never loose in accuracy with small deviations of the probability distribution of the observations from the Gaussian distribution.

The main result is the proof of consistency and asymptotic normality of the proposed estimates in the particular case of the one-parameter model describing the stationary process with finite variance. Another important result is the finding of the asymptotic relative efficiency of the proposed estimates in relation to the least squares estimate. This allows you to compare the two estimates, depending on the probability distribution of innovation process and of autoregressive coefficients. The results can be used to identify an autoregressive process, especially with non-Gaussian nature, and/or of autoregressive processes observed with gross errors.

References

1. Aknouche A. Two-stage weighted least squares estimation of nonstationary random coefficient autoregressions. J. Time Ser. Econom., 2013, vol. 5, no. 1, pp. 25-46.

2. Liang Y., Thavaneswaran A., Ravishanker N. RCA models: joint prediction of mean and volatility. Statist. Probab. Lett., 2013, vol. 83, no. 2, pp. 527-533.

3. Prâskova Z., Vanecek P. On a class of estimators in a multivariate RCA(1) model. Kybernetika, 2011, vol. 47, no. 4, pp. 501-518.

4. Nicholls D.F., Quinn B.G. Random coefficient autoregressive models: an introduction. New York, Springer, 1982. 154 p.

5. Maronna R.A., Martin D., Yohai V. Robust Statistics: Theory andMethods. Chichester, Wiley, 2006. 403 p.

6. Tjostheim D. Estimation in nonlinear time series models. Stochastic Process. Appl., 1986, vol. 21, no. 2, pp. 251-273. DOI: 10.1016/0304-4149(86)90099-2

7. Hampel F.R., Ronchetti E.M., Rousseeuw P.J., Stahel W.A. Robust statistics. The approach based on influence functions. New York, Wiley, 1986. 502 p. (Russ. ed.: Hampel F.R., Ronchetti E.M., Rousseeuw P.J., Stahel W.A. Robastnost' v statistike. Podkhod na osnove funktsiy vliyaniya. Moscow, Mir Publ., 1989. 512 p.).

8. Stout W.F. Almost Sure Convergence. New York, Academic Press, 1974. 381 p.

9. Billingsley P. Convergence of probability measures. New York: Wiley, 1968. 253 p. (Russ. ed.: Billingsley P. Skhodimost' veroyatnostnykh mer. Moscow, Nauka Publ., 1977. 352 p.).

10. Andersen P.K., Gill R.D. Cox's regression model for counting processes: a large sample study. Ann. Statist., 1982, vol. 10, no. 4, pp. 1100-1120.