Последовательная оценка наименьших квадратов линейных параметров ARCH-процесса Текст научной статьи по специальности «Математика»

Д.В. Кашковский

ПОСЛЕДОВАТЕЛЬНАЯ ОЦЕНКА НАИМЕНЬШИХ КВАДРАТОВ ЛИНЕЙНЫХ ПАРАМЕТРОВ АЯСИ-ПРОЦЕССА

Для гарантированной оценки параметров устойчивого процесса авторегрессии с условной гетероскедастичностью АЯСН(ц) методом наименьших квадратов в данной работе предложено использовать специальное правило остановки, которое существенным образом зависит от поведения минимального собственного значения наблюдаемой информационной матрицы по Фишеру. Определена асимптотика верхней границы для среднеквадратичного уклонения оценок и асимптотическая формула среднего значения момента остановки наблюдений.

Рассмотрим устойчивую модель с условной гетероскедастичностью ARCH(q) на вероятностном пространстве (Q, F, P)

Xk = 91 Xk-1 + ••• + 9qXk_q +

+^1+ст,2 XL, +...+° q,xi

(i)

где (sk)fel - последовательность независимых одинаково распределенных (н.о.р.) стандартных гауссовских случайных величин. Вектор начальных значенийХ0 = (x0,..., x^)' случайный с Ee| |_X0| 12 < +со и не зависит от последовательности (sk)k>b кроме того, имеет непрерывное распределение |l(x). Здесь штрих означает транспонирование.

Для использования оценок по методу наименьших квадратов (МНК) удобно ввести статистики

Lk =-у/1 + СТ2 xh +... + а>2_,,

Lt 1 + xl_i +... + xl_q, k е N

и поделить на первую обе части уравнения (1). Далее мы будем строить процедуру, основанную на следующей модификации оценки МНК параметра е:

n n t

e(n) = £ XMXkL__i, Mn =£ Xk_XM , (2)

k=l k=l

где Xk = L-- (xk, к, xk-q+l), M_ обозначает матрицу, обратную

к матрице Mn, если detMn > 0 и M_ = 0 в противном случае.

Процесс (l) и его обобщения (GARCH, TARCH) широко используются при анализе временных рядов, в частности финансовых. Асимптотические свойства модификации оценки МНК (2) этого процесса сильно зависят от значений неизвестных параметров е,.

Чтобы осветить проблему гарантированного оценивания процесса авторегрессии с условной гетероскедастичностью, рассмотрим модель авторегрессии первого порядка (или ARCH(l) при ст = 0) Xj = ex,_l + gb i > l.

В [2] предложена следующая последовательная оценка МНК:

_ Л(*)-1 _

6*(h) = h1 Е Xk_1Xk + Р(h)Xt(A)_1Xt(/

V k=1

где

T(h) = inf in > 1: Е xi2_1 > h L h > 0

(3)

(4)

и p(h) _ корректирующий множитель, заданный уравнением

T(h)-1 _

Е x2_1 + Р(h)x2(h)_1 = h k=1

(5)

более сложных моделей случайной регрессии решались в два этапа, что требовало несколько (случайное число) оценок наименьших квадратов (2) [2, 7].

В данной работе для модели (l) мы построим одноэтапную последовательную оценку наименьших квадратов. Основной результат состоит в том, что при h ^ ж

supEe||e*(h) _ е II < —K(l + o(l)),

ееК 11 h

где К _ компактное множество в особой области устойчивости процесса (l), которую определим позже; —К _ некоторая константа, известная, если заданы параметры дисперсии, в противном случае - константа —К не определена.

МАРКОВСКИЙ ПОДХОД.

РАВНОМЕРНАЯ ЭРГОДИЧНОСТЬ ПРОЦЕССА ARCH

Чтобы исследовать модель (l), необходимо ввести следующие случайные матрицы qxq. Определим

An =

a1(n)

I

q_1

aq (П)

0

(это приводит к тому, что 0 < P(h) < 1). Показано, что Ee9*(h)= 0, 0 є R, т.е. 0*(h) является несмещенной оценкой 0, и sup E9(e*(h) _e)2 < ст2 / h, что означает, что 9*(h) является

9єR

гарантированной в среднеквадратичном смысле равномерно по 9 є (_<ю, ю).

Последовательные схемні выборок, описанные выше, не могут быть применены при построении гарантированных оценок на основе МНК в случае AR(q), ARCH(q) порядка q > 1. Задачи гарантированного оценивания параметров в AR(q) и

где I- - единичная матрица порядка q -1; а,(п) = 9, + +ст,п,(п), 1 < , < q (п ,(п), 1 < , < q, п > 1) - н.о.р. стандартные гауссовские.

Мы будем предполагать, что для (1) выполняется следующее условие Их): собственные значения матрицы £9,стА1®А1 по модулю не превосходят единицы, где ® означает Кронекерово произведение матриц.

Вектор линейных параметров 9 = (91,..., 9^' неизвестен, и 9,, ст,- такие, что выполняется условие Их). Пусть Лст означает множество всех векторов 9 = (91,..., 9^' с такими координатами 9,, что выполняется условие Их) при фиксированном векторе коэффициентов дисперсии ст = (сть..., ст^'.

Согласно [6], модель (1) можно переписать в форме авторегрессии со случайными коэффициентами

Л =(91 +ст1 П1(к ))Ук-1 +

+ (9 +CTqЧq (к))у, где кккп (П, (к)) дартных гауссовских случайных величин. Тогда процесс (ук)ш будет одинаково распределен с процессом (х^и. В векторной форме уравнение (6) перепишется в виде

k_q + 5k, k = 1,2,..., (6)

k>1 Hi<q последовательности н.о.р. стан-

Y* = AkYk_1 +Z*, k = 1,2,

(7)

где Ук = (Ук,...,У-+1)', Ск = (!к, 0,..., 0)', матрицы Ак определены выше. Выразим Ук через У0 и матрицы Ак:

к-2

Ук = Ак... АУо + Е Ак ••• А к-£к-х-1 +Ск, к = 1,2,... (8) ^=0

Условие Их) гарантирует устойчивость процесса (Ук)к>1, а с ним и (Хк)к>1. Действительно, оно влечет геометрическую скорость сходимости норм произведения

1=1

матриц Ak (см. [1], [5]) в среднеквадратическом смысле, т.е. найдутся такие константы с > 0, 0 < р < 1, что

supEÄAk••• AjlP <с2р21с, к = 1,2,..., (9)

0еК

где K содержится в Лп. Это следует из непрерывности собственных значений £A1®A1 по 0. Тогда рассматриваемые нормы сходятся с геометрической скоростью почти всюду. Откуда следует, что

lim||7k|| <+да, к = 1,2,...Pe-п.н. (10)

Согласно [8], процесс Yn является марковским.

Лемма 1. Марковская цепь (7) является у-неразло-жимой, где у - максимальная мера неразложимости. Кроме того, supp у = Rq.

Доказательство. Утверждения леммы следуют из разложения (8), результата из [8] и определения максимальной меры неразложимости и носителя меры в [8].

Лемма 2. Марковская цепь (7) при условии H1) является апериодической позитивной Харрисовой цепью.

Доказательство. Можно показать, что марковская цепь (7) представляет собой апериодическую Г-цепь (см [8]). Тогда утверждения леммы следуют из условия Hi), (10), леммы 1 и результатов из [8].

В дальнейшем для построения гарантированной оценки линейных параметров потребуется следующее важное свойство марковской цепи (7).

Теорема 1. Процесс (7) при условии H1) является

1 + ||х||2 -равномерно эргодическим, причем для него выполняется условие (V4) из [8] и величина 1 - ß в этом условии равномерно по 0 е K ограничена сверху константой строго меньшей единицы, где K - компакт в области А^.

Доказательство. Теорему можно доказать, используя условия равномерной эргодичности из [8] и леммы 1, 2. Последнее утверждение теоремы следует из непрерывности собственных значений матрицы Ee>aAi®Ai по 0.

ОЦЕНИВАНИЕ ЛИНЕЙНЫХ ПАРАМЕТРОВ МОДЕЛИ ARCH(^)

Цель этого раздела - показать, что разработанная схема оценивания, основанная на оценке наименьших квадратов, может быть использована для определения линейных параметров (1) с заданной точностью.

Утверждение 1. Для модели (1) выполнено условие Xq(Mn) ^ да, при n ^ да Р0-п.н., где Xq(A) обозначает минимальное по модулю собственное значение матрицы A.

Доказательство. Утверждение можно доказать, используя непрерывную зависимость корней многочлена от его коэффициентов и положительную определенность матрицы F (см. [1]).

Введем случайную величину

n0=inf {i ^1: л (м )> °!

которая конечна Р0-п.н. в силу утверждения 1. Последовательная оценка МНК линейных параметров процесса (1) определяется следующим образом:

T(h)

9 (А) - Mx(h) Е ßkXk-1Lk-1Xk ; k-1

т(А)

Mkh) - ZßkXk-1-Xk-1;

(11)

т(А) - inf { n > n0 : ||M

2 ||1/2 11

-1 * h J>

(12)

Мп задается (2). Величина -к находится из соотношения р (1, если к <т(й), -

вк = 1^/;ч , а в (к) задана уравнением

1р (к), если к = т(к),

r(h)-1 , _

Е Xk-1 Xk-1 +ß(h)x k-1

T(h)-1 XT(h )-1

- h

Утверждение 2. Ре-п.н. (9 e K) выполняется предельное соотношение lim = F = E9L02Y0Y0, где F -

n n

не случайная, положительно определенная матрица, L0 определяется на базе вектора Y0, Yn - стационарная версия процесса Yn.

Доказательство. Результат следует из леммы 2 (см. [8]), а положительная определенность F доказывается, как в [1].

Лемма 3. Стационарный процесс (7) удовлетворяет условию сильного перемешивания с геометрической скоростью сходимости, где соответствующий коэффициент пропорционален sn и s < 1 равномерно по 9 e K.

Доказательство. Утверждение леммы следует из леммы 1, теоремы 1 и результатов из [8].

Лемма 4. Введем функцию G(X) = X (l + XX') 1.

П°ложим ^п = G(Yn \ ~ = G(Yn )• ТогДа, найдется такая константа C > 0, что

supZk - Zk\\\z, - z\ < Сp p

(13)

где К - компакт в области Лп.

Доказательство. Лемму можно доказать, используя разложение в ряд Тейлора нормы разности между процессом (7) и его стационарной аппроксимацией, а также разложение (8) и неравенства (9).

Лемма 5. supE9| Е

z Z - Z Z

< +да.

Доказательство. Утверждение леммы получим, используя лемму 4 и теорему о мажорируемой сходимости. Лемма 6. Для любого компакта К с Лп

sup F

9eK 11

< +да

и функции от 9 F, F 2 равномерно непрерывны на K.

Доказательство. Используя результат из [6], неравенство для симметричных матриц Ц-EMj|2 < 441, неравенства (9) и (13) можно показать, что F непре-

рывна по 9 на K. F

выражается через собствен-

ные числа F, которые также непрерывны по 9 на К. Лемма 7. Для всех п > 0 имеет место соотношение

1Е í ад'- F ]

Е sup P9

n-1 9eK

n k-0

> n I < +да.

Доказательство. Используя неравенство Коши-Бу-няковского, леммы 3, 5, неравенство для ковариаций и коэффициентов сильного перемешивания (см., например, [4]) и теорему о больших уклонениях [3]), можно получить утверждение леммы.

1/2

2

k-0

2

1/2

2

k-1

Лемма 8. Для всех к > 0

Ее ^Мх < £ет. (14)

Доказательство. Доказательство сразу получается, если расписать величину 1т Мт.

Основные свойства гарантированной оценки приведены в следующих теоремах.

Теорема 2. Пусть процесс (1) устойчивый, и его линейные коэффициенты лежат в области Лп. Тогда для всех компактных множеств К с Лп

lim sup

h^“ 9еК

E Ttl -|F-2II

E h Ir II

= 0.

Доказательство. Сначала с помощью лемм 6 и 7

x(h)

. * E h^+“ 9еК

можно показать, что lim supEe ~ч;"/ < +да. Для этого

h

М„

- F

>П |.

достаточно сходимости ряда Е 5иР^е

п=1 ееК

Дальнейшее доказательство проводится с использованием леммы 7.

Теорема 3. При условиях теоремы 2 для всех компактных множеств К с Л„

I* ii2 а

9 (h)-в <-К(1 + о(1)),

ве К h

а к = F

|1/2

(15)

Утверждение 3. Матрица ЕЗД приближается к Е

по норме с геометрической скоростью при к ^ да.

Доказательство. Результат основан на неравенствах

(13), \\EMf < Щм\|2, (где М — симметричная матрица)

Хк = ^к—1 (Хк ,К , Хк—д+1 ) .

и свойствах статистики

Учитывая последнее утверждение, за приближенное

|_2||1/2 Е | опре-

деляет предельное значение среднего времени остановки последовательной процедуры Еет(к), деленное на порог к, при к ^ да и верхнюю границу стандартного отклонения последовательной оценки е (к).

Эксперимент включал 50 повторений последовательной процедуры (11), (12) для каждого порога к при различных значениях параметров е1, е2 в (16). Результаты приведены в табл. 1 и 2.

Т а б л и ц а 1

Наблюдаемые объемы выборок в последовательном случае

0(1) ^ 0 при к ^ да .

Доказательство. Теорему можно доказать, используя утверждение 1, результат для среднеквадратичного уклонения последовательной оценки из [7], теорему 2 и неравенство (14)

ЧИСЛЕННЫЙ ПРИМЕР

В этом разделе мы приведем результаты численного эксперимента сравнения гарантированной оценки с оценками наименьших квадратов фиксированного объема линейных параметров процесса авторегрессии с условной гетероскедастичностью. Процессом для моделирования послужил двухпараметрический устойчивый АЯСИ-процесс:

Хп = е1Хп-1 +е2Хп-2 +41 + СТ12ХП-1 +ст2Хп-2 Вп , (16)

где еп - н.о.р. стандартные гауссовские, х0 = х-1 = 0. Область устойчивости Л(0,4.0,зу этого процесса при ст1= 0,4, ст2 = 0,3 приведена на рис. 1. о.

91 0,2 0,2 -0,5 0 0,5

92 -0,5 -0,5 0 0 0

°1 0,4 0,4 0,1 0,1 0,1

СТ2 0,3 0,3 0,5 0,5 0,5

h 50 500 50 50 50

T(h) 196 1902 247 211 247

T(h)/h 3,92 3,80 4,94 4,21 4,94

|f _2||1/2 3,99 3,99 4,95 4,10 4,95

Строки табл. 1 с заголовками т(к), т(к)/к и

|-2||1/2

Е | обозначают соответственно наблюдаемое среднее продолжительности процедуры т(к), это число, деленное на к, и предел Еет(к)/к при к ^ да. Значения в табл. 1 показывают, что т(к)/к обеспечивает прием-

|-2|11/2

Е

для средних объемов выборок.

Т а б л и ц а 2 Наблюдаемые стандартные отклонения МНК в случае фиксированной и последовательной выборок

91 -0,4 -0,2 0 0,4

92 0 0 0 -0,5

°1 0,4 0,4 0,4 0,4

Ü2 0,3 0,3 0,3 0,3

h 50 50 50 50

SD(9*) 0,072 0,077 0,079 0,070

Sd(92 ) 0,067 0,065 0,090 0,069

hSD (9*) 4,910 5,056 5,992 4,899

SD( es9j) 0,061 0,076 0,081 0,068

Sd( es92) 0,55 0,064 0,082 0,065

11 2 1/2 IF 4,63 4,25 4,12 4,19

Рис. 1

1/2

2

Строки табл. 2 с заголовками Ж>(б*), Sd( )и hSD^*), ленные теоремой 2. Строки табл. 2 с заголовками

обозначают соответственно наблюдаемые стандартные от- SD( ese) и SD( ese2) обозначают наблюдаемые стан

клонения последовательных оценок e*(h), e*2(h) и то дартные отклонения обычных оцешк МНК, построен; ные по 50 повторениям эксперимента с фиксирован-

же значение при e*(h) = ((h), е2 (h)), умноженное на h. ным объемом выборки, к°т°рый был равен наблюдае-

1/2 мому среднему продолжительности последовательной

Строка табл. 2 с заголовком ||f 2|| обозначает теоре- процедуры (11), (12) при тех же значениях параметров

II ,|2 e1, e2 в модели (16).

тические верхние границы для h^Je (h)-e , опреде-

ЛИТЕРАТУРА

1. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

2. Борисов В.З., Конев В.В. О последовательном оценивании параметров дискретных процессов // АиТ. 1977. № 10. С. 58-64.

3. Саулис Л., Статулявичус В. Предельные теоремы о больших уклонениях. Вильнюс, 1989.

4. Davydov Ju.A. The invariance principle for stationary processes // Theory probab. appl. 1970. Vol. 15. P. 487-498.

5. Feigin P.D. and Tweedie R.D. Random coefficient autoregressive process: a Markov chain analysis of stationarity and finiteness of moments// Journal of time series analysis. 1985. Vol. 6. P. 1-14.

6. Kluppelberg C. andPergamenshchikov S. The tail of the stationary autoregressive process with ARCH errors. Preprint. Munich.: Munich University of technology, Tomsk.: Tomsk State University.

7. Konev V.V. and Lai T.L. Estimators with prescribed precision in stochastic regression models // Sequential analysis. 1995. V. 14. P. 179-192.

8. Meyn S.P. and Tweedie R.D. Markov Chains and stochastic stability. London: Springer Verlag, 1996.

Статья представлена кафедрой высшей математики и математического моделирования факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию «Кибернетика» 20 апреля 2004 г.