Асимптотическая нормальность оценок наименьших модулей коэффициентов пространственной авторегрессии Текст научной статьи по специальности «Математика»

УДК 519.234.3

В. Б. Горяинов

АСИМПТОТИЧЕСКАЯ НОРМАЛЬНОСТЬ ОЦЕНОК НАИМЕНЬШИХ МОДУЛЕЙ КОЭФФИЦИЕНТОВ ПРОСТРАНСТВЕННОЙ АВТОРЕГРЕССИИ

Для процесса пространственной авторегрессии порядка (1,1) установлена асимптотическая нормальность оценок наименьших модулей, вычислена относительная асимптотическая эффективность этих оценок по отношению к оценкам наименьших квадратов.

E-mail: [email protected]

Ключевые слова: пространственная авторегрессия, оценки наименьших модулей, асимптотическая нормальность, асимптотическая относительная эффективность.

В работе изучается авторегрессионное поле Xj, описываемое уравнением

Xij = awX,t-i j+aoiXi j-i+anXi-iij-i +£j, i, j = 0, ±1, ±2,..., (1)

где a = (аю, aoi, ац) — вектор авторегрессионных коэффициентов, а £j — независимые одинаково распределенные случайные величины с нулевым математическим ожиданием E£j =0 и конечной дисперсией

а2 = D £j.

В большинстве работ по оцениванию вектора a предполагается гауссовость поля £j, а сами оценки — различными модификациями оценок максимального правдоподобия и наименьших квадратов [1,2]. Хорошо известно [3], что оценки наименьших квадратов чувствительны к нарушению предположения нормальности £j. В линейных регрессионных моделях и авторегрессионных процессах в этом случае обычно используются оценки, более устойчивые к загрязнению выборки резко выделяющимися наблюдениями, например оценки наименьших модулей [4].

В настоящей работе для параметра a поля (1) строятся и изучаются оценки наименьших модулей, а именно установлена состоятельность и асимптотическая нормальность оценок наименьших модулей для a. Это, в частности, позволило вычислить эффективность оценок наименьших модулей по отношению к оценкам наименьших квадратов для основных типов вероятностных распределений поля £j.

Постановка задачи и формулировка основных результатов. Рассмотрим поле (1), где a = (a10, a01, a11) — неизвестный вектор параметров, а £j — независимые одинаково распределенные случайные величины с функцией распределения F(x) и плотностью f (x).

Будем предполагать поле (1) стационарным. Как показано в [1], достаточным условием этого является отсутствие корней уравнения

1 — — аса — ац^^ = 0

внутри единичного полидиска

к |< 1, Ы< 1.

Обозначим а = (а1с, ас1, а11)т оценку наименьших модулей параметра а, построенную по наблюдениям X = {X}}, г = 0,... , т, ] = 0,..., п. Другими словами, а — точка минимума функции

т п

^(а) = — а1СХг—1— аС1Хг,^'— 1 — а11Хг—1,}—^ . (2)

г=1 "=1

Теорема. Пусть функция распределения Г (ж) и плотность f (ж) независимых одинаково распределенных случайных величин ег} в (1) удовлетворяет следующим условиям:

Г (0) = 1, (3)

f (0) > 0, f (ж) непрерывна в нуле, (4)

/те

|/(ж)| ^ж< то, (5)

-те

Ее^ = 0, (6)

Ее2} < то. (7)

Тогда при т, п ^ то случайный вектор ^тп(а — а) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей — 1, где

^ 2(0)

(Гс,с Г1,-1 Гс,-1 Г—1,1 Гс,с Г-1,с Го,1 Г1,с Гс,с

а га—Рв—д = Е(ХавХрд), (а, в) € I, (р, д) € I.

Доказательство. Обозначим для всех г = 1,..., т, = 1,..., п

= ,-(Ь1СХг—1+ ЬС1Хг,} —1 + Ь11Хг— 1,} — 1),

л/тп

^г} |ег} 1 |ег}|, ^г} ), ^г} ^г} + ^г}.

Отметим, что а минимизирует (2) тогда и только тогда, когда Ь =

= \/mn(a — a) минимизирует функцию

m n

*=1 /=1

Установим на множестве пар индексов (i, j), i, j € порядок, полагая (р, д) < (1, j), если д < j или д = но р < 1 Обозначим А/ а-алгебру, порожденную : (р, д) < (1, j)}. Учитывая, что

] = Е[Е(% А)] = ЕК? е(ЙЩп(% )|А/)] = 0,

представим L(b) в виде

L(b) = Ll - L2 + Lз,

где

т п т п т п

Ll = Е Е Е[^'А], ^ = Е Е , Lз = Е Е(^'-ЕК/]).

г=1 /=1 г=1 /=1 г=1 /=1

Обозначим

е/(г) = Е(|е/ - г| - ), 1 = 1,... ,т,= 1,... ,п. Отметим, что

0 4 сю

/ г/(ж) ^ж + /(г - 2ж)/(ж) ^ж - г/(ж) ¿ж, г > 0,

ßij(t) = <

зо 0 t

t t oo

у г/(ж) ^ж + у (2ж - г)/(ж) ^ж — у г/(ж) ¿ж, г< 0.

с 0 0

Так как е/ (г) = 2^(г) - 1, то с учетом ег/ (0) = 0, е/ (0) = 0, (0) = 2/(0) получим

е*/(г) = /(тг)г2, Т = т/(г) € (0,1), 1 = 1,...,т, ; = 1,...,п.

(8)

Учитывая (8), независимость от А/ и измеримость и/ от А/, представим L1 в виде L1 = L11 + L12, где

т п т п

Lll = / (0) Е Е Е[и2/ ], Ll2 = ЕЕ Е[(/(ти*/) - / (0))и2/ ].

*=1 /=1 *=1 /=1

Из закона больших чисел [5, гл.У1, § 3] для стационарных процессов следует, что при т, п ^ то по вероятности

1 т п

=/(0) —ЕЕ Е Е ^] ^

*=1 /=1 (Р,д)е1 (а,в)е!

^ f (0) ^^ ^^ Е(Ха—р,в—ЯХСС)ЬрдЬар = (р,д)е! (а,в)€1

= f (0) Е Да—р,в—ЯЬРЯ.

(р,я)е! (а,в)ех

Так как f (ж) непрерывна в нуле, семейство

Стп = |f (ти11) — f (0)|и2Ь г = = 1,...,n,

равномерно интегрируемо и ^ 0 при т, п ^ то, то [5]

тп

Е|^12|< ЕЕ (т^) — f(0)|«2] =

'=1 }=1

= E[|f(тип) — f(0)|(&1СХс1 + ЬоАо + ЬцХсс)2] ^ 0 при т,п ^ то,

т.е. Ь12 = ор(1) при т, п ^ то. Обозначим

1 т п

Пря = Е Е ЬРЯХг—Р,}—Я ), (Р € 1 П = (П1^ ПСЪ Пи).

тп

'=1 }=1

Тогда Ь2 = пТЬ и согласно центральной предельной теореме для мартингалов [6] вектор п асимптотически нормален с нулевым средним и ковариационной матрицей Д. Далее

тп

ЕЬз = ЕЕ^ — Е(ЕК- ])) = 0.

'=1 }=1

Так как Ард С для всех (р, д) < (г, ), то

Е (ь)г] — Е[^ |Аг}]) \Аря

= ЕЦ} |Ард] — Е(Е[^, |Аг} ] |Ард) = |Ард] — |Ард] = 0. Поэтому

Е

- E[Wpq |Apq]) (wtJ - E [Wj | Aij ])

= E

Следовательно,

(wpq - E[Wpq |Apq ]) E[ (Wj - E [Wj | Aij ]) |Aj

= 0.

m n m n

EL2 = EE E(Wij - E[wj|Aij02 <EE E

i=1 j=1 i=1 j = 1

Отметим, что

{2(г - ж), г>ж> 0, 2(ж - г), г < ж < 0, 0, иначе .

Поэтому

||ж - г| - |ж| + гsign(ж)| < 2|г|/{|г| > |ж|}.

Отсюда, из (7) и из того, что при т, п ^ то Р{|и11| > ^/тп|еп|} ^ 0, получим в силу абсолютной непрерывности интеграла Лебега

mn

EL| < ЕЕ E(4u2jI(К,I > N|})

г=1 ,=1

= 4E[u11J{|un| > v/mn|e11|}] ^ 0, m,n ^ то.

Таким образом, L3 = op(1) при m, n ^ то. Итак,

где

Обозначим

L = f (0)6TRb + + r(b),

r(b) = op(1) при m, n ^ то. = — f) ^

Отметим, что Ь* асимптотически нормален с математическим ожиданием 0 и ковариационной матрицей ^^ Л-1. Покажем, что

Ь - Ь* = ор(1), откуда будет следовать утверждение теоремы. Другими словами, зафиксируем е > 0 и е1 > 0 и покажем, что существуют т0 и п0 такие, что для любых т > т0, п > п0 справедливо

Р{|Ь - Ь*| > е} < £1.

Обозначим и шар радиуса е с центром в Ь*, а Б его границу. Так как Ь* = ор(1), то существует компакт К € К3 и существуют т1, п1 такие, что Р{и € К} < е1 для любых т > т1, п > п1. Так как Л положительно определена, то

7 = т£ гтЛг > 0.

И=е

Известно [7, 8], что сходящаяся по вероятности на выпуклом множестве последовательность выпуклых функций сходится равномерно на любом компактном подмножестве, т. е. г(Ь) ^ 0 равномерно на К.

Поэтому существуют m2, n2 такие, что для любых m > m2, n > n2

sup |r(b)| .

beK 2

Рассмотрим луч b(t) = b* + zt, t > 0, произвольного направления z, |z| = e, выходящий из точки b* и пересекающий S в точке b(1). Так как L(b) выпукла, то при t > 1

L(b(1)) < lL(b(t)) + ^L(b*).

Отметим, что

L(b(1)) = L(b*) + f (0)zTRz + r(b(1)) - r(b*). Поэтому для всех t > 1 для любых m > m2, n > n2

L(b(t)) > L(b*) + t f (0)zTRz - 2f0^ > L(b*).

Следовательно, для любых m > m0 = max{mi,m2}, n > n0 = = max{n1, n2}

P{ inf L(b(t)) > L(b*)} > 1 - ei,

M=£

т. е. для любых m > m0, n > n0

P{|b - b*| < e} > 1 - ei.

Теорема доказана.

Отметим, что условия теоремы справедливы для основных типов вероятностных распределений e^ — нормального, логистического, двойного экспоненциального (Лапласа), равномерного, Стьюдента с числом степеней свободы, большим, чем 2.

Сравнение оценок наименьших модулей и наименьших квадратов при нарушении предположения нормальности инновационного процесса . Оценка наименьших квадратов а определяется как точка минимума функции

m n

Л(а) = ^^ (Xj - aioXi-ij - aoiXij-i - aiiXi-i,j-i)2 .

i=i j=i

В [1] показано, что вектор ^mn(a - a) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей a2R-:L, где а2 — дисперсия ej.

Согласно асимптотической теории оптимальности [9, гл. 5, 6] из двух состоятельных асимптотически нормальных оценок лучшей будет оценка с меньшей асимптотической дисперсией, а отношение этих

дисперсий называется асимптотической относительной эффективностью и служит количественной мерой сравнения оценок.

В многомерном случае при сравнении оценок векторного параметра описанный выше подход применим, если матрицы ковариаций оценок пропорциональны друг другу, при этом асимптотическая относительная эффективность определяется как коэффициент пропорциональности соответствующих ковариационных матриц. Следовательно, асимптотическая относительная эффективность е(/) оценок наименьших модулей а по отношению к оценкам наименьших квадратов а равна

е(/) = 4/2(0)о2.

Таким образом, для того чтобы получить то же самое предельное распределение для оценок наименьших модулей требуется в е(/) раз больше наблюдений, чем для оценок наименьших квадратов. Если распределение е^ нормальное, т.е.

/ Ч 1 - X2

/ (Х) = 6 ^ '

V —по

то е(/) = —, а значит, оценки наименьших квадратов приблизительно

п

в полтора раза эффективнее оценок наименьших модулей. Если е^ имеет двустороннее показательное распределение

1 У2|ж| /(х) = -=-е- - , 0 < 7 < 1, V — о

то е(/) = —, т. е. оценки наименьших модулей в два раза эффективнее оценок наименьших квадратов.

Пусть теперь е^ имеют распределение Тьюки с плотностью

1 1

/(х) = (1 - 7)—= е 2 + 7е 2т2. V — п у —пт

Распределение Тьюки моделирует засорение нормального инновационного поля е^ некоторой долей 7 грубых ошибок, представляющих собой также нормальные случайные величины, но с большей дисперсией т2. В этом случае

о2 = (1 - 7) + 7т2,

4/2(0) = — (1 - 7 + 2)

пт

Поэтому

2

e(f) = -(1 - 7 + Y/т)(1 - Y + YT2). n

С ростом т значение e(f) неограниченно возрастает. Таким образом, асимптотическая относительная эффективность оценок наименьших модулей по отношению к оценкам наименьших квадратов может быть сколь угодно велика.

Например, e(f) > 1 для т = 3 и 7 = 0,1, т.е. если среди нормальных случайных величин £j каждая десятая в три раза "грубее" остальных, то оценки наименьших модулей по эффективности уже превосходят оценки наименьших квадратов.

Заключение. Оценки наименьших модулей параметров пространственной авторегрессионной модели являются состоятельными и асимптотически нормальными. Они значительно (примерно в полтора раза) уступают в эффективности оценкам наименьших квадратов, если наблюдения авторегрессионного поля являются нормальными и измеряются безошибочно. Однако оценки наименьших модулей демонстрируют лучшую эффективность по отношению к оценкам наименьших квадратов (которая может быть сколь угодно большой), если плотность распределения вероятности инновационного поля имеет пик в нуле или сравнительно медленно убывает на бесконечности (имеет "тяжелые хвосты").

СПИСОК ЛИТЕРАТУРЫ

1.Tjostheim D. Statistical spatial series modelling // Advances in Applied Probability. - 1978. - V. 10. No. 1. - P. 130-154.

2. Davydov Y., Paulauskas V. On estimation of parameters for spatial autoregressive model // Statistical Inference for Stochastic Processes. - 2008. - V. 11. No. 3. - P. 237-247.

3. M a r o n n a R. A., Martin D., Y o h a i V. Robust statistics. Theory and methods. - Wiley, 2006. - P. 403.

4. BloomfieldP. Least absolute deviations: Theory, applications, and algorithms. - Birkhauser, 1983. - P. 364.

5. Ширяев А.Н. Вероятность. - М.: Наука. Физ.-мат. лит., 1980. - 576 c.

6. M c L e i s h D. L. Dependent central limit theorems and invariance principles // The Annals of Probability. - 1974. - V. 2. - No 4. - P. 620-628.

7. A n d e r s e n P. K., G i 11 R. Cox's regression model for counting processes: A large sample study // Annals of Statistics. - 1982. - V. 10. - P. 1100-1120.

8. P o 11 a r d D. Asymptotics for least absolute deviation regression estimators // Econometric Theory. - 1991. - V. 7, No. 2. - P. 186-199.

9. Леман Э. Теория точечного оценивания: Пер. с англ. - М.: Наука. Гл. ред. физ.-мат. лит., 1991. - С. 448.

Статья поступила в редакцию 15.07.2010

Владимир Борисович Горяинов — канд. физ.-мат. наук, доцент кафедры "Математическое моделирование" МГТУ им. Н.Э. Баумана.

V.B. Goryainov — Ph. D. (Phys.-Math.), assoc. professor of "Mathematical Simulation" department of the Bauman Moscow State Technical University.