CC BY
64
ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
УДК 519.234.3
СРАВНЕНИЕ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ И НАИМЕНЬШИХ МОДУЛЕЙ ПАРАМЕТРОВ ПРОЦЕССА АВТОРЕГРЕССИИ СО СЛУЧАЙНЫМИ КОЭФФИЦИЕНТАМИ
В.Б. Горяинов1, Е.Р. Горяинова2
ХМГТУ им. Н.Э. Баумана, Москва, Российская Федерация e-mail: vb-goryainov@bmstu.ru
2Национальный исследовательский университет "Высшая школа экономики", Москва, Российская Федерация e-mail: el-goryainova@mail.ru
Изложен метод вычисления асимптотической относительной эффективности оценки наименьших модулей по отношению к оценке максимального правдоподобия для параметра авторегрессионного уравнения первого порядка со случайным коэффициентом. Метод основан на приближении асимптотической относительной эффективности ее рядом Тейлора. Рассмотрен пример вычисления асимптотической относительной эффективности для случая, когда распределение обновляющего процесса имеет приближенное гауссовское распределение (распределение Тьюки). Выяснено, что если предположение о гауссовости обновляющего процесса выполняются лишь приближeнно, то оценка максимального правдоподобия уступает в эффективности оценке наименьших модулей.
Ключевые слова: авторегрессионная модель со случайными коэффициентами, оценка наименьших модулей, оценка максимального правдоподобия, асимптотическая относительная эффективность.
COMPARISON OF MAXIMUM LIKELIHOOD
AND LEAST ABSOLUTE DEVIATE ESTIMATION
IN RANDOM COEFFICIENTS AUTOREGRESSIVE MODEL
V.B. Goryainov1, E.R. Goryainova2
xBauman Moscow State Technical University, Moscow, Russian Federation e-mail: vb-goryainov@bmstu.ru
2National Research University Higher School of Economics, Moscow, Russian Federation e-mail: el-goryainova@mail.ru
The paper presents the calculation method of an asymptotic relative efficiency of the least absolute deviations estimate with respect to the maximum likelihood estimate for the parameter presented in the first order autoregressive model with a stochastic coefficient. The method is based on approximation of its asymptotic relative efficiency by Taylor series. The paper considers an example ofthe asymptotic relative efficiency
calculation for the case where diffusion of the innovation process has an approximate Gaussian distribution (Tukey distribution). It is found out that if the assumptions of the Gaussian process are performed approximately, the maximum likelihood estimate is more efficient than the least absolute deviation estimate.
Keywords: random coefficient autoregressive model, least absolute deviations estimate, maximum likelihood estimate, asymptotic relative efficiency.
Введение. Во многих областях науки и техники (например, [1-3]) эволюционные процессы описываются разностным уравнением
Xt = ф«Xt-1 + Xt-2 +... + +et, t = 0, ±1, ±2,..., (1)
где Ф^,..., Фф, et — случайные величины. Уравнение (1) называется авторегрессионным уравнением порядка p со случайными коэффициентами, а основной задачей при его анализе является оценивание математических ожиданий ^ = ЕФ^,...,^Р = ЕФ^ авторегрессионных коэффициентов Ф^,..., Ф^. Традиционный метод оценивания параметров ..., — обобщенный метод максимального правдоподобия [4, 5]. Альтернатива оценкам максимального правдоподобия — оценки наименьших модулей.
В настоящей работе для авторегрессионного уравнения первого порядка проведено сравнение оценок максимального правдоподобия и наименьших модулей путем вычисления асимптотической относительной эффективности (АОЭ) этих оценок и изучения зависимости поведения АОЭ от параметров процесса Xt.
Оценки максимального правдоподобия и наименьших модулей. Рассмотрим уравнение авторегрессии первого порядка со случайным коэффициентом ^ + nt:
Xt = (р + nt)Xt_i + £t, t = 0, ±1, ±2,..., (2)
где — параметр уравнения, являющийся неслучайным действительным числом; (nt,et), t = 0, ±1, ±2,... — последовательность независимых одинаково распределенных случайных векторов с независимыми координатами, нулевыми математическими ожиданиями En = 0, Eet = 0 и конечными дисперсиями D^t = а^ ^ 0, Det = а2 > 0. Если аП = 0, то коэффициент ^ + nt неслучайный и уравнение (2) — классическое авторегрессионное уравнение. Предположим, что Xt — стационарный процесс. В работе [4] показано, что при условии + + а2 < 1 существует стационарное решение уравнения (2), которое представляется в виде сходящегося с вероятностью единица ряда
X i_1
Xt = ¿ti^t-i, ¿to = 1, ¿ti = Д (<£ + nt_j) для любых i > 0. (3)
i=0 j=0
Предположим, что параметр ^ неизвестен и рассмотрим два метода его оценивания по наблюдениям X0,X1,... ,Xn процесса Xt —
обобщенный метод максимального правдоподобия и метод наименьших модулей.
Обозначим через а-алгебру, порожденную множеством случайных величин , з ^ £}. Обобщенный метод максимального правдоподобия заключается в построении и максимизации условной функции правдоподобия в предположении, что условное распределение X при условии является нормальным. Согласно (1), условное математическое ожидание и условная дисперсия X при условии имеют вид Е(Х4|&-1) = Б^^) = аПХ- + а£2. Поэтому, если бы вектор (п,^) являлся нормальным, то условная функция правдоподобия имела бы вид
= \
(X - ^X_i)2
exp '
i=l
y/2n(a2Xi_1 + a£2) V 2KXi_i + ^2)
Обобщенная оценка максимального правдоподобия фп определяется как точка максимума Ьп(ф).
Обозначим 1п+(ж) = шах(1п(ж), 0) положительную часть логарифма. Пусть в дополнение к перечисленным выше условиям справедливы неравенства Е1п+ |е1| < то, Е1п+ |ф+п1| < то, —то < Е1п |ф+п1| < 0. В работе [4] показано, что в этом случае оценки максимального правдоподобия являются состоятельными и асимптотически нормальными оценками, т.е. фп ^ ф по вероятности при п ^ то и последовательность случайных величин -\/п(фп — ф) сходится при п ^ то по распределению к нормальной случайной величине с нулевым математическим ожиданием и дисперсией
Хо2
Е а2Хо2 + а£2^ . (4)
Оценка наименьших модулей фп параметра ф определяется как
п
точка минимума функции Ьп(ф) = |Х — фХ»-1|. Обозначим через
г=1
/е, /п плотности распределения вероятности е1 и п1 соответственно. Было установлено, что если /е, /п — четные функции и выполнены условия Еп1 = 0, = а^ < то, Ее1 = 0, Бе1 = а2 < то, ф2 + + аП < 1, то оценка фп состоятельна, а последовательность случайных величин у^п(фп — ф) при п ^ то асимптотически нормальна с нулевым математическим ожиданием и дисперсией
ЕХ (5)
4Е2[Х2/£(п1Хо)]' Асимптотическая относительная эффективность. При наличии нескольких оценок одного и того же параметра возникает задача сравнения их друг с другом. Очевидно, что оценка тем лучше, чем меньше
1
ее отклонение от оцениваемого параметра. Если оценка состоятельна, то в скалярном случае за меру качества оценки разумно принять ее асимптотическую дисперсию. Поэтому для сравнения оценки максимального правдоподобия и оценки наименьших модулей необходимо выяснить, какая из двух величин (4) или (5) меньше. Следовательно, мерой сравнения качества двух состоятельных асимптотически нормальных оценок естественно считать АОЭ, которая определяется как обратное отношение их асимптотических дисперсий. В частности, АОЭ е(/п, /е) оценки наименьших модулей по отношению к оценке максимального правдоподобия равна
e(/n,f) =
E
X02
La2X0 + О2,
-1
E(X2)
4E2[X2/£(niXo)] E(X2)E
Xo2
(6)
4Е2 ХО/(П1Х0)]
В соответствии с определением, если е(/п, /е) > 1, то оценка наименьших модулей лучше (точнее) оценки максимального правдоподобия, а если е(/п,/е) < 1, то оценка максимального правдоподобия лучше оценки наименьших модулей.
Отметим, что АОЭ е(/п,/е) зависит от распределения вероятности случайных величин п1 и е1 и одна из этих оценок не будет лучше другой при всех функциях /п, /е. Поэтому необходимо вычислить АОЭ е(/п, /е) для наиболее распространенных распределений. Однако при определении математических ожиданий в АОЭ е(/п, /е) возникает трудность, связанная с неизвестностью распределения вероятности случайной величины Х0, поскольку она зависит от величин п и £ ^ 0, достаточно сложным образом (см. (3)). В частности, из гауссо-вости величин п и £ ^ 0, не следует гауссовость величины Х0.
Представление АОЭ через моменты авторегрессионного процесса. Используя соотношение 1/(1 — х) = ^ хп, |х| < 1, получаем
Xo2
аПХ0 + О2
X £
n=0
а
n=0
X2 _2 X0
" а2
и
E
X2
(ст* X02 + а2 У а
г 2
n=0
а.
;i) EX0
2n+2
(7)
n и
в предположении, что моменты Е(Х<2п+2) существуют для всех ряд в правой части равенства (7) сходится. Предположим, что функция /е(ж) бесконечно дифференцируема. Тогда из разложения функции
n
n
/е(ж) в нуле в ряд Тейлора и независимости величины ni от X0 имеем
оо
E (X02/£(niXc)) = £ ^^EnnEX0n+2. (8)
n=0 '
Таким образом, вычисление АОЭ свелось к определению моментов ЕХ01 случайной величины Х0 и выяснения условий сходимости рядов (7) и (8).
Поскольку процесс X предполагается стационарным, его моменты ЕХП не зависят от £ и совпадают с ЕХ0\ С учетом этого, а также предположения о независимости и одинаковой распределенности (п4,е4) возведем обе части (2) в п-ю степень, применим операцию математического ожидания и запишем выражение ЕХП = Е((<^ + п^Х^ +
п
+ е)П = 12 СЕХк_1ЕеП_кЕ(^ + , из которого вытекает рекур-
к=0
рентное соотношение для моментов Е(ХП):
п-1
ЕХоП = 1 - Е(у + щ)п Е СПЕХок^Е(^ + Ы*. (9)
Равенство (9) накладывает ограничения на функции /п и /е, в частности случайные величины п, е не могут быть нормальными. Действительно, если величины п1 и £1 имеют нормальное распределение, то для любого натурального п: Еп2П = (п - 1)!!^, Е^-1 = Ее^-1 = 0, где (п — 1)!! = 1 • 3 • 5 • • • (п — 1). Поэтому Еп2п ^ то при п ^ то и 1 — Е(<^ + п1 )2п < 0 при ^ > 0 и достаточно больших значениях п, в то время как сумма в правой части (9) остается всегда положительной. Таким образом, ЕХ^ < 0 для достаточно больших значений п, что невозможно.
Усеченное нормальное распределение. Преодолеть эту трудность можно, предположив, что величины п имеют усеченное нормальное распределение:
1
e ж2/(2^2), если |x| < ;
/п (х) = { 2Фо(кш
0, если |х| > ,
где Ф0(х) = I __е_2/2^£ — функция Лапласа; ш и — некоторые
.! у2п
о
положительные постоянные. В частности, при = 3 имеем аппроксимацию нормального распределения с помощью "правила трех сигм", а увеличивая постоянную , можно сколь угодно точно аппроксимировать нормальное распределение усеченным нормальным распределением, что достаточно для практических приложений. В этом случае
En" = 0 для нечетных значений n и
шк,
E^2" = / x2n-1-= e-x2/(2w2)dx =
1 1 2Ф0(кш
—шк,
^ 'r fn + ^ - Г (n + 1 «] |. (10)
2Ф0(кшV V 2) \ 2 2
oo
Здесь r(z) = J tz e 4 dt, Г(а, z) = / ta 1e 4 dt — гамма-функция
0
неполная гамма-функция. В частности,
шк,
En2 = / x2_ ,т 1 e—x2/(2^dx =
-шк,
2Ф0(кш )^v/2n
^Ф0(кш)
e—к^/2
= w2 i 1--^- I ^ w2 при кш ^ то. (11)
Кроме того,
En2n < i Мш)2n ,f 1 f-e—x2/(2-2)dx = (шкш)2n (12)
2Ф0(кш 2n
-шк
и
n
|E(^ + ni)n| < E C" |Enk | Mn—к < (M + шкш)n. (13)
к=0
и
Из неравенств (12) и (13), представления (3) и независимости (nt,£i), t = 0, ±1, ±2,..., следует, что при |<^| + < 1
EX" = E E^ok Ee—к
к—0
= ^ £ юъ£(М + )"к = 1 — ^)„. (14)
к—0 к—0
Найдем условия сходимости рядов (7) и (8). Если величины е являются нормальными, то Ее^" = (2п — 1)!!а2п и из (14) следует, что ЕХ2" ~ Ее2" = (2п — 1)!!а^п при п А ж. Поэтому ~ (2п — 1)!! А 0 при п А ж и ряд (7) расходится.
Предположим, что величины как и величины п4, тоже имеют усеченное нормальное распределение:
, ч ( -1-== е_х2/(2-2), если |х| < ако;
/ (х) = I 2Фо(к- )а—2П , 1 1 - -' (15)
[ 0, если |х| > ако,
где а, ко — некоторые положительные постоянные. Тогда аналогично (11), (12) имеем
( к е_к22/2 \
Ее? = а2 1 — - , (16)
1 V —2пФо(к-)) , ' }
Ее2П - (ак-)2п. (17)
Пусть
М + шкш < 1. (18)
Тогда П1 — (М + )2п ^ 0 при п ^ то. Поэтому из (14) и признака Коши сходимости рядов следует, что ряд (7) абсолютно сходится, если апако/ае < 1, что равносильно (см. (11), (16)) условию
k e-fe2/2 | 1 - e
k. e-k2/2
< 1.
v/2Ä(kJ)
В частном случае, когда кш = ко, это выражение превращается в неравенство шкш < 1, которое поглощается условием (18).
Вычисление АОЭ. Перейдем к изучению сходимости ряда (8), где функция /е(х) имеет вид (15). Функция /е(х) вида (15) разрывна,
поэтому в (8) заменим ее функцией /е(х) = -== е_х2/(2-2),
2Ф0(к-)ау 2п
ряд Тейлора которой сходится на всей числовой оси. В этом случае
{0, если |х| — ако;
--=е_х2/(2-2), если |х| > ак-,
2Фо(к-
и для всех действительных х:
|/е(х) — /е(х) | — -1-= е_к2/(2-2).
1 ( ) ( )1 — 2Фо(к-)а—2П
Поэтому
E(X2/£(niX0)) - E(X02/£(niX0))
<_e-k2/(2.2) —^ о
при к, А ж, и Е(Х<2/е(п1 Х0)) можно сколь угодно точно аппроксимировать величиной Е(Х(2/е(п1Х0)), увеличивая по мере необходимости постоянную к,. Оценку точности можно получить, вычисляя момент ЕХ^ по формуле (9), которая при п = 2 имеет вид
ЕХ = Ее2
^ 1 — — Еп2'
Более точную оценку точности можно найти, используя неравенство Коши - Буняковского и второе неравенство Чебышева. Обозначив через I(|п1Х0| > а к,) индикаторную функцию множества {|п1 Х0| > а к,}, получим
Е(Х2/£(П1Х0)) — Е(Хэ/е (П1Х0)) =
= |Е (Х/пЛ)!(|тХ)| > ак,))| <
< /е (Х04/£2(П1Х0))Е(/(|пхХс| > ак,)) <
ЕП2ЕХ02 = ^Х2^4 , (19) "V 0 8па2Ф0(к,) а2к^ 8па4Ф2(к,е ' (9)
Таким образом, если величины п и имеют усеченное нормальное распределение, то
Е (/- £ ет Е"2"ЕХ«"+2,
где ЕХ^2 и Е^2" вычисляются по формулам (9) и (10).
Пример. Пусть п и имеют усеченное нормальное распределение, = 0,2, кш =3, ш = 0,1, к, = 3, а = 3 ив формулах (7), (8) берутся первые шесть членов суммы. Тогда АОЭ оценки наименьших модулей по отношению к оценке максимального правдоподобия равна 0,637, при этом значение погрешности вычисления АОЭ, связанной с заменой функции /е функцией /е согласно (19), не превышает 0,000113. Таким образом, для достижения одинаковой точности оценки наименьших модулей необходимо примерно в 1,5 раза больше наблюдений, чем при оценке максимального правдоподобия. Высокая эффективность оценки максимального правдоподобия объясняется тем, что она по определению является наилучшей, если процесс X имеет нормальное распределение. Между тем истинное распределение X не сильно отличается от нормального, поскольку вследствие небольших значений ^ и ш распределение X согласно (3) практически совпадает с распределением
Усеченное распределение Тьюки. История применения метода максимального правдоподобия показала, что он достаточно чувствителен даже к небольшим нарушениям в предположении о распределении
случайных величин. Хорошей моделью нарушения предположений о нормальности является распределение Тьюки (см. [6]) с плотностью
/(Х) = (1 -7)е-ж2/(2т2) + 71 е-ж2/(2.2), 0 < 7 < т> V2пт у2па
Последовательность случайных величин, имеющих распределение Тьюки, имитирует типичное на практике загрязнение последовательности нормальных величин с нулевым математическим ожиданием и дисперсией т2, добавляя в нее случайно с вероятностью 7 нормальные случайные величины также с нулевым математическим ожиданием, но с большей, чем т2, дисперсией а2.
Если величины имеют усеченное нормальное распределение, а — распределение Тьюки, то
Ее? =
0, если п нечетно;
(п — 1)!!((1 — 7)тп + 7^п, если п четно.
Следовательно, ряд (7) будет расходиться. Поэтому предположим, что величины е1 имеют усеченное распределение Тьюки:
/е(х) = (1 — 7 )£1(х) + 7g2(x),
где
е-х2/(2т 2)
, \ I -, если Ixl < kTт;
gi(x) = { 2Фо(кт)тл/2Л 1 1 "
0, если |x| < kTт,
e-x2/(2a2)
g2(x) = < 2Фо(кст
если |x| < а;
0, если |х | < а,
кт, т, , а — некоторые положительные постоянные. Вычисляя АОЭ по формуле (6), получаем, что она не только превышает в ряде случаев единицу, но и может быть сколь угодно большой с возрастанием доли загрязнения 7 и уровня загрязнения а. Изложенное хорошо иллюстрируют зависимости АОЭ от величин 7 и а. Для определенности предполагалось, что ^ = 0,1, ш = 0,01, = 3, кт = 3, т = 1, = 3.
Зависимость АОЭ от величины а при различных значениях 7 приведена на части а рисунка, а зависимость АОЭ от величины 7 при различных значениях а — на части б рисунка. Видно, что с возрастанием величин 7 и а АОЭ увеличивается, становясь при а > 2,22 для некоторых значений 7 больше единицы, что свидетельствует о превосходстве для этих значений параметров 7 и а оценки наименьших модулей над оценкой максимального правдоподобия. Отметим, что при 7 > 0,5 роль засорения наблюдений начинают играть случайные
Зависимости АОЭ от величины а (а) при y = 0,01 (7), 0,1 (2 ), 0,2 (5) и от величины y (б) при а = 2,22 (4), 3,0 (5), 4,0 (6)
величины с дисперсией т, а не а, этих засорений с увеличением параметра 7 становится все меньше и меньше. Именно этим объясняется падение эффективности при 7 > 0,5. На практике значение 7 обычно не превышает 0,15.
Заключение. В работе изложен метод вычисления АОЭ оценки наименьших модулей по отношению к оценке максимального правдоподобия для параметра авторегрессионного уравнения первого порядка со случайным коэффициентом. Установлено, что если предположения о распределении обновляющего поля выполняются лишь приближенно, то оценка максимального правдоподобия уступает в эффективности оценке наименьших модулей.
ЛИТЕРАТУРА
1. Nicholls D.F., Quinn B.G. Random coefficient autoregressive models: an introduction. N.Y.-Berlin: Springer-Verlag, 1982. 154 p.
2. TongH. Nonlinear time series. A dynamical system approach. N.Y.: Clarendon Press, 1990. 564 p.
3. Diaconis P., Freedman D. Iterated random functions // SIAM Rev. 1999. Vol. 41. No. 1. P. 45-76.
4. Aue A., Horvath L., Steinebach J. Estimation in random coefficient autoregressive models // J. Time Ser. Anal. 2006. Vol. 27. No. 1. P. 61-76.
5. Truquet L., Yao J. On the quasi-likelihood estimation for random coefficient autoregressions // Statistics. 2012. Vol. 46. No. 4. P. 505-521.
6. Робастность в статистике. Подход на основе функций влияния / Ф. Хампель, Э. Рончетти, П. Рауссеу, В.Штаэль; пер. с англ. М.: Мир, 1989. 512 с.
REFERENCES
[1] Nicholls D.F., Quinn B.G. Random coefficient autoregressive models: an introduction. N.Y.-Berlin, Springer-Verlag, 1982. 154 p.
[2] Tong H. Nonlinear time series. A dynamical system approach. New York, Clarendon Press, 1990, 564 p.
[3] Diaconis P., Freedman D. Iterated random functions. SIAMRev., 1999, vol. 41, no. 1, pp. 45-76.
[4] Aue A., Horvath L., Steinebach J. Estimation in random coefficient autoregressive models. J. Time Ser. Anal, 2006, vol. 27, no. 1, pp. 61-76.
[5] Truquet L., Yao J. On the quasi-likelihood estimation for random coefficient autoregressions. Statistics, 2012, vol. 46, no. 4, pp. 505-521.
[6] Hampel F., Ronchetti E., Rousseeuw P., Stahel W. Robust Statistics: The Approach Based on Influence Function. New York, John Wiley & Sons, 1984. 472 p.
Статья поступила в редакцию 23.09.2014
Горяинов Владимир Борисович — д-р физ.-мат. наук, профессор кафедры "Математическое моделирование" МГТУ им. Н.Э. Баумана. Автор 48 научных работ в области робастного анализа нелинейных стохастических процессов.
МГТУ им. Н.Э. Баумана, Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5.
Goryainov V.B. — Dr. Sci. (Phys.-Math.), professor of "Mathematical Simulation" department of the Bauman Moscow State Technical University. Author of 48 publications in the field of robust analysis of nonlinear stochastic processes.
Bauman Moscow State Technical University, 2-ya Baumanskaya ul. 5, Moscow, 105005 Russian Federation.
Горяинова Елена Рудольфовна — канд. физ.-мат. наук, доцент кафедры высшей математики факультета экономики НИУ ВШЭ. Автор 31 научной работы в области непараметрических статистических методов.
Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ), Российская Федерация, 101000, Москва, ул. Мясницкая, д. 20.
Goryainova E.R. — Cand. Sci. (Phys.-Math.), assoc. professor of Higher Mathematics department of the Faculty of Economics at the National Research University Higher School of Economics. Author of 31 publications in the field of nonparametric statistical methods.
National Research University Higher School of Economics, ul. Myasnitskaya 20, Moscow, 101000 Russian Federation.
Просьба ссылаться на эту статью следующим образом:
Горяинов В.Б., Горяинова Е.Р. Сравнение оценок максимального правдоподобия и наименьших модулей параметров процесса авторегрессии со случайными коэффициентами // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. 2015. № 3. C. 20-30.
Please cite this article in English as:
Goryainov V.B., Goryainova E.R. Comparison of maximum likelihood and least absolute deviate estimation in random coefficients autoregressive model. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Estestv. Nauki [Herald of the Bauman Moscow State Tech. Univ., Nat. Sci.], 2015, no. 3, pp. 20-30.
