CC BY
12Краткие сообщения
УДК 519.233.2, 519.246.8
ДВУХШАГОВЫЕ ОЦЕНКИ ТИПА МИНИМАЛЬНОГО РАССТОЯНИЯ ДЛЯ ПАРАМЕТРОВ МОДЕЛИ ARMA(1,1)
И. Г. Эрлих1
Строятся новые оценки минимального расстояния с помощью предварительной оценки. Доказывается асимптотическая гауссовость построенной оценки с использованием равномерного линейного разложения случайно взвешенного остаточного эмпирического процесса в нестандартной окрестности истинного значения параметра. Также обсуждается вопрос асимптотической эффективности построенной оценки.
Ключевые слова: модель ARMA, оценки минимального расстояния, эмпирический процесс, равномерное линейное разложение.
A new type of minimum distance estimate is constructed in this paper based on a preliminary estimate. We establish the asymptotic normality of the estimate using a uniform linear expansion of a randomly weighted residual empirical process. Such an expansion is valid in a non-standard neighborhood of the true parameter value. We also discuss asymptotic efficiency of the proposed estimate.
Key words: ARMA model, minimum distance estimates, empirical process, uniform linear expansion.
1. В данной статье будут предложены новые двухшаговые оценки типа минимального расстояния (м.р.) для параметров модели ARMA(1,1). Метод м.р. окончательно оформился в 50-х годах прошлого века. В частности, в [1] доказана состоятельность оценок м.р. для параметра сдвига в схеме повторной выборки и параметров простейших линейных моделей. В 80-х годах была доказана асимптотическая нормальность параметрических и непараметрических оценок м.р. для параметров линейной регрессии и стационарной авторегрессии. Результаты и соответствующие ссылки можно найти в монографии [2]. В [3] и [4] доказана асимптотическая нормальность оценок м.р. для параметров нелинейных моделей с аддитивными шумами и для ARCH-модели.
В литературе не описаны оценки м.р. для параметров ARMA-модели, что связано скорее не с принципиальными, а с техническими затруднениями. Мы преодолеваем эти затруднения с помощью двухша-гового алгоритма оценивания.
2. Рассмотрим стационарную ARMA(1,1)-модель
параметры a и b неизвестны, |a| < 1, |b| < 1, a = —b; {et}teZ — независимые, одинаково распределенные случайные величины (н.о.р.с.в.) с функцией распределения (ф.р.) F(ж).
Условие (i): Ee1 = 0, Eel < ж, F(ж) имеет дифференцируемую плотность вероятности f (ж), f (ж)>0, sup |f'(x)| < ж.
Определим остатки рекуррентным соотношением
ut = aut-1 + £t + bet-1, t e Z,
^(0) = Щ - вгщ-х - 02^-1 (0), t = 1, 2,..., п,
ео(0) = 0, 0 = (01, 02)Т . Обозначим с := (а, Ь)Т.
Введем вектор е := , где {V} и суть стационарные решения уравнений
V = а^-1 + ^ = -Ь^-1 + t е Рассмотрим эмпирический процесс
д£ь{в) дв
1 Эрлих Иван Генрихович — асп. каф. теории вероятностей мех.-мат. ф-та МГУ, e-mail: erlikh-ivan@yandex.ru.
где Fn(x, 0) = n i I (0) ^ x} — эмпирическая ф.р., построенная по остаткам; t=i
Здесь hi (x) и h2(x) — априорно выбираемые функции, причем выполнено
Условие (ii): hi(x) дважды непрерывно дифференцируемы, sup |h^(x)| < то, sup (x)| < то, i = 1, 2, и Ehi(vi) = 0, Eh2(^i) = 0, Eh1(vi) < то, Eh^(^i) < то, J := E [h(eo)e^] > 0.
Заметим, что условие (ii) выполнено, если hi(x) = h2(x) = x.
В работах 80-х годов прошлого века при определении эмпирического процесса типа (1) вместо эмпирической ф.р. Fn(x, в) использовалась ф.р. F(x) в случае, когда распределение инноваций известно. Если же F(x) неизвестно, но выполняется условие симметрии распределения инноваций, то в качестве Fn(x, в) выступала функция 1 — I {£¿(0) ^ —x}. Идея использовать эмпирическую ф.р., построенную по остаткам, при определении эмпирического процесса типа (1) была описана в [4]. Это позволило построить оценку м.р. для параметра АИСН(1)-модели в случае, когда распределение инноваций неизвестно и нет условия симметрии. В ARMA(1,1) предельное распределение оценки м.р., построенной с помощью эмпирического процесса (1), будет таким же, как если бы вместо Fn(x, 0) стояла функция F(x).
Пусть сп — некоторая предварительная у^-состоятельная оценка для с. В качестве таковой можно взять, например, оценку наименьших квадратов (см. [5, § 8]). Определим оценку минимального расстояния (MD-оценку): Cn,MD := ArgminAKn(0), где
A ={0 е R2 : ||0 — Cn|| < n-i/2 logn}, Kn(0) = J ||wn(x, 0)||2 dG(x).
—те
Здесь ||-|| — евклидова норма и G(x) — априорно выбираемая функция, причем выполнено
Условие (iii): функция G(x) не убывает, ограничена и непрерывна на R.
В силу условия (iii) функция Kn(0) непрерывна по 0, а значит, достигает своего минимума на компакте. Таким образом, оценка Cn,MD всегда определена.
В работах [2-4] для нахождения оценки м.р. соответствующий функционал Kn(0) минимизируют по всем возможным в. Для доказательства асимптотической нормальности оценки устанавливается у/п-состоятельность оценки и находится линейное разложение соответствующего эмпирического процесса в окрестности O(n-i/2) истинного значения параметра. В настоящей работе функционал Kn(0) минимизируется не по всем 0, а лишь по 0 из "асимптотически малого компакта" с центром в некоторой предварительной yn-состоятельной оценке. Этот подход был описан в [6, § 6.6.3]. Таким образом, чтобы исследовать свойство оценки, необходимо получить разложение эмпирического процесса не в стандартной окрестности O(n-i/2) точки с, а в более широкой окрестности O(n-i/2 log n).
Теорема 1. Пусть выполнены условия (i)-(ii). Тогда для любого B > 0
sup
жек,||т ||<в log n
wn(x, с + n i/2T) — Jt f (x) — wn(x) = oP (log i n)
n
где 'П(ж) := п-1/2 ^ Ь(е4-1) [I {£ ^ ж} — ^(ж)] , Ор(1) — бесконечно малая по вероятности величина. 4=1
Доказательство этой теоремы получено обобщением доказательства теоремы 2.1 из [7]. С помощью теоремы 1 устанавливается основной результат данной работы.
Теорема 2. Пусть выполнены условия (¡)—(ш). Пусть сп — некоторая у7п-состоятелъная оценка для с. Тогда верна сходимость по распределению
и1/2(сПмМВ — с) ^ N(0, £), £ = 1-1Е [Ь(ес)Ьт(ео)] (I-1 )та2(/, С),
где 2
а2(/,С)= Е^2,(£1)(/ /2^(ж)) ,^) = У [I {V < ж} —^(ж)] /(ж)^С(ж).
С помощью матричного неравенства Коши-Буняковского нетрудно показать, что минимум величины [Ь(во)ЬТ(ео) (J-1)T достигается при Л-1 (ж) = Л-2(ж) = ж. Аналогично, используя интегрирование по частям и одномерный вариант неравенства Коши-Буняковского, получаем
2
/ 2^С(ж)^ < ЕфС(£1 )ЕфЫьЫ,
где фыь(^) := / '(^)/-1(^), и равенство достигается при фс = фыь. Таким образом, минимум ст2(/, С) достигается при фс = фыь.
При таком выборе функций Л-1, Л-2 и С предельная дисперсия оценки м.р. совпадает с предельной дисперсией оценки максимального правдоподобия.
К сожалению, не всегда существует неубывающая ограниченная функция С, для которой фс = фыь. Например, при £1 ~ N(0,1) получаем фыь(^) = —V и ^С(ж) = (2п)1/2 ехр(ж2/2)^ж, т.е. С не ограничена. В этом случае для любого т ^ 1 положим
^Ст(ж) := I {|ж| < т} (2п)1/2 ехр(ж2/2)^ж.
Тогда Ст(ж) удовлетворяет необходимым условиям и, согласно теореме Лебега, при т ^ ж выполнено
фст ^ фыь, ^2(/,Ст) ^ (ЕфЫь(£1))-1.
Можно показать, что предельная ковариационная матрица оценки м.р. пропорциональна предельной ковариационной матрице GM-оценки, и в частности оценки наименьших квадратов при Л-1 (ж) = Л-2(ж) = ж, которая имеет вид ^ья = J-1 Ее2. Тогда асимптотическую относительную эффективность оценки м.р. по отношению к оценке наименьших квадратов (LS-оценке) можно определить как отношение скалярных множителей предельных ковариационных матриц, т.е.
Е^ а ¡чс(х))2
ЕфС (£1)
В случае, когда инновации еt имеют распределение с тяжелыми хвостами, оценка м.р. может быть сколь угодно лучше оценки наименьших квадратов при подходящем выборе функции С. Например, пусть инновации имеют распределение Тьюки
где <^(ж) — стандартная гауссовская плотность. Выберем ^С(ж) = I {|ж| ^ т} ^ж. Тогда при т ^ж получаем выд,ья ^ ж.
Одно из привлекательных свойств оценок м.р. — высокая эффективность в случае, когда инновации имеют распределение с тяжелыми хвостами. Другое — устойчивость к грубым выбросам, например в духе работы [8]. Этот вопрос заслуживает отдельного обсуждения, чему будет посвящена следующая статья.
СПИСОК ЛИТЕРАТУРЫ
1. Wolfowitz J. Estimation by the minimum distance method in nonparametric stochastic difference equations // Ann. Math. Stat. 1954. 25, N 2. 203-217.
2. Koul H.L. Weighted empiricals and linear models. Hayward (CA): IMS, 1992.
3. Koul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Stat. 1996. 24, N 1. 380-404.
4. Sorokin A.A. On the minimum distance estimates in ARCH model // Math. Methods Stat. 2004. 13, N 3. 329-354.
5. Brockwell P.J. Davis R.A. Time series: theory and methods. N.Y.: Springer-Verlag, 1987.
6. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука, 1997.
7. Boldin M. V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Stat. 2000. 9, N 1. 65-89.
8. Martin R.D., Yohai V.J. Influence functionals for time series // Ann. Stat. 1986. 14. 781-818.
Поступила в редакцию 09.10.2009
