CC BY
11
УДК 519.234 DOI: 10.18698/1812-3368-2019-5-4-18
ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЭКСПОНЕНЦИАЛЬНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ
В.Б. Горяинов vb-goryainov@bmstu.ru
В.М. Кайнг waimyokhing@gmail.com
МГТУ им. Н.Э. Баумана, Москва, Российская Федерация
Aннотация
Цель работы — сравнение оценки наименьших квадратов и оценки наименьших модулей в зависимости от распределения вероятности обновляющего процесса авторегрессионного уравнения. Для достижения этой цели с помощью компьютерного моделирования многократно воспроизведена последовательность наблюдений экспоненциального авторегрессионного процесса, по каждой последовательности вычислены оценка наименьших квадратов и оценка наименьших модулей. Полученные последовательности оценок использованы для вычисления выборочных дисперсий оценки наименьших квадратов и оценки наименьших модулей. Лучшей полагалась оценка с наименьшей выборочной дисперсией. Количественной мерой сравнения оценок выступала выборочная относительная эффективность оценок, определяемая как обратное отношение их выборочных дисперсий. В качестве моделей распределения вероятности обновляющего процесса использованы нормальное распределение, загрязненное нормальное распределение (распределение Тьюки) с различными значениями доли и величины загрязнения, логистическое распределение, распределение Лапласа и распределение Стью-дента с различным числом степеней свободы (в частности, с одной степенью свободы, т. е. распределение Коши). Для каждого распределения вероятности получены асимптотические значения выборочной относительной эффективности при неограниченном увеличении объема выборки наблюдений авторегрессионного процесса. Оказалось, что оценка наименьших модулей лучше оценки наименьших квадратов для распределения Лапласа и загрязненного нормального распределения с достаточно большими уровнями доли и величины загрязнения. В остальных случаях предпочтительнее оценка наименьших квадратов
Ключевые слова
Экспоненциальная авторегрессия, оценка наименьших квадратов, оценка наименьших модулей
Поступила 09.04.2019 © Автор(ы), 2019
Введение. Долгое время основным инструментом для анализа временных рядов были линейные модели, в частности линейные авторегрессионные модели [1]. Линейные модели и сейчас нередко используют на начальной стадии изучения временных рядов, поскольку являются удобными инструментами для прогнозирования и управления. Однако в большинстве случаев временные ряды, встречающиеся в различных областях науки техники, обнаруживают свойства, которые невозможно описать, оставаясь в рамках линейных моделей. Понимая это, исследователи предложили несколько нелинейных моделей временных рядов [2]. Одна из самых удачных нелинейных моделей — модель экспоненциальной авторегрессии [3], которая, в частности, описывает предельные циклы, резонансные скачки, зависимость частоты колебаний от амплитуды, что невозможно в рамках линейной модели. Эта модель применяется во многих областях науки и техники, например, при моделировании нелинейных периодических процессов [4, 5], при моделировании качки корабля [3], в экономике [6], биологии [3], океанологии [7], климатологии [8]. При изучении экспоненциальных авторегрессионных моделей важной задачей является оценивание коэффициентов соответствующего авторегрессионного уравнения. Существуют различные методы оценивания коэффициентов, например, с помощью фильтра Калмана [7].
Настоящая работа посвящена оценкам наименьших модулей и наименьших квадратов. Цель работы — сравнение точности этих оценок в зависимости от распределения вероятности обновляющего процесса авторегрессионного уравнения.
Постановка задачи. Экспоненциальная авторегрессионная модель первого порядка описывается рекуррентным уравнением
X = (ао + Ьов "с° х2-1) Х^ _1 + в£, (1)
где ао, Ьо, Со — действительные числа, являющиеся параметрами модели; , t = 1,2,... — обновляющий процесс, представляющий собой последовательность независимых одинаково распределенных случайных величин с нулевым математическим ожиданием =0 и конечной дисперсией Dst = Бв2 = а2 < да.
Рассмотрим задачу оценивания вектора параметров (а0, Ь0, с0) по наблюдениям Х1, Х2,..., Хп процесса Xt, удовлетворяющего этому уравнению. Наиболее распространенными оценками являются оценки наименьших квадратов (а, Ь, С) и наименьших модулей (а*, Ь*, с*), определяемые как точки минимума функций
t=2
и
ян.к(а, b, c) = XI Xt - (a + be~cXt~1 ) Xt_i
g н.м(а, b, c) = £
Xt -(а + be~cXt~1 | Xt_i
t=2
Сравним между собой точности этих оценок в зависимости от распределения вероятности членов в£ обновляющей последовательности.
Метод сравнения оценок. В статистике случайных процессов существуют различные методы сравнения качества оценок. Так, можно изучать поведение функционала влияния оценок при возмущении наблюдений Х\, Х2,..., Хп, когда оценки могут утрачивать свойство состоятельности [9]. Здесь используем другой подход, связанный со сравнением дисперсий оценок [10].
Точность любой оценки 9 скалярного параметра 0 распределения вероятности произвольной случайной величины естественно измерять ее абсолютным отклонением от оцениваемого параметра 19 - 9 |. Поскольку любая оценка является случайной величиной, разность 9 - 9 также случайна. В связи с этим величину 19 - 0 | разумно усреднить и измерять точность оценки математическим ожиданием Е| 0 -0 | или, что более удобно, величиной Е(0 -0)2. Отметим, что для несмещенных оценок, т. е. таких, что Е0 = 0, величина Е(0 - 0)2 совпадает с дисперсией Б0 оценки 0.
Из двух оценок 01 и 02 параметра 0 лучшей будем полагать более точную оценку, т. е. ту, отклонение которой от оцениваемого параметра является меньшим, а количественно измерять преимущество одной оценки, например, 01 по отношению к другой 02 будем отношением
е(01,02) = ""г2—, которое назовем относительной эффективностью Е(01 -0)2
01 по отношению к 02.
Обычно точность Е(0 -0)2 любой оценки 0 произвольного параметра 0 с ростом числа наблюдений п стремится к нулю пропорционально величине 1/п [11]. В этом случае относительная эффективность е(01, ©2) показывает, во сколько раз больше наблюдений необходимо оценке 02 для достижения точности оценки 01. Например, е(01,©2) = 2 означает, что для достижения одинаковой точности оценке 02 требуется в 2 раза больше наблюдений, чем оценке 01.
2
Моделирование распределения обновляющего процесса. Относительная эффективность зависит от распределения вероятности случайных величин St. Поэтому целесообразно знать ее для основных наиболее распространенных вероятностных распределений. Аргументы для выбора тестовых распределений следующие.
Нормальное, или гауссово, распределение вероятности, имеющее плот-Х2
1 -—
ность /(х) = ,— е 2 , является наиболее распространенным при модели-л/2л
ровании стохастических процессов, что обусловлено центральной предельной теоремой теории вероятностей. Однако именно в силу предельного характера этой теоремы на практике распределение вероятности практически всегда в той или иной степени отклоняется от нормального.
Наиболее распространенная модель такого отклонения — приближенное нормальное распределение вероятности, или распределение Тьюки [12] с плотностью
2 х2 1 -Х- 1 -Хт /(х) = (1 -у)^= е 2 + у .— е 2-с, т>1, 0< у<1, \2к ы2пх
представляющее собой смесь с весами 1 - у и у двух нормальных распределений с нулевым математическим ожиданием — стандартного нормального (с единичной дисперсией) и с дисперсией т2 >1. Замена стандартного нормального распределения приближенным нормальным означает, что в последовательности St, t = 1,2,.., стандартных нормальных величин случайно с вероятностью у элементы последовательности заменяются нормальными случайными величинами с большей дисперсией т2. Эта модель, также называемая загрязненным или засоренным нормальным распределением, хорошо описывает аномальные выбросы в наблюдениях, связанные, например, со сбоями измерительной аппаратуры или с систематическим иррегулярным внешним воздействием на процесс. Величина у показывает долю загрязнения, а величина т — силу загрязнения.
Еще один способ моделирования приближенного нормального распределения заключается в замене его распределением Стьюдента с плотностью
т +1
ч
/ (х) = -
у]ткТ\ —
2
—+1 С x 2 V 1 + —
V — J
где т — параметр распределения, называемый числом степеней свободы. Распределение Стьюдента с большим числом степеней свободы практически неотличимо от нормального, однако с уменьшением т оно все больше и больше отклоняется от нормального вплоть до того, что при т = 2 у распределения Стьюдента отсутствует дисперсия, а при т = 1 (называемого в этом случае распределением Коши) — еще и математическое ожидание.
Кроме нормального распределения, в приложениях естественным образом возникает и распределение Лапласа. Это происходит в случае, когда разумно предполагать, что нормальным является условное распределение величин st, дисперсия которых случайна. Например, точность измерений может определяться степенью запыленности атмосферы. Если полагать известным только среднее значение дисперсии, а в остальном ее положение на числовой оси полагать максимально неопределенным, то методами теории информации можно получить [13], что безусловное распределение в£ будет двусторонним экспоненциальным распределением, или распределением
>/2|х|
1
Лапласа с плотностью f (x) = г e °
V2o
Нередко нормальное распределение можно перепутать с логистическим
e ~ x (1 + e " x )2
распределением с плотностью f (x) = --IXT (в частности, их нередко
путает критерий согласия К. Пирсона).
В связи с изложенным выше сравним с помощью компьютерного моделирования оценку наименьших квадратов и оценку наименьших модулей в случае, когда распределение вероятности st является нормальным, загрязненным нормальным, логистическим, Лапласа и Стьюдента.
Описание компьютерного эксперимента. Вектор наблюдений Х1, Х2,..., Хп генерировался N = 1000 раз, его каждая реализация хг1, хг2, ..., Хп, г = 1,2, ..., N, получена с помощью рекуррентного соотношения (1) с нулевым начальным условием Х0 = 0, параметры в (1) для определенности полагались а0 = -0,3, Ь0 = -0,8, с0 =1, п = 50, 100, 200, 500. Случайные величины st получены с использованием датчиков псевдослучайных чисел программы ЫЛТЬЛВ. Поскольку оценки (а,Ь,с) и (а*,Ь*, с*) векторные, они сравнивались покоординатно. Для определенности рассмотрим оценки Ь и Ь*. Для каждой г-й реализации хг1, хг2,..., хп, г = 1,2,..., N, путем минимизации функций gн.к(а, Ь, с) и gн.м(а, Ь, с) строились оценки Ьг и Ь*, г = 1,..., N, и относительная эффективность е (Ь, Ь*) оценивалась величиной
N
Ж - Ьо)2 eN (Ь, Ь *) = N-.
ЕЬ - Ьо)2
¿=1
Функции £н.к(а, Ь, с) и £н.м(а, Ь, с) минимизировались с помощью алгоритма Левенберга — Марквардта [14], суть которого заключается в комбинации метода Ньютона с методом градиентного спуска.
Результаты моделирования и их обсуждение. Результаты моделирования приведены в таблице.
Оценка еN(Ъ, Ъ ) относительной эффективности метода наименьших квадратов по отношению к методу наименьших модулей при различных распределениях 8(
Распределение et n
50 100 200 500 ж
Нормальное 1,666 1,540 1,480 1,501 1,571
Логистическое 1,208 1,317 1,182 1,293 1,216
Тьюки:
у = 0,01, х = 3 1,575 1,560 1,453 1,443 1,474
у = 0,01, х = 10 0,762 0,808 0,786 0,8882 0,804
у = 0,1, х = 3 1,005 0,999 0,947 1,049 1,002
у = 0,1, х = 10 0,171 0,169 0,161 0,174 0,174
Стьюдента:
m = 15 1,314 1,468 1,382 1,369 1,407
m = 10 1,324 1,368 1,359 1,303 1,321
m = 5 1,010 1,074 1,097 0,977 1,041
m = 4 0,896 0,906 0,880 0,904 0,889
Лапласа 0,678 0,620 0,613 0,559 0,500
Коши 3,527-10~5 1,827 -10~4 5,315-10-5 1,187-10 0
В столбцах со второго по пятый для определенности приведены оценки относительной эффективности Ь по отношению к Ь* (ситуация с оцениванием а0 и с0 аналогичная). Погрешность метода статистических испытаний с увеличением числа испытаний N уменьшается достаточно
медленно (пропорционально ). Это, а также погрешности числен-
ного метода минимизации функций £н.к(а, Ь, с) и £н.м(а, Ь, с) приводят к большому разбросу значений в ячейках таблицы. Тем не менее метод наименьших квадратов эффективнее метода наименьших модулей для нормального и логистического распределений, распределения Стьюдента
с большим числом степеней свободы и для распределения Тьюки с небольшими значениями у и т. Метод наименьших модулей предпочтительнее метода наименьших квадратов для распределения Стьюдента с небольшим числом степеней свободы и для распределения Лапласа. Крайний правый столбец таблицы содержит асимптотические значения еN(Ь, Ь*) при п, N ^да, полученные в следующем разделе, которые хорошо согласуются с результатами моделирования.
Асимптотическое поведение оценок. Анализ таблицы показывает, что величины eN(Ь, Ь*) монотонно изменяются с ростом п. Это наводит на мысль о существовании предельного значения величины eN(Ь, Ь*) при п, N ^ да. Покажем, как можно найти этот предел.
Аппроксимируем функцию gн.к(а, Ь, с), обозначив для простоты g(а,Ь,с), ее разложением по формуле Тейлора в точке (а0,Ь0,с0) до второго порядка включительно. Обозначим
9 = (а - а0),4п( Ь - Ь0),4п (с - ас)
А =
1 (dg(ao,bo,со) dg(ao,bo,cq) dg(ao,bo,cq)'
B =■
yfn v Sa , db ' 5e J
' d2 g (ao, bo, со) d2 g (ao, bo, со) <52 g (ao, bo, со)
da2 dadb dade
1 д2 g (ao, bo, со) d2 g (ao, bo, со) d2 g (ao, bo, со)
n dadb db2 dbde
d2 g (ao, bo, со) d2 g (ao, bo, со) d2 g (ao, bo, со)
dade
В этих обозначениях
dbde
de2
g (a, b, e) = g (a0, b0, e0) + А т0 + - 0т B0 + 5(a, b, e),
где 8 (а, Ь, с) — бесконечно малая функция более высокого порядка при (а,Ь,с) ^ (ао,Ьо,со), чем (а-а0)2 + (Ь-Ь0)2 + (с-с0)2. Непосредственное дифференцирование приводит к
í п п п -
А =
4n
-2YstXt-i, -2tztXt-ie^-1, 2bo ¿^З^е-^-1
V t=2
t=2
d2 g (ao, bo, cq) Sa2
= 2X X2_i, t=2
d2 g (ao, bo, со) dadb
t=2 n
= 2X X2_ie t=2
-со X?_I
g2g(a°' co) = -2bo ±Xj 1e-co*h, g2g(a°' Co) = 2£x2 ^"2^2, t=2 3fr2
dadc
d2 g (ao, bo, co) dbdc
d2 g (ao, bo, co) dc2
t=2
= -2bo EX4_1e"2cox2-i + 2 EstXi3_1e"c°x2-i ,
t=2
t=2
= 2bo2 :Txf_ie"2cox2-i - 2£stX^boe"c°x2-i.
t=2 t=2
Будем предполагать модель (1) стационарной и эргодической. Достаточным условием этого является, например, одновременное выполнение условий | a |< 1, c >0 и а2 < да [15]. В этом случае существует limB.
ц. 1.1 я (a0, b0, С0) т.
Найдем, например, lim----. Из стационарности и эрго-
n^cc n dbdc
дичности последовательностей st и Xt вытекает стационарность и эргодичность последовательностей Xf_lb0e ~2c0 Xt~1 и stx3_1e ~С0 X(~1 [16]. Поэтому по закону больших чисел для стационарных и эргодических последовательностей [16] с учетом Est =0 и независимости st от Xt_1 получим при n ^ да по вероятности
1 n
1 ZXt-1e"2coX2-1 ^ E ( Xo4e"2coXo ),
n V '
t=2
1 n
- YßtXUe~coX2-1 ^ EstE (Xf_1e"c°x2-i ) = o. nt=2 V ' Поэтому при n ^ да по вероятности имеем
1 ¿2g(a°,bo,co) 5c ^ _2boE(x4e^oXo). n db v '
Аналогично вычисляя остальные элементы матрицы lim B, получаем, что по вероятности lim B = 2K, где
f
K =
EXo2
E ( X2e ~co Xo
E ( Xo2e"c°Xo
X2e "2co Xo
-E ( Xo4boe "c° Xo -E ( Xo4boe "2coXo2
2
-E ( X4boe"c°Xo2 ) -E ( X4boe"2c°Xo2 ) E ( Xo6bo2e"2c°Xo2
Таким образом, g (a, b, c) = g (ao, bo, co) + Ат9 + 9т K 9 + 5 (a, b, c), где при n ^ да 5 (a, b, c) ^ o по вероятности.
Рассуждая так же, как и в работе [17], получаем, что асимптотическое распределение точки (а, Ь, с) минимума функции g(а, Ь, с) совпадает с асимптотическим распределением точки минимума квадратичной формы Ат9 + 9т К9, минимум очевидно равен -2 К _1А.
Найдем асимптотическое распределение случайного вектора -2К_1А, для чего докажем, что вектор А является асимптотически нормальным, т. е. слабо (по распределению) сходится при п ^ да к нормальному случайному вектору. Обозначим через А с-алгебру событий, порожденную множеством случайных величин {Х5, 5 < t}. По определению
не зависит от А и Xt_1 измерима относительно А-1. Поэтому из свойств условных математических ожиданий [18] следует, что Е[etXt-11А-1] = Xt-1Е[et | А-1] = Xt-1Еet = 0.
Кроме того, по предположению 0< Ев2 < да, откуда вытекает 0< EX2_1 < да. Таким образом, по центральной предельной теореме для мартингалов [19] случайная последовательность
1 dg (ao, bo, со) 2 «
--~--L£tXt-1
4n da yfn
t=2
является асимптотически нормальной. Поскольку случайные величины st и Xt_i независимы и Est = 0,
г 2 п Л 2 п 2 п
E -rT^tXt-1 = -j= ?E[ztXt-i] = ^= EEstEXt_i = 0. \\n t=2 J vn t=2 vn t=2
Далее, так как при s < t случайные величины st и ssXs_iXt_i независимы и Est = 0, для всех s < t
E [ssXs-iStXt _i ] = Est E [ssXs-iXt _i ] = 0.
Кроме того, из независимости st и Xt_i вытекает E(stXt_i)2 = = o2EX2_i = a2EXg. Следовательно, при n ^ да
f 2 n \ 4 n
D
-¡= X etXt-1 = - E E (etXt-1 )2 ^ 4G2EX0 . sin
УУ1n t=2 J
Таким образом, случайная последовательность
t=2
1 dg (ao, bo, со)
\fn da
асимптотически нормальна с нулевым математическим ожиданием и дисперсией 4 o2EXq.
Аналогично доказывается, что случайные последовательности
1 дg(ao, ЬО, со) 1 дg (ао, Ьо, со)
—¡=—- и —¡=—- являются асимптотически нормаль-
У!П дЬ у/п дс
ными с нулевыми математическими ожиданиями и дисперсиями соответственно 4а2Е | Х0е"2с0Х0 ) и 4Ь0а2Е | Х^е"2с0Хо |.
Далее, рассуждая так же, как при вычислении коэффициентов матрицы К, находим
limE
/dg(a0, b0, c0) 1 dg(a0, b0, С0 ) ^ = 4a2E /X2e-С0X02 \
V 4n da 4n db J v 0 /'
lim eГ 1 dgM^l dg(a0,b0,c0)>| = _4a2E (X4b0eX02 ), n^® \\ n da y/n dc J v '
limE
(dg (ao, b0, c0 ) dg fab b0, c0) ^ = _4a2E / X 4b0e-2c0 X02 \
V 4n db 4n dc ) v 0 /
Поэтому случайный вектор А является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей 4а2К. Следовательно [20], асимптотическая ковариационная матрица вектора -2К_1А, а значит, и оценки наименьших квадратов (а, Ь, с) равны а2 К-1.
Для нахождения асимптотической дисперсии оценки наименьших модулей (а*,Ь*,с*) аналогичные рассуждения провести нельзя вследствие недифференцируемости функции g н.м(а, Ь, с). Для исправления ситуации свернем функцию | х | с последовательностью /т(х) бесконечно дифференцируемых функций, сходящихся при т ^ да к 8 -функции Дирака
5о(х) в нуле. Пусть /т (х) = те~т 2х у ^. Рассмотрим последовательность функций Нт (х) = | | х | /т (х - у) йу, т = 1,2,.. Несложно доказать,
что Нт (х) х | при т ^да равномерно по х е М, поэтому последовательность функций
gm(a, Ь, с) = т ^Хг - ^а + Ье~сХ{~1 ^ Хг-1 при т ^ да равномерно по (а, Ь, с) е Ж3
сходится к функции g нм(а, Ь, с), а, следовательно, асимптотические дисперсии оценки наименьших модулей (а*, Ь*, с*) и точки минимума (а,Ь,с) функции gm(а,Ь,с) совпадают.
Предположим, что плотность распределения вероятности / (х) случайных величин является четной (в частности, все распределения из таблицы таковы). Отсюда и из нечетности производной Н'т (х) функции Ьт (х) вытекает, что Е кт' ^) = 0. Рассуждая так же, как и при выводе асимптотической дисперсии оценки наименьших квадратов и учитывая ЕН'т (г^) = 0, получаем, что асимптотическая дисперсия случайного векто-Е[Ьт(81)2] Л_1
(чит (в1)])2
ра (a, b, с) равна ^——j A 1. Покольку hm(x) x | при m
х
то Ьт(х) ^ sign(x)=— и Ьт(х) ^ 250(х) при т ^да. Поэтому
I х |
Е[ит(б1)2] 1
-- ^ —-— при т ^ <х>. Следовательно, асимптотическая от-
(Е[Ьт(б1)])2 4 / 2(0) р Д
носительная эффективность оценки наименьших модулей по отношению к оценке наименьших квадратов равна а-2 / _2(0).
Выводы. Математическое моделирование показало, что оценки наименьших квадратов и наименьших модулей параметров модели экспоненциальной авторегрессии являются состоятельными, т. е. с увеличением числа наблюдений все точнее и точнее оценивают неизвестные параметры. Точность обеих оценок существенно зависит от распределения вероятности обновляющего процесса, входящего в авторегрессионное уравнение. Если распределение вероятности — логистическое, нормальное, загрязненное нормальное с небольшим уровнем загрязнения или распределением Стьюдента с достаточно большим числом степеней свободы, то более эффективна оценка наименьших квадратов и в этом случае ее следует предпочесть оценке наименьших модулей. Однако если вероятностное распределение обновляющего процесса является загрязненным нормальным распределением с достаточно большим уровнем загрязнения, распределением Лапласа или распределением Стьюдента с малым числом степеней свободы, то следует использовать оценку наименьших модулей.
ЛИТЕРАТУРА
[1] Brockwell P.J., Davis R.A. Introduction to time series and forecasting. Springer Texts in Statistics. Cham, Springer, 20i6. DOI: https://doi.org/i0.i007/978-3-3i9-29854-2
[2] De Gooijer J.G. Elements of nonlinear time series analysis and forecasting. Springer Texts in Statistics. Cham, Springer, 20i7. DOI: https://doi.org/i0.i007/978-3-3i9-43252-6
[3] Ozaki T. Time series modeling of neuroscience data. CRC Press, 20i2.
[4] Merzougui M. Estimation in periodic restricted EXPAR(1) models. Comm. Statist. Simulation Comput, 2018, vol. 47, iss. 10, pp. 2819-2828.
DOI: https://doi.org/10.1080/03610918.2017.1361975
[5] Merzougui M., Dridi H., Chadli A. Test for periodicity in restrictive EXPAR models. Comm. Statist. Theory Methods, 2016, vol. 45, iss. 9, pp. 2770-2783.
DOI: https://doi.org/10.1080/03610926.2014.887110
[6] Olugbode M., El-Masry A., Pointon J. Exchange rate and interest rate exposure of UK industries using first-order autoregressive exponential GARCH-in-mean (EGARCH-M) approach. The Manchester School, 2014, vol. 82, iss. 4, pp. 409-464.
DOI: https://doi.org/10.1111/manc.12029
[7] Ghosh H., Gurung B., Gupta P. Fitting EXPAR models through the extended Kalman filter. Sankhya B, 2015, vol. 77, iss. 1, pp. 27-44.
DOI: https://doi.org/10.1007/s13571-014-0085-8
[8] Gurung B. An exponential autoregressive (EXPAR) model for the forecasting of all India annual rainfall. Mausam, 2015, vol. 66, no. 4, pp. 847-849.
[9] Горяинов В.Б., Горяинова Е.Р. Влияние аномальных наблюдений на оценку наименьших квадратов параметра авторегрессионного уравнения со случайным коэффициентом. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2016, № 2, с. 16-24. DOI: 10.18698/1812-3368-2016-2-16-24
[10] Goryainova E.R., Botvinkin E.A. Experimental and analytic comparison of the accuracy of different estimates of parameters in a linear regression model. Autom. Remote Control, 2017, vol. 78, iss. 10, pp. 1819-1836.
DOI: https://doi.org/10.1134/S000511791710006X
[11] Lehmann E.L., Casella G. Theory of point estimation. Springer Texts in Statistics. New York, NY, Springer, 1998. DOI: https://doi.org/10.1007/b98854
[12] Huber P., Ronchetti E.M. Robust statistics. Wiley, 2009.
[13] Мудров В.И., Кушко В.Л. Метод наименьших модулей. М., Знание, 1971.
[14] Rhinehart R.R. Nonlinear regression modeling for engineering applications: modeling, model validation, and enabling design of experiments. Wiley, 2016.
[15] Chan K.S., Tong H. On the use of deterministic Lyapunov function for the ergodicity of stochastic difference equations. Adv. Appl. Probab., 1985, vol. 17, iss. 3, pp. 666-678. DOI: https://doi.org/10.2307/1427125
[16] White H. Asymptotic theory for econometricians. Academic Press, 2001.
[17] Горяинов В.Б., Горяинова Е.Р. Робастное оценивание в пороговой авторегрессии. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2017, № 6, с. 19-30. DOI: 10.18698/1812-3368-2017-6-19-30
[18] Ширяев А.Н. Вероятность. М., МЦМНО, 2011.
[19] Billingsley P. Convergence of probability measures. Wiley, 1999.
[20] Magnus J.R., Neudecker H. Matrix differential calculus with applications in statistics and econometrics. Wiley, 2007.
Горяинов Владимир Борисович — д-р физ.-мат. наук, профессор кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, i05005, Москва, 2-я Бауманская ул., д. 5, стр. i).
Кайнг Вэй Мьо — аспирант кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, i05005, Москва, 2-я Бауманская ул., д. 5, стр. i).
Просьба ссылаться на эту статью следующим образом:
Горяинов В.Б., Кайнг В.М. Оценивание параметров экспоненциальной авторегрессионной модели. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 20i9, № 5, с. 4-i8. DOI: i0.i8698/i8i2-3368-20i9-5-4-i8
EXPONENTIAL AUTOREGRESSIVE MODEL PARAMETERS ESTIMATION
V.B. Goryainov vb-goryainov@bmstu.ru
W.M. Khing waimyokhing@gmail.com
Bauman Moscow State Technical University, Moscow, Russian Federation
Abstract
The purpose of the research was to compare the least squares estimatate and the least absolute deviation estimate depending on the probability distribution of the renewal process of the autoregressive equation. To achieve this goal, the sequence of observations of the exponential autoregressive process was repeatedly reproduced using computer simulation, and the least squares estimate and the least absolute deviation estimate were calculated for each sequence. The resulting estimation sequences were used to calculate the sample variances of the least squares estimate and the least absolute deviation estimate. The best estimate was the one with the lowest sample variance. The quantitative measure for the estimates comparison was the sample relative efficiency of estimates, defined as the inverse ratio of their sample variances. Normal distribution, contaminated normal distribution, i.e., Tukey distribution, with different values of the proportion and intensity of contamination, logistic distribution, Laplace distribution and Student distribution with different degrees of freedom, in particular, with one degree of freedom, that is, Cau-
Keywords
Exponential autoregression, least squares estimate, least absolute deviation estimate
chy distribution, were used as models of probability distribution of the renewal process. For each probability distribution, asymptotic values of the sample relative efficiency were obtained with an unlimited increase in the sample size of the observations of the autoregressive process. Findings of research show that the least absolute deviation estimate is better than the least squares estimate for Laplace distribution and the contaminated normal distribution with sufficiently large levels of the proportion and intensity of contamination. In other cases, the least squares estimate is preferable
REFERENCES
[1] Brockwell P.J., Davis R.A. Introduction to time series and forecasting Springer Texts in Statistics. Cham, Springer, 2016.
DOI: https://doi.org/10.1007/978-3-319-29854-2
[2] De Gooijer J.G. Elements of nonlinear time series analysis and forecasting. Springer Texts in Statistics. Cham, Springer, 2017.
DOI: https://doi.org/10.1007/978-3-319-43252-6
[3] Ozaki T. Time series modeling of neuroscience data. CRC Press, 2012.
[4] Merzougui M. Estimation in periodic restricted EXPAR(1) models. Comm. Statist. Simulation Comput., 2018, vol. 47, iss. 10, pp. 2819-2828.
DOI: https://doi.org/10.1080/03610918.2017.1361975
[5] Merzougui M., Dridi H., Chadli A. Test for periodicity in restrictive EXPAR models. Comm. Statist. Theory Methods, 2016, vol. 45, iss. 9, pp. 2770-2783.
DOI: https://doi.org/10.1080/03610926.2014.887110
[6] Olugbode M., El-Masry A., Pointon J. Exchange rate and interest rate exposure of UK industries using first-order autoregressive exponential GARCH-in-mean (EGARCH-M) approach. The Manchester School, 2014, vol. 82, iss. 4, pp. 409-464. DOI: https://doi.org/10.1111/manc.12029
[7] Ghosh H., Gurung B., Gupta P. Fitting EXPAR models through the extended Kalman filter. Sankhya B, 2015, vol. 77, iss. 1, pp. 27-44.
DOI: https://doi.org/10.1007/s13571-014-0085-8
[8] Gurung B. An exponential autoregressive (EXPAR) model for the forecasting of all India annual rainfall. Mausam, 2015, vol. 66, no. 4, pp. 847-849.
[9] Goryainov V.B., Goryainova E.R. The influence of anomalous observations on the least squares estimate of the parameter of the autoregressive equation with random coefficient. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2016, no. 2, pp. 16-24 (in Russ.). DOI: 10.18698/1812-3368-2016-2-16-24
Received 09.04.2019 © Author(s), 2019
[10] Goryainova E.R., Botvinkin E.A. Experimental and analytic comparison of the accuracy of different estimates of parameters in a linear regression model. Autom. Remote Control, 2017, vol. 78, iss. 10, pp. 1819-1836.
DOI: https://doi.org/10.1134/S000511791710006X
[11] Lehmann E.L., Casella G. Theory of point estimation. Springer Texts in Statistics. New York, NY, Springer, 1998. DOI: https://doi.org/10.1007/b98854
[12] Huber P., Ronchetti E.M. Robust statistics. Wiley, 2009.
[13] Mudrov V.I., Kushko V.L. Metod naimen'shikh moduley [Least absolute deviations method]. Moscow, Znanie Publ., 1971.
[14] Rhinehart R.R. Nonlinear regression modeling for engineering applications: modeling, model validation, and enabling design of experiments. Wiley, 2016.
[15] Chan K.S., Tong H. On the use of deterministic Lyapunov function for the er-godicity of stochastic difference equations. Adv. Appl. Probab., 1985, vol. 17, iss. 3, pp. 666-678. DOI: https://doi.org/10.2307/1427125
[16] White H. Asymptotic theory for econometricians. Academic Press, 2001.
[17] Goryainov V.B., Goryainova E.R. Robust estimation in threshold autoregression. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2017, no. 6, pp. 19-30 (in Russ.). DOI: 10.18698/1812-3368-2017-6-19-30
[18] Shiryaev A.N. Veroyatnost' [Probability]. Moscow, MTsMNO Publ., 2011.
[19] Billingsley P. Convergence of probability measures. Wiley, 1999.
[20] Magnus J.R., Neudecker H. Matrix differential calculus with applications in statistics and econometrics. Wiley, 2007.
Goryainov V.B. — Dr. Sc. (Phys.-Math.), Professor, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Khing W.M. — Post-Graduate Student, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Please cite this article in English as:
Goryainov V.B., Khing W.M. Exponential autoregressive model parameters estimation. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2019, no. 5, pp. 4-18 (in Russ.). DOI: 10.18698/1812-3368-2019-5-4-18
