CC BY
15Ссылка на статью:
// Математика и математическое моделирование. 2017. №5. С. 1-14.
Б01: 10.24108/шаШш.0517.0000081
Представлена в редакцию: 4.10.2017 © НП <<НЭИКОН>>
УДК 519.234.3
Оценивание порога в пороговой авторегрессии
Л "к
Горяинов В. Б.1'
Рассматривается задача оценивания величины порога в пороговой авторегрессии с одним порогом. В качестве оценок порога используются М-оценка, оценка наименьших квадратов и оценка наименьших модулей. Методом компьютерного моделирования изучается относительная эффективность указанных оценок по отношению друг к другу. Найдены оценки относительной эффективности для следующих вероятностных распределений обновляющего процесса: нормального, логистического, Лапласа, загрязненного нормального (Тьюки) и Стьюдента с различным числом степеней свободы. М-оценка вычисляется на основе ро-функции Хьюбера. Получена зависимость относительной эффективности оценок от степени и силы загрязнения распределения Тьюки.
Ключевые слова: пороговая авторегрессия; М-оценка; оценка наименьших квадратов; оценка наименьших модулей; загрязненное нормальное распределение
Математика к Математическое
моделирование
Сетевое научное издание
* [email protected] 1МГТУ им. Н.Э. Баумана, Москва, Россия
Введение
В последние десятилетия анализ временных рядов (случайных процессов с дискретным временем) производился, в основном, при помощи линейных моделей. Но во многих приложениях, например, в биологии [1], экономике и финансах [2], гидрологии [3], а также в технике, психологии и социологии, сельском хозяйстве, физике, химии, медицине и ряде других отраслей науки и техники для временных рядов, как оказалось, характерна кусочная линейность [4]. Тонг [5, 6] предложил описывать такие временные ряды при помощи моделей, которые, были названы пороговыми. Он показал, что кусочно линейными дискретными временными рядами может быть описан целый ряд нелинейных эффектов, в частности, предельные циклы.
При решении задачи идентификации пороговой авторегрессионной модели возникает необходимость в оценивании ее параметров — коэффициентов порогового уравнения и величины порога. Целью настоящей работы является оценивание порога, для чего используются оценки наименьших квадратов, наименьших модулей и М-оценка. Основное внимание
уделено влиянию типа вероятностного распределения обновляющего процесса порогового уравнения на точность оценивания порога. Для простоты изучается пороговая модель с двумя режимами и одним порогом.
1. Постановка задачи
Рассмотрим временной ряд Х4, описываемый рекуррентным уравнением [7, р. 77]
<21X4-1 + £t, Х— > г; <22X^1 + £4, Х4-1 < г.
(1)
где г — порог; аь а2 — авторегрессионные коэффициенты; £ — обновляющий процесс, представляющий последовательность независимых одинаково распределенных случайных величин с нулевым математическим ожиданием Е£ = 0 и конечной дисперсией =
= а2 < то.
Действительные числа г, а1, а2 предполагаются неизвестными и подлежат оцениванию по наблюдениям Х1, Х2, .. ., Хп. В данной работе предполагается, что случайный процесс Х4 является стационарным. Для этого достаточно (см. [8, 9]), чтобы вектор коэффициентов а = (а1, а2)т (здесь и в далее Т означает операцию транспонирования) принадлежал множеству А = {а € К2: а1 < 1, а2 < 1, а1а2 < 1}.
Наиболее распространенным методом оценивания параметров стохастических дискретных моделей является условный метод наименьших квадратов, гораздо меньше распространен метод наименьших модулей. Оба метода являются частными случаями метода М-оце-нивания, который применительно к модели пороговой авторегрессии оценивает параметры а и г точкой минимума (а, а), а = (а1, а2), функции
Здесь — а-алгебра, порожденная величинами Х1, Х2,.. ., Хп; Е[Х4|^п-1] —условное математическое ожидание Х4 относительно а-алгебры ^п-1; Р — четная функция, называемая р-функцией.
Обычно р-функция является возрастающей при х > 0, удовлетворяет условию р(0) = 0 и растет на бесконечности медленнее, чем х2 [10, р. 31]. Оценки наименьших квадратов и наименьших модулей являются частными случаями М-оценок при р(х) = х2 и р(х) = |х| соответственно. Наиболее распространенной р-функцией является семейство р-функций Хьюбера [11], имеющее вид
п
Ьм(а,г) = £р(Х - Е[Х^п-1 ])2.
где с — параметр, принимающий положительные значения.
Необходимость в появлении М-оценок обусловлена недостатками оценок наименьших квадратов и наименьших модулей. В методе наименьших квадратов большие значения невязок Х4 — Е[Х4|^п-1] после возведения в квадрат становятся еще больше и достаточно сильно искажают целевую функцию Ьм(а, г), которая в этом случае имеет вид
п
Ь^(а,г) = — Е[Х^п-1])2.
4=1
Это приводит к большим погрешностям в оценивании а и г. В методе наименьших модулей недостаточно внимания уделяется небольшим значениям невязок, которые не будучи возведенными в квадрат, не становятся еще меньше и также искажают функцию Ьм(а, г), вариант которой для метода наименьших модулей есть
п
Ь^(а, г) = — Е[ЗДп-1] .
4=1
В М-методе, например, с р-функцией Хьюбера рн (х) оптимальный выбор параметра с приводит к тому, что слагаемые в Ьм(а, г) с небольшими невязками становятся как в методе наименьших квадратов еще меньше, а слагаемые с большими невязками становятся в отличие от метода наименьших модулей не слишком большими. На практике доля экстремально больших невязок обычно равна 10-15%. Оказывается, что для большинства статистических моделей в этом случае М-метод обладает достоинствами как метода наименьших квадратов, так и метода наименьших модулей, что подтверждаются как теоретическими исследованиями, так и компьютерным моделированием.
Настоящая работа посвящена сравнению при помощи компьютерного моделирования точности перечисленных выше трех методов оценивания порога в модели пороговой авторегрессии.
2. Методы сравнения оценок
Поскольку оценки параметров любых статистических моделей являются функциями наблюдений и поэтому являются случайными величинами, то сравнение оценок сводится к сравнению их средних характеристик. В большинстве случаев оценки являются несмещенными или асимптотически несмещенными, т.е. их математическое ожидание совпадает с оцениваемым параметром или стремится к нему с ростом числа наблюдений. В этом случае точность, а стало быть и качество, оценки естественно измерять средним расстоянием между оценкой и оцениваемым параметром или, что гораздо удобнее, средним квадратом этого расстояния, т.е. дисперсией оценки.
Для нахождения дисперсии оценки необходимо найти ее распределение вероятности, что возможно сделать лишь в исключительных случаях. Как правило, удается установить лишь асимптотическое распределение вероятности оценки, т.е. предельное значение распределения при неограниченном увеличении объема наблюдений. В этом случае приходится
вычислять асимптотическую дисперсию оценки и именно ей измерять качество оценки [12]. Если же неизвестно ни точное, ни асимптотическое распределение оценки, то ее дисперсию можно определить при помощи компьютерного моделирования.
Единственным источником случайности в модели пороговой авторегрессии является обновляющая последовательность поэтому вероятностное распределение наблюдений пороговой последовательности Х^ а следовательно, и дисперсия оценки порога, определяется вероятностным распределением et.
Известно, что асимптотическое распределение оценки наименьших квадратов [9, 13] и наименьших модулей [14] величины порога г является сложным пуассоновским распределением и аналитическая зависимость асимптотической дисперсии от плотности обновляющего процесса неизвестна. Неизвестно и асимптотическое распределение М-оценок величины порога г. Поэтому в настоящей работе дисперсии оценок сравниваются при помощи компьютерного моделирования.
3. Алгоритмы вычисления оценок
Минимизировать функцию Ьм (а, г) будем в два этапа. Сначала зафиксируем г и найдем минимум Ьм(а, г) по а при фиксированном г. Обозначим через а(г) = а^шт Ьм(а, г)
аеА
точку, в которой достигается минимум Ьм(а, г) по а. Затем минимизируем функцию
£М(г) = Ьм(а(г),г) по г. Точка г = а^штСм(г) минимума См(г) и будет М-оцен-
гек
кой параметра г порогового уравнения. Оценкой параметра а будет вектор а = (аь а2) = = (а1(а), а2(а)).
Действительно, из определения а1, а2, а, а1(г), а2(г) вытекает, что для любого вектора (а, г)
Ьм(а, а) = Ьм(а(г),а) < Ьм(а(г),г) < ¿м(а, г),
и, следовательно, Ьм(а,а)= ш1п Ьм(а1,а2,г).
Заметим, что функция Ьм(а, г) при фиксированном а является кусочно-постоянной как функция от г со скачками в точках Х1, Х2, .. ., Хп. Поэтому минимум функции См (г) на К совпадает с минимумом См(г) на множестве {Х1, Х2, ..., Хп}, который проще всего найти перебором.
Также в два этапа будем искать оценки наименьших квадратов г* и наименьших модулей г порога г, заменяя в вышеприведенных рассуждениях функцию Ьм(а, г) на Ь^^^(а,г) и Ььао(а, г) соответственно.
Оценку наименьших квадратов а* (г) параметра а при фиксированном г будем вычислять следующим образом. Определим вектор У = (Х1, Х2, ..., Хп)т и матрицу
X (г) =
Х1+(г) Х1-(г)
^Х+-1(г) Х--1(г) у
где х+ (г) = шах(х,г), х (г) = шт(х,г). Заметим, что Е[Х4|^п-1] = «^¿^(г) + а2Х4-1(г), а уравнение пороговой авторегрессии можно представить в виде
Х = «1Х+ 1(г) + Й2Х" 1(г) + г = 1, 2, ...
Поэтому, согласно методу наименьших квадратов [15], а*(г) = (Хт(г)Х(г))-1Хт(г)У и г* = argшiп См (Хг).
1<г<п
М-оценку )(г) параметра а при фиксированном г будем находить при помощи итерационного взвешенного метода наименьших квадратов [16] как предел последовательности )(1)(г), )(2) (г), .. ., где а(^(г) —точка, в которой достигается минимум по а функции
п
Ьм(а, г) = £ ^(«^(гЖХ - а1Х+1(г) - «2Х__ 1(г))2.
4=1
Здесь г))4(а) = Ж(Х4 — а1Х4_1 — а2Х__1), где весовая функция Ж(х) определена как
. [ Р^^Х), х = 0;
[ р"(0), х = 0,
и для р-функции Хьюбера рн(х) имеет вид Ж(х) = шт{1,с/х}. Обозначая через Ж диагональную матрицу размера п х п с элементом г)4(а(й-1)(г)) в г-й строке, получаем [15],
что а
(fc)(r) = (x T wa (k-1)x )-1x T wa (k-1)Y.
Оценку наименьших модулей «(г) параметра а при фиксированном г также будем искать при помощи итерационного взвешенного метода наименьших квадратов. Для этого представим (а, г) в виде
п 2
Ььад (а, г) = £ г^(а)(Х — «^¿^(г) — а2Х__1(г))
4=1
с весами г^(а) = |Х4 — а1Х4_1(г) — а2Х4_1(г)|_1. Тогда оценку наименьших модулей «(г) параметра а при фиксированном г, т.е. а(г) = argшiп Ь^ао (а, г), можно найти как предел
последовательности а(^(г), к-й член которой находится взвешенным методом наименьших квадратов при помощи минимизации по а функции
Llad(a, r) = £ tf)t(a(fc-1)(r))(Xt - aiX+ 1 - a2X-i)2.
шдсг (r ))(Xt — a1Xt-1 — a2X t=1
В качестве начального приближения a(0) (r) и ä(0) (r) в обоих случаях можно использовать, например, оценку наименьших квадратов.
4. Модели обновляющей последовательности
Наиболее распространенной моделью распределения вероятности et является нормальная модель с плотностью
1 /ж
f (x)= VIT*exp(—£*)
На основании центральной предельной теоремы так целесообразно считать, если £ по смыслу задачи — сумма большого числа примерно одинаковых по величине малых случайных слагаемых.
Однако нормальное распределение является не единственно возможным естественным распределением возмущений £4. Ниже приводятся примеры отклонения распределения ег от нормального.
Во-первых, на практике £ — сумма всегда конечного, а не бесконечного числа слагаемых, и поэтому логично полагать, что распределение вероятности £ является нормальным лишь приближенно. Наиболее распространенной моделью приближенного нормального распределения является модель загрязненного или засоренного нормального распределения, называемого также распределением Тьюки. В этой модели последовательность одинаково распределенных случайных величин засоряется случайными величинами с большей диспер-сей, которые называются выбросами. Плотность загрязненного нормального распределения имеет вид
Последовательность случайных величин с такой плотностью имитирует засорение последовательности центрированных нормальных величин с дисперсией 1 небольшой долей 6 центрированных нормальных величин с дисперсией т2 > 1. В приложениях обычно
Во-вторых, во многих случаях естественно считать, что распределение случайных величин £ является нормальным, но со случайной дисперсией п (точнее нормальным является условное распределение £ при условии, что случайная дисперсия п приняла какое-то конкретное значение у). Как сказано в [17], такая модель возмущений в определенных условиях имеет право на существование, так как во многих случаях точность каждого конкретного измерения определяется принципиально непредсказуемыми внешними условиями и основная точностная характеристика прибора — дисперсия измерений — в этом случае бывает известна лишь в среднем. Например, точность визуальных измерений, произведенных в походных условиях, определяется состоянием погоды, степенью запыленности атмосферы, степенью утомленности персонала и т.п. Если о п дополнительно не делается никаких предположений, кроме существования средней дисперсии Еп, то, считая положение дисперсии П на числовой оси максимально неопределенным, методами теории информации можно получить [17], что безусловное распределение £ будет двусторонним экспоненциальным распределением, или распределением Лапласа с плотностью
(2)
6 е (0.01, 0.15).
где а2 = = (Еп)2/2.
И, наконец, в третьих, иногда из существа задачи вытекает, что £ имеет логистическое распределение или распределение Стьюдента. Плотность распределения вероятности этих распределений очень похожа на плотность нормального распределения и поэтому часто принимается исследователями за нормальное. Плотность логистического распределения
имеет вид f (ж) =-е-^, а плотность распределения Стьюдента с т степенями свободы
равна
f (ж)
г' т + 1 2
\/ 2 - т+1 т\ Л + х2
~2) V т
5. Результаты эксперимента
Оценки авторегрессионного порога сравнивались между собой попарно при помощи вычисления их относительной эффективности, которая определялась как обратное отношение дисперсий оценок. В свою очередь дисперсии оценок вычислялись посредством метода компьютерного моделирования [18, 19], известного также как метод Монте-Карло. Суть этого метода состоит в оценивании математического ожидания случайной величины средним арифметическим ее выборочных значений, которые реализуются при помощи компьютерной модели с использованием датчиков псевдослучайных чисел. Сходимость и законность метода обосновывается законом больших чисел теории вероятностей. Качество метода Монте-Карло зависит от качества компьютерных датчиков псевдослучайных чисел. В настоящем эксперименте использовались датчики компьютерного пакета Ма1ЬаЬ.
Метод Монте-Карло для оценивания дисперсий оценок порога модели (1) выглядел следующим образом. Реализации Хь ..., Хп длины п = 500 процесса пороговой авторегрессии X вычислялись N = 100000 раз по рекуррентной формуле (1) с начальным условием Хо = 0 и авторегрессионными параметрами а = (-0.3, 0.5), г = 0.4. Реализации обновляющего процесса £ моделировались при помощи датчика псевдослучайных чисел для вероятностных плотностей f, перечисленных в предыдущем разделе.
Далее, обозначим через г*, г и г\ соответственно оценку наименьших квадратов, наименьших модулей и М-оценку параметра г в г-м эксперименте, г = 1, ..., N. Поскольку все три оценки сходятся с вероятностью 1 к истинному значению порога [20], то дисперсии оценки наименьших квадратов, наименьших модулей и М-оценки оценивались соответственно величинами
1 N 1 N 1 N
= ^ Е(г* - г)2, ¿= - £(Гч - г)2, ¿= - £(г - г)2.
г=1 г=1 г=1
При вычислении М-оценки постоянная с в определении р-функции рн (ж) Хьюбера была выбрана равной 2.
Таким образом, например, относительная эффективность оценки наименьших квадратов г* порога г по отношению к М-оценке ) этого же параметра оценивалась по формуле е(Ь£^,М) = (б/б*. При этом неравенство е(Ь£^,М) > 1 означает, что оценка наименьших квадратов лучше М-оценки и что для достижения такой же точности, как у оценки наименьших квадратов М-оценке потребуется в е(Ь$ф, М) раз больше наблюдений. Неравенство б(Ь$ф, М) < 1 означает, что оценка наименьших квадратов хуже М-оценки.
В табл. 1 для наиболее распространенный вероятностный распределений случайных величин приведены значения относительной эффективности е(Ь$ф, М) оценки наименьших квадратов и относительной эффективности е(ЬАД,М) = (¿/б? оценки наименьших модулей по отношению к М-оценке с р-функцией Хьюбера, а также относительной эффективности = б*/(б оценки наименьших модулей по отношению к оценке наименьших квадратов. Эта таблица показывает, что оценка наименьших квадратов превосходит остальные оценки только при нормальном распределении Уже для логистического распределения и распределения Стьюдента с большим числом степеней свободы, которые на практике легко перепутать с нормальным распределением, оценка наименьших квадратов становится хуже М-оценки. Если же имеет распределение Стьюдента с небольшим числом степеней свободы, например с т = 4, то оценка наименьших квадратов уступает в точности не только М-оценке, но также и оценке наименьших модулей. Для распределения Лапласа как и в большинстве других статистических моделях временный рядов лучшей является оценка наименьших модулей.
Т а б л и ц а 1
Относительная эффективность оценки наименьших квадратов, наименьших модулей и М-оценки с р-функцией Хьюбера при различных распределениях е
Распределение et e(LSQ,M) e(LAD, M) e(LSQ, LAD)
Нормальное 1.020 0.633 1.581
Логистическое 0.917 0.754 1.215
Стьюдента (10) 0.963 0.712 1.330
Стьюдента (4) 0.739 0.853 0.887
Лапласа 0.784 1.598 0.475
На графиках (рис. 1, 2) показано влияние на относительную эффективность оценок параметров загрязненного нормального распределения et.
На рис. 1 представлена зависимость относительной эффективности оценок от доли загрязнения ö при постоянной величине загрязнения т = 3. На рис. 2 изображена зависимость относительной эффективности оценок от величины загрязнения т при постоянной доли загрязнения ö = 0.15. Значения параметров т = 3 и ö = 0.15 были выбраны как наиболее типичные на практике. На обоих рисунках сплошной линией изображен график e(LSQ, M), пунктирной — e(LAD, M) и штрих-пунктирной — e(LAD, LSQ). Линией из точек отмечена относительная эффективность, равная единице.
О 0.1 0.2 0.3 0.4
Рис. 1. Зависимость относительной эффективности от 5
-1-1-1-1-1-1-1-1-1-1-1-1-1-г
123456789
т
Рис. 2. Зависимость относительной эффективности от т
Из представленных результатов видно, что при отсутствии загрязнений оценка наименьших квадратов немного эффективнее М-оценки. Однако с ростом 6 и т относительная эффективность М-оценки по отношению к оценке наименьших квадратов увеличивается, становясь больше единицы.
Заключение
В работе рассмотрена пороговая авторегрессионная модель с одним порогом, который предполагается неизвестным. При помощи компьютерного моделирования проведено сравнение точности М-оценки, оценки наименьших квадратов и оценки наименьших модулей величины (положения) порога для наиболее распространенных распределений вероятности обновляющего процесса.
Оказалось, что в случаях типичных отклонений распределения от нормального, целесообразно использовать М-оценку. Оценки наименьших квадратов и наименьших модулей занимают достаточно узкие ниши. Оценка наименьших квадратов является лучшей только при нормальном распределении и очень малым отклонением от него. Оценка наименьших модулей предпочтительна лишь для двойного экспоненциального распределения.
Список литературы
1. Chavas J.-P. Modeling population dynamics: a quantile approach // Mathematical Biosciences. 2015. Vol. 262. Pp. 138-146. DOI: 10.1016/j.mbs.2015.01.004
2. Li J. Effects of filtering data on testing asymmetry in threshold autoregressive models // Studies in Nonlinear Dynamics & Econometrics. 2016. Vol.20, no. 5. Pp. 549-565. DOI: 10.1515/snde-2015-0016
3. Bertone E., O' Halloran K., Stewart R.A., de Oliveira G.F. Medium-term storage volume prediction for optimum reservoir management: A hybrid data-driven approach // J. of Cleaner Production. 2017. Vol. 154. Pp. 353-365. DOI: 10.1016/j.jclepro.2017.04.003
4. Hansen B.E. Threshold autoregression in economics // Statistics and Its Interface. 2011. Vol. 4, no. 2. Pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4
5. Tong H. Non-linear time series: A dynamical system approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.
6. Exploration of a nonlinear world: an appreciation of Howell Tong's contributions to statistics / Ed. by Kung-Sik Chan. Singapore: World Scientific, 2009. 381 p.
7. Douc R., Moulines E., Stoffer D. Nonlinear time series: Theory, methods and applications with R examples. Boca Raton: CRC Press, 2014. 535 p.
8. Petruccelli J.D., Woolford S.W. A threshold AR(1) model // J. of Applied Probability. 1984. Vol. 21, no. 2. Pp. 270-286. DOI: 10.2307/3213639
9. Li D., Ling S.. On the least squares estimation of multiple-regime threshold autoregressive models // J. of Econometrics. 2012. Vol.167, no. 1. Pp. 240-253. DOI: 10.1016/j.ieconom.2011.11.006
10. Maronna R.A., Martin D., Yohai V. Robust Statistics: Theory and Methods. Chichester: Wiley, 2006. 403 p.
11. Huber P.J., Ronchetti E.M. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 354 p.
12. Lehmann E.L., Casella G. Theory of point estimation. 2nd ed. N.Y.: Springer, 1998. 589 p.
13. Chan K.S. Consistency and limiting distribution of the least squares estimator of a threshold autoregressive model // Annals of Statistics. 1993. Vol. 21, no. 1. Pp. 520-533.
14. Wang L., Wang J. The limiting behavior ofleast absolute deviation estimators for threshold autoregressive models // J. of Multivariate Analysis. 2004. Vol. 89, no. 2. Pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006
15. Olive D.J. Linear Regression. N.Y.: Springer, 2017. 489 p.
16. Bissantz N., DUmbgen L., Munk A., Stratmann B. Convergence analysis of generalized iteratively reweighted least squares algorithms on convex function spaces // SIAM J. on Optimization. 2009. Vol. 19, no. 4. Pp. 1828-1845. DOI: 10.1137/050639132
17. Мудров В.И., Кушко В.Л. Метод наименьших модулей. М.: Знание, 1971. 61 с.
18. Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование. Методы Монте-Карло: учебное пособие. М.: Академия, 2006. 366 с.
19. Ермаков С.М. Метод Монте-Карло в вычислительной математике. М.: БИНОМ; СПб.: Невский диалект, 2009. 192 с.
20. Zhang L.-X., Chan W.-S., Cheung S.-H., Hung K.-C. A note on the consistency of a robust estimator for threshold autoregressive processes // Statistics & Probability Letters. 2009. Vol. 79, no. 6. Pp. 807-813. DOI: 10.1016/j.spl.2008.10.036
Mathematics & Mathematical Modelling
Threshold Estimation in Threshold Autoregression
Goryainov V. B.*' * [email protected]
1Bauman Moscow State Technical University, Russia
Keywords: threshold autoregression, M-estimate, least square estimate, least absolute deviation estimate, contaminated normal distribution
One of the most important models to describe nonlinear time series is that of the threshold auto-regression. In solving a problem of the threshold autoregressive model identification, there is a need to estimate the threshold value. The most common method for estimating the threshold is a least-squares estimate technique. The least absolute deviation method of estimation is less widespread. Both methods are the special cases of the M-method.
The paper objective is to compare the accuracy of the above three threshold estimation methods in the threshold auto-regression model through computer simulation. For simplicity, we study a stationary threshold model at two modes and one threshold.
The estimates of the autoregressive threshold were pairwise compared among themselves by calculating their relative effectiveness being equal to the inverse ratio of the estimate variances. The exact and asymptotic variances of the threshold estimates under study are still unknown. Therefore, the variance of estimates was determined through computer simulation.
The paper focuses on studying the impact of the probability distribution type of the updating process of a threshold equation on the estimate accuracy. Considers the normal distribution as the most common in practice and also the typical deviations from the normal distribution: contaminated normal distribution, two-sided exponential distribution, logistic distribution, and Student distribution.
The simulation results have shown that the least-squares estimate exceeds the other estimates only with the normal distribution of the updating sequence. Even with a light contamination of the normal distribution, the least-squares estimate is worse than the M-estimate, and with increasing contamination, it gets worse than the least absolute deviation estimate as well.
For the logistic distribution and Student distribution with a large number of degrees of freedom, which in practice are easily confused with the normal distribution, the M-estimate is more effective than the least-squares estimate. If the updating sequence has a Student distribution with a small number of degrees of freedom, for example, with four, then the least-squares estimate is inferior
Mathematics and Mathematical Modeling, 2017, no. 5, pp. 1-14.
DOI: 10.24108/mathm.0517.0000081
Received: 4.10.2017
© NEICON
not only to the M-estimate, but also to the least absolute deviation estimate. For the Laplace distribution, as in most other statistical models of time series, the least absolute deviation estimate is the best.
References
1. Chavas J.-P. Modeling population dynamics: a quantile approach. Mathematical Biosciences, 2015, vol. 262, pp. 138-146. DOI: 10.1016/j.mbs.2015.01.004
2. Li J. Effects of filtering data on testing asymmetry in threshold autoregressive models. Studies in Nonlinear Dynamics & Econometrics, 2016, vol.20, no. 5, pp. 549-565. DOI: 10.1515/snde-2015-0016
3. Bertone E., O' Halloran K., Stewart R.A., de Oliveira G.F. Medium-term storage volume prediction for optimum reservoir management: A hybrid data-driven approach. J. of Cleaner Production, 2017, vol. 154, pp. 353-365. DOI: 10.1016/j.jclepro.2017.04.003
4. Hansen B.E. Threshold autoregression in economics. Statistics and Its Interface, 2011, vol. 4, no. 2, pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4
5. Tong H. Non-linear time series: A dynamical system approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.
6. Exploration of a nonlinear world: an appreciation of Howell Tong's contributions to statistics / Ed. by Kung-Sik Chan. Singapore: World Scientific, 2009. 381 p.
7. Douc R., Moulines E., Stoffer D. Nonlinear time series: Theory, methods and applications with R examples. Boca Raton: CRC Press, 2014. 535 p.
8. Petruccelli J.D., Woolford S.W. A threshold AR(1) model. J. of Applied Probability, 1984, vol. 21, no. 2, pp. 270-286. DOI: 10.2307/3213639
9. Li D., Ling S.. On the least squares estimation of multiple-regime threshold autoregressive models. J. of Econometrics, 2012, vol.167, no. 1, pp. 240-253. DOI: 10.1016/j.ieconom. 2011.11.006
10. Maronna R.A., Martin D., Yohai V. Robust statistics: Theory and methods. Chichester: Wiley, 2006. 403 p.
11. Huber P.J., Ronchetti E.M. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 354 p.
12. Lehmann E.L., Casella G. Theory of point estimation. 2nd ed. N.Y.: Springer, 1998. 589 p.
13. Chan K.S. Consistency and limiting distribution of the least squares estimator of a threshold autoregressive model. Annals of Statistics, 1993, vol. 21, no. 1, pp. 520-533.
14. Wang L., Wang J. The limiting behavior of least absolute deviation estimators for threshold autoregressive models. J. of Multivariate Analysis, 2004, vol. 89, no. 2, pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006
15. Olive D.J. Linear Regression. N.Y.: Springer, 2017. 489 p.
16. Bissantz N., Dumbgen L., Munk A., Stratmann B. Convergence analysis of generalized itera-tively reweighted least squares algorithms on convex function spaces. SIAMJ.on Optimization, 2009, vol. 19, no. 4, pp. 1828-1845. DOI: 10.1137/050639132
17. Mudrov V.I., Kushko V.L. Metod naimen 'shykh modulej [Method of least absolute deviations]. Moscow: Znanie, 1971. 61 p. (in Russian).
18. Mikhajlov G.A., Vojtishek A.V. Chislennoe statisticheskoe modelirovanie. Metody Monte-Karlo [Numerical statistical modeling. Monte Carlo methods]: a textbook. Moscow: Akademia, 2006. 366 p. (in Russian).
19. Ermakov S.M. Metod Monte-Karlo v vychislitel'noj matematike [Monte Carlo method in computational mathematics]. Moscow: BINOMPubl.; S.-Petersburg: Nevskij dialect Publ., 2009. 192 p. (in Russian).
20. Zhang L.-X., Chan W.-S., Cheung S.-H., Hung K.-C. A note on the consistency of a robust estimator for threshold autoregressive processes. Statistics & Probability Letters, 2009, vol. 79, no. 6, pp. 807-813. DOI: 10.1016/j.spl.2008.10.036
