Сравнение классических и робастных оценок параметров пороговой авторегрессии Текст научной статьи по специальности «Математика»

Математика к Математическое

моделирование

Сетевое научное издание

Ссылка на статью:

// Математика и математическое моделирование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2017. №3. С. 91-104.

Б01: 10.24108/шаШш.0317.0000072

Представлена в редакцию: 07.06.2017 © МГТУ им. Н.Э. Баумана

УДК 519.234.3

Сравнение классических и робастных оценок параметров пороговой авторегрессии

Л &

Горяинов В. Б.1'

vb-goryainov@bmstu.ru 1МГТУ им. Н.Э. Баумана, Москва, Россия

Рассматривается задача оценивания параметров пороговой авторегрессии с одним порогом, расположение порога предполагается известным. При помощи компьютерного моделирования изучается относительная эффективность М-оценки по отношению к оценке наименьших квадратов и оценке наименьших модулей для различных вероятностных распределений обновляющего процесса: нормального, логистического, двойного-экспоненциального, Коши, Тьюки и Стьюдента с различным числом степеней свободы. М-оценки вычисляются на основе ро-функций Хьюбера и Тьюки. Рассматривается инновационная модель ошибок наблюдений. Получена зависимость относительной эффективности от параметров распределения Тьюки.

Ключевые слова: пороговая авторегрессия; М-оценка; оценка наименьших квадратов; оценка наименьших модулей; загрязненное нормальное распределение

Введение

В последние годы в различных областях науки и техники при описании случайных процессов с дискретным временем большое распространение получила пороговая авторегрессионная модель [1]. В отличие о классической модели авторегрессии пороговая авторегрессионная модель позволяет обнаружить в поведении стохастических дискретных последовательностей ряд нелинейных эффектов [2]. В данной работе рассматривается наиболее простой вариант модели пороговой авторегрессии с единственным порогом, который предполагается известным и без ограничения общности равным нулю.

Важнейшей задачей, возникающей при исследовании пороговой авторегрессионной модели, является оценивание ее параметров — коэффициентов соответствующего порогового уравнения. Наиболее распространенными оценками являются оценка наименьших квадратов и оценка наименьших модулей, менее известны М-оценки. В настоящей работе проводится сравнительный анализ вероятностных свойств перечисленных оценок параметров пороговой авторегрессионной модели при наиболее распространенных вероятностных распределениях обновляющего процесса порогового уравнения. Даны рекомендации по использованию указанных оценок.

1. Пороговая модель авторегрессии

Модель пороговой авторегрессии с т режимами описывается рекуррентным уравнением [3, р. 77]

т

X = Х4-1 + • • • + з) < < ) + £4,

3=1

где £4 — обновляющий процесс; /4(-) — индикаторная функция; —то = $0 < < ... < = то — пороговые параметры; и д — натуральные числа, описывающие авторегрессионные лаги и пороговое запаздывание соответственно; а^- — авторегрессионные коэффициенты. Эта модель является нелинейной во времени £ и кусочно-линейной в пространстве пороговых параметров в. Переключающая переменная может иметь как внешнее (экзогенное) происхождение, так и определяться самой моделью. Если полностью определяется величинами Х8, 5 < £ — д, например, совпадает с Х4_^, то пороговая модель называется самовозбуждающейся.

В данной работе рассматривается самовозбуждающаяся пороговая авторегрессионная модель первого порядка с одним переключением в нуле. В этой модели наблюдения Х4 описываются уравнением

X = «1X4-1 /4(0 < Х4_1) + а2Х4_1/4(Х4_1 < 0) + £4,

или, что равносильно, кусочно-разностным уравнением

х = | «1Х4_1 + £4, Х4_1 > 0;

4 | а2Х4_1 + £4, Х4_1 < 0. Эквивалентным образом уравнение пороговой модели может быть записано в виде

Х4 = а1Х4_1 + «2Х4__1 + £4, £ = 1, 2, ..., (1)

где Х+ = тах(Х4, 0), Х4_ = тт(Х4, 0). Действительные числа а1, а2 называются параметрами авторегрессионной пороговой модели и считаются неизвестными.

Далее всюду будем предполагать, что £4 — последовательность независимых одинаково распределенных непрерывных случайных величин с плотностью f, нулевым математическим ожиданием Е£4 = 0 и конечной дисперсией й£4 = а2.

Будем также считать, что процесс Х4 является стационарным. Для этого, например, достаточно одновременное выполнение условий а1 < 1, а2 < 1, а1а2 < 1, f (х) > 0 для любых х Е К и существование Е|£4|2+г < то для некоторого 8 > 0 [4].

2. Классические оценки авторегрессионных параметров

Важнейшей задачей, возникающей при исследовании (1), является оценивание векторного параметра а = (а1, а2) по наблюдениям процесса Х4. В данной работе рассматриваются оценка наименьших квадратов, оценка наименьших модулей и М-оценки.

Оценка наименьших квадратов а* = (а*, а2) параметра а, построенная по наблюдениям Хь Х2, .. ., Хп, определяется как точка минимума функции

Ь^(а) = - а1Х+1 - а2Х--1)2.

4=1

С учетом того, что Х+Х- = 0 для любого ¿,

п п

2 Х4Х4-1 2 Х4Х4-1

* _ 4=1 * _ 4=1 /ОЧ

а1 = ~П , а2 = ~П .

2 (Х+-1)2 2 (Х--1)2

4=1 4=1

Согласно [4], оценка наименьших квадратов а* асимптотически нормальна с ковариационной матрицей а2К-1, где

к = ( Е(Х+)2 0 V о Е(Х-)2

Другими словами, при п ^ то последовательность -</п(а* — а) сходится по распределению к двумерному нормальному вектору с нулевым математическим ожиданием и ковариационной матрицей а2К-1, т.е. для любых действительных х и у

'пЕХ 1 "(а! — ат) < ха, \/ пЕХ-2(а2 — а2) < уа > = Ф(х)

Jim |y/nEX1+2(ai - ai) < xa, \/nEX - 2(a2 - a2) < ya j = Ф(х) Ф(у),

где

Ф(х) = e 2 dt —

v/2n J

функция распределения вероятности стандартной нормальной случайной величины, a2 = Ee2 — общая дисперсия всех t = 1, 2, ...

Основной недостаток метода наименьших квадратов заключается в его сильной чувствительности к большим значениям невязок et = Xt — a 1 X+- 1 — a2Xt— 1, поскольку они влияют на минимизируемую функцию LLSQ(a) квадратичным образом. Вследствие этого точность оценки наименьших квадратов достаточно сильно ухудшается при росте вероятности экстремальных значений et, что происходит, если плотность распределения вероятности f случайных величин et медленно убывает на бесконечности.

Этого недостатка лишен метод наименьших модулей. Оценкой наименьших модулей a = (a1, a2) параметра a, построенной по наблюдениям X1, X2, ..., Xn, называется точка минимума функции

n

Llad(a) = J2 |Xt — a1X+1 — a2X-.1l. t=1

Согласно [5], случайная последовательность i/n(ä — a) асимптотически нормальна с нулевым математическим ожиданием и ковариационной матрицей K-1.

В методе наименьших модулей влияние невязок et = Xt — a1Xt-1 — a2Xt—1 на минимизируемую функцию Llad (a) линейно. Поэтому при уменьшении скорости сходимости

x

f к нулю на бесконечности точность оценки наименьших модулей падает не так сильно как точность оценки наименьших квадратов [6]. Однако в случае нормального распределения £, плотность которого f (х) с ростом |х| стремится к нулю достаточно быстро, метод наименьших квадратов гораздо эффективнее метода наименьших модулей.

М-оценка

М-оценка вектора а по наблюдениям Х^ Х2, . .., Хп определяется как точка минимума а = (а1, а2) функции

п

ьм(а) = ^ Р(Х - а1Х+-1 - а2Х4~1), (3)

г=1

где р — некоторая функция. М-оценки образуют целое семейство, зависящее от вида функции р. Свое название М-оценка получила из-за того, что если р(х) = — 1п f (х), то М-оценка совпадает с оценкой максимального правдоподобия. Оценки наименьших квадратов и наименьших модулей также являются частными случаями М-оценок, поскольку получаются из них при р(х) = х2 и р(х) = | х| соответственно.

М-оценки являются разумным компромиссом между оценкой наименьших квадратов и оценкой наименьших модулей. Например, р-функция

, . I X/ , "X к;

рн(х) = 1 0,1 I , ,2 | , (4)

[ 2к|х| — к2, |х| > к,

называемая р-функцией Хьюбера (см. [7]), совпадает с х2 в окрестности (—к, к) начала координат и ведет себя линейно вне этой окрестности. В этом случае, вклад в сумму (3) наблюдений Х4, сформировавшихся под влиянием экстремальных значений £, будет принижен по сравнению с вкладом остальных наблюдений. Параметр к можно изменять от нуля до бесконечности, подстраиваясь под конкретный вид f для достижения максимальной эффективности оценки.

Функция (4) является наиболее распространенным классом р-функций. Еще одним важным классом является (см. [7]) бивес Тьюки

рт(х) = ( 1 — I1 — (Х)У, |х| £ к (5)

1 1, |х| > к.

Как видно из (3), (5), р-функция Тьюки игнорирует резко выделяющиеся невязки, заменяя их единицей.

3. Модель загрязнения наблюдений

Будем предполагать, что обновляющий процесс £1 описывается инновационной загрязняющей моделью, суть которой заключается в том, что последовательность одинаково распределенных случайных величин засоряется случайными величинами (выбросами) с другим вероятностным распределением. Обозначим через ^ плотность распределения вероятности

случайной величины £г при отсутствии выбросов. Предположим, что в результате выбросов с небольшой вероятностью 6 случайные величины £ меняют плотность с ^ на некоторую другую плотность Д. Таким образом, будем считать, что плотность распределения вероятности f случайной величины £ имеет вид

f (х) = (1 — 6Шх) + 6Л(х).

Можно представлять себе выброс как импульс на входе динамической системы (1), а Xt — как реакцию системы на этот импульс. Отметим, что выброс в инновационной модели воздействует не только на текущее наблюдение X(¿), но и на все последующие.

Важным примером инновационной загрязняющей модели является загрязненное нормальное распределение [8], называемое также распределением Тьюки, плотность которого имеет вид

1 х2 1 Х2 f (х) = (1 — 6) -= е-~ + 6-=-е-^, 0 < 6 < 1. (6)

у2п у2пт

Последовательность случайных величин, имеющих распределение Тьюки, имитирует типичное на практике загрязнение последовательности центрированных нормальных величин с дисперсией 1 небольшой долей 6 центрированных нормальных величин с дисперсией т2 > 1. На практике обычно 6 € (0.01, 0.15).

4. Сравнение оценок

Среди двух оценок наилучшей логично считать ту, рассеяние которой вокруг оцениваемого параметра меньше. Если оценка является несмещенной, то рассеяние оценки измеряется ее дисперсией, и поэтому из двух несмещенных оценок лучшей будет оценка с меньшей дисперсией. К сожалению, для фиксированного объема наблюдений дисперсию оценок вычислить можно лишь в самых простых случаях.

Преодолевается эта трудность обычно одним из следующих способов. Во-первых, можно попытаться найти асимптотическое распределение сравниваемых оценок. Часто сравниваемые оценки являются асимптотически нормальными. В этом случае сравнить точность двух оценок можно, сравнив их асимптотические дисперсии. Во-вторых, для оценивания дисперсий оценок можно прибегнуть к компьютерному моделированию.

Как уже упоминалось выше, оценки наименьших квадратов и наименьших модулей являются асимптотически несмещенными и асимптотически нормальными. К сожалению, асимптотическое распределение М-оценок параметров пороговой авторегрессионной модели неизвестно. Поэтому сравним точность М-оценок по отношению к оценкам наименьших квадратов и наименьших модулей при помощи компьютерного моделирования.

Распределение вероятности обновляющего процесса £ будем моделировать типичными вероятностными распределениями, они перечислены в левом столбце табл. 1. А именно, сравним изучаемые оценки для двойного экспоненциального распределения (распределения

Таблица 1

Оценки дисперсий оценок наименьших квадратов (ОНК), наименьших модулей (ОНМ), М-оценок с р-функцией Хьюбера (М-Х) и р-функцией Тьюки (М-Т) при различных распределениях et

Распределение et ОНК ОНМ М-Х М-Т

Нормальное 0.04066 0.06389 0.04108 0.04315

Лапласа 0.08168 0.04104 0.06497 0.05800

Логистическое 0.13415 0.16266 0.12323 0.14899

Стьюдента (20) 0.04618 0.06555 0.04517 0.04698

Стьюдента (10) 0.04799 0.06642 0.04678 0.04836

Стьюдента (5) 0.06810 0.07054 0.05694 0.05496

Коши 0.39403 0.10054 0.14333 0.09466

Лапласа) с плотностью f (x) = 1 e |x|, распределения Коши с плотностью f (x) 1

2 ----................, ,^ + 1)'

e

логистического распределения с плотностью f (x) =-^ и распределения Стьюдента

(1 + e x)

с плотностью

Г m + 1

/ (х) — 4 х 2 2 х т + 1

^п г( т)(! + У1

и числом степеней свободы т, равным 5, 10 и 20.

Реализации Хь . .., Хп длины п — 500 процесса X построим по рекуррентной формуле (1) с начальным условием Х0 — 0. Авторегрессионные параметры для определенности положим равными а — (-0.3, 0.5). Реализации смоделируем при помощи датчика псевдослучайных чисел для соответствующей плотности /. Минимум функции (3) с р-функциями Хьюбера (4) и Тьюки (5) для вычисления М-оценки найдем методом Нелдера — Мида [9]. Оценку наименьших квадратов будем вычислять по формуле (2), а оценку наименьших модулей — при помощи итерационного взвешенного метода наименьших квадратов, при котором ¿ьао (а) представляется в виде

n

Llad(а) = wt(ai,a2) (X - aiX— - _ 1)2 t=i

свесами wt(a1,a2) = |Xt — a1 Xt_1 — a2X__ 1|-1. Точка минимума а функции (а) является пределом последовательности a(k) = (a1fc), «2^), k-й член которой находится при помощи минимизации функции

n

Llad(а) = ^wt(a(1fc_ 1),a2k_1)) (Xt — а1Х+1 — а2Х__ 1)2. t=1

В качестве начального приближения а(0) = (а10), а20)) будем использовать оценку наименьших квадратов.

Описанный эксперимент повторялся N = 100000 раз. Моделирование показало, что М-оценки можно считать асимптотически несмещенными. Поэтому дисперсия всех оценок

1 N

параметра а^ оценивалась величиной — ^ (а^ — а^-)2, где а^ — оценка параметра а^ в г-м

N ¿=1

эксперименте, г = 1, ..., N, = 1, 2.

В табл. 1 приведены оценки дисперсий оценок наименьших квадратов, оценок наименьших модулей, М-оценок с р-функцией Хьюбера и р-функцией Тьюки для перечисленных выше вероятностных распределений £4.

Отметим, что дисперсия М-оценок зависит от параметра к в формулах (4), (5) а значение к, при котором дисперсия минимальна, зависит от f. Величины дисперсий в табл. 1 соответствуют компромиссным значениям к, равным 2 и 4,5 для М-оценок с р-функцией Хьюбера и р-функцией Тьюки соответственно.

Видно, что оценка наименьших квадратов является лучшей только при нормальном распределении £4. Из распределений, указанных в табл. 1, наибольшее сходство с нормальным имеют логистическое распределение и распределение Стьюдента с большим числом степеней свободы, плотности которых являются гладкими и достаточно быстро убывают на бесконечности. И уже в этом случае М-оценки составляют конкуренцию оценке наименьших квадратов, причем М-оценка с р-функцией Хьюбера превосходит оценку наименьших квадратов в случае обоих распределений.

Для распределения Лапласа оценка наименьших модулей совпадает с оценкой максимального правдоподобия и поэтому является наилучшей среди всех оценок.

Распределение Коши имеют бесконечную дисперсию, что приводит к несравнимо низкой эффективности оценки наименьших квадратов по отношению к остальным оценкам.

Семейство распределений Стьюдента с различным числом т степеней свободы служит моделью гладких распределений, плотность которых на бесконечности убывает с различными скоростями — от квадратичной (у распределения Стьюдента с одной степенью свободы, совпадающим с распределением Коши) до практически экспоненциальной при достаточно больших т. Из табл. 1 видно, что с уменьшением числа степеней свободы оценка наименьших квадратов сначала проигрывает только М-оценке с р-функцией Хьюбера, потом обеим М-оценкам, а затем и всем оценкам.

Данные табл. 1 также свидетельствуют в пользу того, что, если распределение £1 практически не отличается от нормального, то целесообразно использовать М-оценку с р-функ-цией Хьюбера, при более сильном отклонении распределения от нормального — применять М-оценку с р-функцией Тьюки, а при значительном отклонении — оценку наименьших модулей. Отметим, что при еще большем отклонении распределения от нормального следует использовать знаковую оценку [11].

Предположим теперь, что плотность распределения вероятности обновляющего процесса £ имеет загрязненное нормальное распределение (6), и исследуем зависимость точности оценок от параметров 6 и т этого распределения. В качестве сравнительной характеристики точности двух оценок будем использовать относительную эффективность оценок, которая определяется как обратное отношение их дисперсий. Таким образом, например, относитель-

ная эффективность М-оценки параметра ау по отношению к оценке наименьших квадратов этого же параметра будет оцениваться по формуле

N

Е - а )2

г=1

N

3 = 1, 2,

Е (ау - аУ )2

г=1

где ау и йу — оценка наименьших квадратов и М-оценка параметра ау соответственно; г = 1, ..., N — номер эксперимента. При этом неравенство еУ- > 1 будет означать, что М-оценка точнее оценки наименьших квадратов и что для достижения такой же точности, как у М-оценки, оценке наименьших квадратов потребуется в еу раз больше наблюдений. Неравенство еу < 1 интерпретируется аналогичным образом.

Результаты эксперимента приведены на рис. 1, 2.

На рис. 1 показана зависимость относительной эффективности (АОЭ) от 6 при т = 3, на рис. 2 — зависимость относительной эффективности от т при 6 = 0.15. Красной и фиолетовой линиями обозначена эффективность М-оценки с р-функцией Хьюбера по отношению к оценке наименьших квадратов и оценке наименьших модулей соответственно, зеленой и черной — эффективность М-оценки с р-функцией Тьюки по отношению к тем же оценкам. Для сравнения синей линией отмечена эффективность оценки наименьших модулей по отношению к оценке наименьших квадратов. Сплошная линия везде относится к оцениванию коэффициента а1 = -0.3, пунктирная — к оцениванию коэффициента а2 = 0.5.

Рис. 1. Зависимость относительной эффективности от 5

е

У

3.5

д 5_I_I_I_I_I_I_I_

'1 1.5 2 2.5 3 3.5 4 4.5 5

Т

Рис. 2. Зависимость относительной эффективности от т

Для удобства анализа графиков голубой горизонтальной линией отмечена относительная эффективность, равная единице.

Постоянная к р-функции Хьюбера во всех экспериментах равнялась 2, поскольку опытным путем было установлено, что если f задается равенством (6), а 8 и т принимают типичные на практике значения 8 € (0, 0,3), т € (1, 5), то выборочная дисперсия М-оценки минимальна при к € (1,5, 2,5).

Из рисунков видно, что при отсутствии загрязнений оценка наименьших квадратов немного эффективнее М-оценки. Однако с ростом 8 и т относительная эффективность М-оценки по отношению к оценке наименьших квадратов увеличивается, становясь больше единицы.

Заключение

В работе изучены свойства М-оценки, оценки наименьших квадратов и оценки наименьших модулей параметров пороговой авторегрессионной модели с одним порогом, который предполагается известным и равным нулю. Методом компьютерного моделирования проведена оценка дисперсий всех указанных оценок для типичных вероятностных расспределений обновляющей последовательности авторегрессионного уравнения, в частности, для загрязненного нормального распределения.

Оказалось, что оценка наименьших квадратов является лучшей только при нормальном распределении Ег. Уже для логистического распределения и распределения Стьюдента с большим числом степеней свободы, плотности которых являются гладкими и достаточно

быстро убывают на бесконечности, М-оценки составляют конкуренцию оценке наименьших квадратов, причем М-оценка с р-функцией Хьюбера превосходит оценку наименьших квадратов в случае обоих распределений.

Для распределения Лапласа оценка наименьших квадратов является наихудшей, а оценка наименьших модулей наилучшей среди всех оценок.

Для распределения Коши, которые имеют бесконечную дисперсию, оценка наименьших квадратов имеет несравнимо низкую эффективность по отношению к остальным оценкам.

С уменьшением числа степеней свободы у распределения Стьюдента оценка наименьших квадратов сначала проигрывает только М-оценке с р-функцией Хьюбера, потом обеим М-оценкам, а затем и оценке наименьших модулей.

Если обновляющий процесс имеет загрязненное нормальное распределение, то М-оценка уступает, причем не намного, оценке наименьших квадратов только при практически полном отсутствии загрязнений.

С ростом доли и уровня загрязнения относительная эффективность М-оценки по отношению к оценке наименьших квадратов увеличивается, становясь больше единицы для типичного на практике загрязнения.

Таким образом, при отсутствии априорной информации о вероятностном распределении обновляющего процесса порогового авторегрессионного уравнения для оценивания параметров этого уравнения целесообразно использовать М-оценки, предпочтя их, в частности, оценкам наименьших квадратов и наименьших модулей.

Список литературы

1. HansenB.E. Threshold autoregression in economics // Statistics and Its Interface. 2011. Vol.4, no. 2. Pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4

2. Tong H. Non-linear time series: A dynamical system approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.

3. Douc R., Moulines E., Stoffer D. Nonlinear time series: Theory, methods and applications with R examples. Boca Raton: CRC Press, 2014. 531 p.

4. Li D., Ling Sh. On the least squares estimation of multiple-regime threshold autoregressive models // J. of Econometrics. 2012. Vol. 167, no. 1. Pp. 240-253. DOI: 10.1016/j.jeconom. 2011.11.006

5. Wang L., Wang J. The limiting behavior of least absolute deviation estimators for threshold autoregressive models // J. of Multivariate Analysis. 2004. Vol. 89. No. 2. Pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006

6. Горяинов A.B., Горяинова Е.Р. Сравнение эффективности оценок методов наименьших модулей и наименьших квадратов в авторегрессионной модели со случайным коэффициентом// Автоматика и телемеханика. 2016. №9. C. 84-95.

7. Huber P., Ronchetti EM. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 370 p. DOI: 10.1002/9780470434697

8. Wilcox R.R. Introduction to robust estimation and hypothesis testing. 3rd ed. Amst.; Boston: Academic Press, 2012. 690 p.

9. Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P. Numerical Recipes: The Art of Scientific Computing. 3rd ed. Camb.; N.Y.: Camb. Univ. Press, 2007. 1256 p.

10. Bissantz N., Dumbgen L., Munk A., Stratmann B. Convergence analysis of generalized iteratively reweighted least squares algorithms on convex function spaces // SIAM J. of Optimization. 2009. Vol. 19, no. 4. Pp. 1828-1845. DOI: 10.1137/050639132

11. Горяинов В.Б., Горяинова E.P. Асимптотические свойства знаковой оценки коэффициентов авторегрессионного поля // Автоматика и телемеханика. 2015. № 3. C. 62-78.

Mathematics i Mathematical Modelling

Electronic journal of the Bauman MSTU

Mathematics and Mathematical Modelling of the Bauman MSTU, 2017, no. 3, pp. 91-104.

DOI: 10.24108/mathm.0317.0000072

Received: 07.06.2017

© Bauman Moscow State Technical University

Comparison of Classical and Robust Estimates of Threshold Auto-regression Parameters

Goryainov V. B.1^

vb-goryainov@bmstu.ru 1 Bauman Moscow State Technical University, Russia

Keywords: threshold autoregression, M-estimate, least square estimate, least absolute deviation estimate, contaminated normal distribution

The study object is the first-order threshold auto-regression model with a single zero-located threshold. The model describes a stochastic temporal series with discrete time by means of a piecewise linear equation consisting of two linear classical first-order autoregressive equations. One of these equations is used to calculate a running value of the temporal series. A control variable that determines the choice between these two equations is the sign of the previous value of the same series.

The first-order threshold autoregressive model with a single threshold depends on two real parameters that coincide with the coefficients of the piecewise linear threshold equation. These parameters are assumed to be unknown. The paper studies an estimate of the least squares, an estimate the least modules, and the M-estimates of these parameters. The aim of the paper is a comparative study of the accuracy of these estimates for the main probabilistic distributions of the updating process of the threshold autoregressive equation. These probability distributions were normal, contaminated normal, logistic, double-exponential distributions, a Student's distribution with different number of degrees of freedom, and a Cauchy distribution.

As a measure of the accuracy of each estimate, was chosen its variance to measure the scattering of the estimate around the estimated parameter. An estimate with smaller variance made from the two estimates was considered to be the best. The variance was estimated by computer simulation. To estimate the smallest modules an iterative weighted least-squares method was used and the M-estimates were done by the method of a deformable polyhedron (the Nelder-Mead method). To calculate the least squares estimate, an explicit analytic expression was used.

It turned out that the estimation of least squares is best only with the normal distribution of the updating process. For the logistic distribution and the Student's distribution with the large number of degrees of freedom, the M-estimate with the Huber rho-function exceeds the least squares estimate in the case of both distributions.

For the Laplace distribution, the least squares estimate is the worst, and the least modulus estimate is the best among all estimates.

For the Cauchy distribution, the least-squares estimate has incomparably low efficiency with respect to the remaining estimates.

With decreasing number of degrees of freedom in the Student's distribution, the least squares estimate at first loses only the M-estimate with the Huber rho-function, then both M-estimates, and then the least moduli estimate.

If the updating process has a contaminated normal distribution, then the M-estimate is a little bit lower than the least squares estimate only in case there is absolutely no contaminants.

With increasing contamination share and level, relative effectiveness of the M-estimate with respect to the estimation of least squares grows, becoming above unit for typical contamination in practice.

References

1. Hansen B.E. Threshold autoregression in economics. Statistics and Its Interface, 2011, vol. 4, no. 2, pp. 123-127. DOI: 10.4310/SII.2011.v4.n2.a4

2. Tong H. Non-linear Time Series: A Dynamical System Approach. Oxf.: Clarendon Press; N.Y.: Oxf. Univ. Press, 1990. 564 p.

3. Douc R., Moulines E., Stoffer D. Nonlinear Time Series: Theory, Methods and Applications with R Examples. Boca Raton: CRC Press, 2014. 531 p.

4. Li D., Ling Sh. On the least squares estimation of multiple-regime threshold autoregressive models. J. of Econometrics, 2012, vol.167, no. 1, pp. 240-253. DOI: 10.1016/j.jeconom. 2011.11.006

5. Wang L., Wang J. The limiting behavior of least absolute deviation estimators for threshold autoregressive models. J. of Multivariate Anal., 2004, vol. 89, no. 2, pp. 243-260. DOI: 10.1016/j.jmva.2004.02.006

6. Goryainov A.V., Goryainova E.R. Comparison of efficiency of estimates by the methods of least absolute deviations and least squares in the autoregression model with random coefficient. Automation and Remote Control, 2016, vol.77, no. 9, pp. 1579-1588 DOI: 10.1134/S000511791609006X (Russian version of journal: Avtomatika i telemehanika, no. 9, 2016, pp. 84-95).

7. Huber P., Ronchetti E.M. Robust statistics. 2nd ed. Hoboken: Wiley, 2009. 370 p. DOI: 10.1002/9780470434697

8. Wilcox R.R. Introduction to Robust Estimation and Hypothesis Testing. 3rd ed. Amst.; Boston: Academic Press, 2012. 690 p.

9. Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P. Numerical Recipes: The Art of Scientific Computing. 3rd ed. Camb.; N.Y.: Camb. Univ. Press, 2007. 1256 p.

10. Bissantz N., Dumbgen L., Munk A., Stratmann B. Convergence analysis of generalized itera-tively reweighted least squares algorithms on convex function spaces. SIAM J. of Optimization, 2009, vol. 19, no. 4, pp. 1828-1845. DOI: 10.1137/050639132

11. Goryainov V.B., Goryainova E.R. Asymptotic properties of the sign estimate of autoregression field coefficients. Automation and Remote Control, 2015, vol. 76, no. 3, pp. 419-432. DOI: 10.1134/S0005117915030066 (English version of journal: Avtomatika i telemehanika, 2015, no. 3, pp. 62-78).