Научная статья на тему 'СРАВНИТЕЛЬНЫЙ АНАЛИЗ УСТОЙЧИВОСТИ РАЗЛИЧНЫХ МЕТОДОВ ОЦЕНИВАНИЯ ПАРАМЕТРОВ БИЛИНЕЙНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ'

СРАВНИТЕЛЬНЫЙ АНАЛИЗ УСТОЙЧИВОСТИ РАЗЛИЧНЫХ МЕТОДОВ ОЦЕНИВАНИЯ ПАРАМЕТРОВ БИЛИНЕЙНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ Текст научной статьи по специальности «Математика»

CC BY
78
8
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БИЛИНЕЙНАЯ АВТОРЕГРЕССИЯ / ОЦЕНКА НАИМЕНЬШИХ КВАДРАТОВ / ОЦЕНКА НАИМЕНЬШИХ МОДУЛЕЙ / М-ОЦЕНКА / НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ / РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА / РАСПРЕДЕЛЕНИЕ ТЬЮКИ

Аннотация научной статьи по математике, автор научной работы — Андрейчик Н. Л., Горяинов В. Б.

Цель работы --- сравнение различных методов оценивания параметров билинейной авторегрессионной модели. В качестве оценок параметров использованы оценка наименьших квадратов, оценка наименьших модулей и оценка на основе функции Хьюбера. С использованием компьютерного моделирования исследована точность указанных оценок в зависимости от распределения вероятности обновляющего процесса билинейной авторегрессионной модели. Вероятностное распределение обновляющего процесса моделировалось нормальным и равномерным распределениями, распределением Стьюдента с различным числом степеней свободы, распределением Лапласа (двойным экспоненциальным распределением) и распределением Тьюки, которое известно как загрязненное нормальное распределение. Мерой точности оценок служила их среднеквадратичная ошибка. Результаты приведенного вычислительного эксперимента показали, что точность трех методов оценивания параметров билинейного авторегрессионного ряда существенно зависит от вероятностного распределения обновляющего процесса модели, в частности, от числа степеней свободы распределения Стьюдента, параметров доли и величины загрязнения распределения Тьюки. Если обновляющий процесс имеет нормальное и равномерное распределения, распределение Стьюдента с достаточно большим числом степеней свободы, то эффективнее работает метод наименьших квадратов. Оценка на основе функции Хьюбера и оценка наименьших модулей становятся эффективнее оценки наименьших квадратов для распределения Лапласа, с уменьшением числа степеней свободы --- для распределения Стьюдента, а с увеличением доли и величины загрязнения --- для распределения Тьюки

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COMPARATIVE ANALYSIS OF THE VARIOUS METHODS STABILITY IN EVALUATION OF THE BILINEAR AUTOREGRESSION MODEL PARAMETERS

The purpose of this work is to compare various methods in evaluating parameters of a bilinear autoregressive model. Least squares estimate, least absolute deviations estimate and estimate based on the Huber function were used as the parameter estimates. Computer simulation was introduced to study the indicated estimates precision depending on probability distribution of the bilinear autoregressive model upgrading process. Probable distribution of the upgrading process was simulated by normal and uniform distributions, Student distribution with various degrees of freedom, Laplace distribution (double exponential distribution), and Tukey distribution known as the polluted normal distribution. Their mean square error served as the evaluation precision measure. Results of the conducted computational experiment showed that precision of three methods used in evaluating parameters of the bilinear autoregressive series significantly depended on probability distribution of the model upgrading process. In particular, it concerns the number of degrees of freedom of the Student distribution, as well as the Tukey distribution pollution share and amount. If the upgrading process possesses normal and uniform distributions, Student’s distribution with sufficiently high number of degrees of freedom, the least squares method works more efficiently. Estimate based on the Huber function and the least absolute deviations estimate are becoming more efficient compared to the least squares estimation for the Laplace distribution, with a decrease in the number of degrees of freedom --- for the Student distribution, and with an increase in the pollution share and amount --- for the Tukey distribution

Текст научной работы на тему «СРАВНИТЕЛЬНЫЙ АНАЛИЗ УСТОЙЧИВОСТИ РАЗЛИЧНЫХ МЕТОДОВ ОЦЕНИВАНИЯ ПАРАМЕТРОВ БИЛИНЕЙНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ»

УДК 519.234.3

DOI: 10.18698/1812-3368-2022-6-4-16

СРАВНИТЕЛЬНЫЙ АНАЛИЗ УСТОЙЧИВОСТИ РАЗЛИЧНЫХ МЕТОДОВ ОЦЕНИВАНИЯ ПАРАМЕТРОВ БИЛИНЕЙНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ

Н.Л. Андрейчик В.Б. Горяинов

[email protected] [email protected]

МГТУ им. Н.Э. Баумана, Москва, Российская Федерация

Аннотация

Цель работы — сравнение различных методов оценивания параметров билинейной авторегрессионной модели. В качестве оценок параметров использованы оценка наименьших квадратов, оценка наименьших модулей и оценка на основе функции Хьюбера. С использованием компьютерного моделирования исследована точность указанных оценок в зависимости от распределения вероятности обновляющего процесса билинейной авторегрессионной модели. Вероятностное распределение обновляющего процесса моделировалось нормальным и равномерным распределениями, распределением Стьюдента с различным числом степеней свободы, распределением Лапласа (двойным экспоненциальным распределением) и распределением Тьюки, которое известно как загрязненное нормальное распределение. Мерой точности оценок служила их среднеквадратичная ошибка. Результаты приведенного вычислительного эксперимента показали, что точность трех методов оценивания параметров билинейного авторегрессионного ряда существенно зависит от вероятностного распределения обновляющего процесса модели, в частности, от числа степеней свободы распределения Стьюдента, параметров доли и величины загрязнения распределения Тьюки. Если обновляющий процесс имеет нормальное и равномерное распределения, распределение Стьюдента с достаточно большим числом степеней свободы, то эффективнее работает метод наименьших квадратов. Оценка на основе функции Хьюбера и оценка наименьших модулей становятся эффективнее оценки наименьших квадратов для распределения Лапласа, с уменьшением числа степеней

Ключевые слова

Билинейная авторегрессия, оценка наименьших квадратов, оценка наименьших модулей, М-оценка, нормальное распределение, распределение Стьюдента, распределение Тьюки

свободы — для распределения Стьюдента, а с увели- Поступила 03.06.2022 чением доли и величины загрязнения — для распре- Принята 28.09.2022 деления Тьюки © Автор(ы), 2022

Введение. Часто показатели различных сфер человеческой деятельности, представленные временными рядами, моделируются (после вычета тренда и сезонной компоненты) линейными стационарными процессами авторегрессии — скользящего среднего. Однако во многих случаях некоторые остатки имеют настолько сложную структуру, например случайные резкие всплески, что они не могут быть адекватно описаны линейными моделями. Установлено, что на практике большое число временных рядов не являются ни линейными, ни гауссовыми. В силу этого в последние годы основным инструментом для анализа реальных данных стал нелинейный анализ временных рядов.

Одним из важных нелинейных обобщений линейных авторегрессионных моделей является билинейная модель. В частности, билинейные модели временных рядов хорошо отображают различного рода потрясения (шоки), например вспышки заболеваний или землетрясения. Моделирование стационарных временных рядов с использованием билинейных систем находит применение во многих областях науки: физика [1], астрономия [2], химия [3], механика [4], геология [5], гидрология [6], экономика [7] и т. д.

На практике основной задачей при построении модели временных рядов является идентификация модели, в частности оценивание параметров модели по наблюдениям временного ряда. Наиболее распространенная оценка параметров — оценка наименьших квадратов, которая оптимальна только в гауссовом случае и имеет низкую эффективность даже при небольшом отклонении вероятностного распределения наблюдений от гауссова. Поэтому для многих распространенных нелинейных моделей построены оценки, которые практически нечувствительны (робастны) к такого рода отклонениям (см. [8-10]). К таким робастным оценкам относятся, в частности, оценка наименьших модулей и М-оценка.

Работа посвящена оцениванию параметров билинейной авторегрессионной модели с использованием метода наименьших квадратов (МНК), метода наименьших модулей (МНМ) и метода на основе функции Хьюбера (ФХ).

Цель работы — сравнение точности и робастных свойств этих оценок при различных распределениях обновляющего процесса билинейной модели.

Постановка задачи. В общем виде билинейная модель с дискретным временем описывается уравнением

р г т к

X = X аХ-у + X се -у + X X ЬуХ: - {Ъ - у, ) = 1 j = 0 {= 1j = 1

где Xt — значение наблюдаемой величины на t шаге; р, г, т, к — параметры, отвечающие за порядок модели; а{, Ь{у, с{ — параметры, которые необходимо подвергнуть оценке, причем со =1. Обновляющий процесс (шум) е: является последовательностью независимых одинаково распределенных случайных величин с нулевым математическим ожиданием и дисперсией о|.

В работе рассмотрена стационарная модель билинейной авторегрессии. Для этого предполагаются выполненными условия стационарности, которые в общем случае выглядят достаточнно громоздко [11]. В частном случае, например для билинейной модели Х: = аХ: _ 1 + ^ + ЬХ: _ е -1,

условие стационарности выполняется, если а2 + Ь2а| <1.

Методы оценивания параметров. Основные принципы, связанные с подгонкой билинейной модели к данным, по существу, такие же, как и при подгонке обычной модели авторегрессии — скользящего среднего, и состоят из двух этапов. На первом этапе определяется порядок модели, т. е. подходящие значения для целых чисел р, г, т, к. На втором этапе для заданных р, г, т, к оцениваются параметры а{, Ь{у, с{, ое.

Представляется логичным сначала выполнить второй этап, затем первый. Однако оказывается, что наиболее эффективным методом выбора результирующей модели является подбор ряда моделей с различными значениями р, г, т, к, далее выбор наиболее подходящей модели на основе критерия, который учитывает предполагаемую остаточную дисперсию а2 и число подобранных параметров. Один из таких критериев — критерий Акаике А1С [12].

Рассмотрим подробнее второй этап, который и является объектом исследования настоящей работы. Обозначим вектор параметров 9 = = (01,02,..., 0п), где п = р + тк + г — число оцениваемых параметров; в{ = а{, { = 1,...,р, бр+У = Ьу, { = 1,...,т, у = 1,...,к, 0р + тк + у = су, ] = 1 • • •, г.

Предположим, что известны N наблюдений ХьХ2,...,XN. Обозначим у = тах(р, т) +1, для произвольного 0 примем е: (0) = О, : <у,

Сравнительный анализ устойчивости различных методов оценивания параметров... p r m k

et (0) = Xt - E ajXt - j - E cjet - j (0) "EE bijxt - et - j (0), t > y. j = 1 j = 1 i = 1 j = 1

Определим оценку 0 параметра 0 как точку минимума функции

N

Q(0)= Е P(et (0)), (1)

t = Y + 1

где p(x) — некоторым образом подобранная функция потерь. Минимизация Q(0) выполняется численно с помощью любого итерационного алгоритма нахождения минимума функции, например алгоритма Гаусса — Ньютона [13].

Для упрощения демонстрации результатов оценка будет проводиться на следующем частном виде модели билинейной авторегресии:

Xt = aXt -1 + et + cet -1 + bXt - e -1, (2)

при этом значение шума на каждом шаге вычисляется как

et (6) = Xt - aXt-1 - cet -1 (6) - bXt _ e -1(6), 9 = (a, b, c). (3)

Алгоритм Гаусса — Ньютона. Приведем краткие сведения об алгоритме Гаусса — Ньютона, который здесь используется для оценивания параметров билинейной модели.

Если задано m функций r = (гь...,rm) n переменных р = (рь... ,р„), при m > n, алгоритм итеративно находит значения переменных, которые

m

минимизируют сумму квадратов S(P) = Е Г'2(Р)- Начав с некоторого началь-

i = 1

ного приближения Р(0), осуществляются итерации

Р(^+1) = p(s) _ (jт J)-1 Jтг(р^), где s — номер итерации; J — матрица Якоби, элементы которой вычисляются как

= dr(p(s)) Jij = яо .

ар j

Метод наименьших квадратов. При использовании МНК функция потерь имеет вид p(x) = x2 и оценивание параметров модели сводится к минимизации суммы квадратов потерь:

N

Q(0)= Е e2(0)^min.

t = y + 1 S

Матрица Якоби, необходимая для реализации алгоритма Гаусса — Ньютона этого метода и модели (2):

(дет ав1(0) ав1(0)

J -

50i 502 503

5e2(0) 5e2(0) 5e2(0)

50i 502 503

deN (0) deN (0) deN (0)

(4)

у 501 502 50з ) Частные производные имеет смысл вычислять так же, как и значение шума — итеративно. Зная формулу вычисления значения шума на г-м шаге (з), получаем формулы для вычисления частных производных:

Set 50!

det

502 det

503

- "Xt-1 " (03 +02Xt-l)

Set -

t-l

501

- - Xt-iet-i - (03 +02 Xt-1)

det -

t-i

502

(5)

- -et-i - (03 +02Xt-i)

Set -

t-i

503

Метод наименьших модулей. При использовании МНМ функция потерь принимает вид р(х) =| х |, поэтому задача оценки параметров модели сводится к задаче минимизации функции

N

Q(0)= X | et (0)| ^ min.

t-y+i ö

Существует множество подходов к решению этой задачи. Здесь использован метод вариационно-взвешенных квадратических приближений (алгоритм Вейсфельда) [i4]. Это позволило привести функцию потерь к квадратичному виду и использовать алгоритм Гаусса — Ньютона. Вместо минимизации негладкой функции Q(0) выполняется последовательность итераций, на каждой из которых ищется вектор 0(k), минимизирующий специальную квадратичную по 0 форму:

Q(k)(0) - X

N e2(0)

Лк-i)

г=у+1щ

где к — номер итерации; ш(к_1) = | е(к_1)(0(к_1)) | — весовой коэффициент, соответствующий г-му отсчету ошибки, вычисленному на предыдущей итерации.

Однако полученная квадратичная форма наталкивается на вычислительные затруднения при малых значениях компонент вектора потерь. Если одна из его компонент равна нулю, то на этом шаге вычисление весового коэффициента становится невозможным. Для решения использован прием регуляризации, когда задается некоторое достаточно малое положительное число X и г-й весовой коэффициент:

если | et (0(k !))| >Х, ИХ, если let(0(k"1))|<X.

Таким образом, матрица Якоби, необходимая для реализации алгоритма Гаусса — Ньютона, МНМ и модели (2), будет иметь вид

J (k) =

(6)

501 1т(к-1) 502 Л/т(к-1) 503

В свою очередь, частные производные вычисляются аналогично по (5).

Функция Хьюбера. Функция Хьюбера [15] — робастная функция потерь, которая менее чувствительна к выбросам, чем квадратичная ошибка вследствие того, что квадратична для малых ошибок измерений и линейна для больших. Функция Хьюбера для рассматриваемой задачи определяется как

х2, если | х | <8, 281 х | -82, если | х |> 8,

p(x) = ■

(7)

где 8 — некий порог, здесь равен 1,345 [16], при переходе через который ошибка вычисляется линейно. Таким образом достигается устойчивость системы при случайных больших выбросах. Вид ФХ р(х) приведен на рисунке.

Для минимизации (1) с ФХ (7) алгоритмом Гаусса — Ньютона матрица

-3-2-1 0 1 2 3 х ФХ с 5 = 1,345

Якоби составляется аналогично приведенным выше матрицам (4) и (6) в зависимости от абсолютного значения вычисленного шума е(к)(0(к)) на итерации к в момент времени t.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Описание вычислительного эксперимента. Вектор наблюдений (Х1, Х2,..., Хп) для п = 200 билинейной модели при разных распределениях шума формировался N = 100 раз, согласно рекуррентному выражению (2). Для каждого из N экспериментов конкретные значения параметров а, Ь, с подбирались случайным образом с помощью генератора псевдослучайных чисел так, чтобы соответствовать условию стационарности. Таким образом исключаются случаи, когда на одном и том же наборе параметров тот или иной алгоритм работает с большей точностью, что позволяет получить более объективную оценку. Далее для каждого г-го эксперимента по сгенерированным наблюдениям Хц, Хг2,..., Хгп с помощью алгоритма Гаусса — Ньютона вычислялись оценки 0™^, 9-иае, б/^ для наименьших квадратов, наименьших модулей и ФХ соответственно путем минимизации определенных выше функций потерь. Поскольку полученные оценки 9 ^ =(а^ ,Ь^, с^) векторные, итоговая среднеквадратичная ошибка (СКО) Е] того или иного метода вычислялась покоординатно по формуле

1 N / * \2 Е =— Е(ег-е]г), ] = 1,2,3,

где 0г — оцененное значение параметра; 0р — фактическое значение. Эффективность методов оценивания зависит от вида плотности /(х) распределения вероятности обновляющего процесса et. Во многих вероятностно-статистических моделях МНК теряет эффективность при отклонении распределения ^ от нормального, а МНМ наилучший, если распределение ^ является двусторонним экспоненциальным распределением (распределением Лапласа) с плотностью /(х) = 1 е|х|/ст.

Ы2о

Поэтому и для модели билинейной авторегрессии представляет интерес сравнение точности оценки наименьших квадратов параметров модели с оценкой наимень-ших модулей и М-оценкой при отклонении распределения et от нормального и когда et имеет распределение Лапласа.

Наиболее известным распределением, описывающим отклонение вероятностного распределения от нормального, является распределение Тьюки, называемое загрязненным нормальным распределением, с плотностью

/т (х) = (1 е~х2'2 е~х21(2т2), о <у<1, т>1,

\2к \12п т

которое моделирует случайное с вероятностью у засорение последовательности стандартных нормальных случайных величин нормальными случай-

2

ными величинами с нулевым математическим ожиданием и дисперсией т .

Еще один способ моделирования приближенного нормального распределения заключается в замене нормального распределения распределением Стьюдента с плотностью

Г( т +1/2)

f (* ) =

шлГ(ш/2)(l + х2 /m)

ш+1/2 '

где т — параметр распределения — число степеней свободы. Если т велико, то распределение Стьюдента практически неотличимо от нормального, но с уменьшением т оно все сильнее отклоняется от него. В частности, при т = 2 у распределения Стьюдента отсутствует дисперсия, а при т = 1 (в этом случае распределение Коши) — еще и математическое ожидание.

В работе вероятностное распределение е1 моделировалось равномерным распределением на [-1, 1].

Результаты моделирования и их обсуждение. Результаты проведенных экспериментов для разных моделей распределения шума представлены в таблице.

Результаты оценивания параметров

Функция потерь СКО параметров СКО модели

E1 E2 E3

МНК Стандарты 0,064 ое нормальное р 0,087 аспределение 0,016 4,64 • 10-8

МНМ 0,179 0,136 0,067 2,17 • 10-8

ФХ 0,098 0,108 0,018 1,54 • 10-6

МНК Распредел 0,391 ение Тьюки, у= 0,354 0,1, т = 10 0,092 2,13 • 10-4

МНМ 0,146 0,151 0,120 7,03 • 10-7

ФХ 0,394 0,305 0,074 7,74 • 10-3

МНК Распреде, 0,064 ление Стьюденп 0,134 ш c m = 5 0,037 1,23 • 10-6

МНМ 0,138 0,195 0,088 8,87 • 10-8

ФХ 0,074 0,101 0,036 9,8Ь10-8

Окончание таблицы

Функция потерь СКО параметров СКО модели

Ei E2 E3

МНК Распредел 0,063 ение Стьюдент 0,061 а c m = 10 0,051 1,50 • 10-4

МНМ 0,121 0,184 0,114 5,41 • 10-8

ФХ 0,049 0,059 0,049 1,18 • 10-7

МНК Распредел 0,051 ение Стьюдент 0,073 а c m = 15 0,032 7,01 • 10-8

МНМ 0,120 0,129 0,098 4,63 • 10-8

ФХ 0,043 0,070 0,030 6,15 • 10-8

МНК Распредел 0,035 ение Стьюдент 0,051 а с m = 25 0,035 9,61 • 10-8

МНМ 0,152 0,141 0,089 2,78 • 10-8

ФХ 0,045 0,059 0,025 5,83 • 10-2

МНК Рас 0,054 пределение Лапл 0,100 аса 0,091 2,77 • 10-7

МНМ 0,117 0,168 0,120 1,01 • 10-3

ФХ 0,031 0,090 0,09 1,33 • 10-7

МНК Равноме\ 0,083 рное распределен 0,093 ие [-1,1] 0,020 4,30 • 10-9

МНМ 0,239 0,267 0,109 2,44 • 10-3

ФХ Примечание случайных бил 0,085 Приведены СК инейных авторе 0,095 О Ej соответсп грессионных мо 0,021 !ующих парамет делей. 4,41 • 10-9 ров по N = 100

Можно отметить, что МНК показал наименьшие значения СКО параметров для нормального и равномерного распределений шума, МНМ — для загрязненного нормального распределения, а оценка с использованием ФХ — для распределений Стьюдента и Лапласа. Однако следует отметить тот факт, что во всех случаях, где наилучшие результаты показал МНК, оценка через ФХ тоже была достаточно близка к истинным значениям параметров, что можно объяснить робастными свойствами этой функции потерь.

Выводы. Результаты вычислительного эксперимента показали, что точность трех методов оценивания параметров билинейного авторегрессионного ряда существенно зависит от распределения шума модели.

Для нормального, равномерного распределений и распределения Стьюдента при больших степенях свободы распределения шума эффективнее всего МНК, для загрязненного нормального распределения — МНМ, для распределений Стьюдента с небольшим числом степеней свободы и Лапласа эффективнее оценка на основе ФХ. Следует отметить, что оценка на основе ФХ достаточно близка к эффективности оценки МНК в случаях, когда МНК показал наилучшие результаты.

ЛИТЕРАТУРА

[1] Stefansson P., Fortuna J., Rahmati H., et al. Chapter 2.12 — Hyperspectral time series analysis: hyperspectral image data streams interpreted by modeling known and unknown variations. Data Handl. Sci. Technol., 2020, vol. 32, pp. 305-331.

DOI: https://doi.org/10.1016/B978-0-444-63977-6.00014-6

[2] Ismail M.I., Ali H., Syed Yahaya S.S. The evaluation of robust outlier detection procedure in bilinear (1,0,1,1) model. Test, 2019, vol. 81, no. 11-12, pp. 4001-4007.

[3] Zhang Y., Li R., Min Q., et al. The controlling factors of atmospheric formaldehyde (HCHO) in Amazon as seen from satellite. Earth Space Sci., 2019, vol. 6, iss. 6, pp. 959971. DOI: https://doi.org/10.1029/2019EA000627

[4] Liu P.F., Peng X.Q., Guo Z.Y., et al. Viscoelastic bilinear cohesive model and parameter identification for failure analysis of adhesive composite joints. Compos. Struct., 2019, vol. 224, art. 111016. DOI: https://doi.org/10.1016/j.compstruct.2019.111016

[5] Whitney R. On the use of a bilinear noise model to recover residual displacement from strong motion recordings. Geotechnical Earthquake Engineering and Soil Dynamics V: Seismic Hazard Analysis, Earthquake Ground Motions, and Regional-Scale Assessment, 2018, pp. 559-568. DOI: https://doi.org/10.1061/9780784481462.054

[6] Shimi M., Najjarchi M., Khalili K., et al. Investigation of the accuracy of linear and nonlinear time series models in modeling and forecasting of pan evaporation in IRAN. Arab. J. Geosci., 2020, vol. 13, no. 2, art. 59.

DOI: https://doi.org/10.1007/s12517-019-5031-7

[7] Raymer J., Wisniowski A. Applying and testing a forecasting model for age and sex patterns of immigration and emigration. Popul. Stud., 2018, vol. 72, iss. 3, pp. 339-355. DOI: https://doi.org/10.1080/00324728.2018.1469784

[8] Горяинов В.Б., Горяинова Е.Р. Робастное оценивание в пороговой авторегрессии. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2017, № 6 (75), с. 19-30. DOI: http://dx.doi.org/10.18698/1812-3368-2017-6-19-30

[9] Goryainov A.V., Goryainov V.B. M-Estimates of autoregression with random coefficients. Autom. Remote Control, 2018, vol. 79, no. 8, pp. 1409-1421.

DOI: https://doi.org/10.1134/S0005117918080040

[10] Goryainov V.B., Goryainova E.R. Asymptotic properties of the sign estimate of autoregression field coefficients. Autom. Remote Control, 2015, vol. 76, no. 3, pp. 419432. DOI: https://doi.org/10.1134/S0005117915030066

[11] Liu J. On stationarity and asymptotic inference of bilinear time series models. Stat. Sin., 1992, vol. 2, no. 2, pp. 479-494.

[12] Cavanaugh J.E., Neath A.A. The Akaike information criterion: background, derivation, properties, application, interpretation, and refinements. WIREs Computational Statistics, 2019, vol. 11, iss. 3, art. e1460.

DOI: https://doi.org/ 10.1002/wics.1460

[13] Аттетков А.В., Зарубин В.С., Канатников А.Н. Введение в методы оптимизации. М., Финансы и статистика, 2008.

[14] Beck A., Sabach S. Weiszfeld's method: old and new results. J. Optim. Theory Appl., 2015, vol. 164, no. 1, pp. 1-40. DOI: https://doi.org/10.1007/s10957-014-0586-7

[15] Huber P.J., Ronchetti E.M. Robust statistics. Wiley, 2009.

[16] Maronna R.A., Martin R.D., Yohai V.J., et al. Robust statistics. Theory and methods (with R). Wiley, 2019.

Андрейчик Николай Леонидович — студент кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).

Горяинов Владимир Борисович — д-р физ.-мат. наук, профессор кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).

Просьба ссылаться на эту статью следующим образом:

Андрейчик Н.Л., Горяинов В.Б. Сравнительный анализ устойчивости различных методов оценивания параметров билинейной авторегрессионной модели. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2022, № 6 (105), с. 4-16. DOI: https://doi.org/10.18698/1812-3368-2022-6-4-16

COMPARATIVE ANALYSIS OF THE VARIOUS METHODS STABILITY IN EVALUATION OF THE BILINEAR AUTOREGRESSION MODEL PARAMETERS

N.L. Andreychik [email protected]

V.B. Goryainov [email protected]

Bauman Moscow State Technical University, Moscow, Russian Federation

Abstract Keywords

The purpose of this work is to compare various methods Bilinear autoregression, least

in evaluating parameters of a bilinear autoregressive squares estimate, least absolute

model. Least squares estimate, least absolute deviations deviations estimate, M-estimate,

estimate and estimate based on the Huber function were normal distribution, Student's

used as the parameter estimates. Computer simulation distribution, Tukey distribution was introduced to study the indicated estimates preci-

sion depending on probability distribution of the bilinear autoregressive model upgrading process. Probable distribution of the upgrading process was simulated by normal and uniform distributions, Student distribution with various degrees of freedom, Laplace distribution (double exponential distribution), and Tukey distribution known as the polluted normal distribution. Their mean square error served as the evaluation precision measure. Results of the conducted computational experiment showed that precision of three methods used in evaluating parameters of the bilinear autoregressive series significantly depended on probability distribution of the model upgrading process. In particular, it concerns the number of degrees of freedom of the Student distribution, as well as the Tukey distribution pollution share and amount. If the upgrading process possesses normal and uniform distributions, Student's distribution with sufficiently high number of degrees of freedom, the least squares method works more efficiently. Estimate based on the Huber function and the least absolute deviations estimate are becoming more efficient compared to the least squares estimation for the Laplace distribution, with a decrease in the number of degrees of freedom — for the Student distribution, and with Received 03.06.2022 an increase in the pollution share and amount — for the Accepted 28.09.2022 Tukey distribution © Author(s), 2022

REFERENCES

[1] Stefansson P., Fortuna J., Rahmati H., et al. Chapter 2.12 — Hyperspectral time series analysis: hyperspectral image data streams interpreted by modeling known and unknown variations. Data Handl. Sci. Technol., 2020, vol. 32, pp. 305-331.

DOI: https://doi.org/10.1016/B978-0-444-63977-6.00014-6

[2] Ismail M.I., Ali H., Syed Yahaya S.S. The evaluation of robust outlier detection procedure in bilinear (1,0,1,1) model. Test, 2019, vol. 81, no. 11-12, pp. 4001-4007.

[3] Zhang Y., Li R., Min Q., et al. The controlling factors of atmospheric formaldehyde (HCHO) in Amazon as seen from satellite. Earth Space Sci., 2019, vol. 6, iss. 6, pp. 959971. DOI: https://doi.org/10.1029/2019EA000627

[4] Liu P.F., Peng X.Q., Guo Z.Y., et al. Viscoelastic bilinear cohesive model and parameter identification for failure analysis of adhesive composite joints. Compos. Struct., 2019, vol. 224, art. 111016. DOI: https://doi.org/10.1016/j.compstruct.2019.111016

[5] Whitney R. On the use of a bilinear noise model to recover residual displacement from strong motion recordings. Geotechnical Earthquake Engineering and Soil Dynamics V: Seismic Hazard Analysis, Earthquake Ground Motions, and Regional-Scale Assessment, 2018, pp. 559-568. DOI: https://doi.org/10.1061/9780784481462.054

[6] Shimi M., Najjarchi M., Khalili K., et al. Investigation of the accuracy of linear and nonlinear time series models in modeling and forecasting of pan evaporation in IRAN. Arab. J. Geosci., 2020, vol. 13, no. 2, art. 59.

DOI: https://doi.org/10.1007/s12517-019-5031-7

[7] Raymer J., Wisniowski A. Applying and testing a forecasting model for age and sex patterns of immigration and emigration. Popul. Stud., 2018, vol. 72, iss. 3, pp. 339-355. DOI: https://doi.org/10.1080/00324728.2018.1469784

[8] Goryainov V.B., Goryainova E.R. Robust estimation in threshold autoregression. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2017, no. 6 (75), pp. 19-30 (in Russ.). DOI: http://dx.doi.org/10.18698/1812-3368-2017-6-19-30

[9] Goryainov A.V., Goryainov V.B. M-Estimates of autoregression with random coefficients. Autom. Remote Control, 2018, vol. 79, no. 8, pp. 1409-1421.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

DOI: https://doi.org/10.1134/S0005117918080040

[10] Goryainov V.B., Goryainova E.R. Asymptotic properties of the sign estimate of autoregression field coefficients. Autom. Remote Control, 2015, vol. 76, no. 3, pp. 419-432. DOI: https://doi.org/10.1134/S0005117915030066

[11] Liu J. On stationarity and asymptotic inference of bilinear time series models. Stat. Sin., 1992, vol. 2, no. 2, pp. 479-494.

[12] Cavanaugh J.E., Neath A.A. The Akaike information criterion: background, derivation, properties, application, interpretation, and refinements. WIREs Computational Statistics, 2019, vol. 11, iss. 3, art. e1460. DOI: https://doi.org/10.1002/wics.1460

[13] Attetkov A.V., Zarubin V.S., Kanatnikov A.N. Vvedenie v metody optimizatsii [Introduction to optimization methods]. Moscow, Finansy i statistika Publ., 2008.

[14] Beck A., Sabach S. Weiszfeld's method: old and new results. J. Optim. Theory Appl., 2015, vol. 164, no. 1, pp. 1-40. DOI: https://doi.org/10.1007/s10957-014-0586-7

[15] Huber P.J., Ronchetti E.M. Robust statistics. Wiley, 2009.

[16] Maronna R.A., Martin R.D., Yohai V.J., et al. Robust statistics. Theory and methods (with R). Wiley, 2019.

Andreychik N.L. — Student, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).

Goryainov V.B. — Dr. Sc. (Phys.-Math.), Professor, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).

Please cite this article in English as:

Andreychik N.L., Goryainov V.B. Comparative analysis of the various methods stability in evaluation of the bilinear autoregression model parameters. Herald of the Bau-man Moscow State Technical University, Series Natural Sciences, 2022, no. 6 (105), pp. 4-16 (in Russ.). DOI: https://doi.org/10.18698/1812-3368-2022-6-4-16

i Надоели баннеры? Вы всегда можете отключить рекламу.