CC BY
2
УДК 519.234
EDN: PPICLB
ВЫЧИСЛЕНИЕ АСИМПТОТИЧЕСКОЙ КОВАРИАЦИОННОЙ МАТРИЦЫ ОБОБЩЕННОЙ ЭКСПОНЕНЦИАЛЬНОЙ АВТОРЕГРЕССИОННОЙ МОДЕЛИ ОЗАКИ ДЛЯ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
В.Б. Горяинов vb-goryainov@bmstu.ru
М.М. Масягин masyagin@bmstu.ru
МГТУ им. Н.Э. Баумана, Москва, Российская Федерация
Аннотация
Математические модели высоких порядков и их теоретические свойства являются предметом активных исследований на протяжении последних десятилетий. Они играют важную роль в решении экономических и финансовых, инженерных и медицинских задач. Один из наиболее распространенных примеров — обобщенная экспоненциальная авторегрессионная модель Озаки. Вычислена асимптотическая ковариационная матрица обобщенной модели Озаки для оценки методом наименьших квадратов путем ее разложения в ряд Тейлора. Проведено сравнение скорости стремления отдельных реализаций модели к ее асимптотическому поведению для нескольких распределений обновляющего процесса: нормального (гауссова), загрязненного нормального с различными комбинациями параметров частоты и величины загрязнения, Стьюдента, Лапласа и логистического. Научная новизна работы заключается в непосредственном нахождении асимптотической ковариационной матрицы обобщенной модели Озаки, практическая — в возможности использования табличных результатов сравнения ее реализаций для принятия решения об использовании модели Озаки или какой-либо другой модели в инженерных расчетах
Ключевые слова
Обобщенная экспоненциальная авторегрессионная модель, метод наименьших квадратов, асимптотическая ковариационная матрица, разложение в ряд Тейлора
Поступила 03.11.2023 Принята 25.01.2024 © Автор(ы), 2024
Введение. Активное развитие и удешевление современных аппаратных вычислительных систем стимулируют усложнение методов математического моделирования и увеличение числа их свободных параметров. Следствием этого стало улучшение качества предсказаний последних. В настоящее вре-
мя модели высоких порядков используют наравне с нейронными сетями и другими методами машинного обучения в перспективных направлениях науки и инженерии: алгоритмической торговле на биржах [1, 2] и биоинформатике [3], при оценивании страховых рисков [4] и проверке сейсмо-устойчивости архитектурных проектов [5]. Одной из таких моделей является обобщенная экспоненциальная авторегрессионная модель Озаки [6] и ее различные модификации [7-9].
Несмотря на вновь возросшую популярность классических математических моделей высоких порядков, они все еще остаются малоизучены. Это обусловлено тем, что зачастую с их помощью решают конкретные прикладные задачи, упуская из виду их теоретические свойства. Однако ценность таких свойств весьма высока: они упрощают исследователю выбор конкретной модели и позволяют избегать лишних компьютерных вычислений. К подобным свойствам относят условия стационарности и эргодичности модели, асимптотическое поведение ее оценок и т. д.
Цель работы — нахождение асимптотической ковариационной матрицы обобщенной модели Озаки для оценки наименьших квадратов и сравнение скорости стремления ее отдельных реализаций для различных распределений обновляющего процесса к асимптотическому поведению.
Постановка задачи. Обобщенная экспоненциальная авторегрессионная модель Озаки задается уравнением
где a0, Ьо, a1, Ь1, ..., ap_2, bp_2, ap_ 1, bp_ 1, c — действительные параметры модели; ^, t = 0, 1, ... — последовательность независимых случайных величин, удовлетворяющая условиям: Eí)t = 0, т. е. она имеет нулевое математическое ожидание; D^ = E^2 = < — конечная дисперсия. Последовательность ^ принято называть обновляющим процессом.
Предположим, что процесс Xt удовлетворяет соотношению (1) и имеются п его наблюденийX0,...,Xn_ 1. В таком случае параметры уравнения
можно оценить с помощью метода наименьших квадратов (МНК), представляющего собой решение задачи минимизации функции
(1)
gl.s.m(ai, bi, c)i = 0,1,p-1 = g(ai, bi, c)
Необходимо получить асимптотическое поведение оценок МНК (поведение оценок при п ^ + го), т. е. вычислить асимптотическую ковариационную матрицу оценки g (а,, Ь,, с).
Вычисление асимптотической ковариационной матрицы. Аппроксимируем функцию g (а,, Ь,, с) ее разложением в ряд Тейлора в окрестности фиксированной точки (а0, Ь0, а0, Ь0,..., а0, Ь0, а0, Ь0, с) ((а,, Ь,, с), = 0,1, ..., р -1, где аХ1, Ь,2 расположены последовательно при ,1 = ,2) до второго порядка включительно. Для этого введем обозначения
0 = >/я ((а,- -а,), (Ь, -Ь,), (с-с)) ,
V ', = 0, 1, ..., р -1
А =
4n
dg(a,, bi, с) dg(a,, bi, с) 5g(a,, b,, с)
p-
V
За-
дъ{
5c
Ji = 0,1, ..., p -1
B = 1
n
d2g(a, , bj, c) 52g(a, , bj, с) 32g(c, , bj, c)
dai да j daidbj daidc
б2g(а;, bi, С ) б2g(а;, b,, с ) 32g(a,, b;, c)
db, да j dbi dbj dbidc
д2g(а,, bi, с. ) д2g(а,, bi, с ) 32g(a,, b;, c)
деда.
dcdbi
dc2
} } М = 0,1, ..., р -1; ) = 0,1, ..., р -1
где производные (вторые производные) по а,1 и Ь,2 (а^ и Ь^2) расположены последовательно при ¡1 = ,2 ()1 = j2).
Отметим, что 0 — вектор-столбец размерностью п х 1, А — вектор-столбец размерностью п х 1, В — квадратная матрица размерностью п х п. В этих обозначениях запишем
g(а,, Ь,, с) = g(а,, Ь, с) + Ат0 + 2 0тВ0 + 5(а, Ь,, с),
где 5(а,, Ь,, с) — бесконечно малая функция, порядок которой при
(а,, Ь,, с), = 0,1, ..., р-1 ^ (а,, Ь,, с), = 0,1,..., р-1 выше, чем
р -1
X ((с; - с,-)2 + (bi - bi)2 ) + (c - с)2.
i = 0
Выполним непосредственное дифференцирование вектора-столбца А и матрицы Гессе В с учетом того, что
1
( Р - 1 / _ cX2_
Xt ai + bie 1 -1 | Xt - (i+1) i = 0
= ^2.
dg (ai, bi, c) d2 g (ai, bi, c) В качестве примера вычислим -:- и
dbi
dbidc
dt f Xt " X1U+ bte ~cXl 1 )Xt - (i'+1)
dg (ai, bi, c) _ t = p ^ i' = о
dbi
dbi
с
= 2 T^t
t = Р
Р-1
Xt -lU+ bee ~ cXf~ 1 )Xt - (i'+1)
i' = 0
dbi
= 2 E Zt
t=p
f p-1 Р -1 _ cX2
d£ a{'Xt - (i' +1) d£ b^e 1"1 Xt - (i'+1) i' = 0
dXt i' = 0 "dbi
dbi
dbi
cX 2 Л n ry 2
" cXt -1V . | _ о e "cAt -1
= 2 X^t I 0 - 0 - e t~1Xt _ (i' + 1) l = -2 £ ^e t~1Xt _ (f +1); t = p V J t = p
d2g(ai, bi, c)
d
С n - cX2
dbi dc \
- 2 ^^te t"1 Xt _ (i' +1)
v t=P_:
dc
■ = -2
-cXf
dZ^t I e -1 Xt _ (i+1)
t = p V
dc
(
= -2
n de"cXf"1 Xt _
X &)-
vt = p
t -(i+1) + £ ^ {- cX2_ 1
5c
ttp 5cle "«+
n cX2
2 " cXt -1
= 2 Y^tXt - (i +1)X2_ 1e t = p
- 2 Z
t = p
f p -1 p -1 _ cX2
d£ ai' Xt - (¿' +1) d£ bi'e 1 ~1 Xt _ (¿' +1) dXt i = 0 i' = 0
Л
dc
dc
dc
- cX2 n _ cX2
х Xt _ (i + 1)e"X"1 = 2 X ttXt _ (i +1)Xf_ ^"X"1 t = p
- 2 I
t = p
p ~ 1 - cX 2
X bi'Xt _ (i' +1)X2_ ^ X -1 i' = 0
Y e " X-1 Xt - (i + 1)e
Для вектора-столбца:
dg(ai, bi, ^ n
- = -2 X c,tXt-(i +1),
dai
t = p
5g(ai, bi, C) 2 « ? e- cX2_ 1X
- = -2 X ste Xt_(i' +1),
t=p
-cXi
dg(ai, bi, c) n „ ipd -X_ 1
- = 2 X ^t X bi'Xt - (i'+1)Xf_ 1e t 1. t = p i' = 0
de
Для матрицы Гессе:
d2ga, bi, c) ^ n
dai da j
-2 X Xt - (i+1)Xt - (j+
t=p
d2g(ai, bi, c) d2g(ai, bi, c)
dai dbj
dbi daj
= 2 X Xt - (i +1)Xt - (j+1)e
-cX2-1
t=p
d2g(at, bi, c) 32g(ai, bi, c)
dai dc
dcdai
t=p
p -1
) I.
i' = 0
—cX 2
= -2 X Xt - (i +1) X bi'Xt _ (i- +1)X2_ 1e t -1,
g2 g (ai, bi, c)
dbi dbj
= 2 X Xt - (r +1)Xt - (j' + 1)e
~2cxl_ 1
t=p
d2g(ai, bi, c) 32g(ai, bi, c)
dbi dc
n
- 2 X
t = p
dcdbi
= 2 X № - (i +1)X2_ 1e
-cX:
t -1
t = p
p -1
X
i' = 0
— cX 2
X bi'Xt _ (i' + 1)X2_ 1e"X-1
Xt - (i+1) e
-cX2-1
а2gа, bi, с) « (рц1
дс2
t=р
= 2 X X bf Xt _ (i'+1) x2_ iß
-cX,
2 > t -1
i' = 0
- cX2
-2 t Zt X bi'Xt_(i' +1)Xf_^-1. t = p i' = 0
Будем полагать, что рассматриваемая модель (1) стационарная и эрго-дическая. Условия этого [10]:
- с > 0, в противном случае множитель ß t"1 стремится к бесконечности;
- все корни характеристического уравнения Хр - й0^р "1 -... -- ар -1 = 0 расположены в единичной окружности, т. е. | ai | < 1, i = 0, 1, ..., р-1.
На практике рассматриваются лишь стационарные модели, поэтому подобное допущение является корректным. Существование предела lim B —
п <х
следствие стационарности и эргодичности модели. Найдем предел.
Отметим, что в дальнейших вычислениях множитель 1/п вносится в пределы для того, чтобы можно было использовать центральную предельную теорему. В вычислениях также используется тот факт, что произведением стационарных и эргодических последовательностей является стационарная и эргодическая последовательность [11].
1 д2gа, bi, с)
В качестве примера вычислим lim
с» п dbi дс
. 1 а2 g(ai, bi, с) 1 п 2 - cx2-1 --нгн—= lim ~2 X ^tXt-(i+1)X- 1ß f 1
ю п obi ос п ^сс п t
lim
1п
- lim —2 £
п ^<х> п t = р
р-1
x bi xt - (i'+у x2_ 1ß i' = 0
- iX,
t -1
Xt - (i + 1)ß
-<X
t -1
= 0 - 2 £1 bi'EX2 X02ß-2X = -2 £1 bi'EX2 X02ß" 2cXi2.
i' = 0
i' = 0
Получим
1 а2g(ai, bi, с)
lim--:—:-= 2EX0 Xi _ j,
п п dai daj
п
1 д2g(сц, bi, с) 1 52g(ai, bi, с) _ cX2 lim--= lim--= 2EX0 Xt _ je 1 ,
n ^ ю n dat dbj n n dbi daj
lim 1 • Й • C) = lim 1 ^Lilf» = _2 £1 „EXg X^ of,
n ^ ю n dai dc n n dc daj i = 0
i a2g{ai, , c) —2cx2 lim--= 2EX0 Xi - je i ,
n n dbi dbj
1 d2g{ai, ь, с) 1 d2g{ai, bi, c) 2 -2cX2
lim--= lim--= -2 X bi'EXf,Xge 1
n n dbi dc n n 5c dbj i- = 0
1 d2g(ai, bi, c) o n f P-1 V
lim--2-= 2 X
nn dc:2 t = P vi =о у
X br
i' = о
EX2 Xfe " 2cX2-1.
Таким образом, lim B = 2K, где элементы матрицы К — соответствую-
n ^ ю
щие пределы производных, разделенных на n.
Следовательно, g{ai, bi, c) = g(ßi, bj, с) + Ат0 + 0тК0 + 5{aj, b, c). Покажем, что асимптотическое распределение точки (ai,bi, с) = 0,1,..., p-1 минимума функции g(ai, bi, c) есть не что иное как асимптотическое распределение точки минимума для квадратичной формы Ат 0 + 0т К 0, причем ее минимум равен (-1/2)К _1Л. Введем погрешность вычислений истинных значений Xt:
Et = X (Jai + bie cXt~1 j Xt_(i +1) ai + bie cXt~1 j Xt_(i +1).
n
Зададим функцию квадратичной ошибки: L(ai, ^, с) = X E _^2).
t = P
Выполним замену ® = 4na - at ,bi - bi, с - c) и разложим L(ai, bi, с) в ряд Тейлора. Используем модифицированную формулу разложения в ряд Тейлора с остаточным членом в форме Лагранжа первого порядка:
f (x) = f (xg) + f '(xo)(x - xg) + R1(x) =
= f (xo) + f '(xo)(x - xo) + 2 f "(x)(x - xo)2, x e (xo, x);
/ (х) = / (хо) + / Ы(х - Хо) + 2 / "(Х )(х - Хо)2 =
= /(хо) + /'(Хо)(х - Хо) + 2 /"(хо)(Х - Хо)2 -
- 2 /"(хо)(х - хо)2 + ^ /"(Х)(х - хо)2 =
= /(хо) + /'(хо)(х - Хо) + ^ /"(хо)(х - Хо)2 +
+ ■2(/"(Х) - /"(хо))(х - хо)2. Вычислим вектор первых производных и матрицы Гессе вторых про-
д±Е}
изводных функции Д0). В качестве примера определим
dbi 4п
д2 Е E2 t = 0 1 и -—--
dbi дс п
E2
t=0 1 1 п dEt 5E? _ 1 " dEt _ 2 " SEt
Л = П= Z^2Et I ^Et =
dbi ^п \!п t = р dbi SEt ^п t=р dbi ^п t=р dbi
п д%о (J ai' + bi'ß ~ 1) Xt - (i +1) j - (^ + ^e" 1 )Xt - (i +1)
-r £ Et—---
\п t = р dbi
^ - X
2 " V d-frXt -(i' + 1)ß t -1 2 п - CXl 1
-j= E Et E---= —r E EtXt - (i + 1)ß t 1;
wj = р i'= 0 dbi \п t = р
82 ¿E2 5-2 tEtXt_(i + 1)ß"1 t=р 1 _ 1 t = р__
dbi дс п п дс
_ CX2 п р - 1
Xt_(i+1)ß j-1 ax T(AXt-(j'+1) + )-BXt_(j'+1) 2 t = pj' = 0
п дс
2 ^^ ,_, _ cX2 i 2 J^ р—( ^ - __ __ _2с X2
= — Z EtXt - (i+1)Xt~ 1ß j 1 — Z Z bj'Xt - (j'+1)Xt - (i+1)Xt-1 пt = р пt = pj ' = 0
ß '-1,
_ cX2_ 1 ^^ ^ ^ _ cX?_ 1
А = af + bj'e 1; B = aj + b/e 1 1.
Для вектора-столбца производных: d±E2
t = 0 t 1 _ 2 «
-—--T= ---f= L EtXt - (i +
dai Vn Vn t = p
d^ Ef
t = 0 1 2 n - X2-1
= —г X EtXt - (i + 1)e t 1,
dbi 4n 4n
t=p
^E E2 p1^
--1 = -T t Et E br Xt _ (i- +1)X2_ 1e"cX2"1.
Cc Vn Vn t = p i = 0
Для матрицы Гессе:
а2 s Ej
t = 0 1 _ 2 « X -———--L Xt - (i +1) Xt - (j +1),
dai daj n nt = p
d2 £ E2 d2 £ E2
t = 0 1 t = 0 12 n v v - CXt2_ 1
- = - L Xt - (i +1)Xt - (j + 1)e ,
dai dbj n dbi daj n nt = p
d2 £ E2 d2 £ E2 1
t = 0 1 t = 0 1 2 « pz1 Г X X X2 e- cXt2_ 1
- ^--= - ---=--X E bj'Xt-(j' + 1)Xt-(i + 1)Xf- 1e ,
dai dc n dcdaj n nt = p/ = 0
s2 £ e2
t= 0 12 n - cx2
= — E Xt - (i +1)Xt - (j + 1)e
t -1
dbi dbj n nt = p
d2 £ E2 d2 £ E2
t = 0 1 t = 0 12 n 2 - CX? 1
—---= --= -X EtXt - (i +1)X2_ 1e f-1
dbi dc n de dbj n nt = p
2 n p _1 ^ _fc X2
- 2 ЕЕ bjXt _ (/ +1) Xt _ (i +1) X2_ 1e~2cXt -1, n t = p j' = 0
52E E2 , р_1
t - 0 1 2 п р 1 -
j "0 1 = 2 E X biXt _ (i+1)
2
Sc2 п п t =
t = р
i = 0
x4_ 1ß "2CX2-1
2 п р ~ ^ —2cX2
- 2 Tb E biXt _ (i+1) x4_ 1ß2X -1.
Kt = р i =0
Отметим, что первые и вторые производные Ц0) с точностью до обозначений совпали с первыми и вторыми производными функции
Я(Щ, 1)1, с).
Получим, что
^ д21 - д2Ь ^
1(0) = Ат0 + ^-0 B0 + ß(0), ß(0) = 0
.2(0) (0)
v а© а© ;
где 01
0, 0
. Покажем, что ß(0) ^ 0 при п ^ го.
Для этого явно вычислим покоординатные значения элементов мат-
( Я2
рицы
д 2L
д 2L
Л
2(0) (0)
с учетом того, что Xt и ^t стационарны и эр
v а© а© J
годичны. В качестве примера определим d&äi ööbj:
д2Т ~ ß2T 2 п -
(©) - (0) = - Е Xt _ (j+1)Xt - (i+1)ß
УЧ УЧ
два i d©b j два i a©b j
a^yybj
пt = р
2 п -|^= + с| X2_ 1 --E Xt - (j +1)Xt - (i + 1)ß
п t = р
= — E Xt - (j+1)Xt - (i+1)ß
^x
t -1
nt = р
•Ju
c ' X2
t -1
-1
Tn + с1X2-1
2 » ^ cXX 2_1 | £ 2 I
E xt-(j+1)xt-(i+1)ß I 1 —т= xt-1 -1 1 = пг=р V Ып 1
2п
-X
= -—E Xt - (j+1) Xt - (i+1)ß j 1 —¡= xj_ 1 ^0.
п
nt=р
f Я2
Покоординатные значения элементов матрицы
д 2L
д 2L
\
2(0) (0)
ч а© а© ;
равны о. Это является подтверждением того, что Р(0) ^ о при п ^ го.
Получим, что Е | Р(0) 0 при п ^ да, значит, что Р(©) ^ 0 при п ^ да по вероятности.
Пусть 0 — минимум функции Ь(0) = Ат0 + (1/2)0тШ0, где Ш = = Е((£?)")К = Е(2)К = 2К <+да, тогда 0 = -Ш_1А = (-1/2)К_1А в силу того, что Ь(0) — квадратичная форма. Поскольку Е((^2)") = Е(2^) = 0 и Е(2^) независимо от Х(, то и Е ^ | ^ _ 1 ^ = 0, где ^ — последовательность а-алгебр, порожденных множеством , 5 < Последовательность , £ = 1, 2, ..., образует мартингал-разность относительно этой
последовательности а-алгебр. Тогда в силу центральной предельной теоремы для мартингалов [12] имеем, что вектор А асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей
КЕ)2 ^. Вследствие этого и случайная величина 0 = Ш _1А является
асимптотически нормальной с нулевым математическим ожиданием,
причем ее ковариационная матрица равна К _1Е )2 ^. Следовательно,
остается доказать, что 0 - 0 ^ 0 по вероятности.
Для доказательства последнего введем произвольное 5 > 0 и покажем,
0-0
<5
^1. Для этого зафиксируем некоторый параметр 8
что Р [13, 14].
Величина 0 асимптотически нормальна и ограничена по распределению, значит существует такой компакт С е №п с вероятностью, бесконечно
близкой к 1, содержащий для всех п шары с центром в 0 и радиусом 5.
Согласно закону больших чисел, В ^ Ш при п ^ да, тогда Ь(0) - Ь(0) ^ 0 по вероятности при п ^ да. Поэтому функция
Ь(0) + Ат ^ 10тШ0 выпуклая при п ^ да. Таким образом, Р(0) ^ 0
равномерно на любом компакте. Отсюда по [15] Д = 8ир@еС Р(0) ^0
по вероятности при п ^ да.
Пусть е — произвольный нормированный вектор, такой что выполняются равенства 0* = 0 + 5е, 0 = 0 + Ье, ^ >5. Тогда из выпуклости Ь(0) получаем, что Ь(0*) > (1 - 5 / í )Ь(0) + (5 / í )Ь(0), следовательно,
Ь(0) > Ь(0) + (Ь(0*) - Ь(0)) > Ь(0) + (Ь(0*) - Ь(0)) + Р(0*) - Р(0). о о
Очевидно, что матрица Ш является положительно определенной, поэтому Ь(0*) - Ь(0) = (1 / 2)52е тШе > 0 и
Inf© g с L(0) = L(0) + Infi > s - (L(0*) - L(0)) > L(0) +152eт We - 2A.
5 2
Поэтому с единичной вероятностью минимум L(0) лежит внутри компакта С, следовательно, минимум функции g действительно совпадает с минимумом квадратичной формы, является асимптотически нормально распределенным и равен -(1 / 2) K _1A.
Для того чтобы найти асимптотическое распределение случайного вектора -(1/2) K _1A, докажем, что его составляющая — вектор A — является асимптотически нормальной, т. е. сходится к нормальному случайному вектору при n ^ да по распределению.
Пусть At — а-алгебра событий, порожденная множеством |Xs, s < t]. Следствием этого является то, что Xt _ 1 измерима относительно At _ 1.
С учетом того что не зависит от At, имеем: E [^tXt _ 1| At_ 1 J =
= Xt_ 1E| At_ 1 ] = Xt_ 1EL,t = 0 [16].
За счет того что D"^t = Ei^ =a2 <+да, получаем EX^_ 1 <+да, тогда
по центральной предельной теореме для мартингалов [17] последовательности
1 dg (at, bi, c) 1 dg (at, bi, c) 1 dg (щ, bi, c) yfn dat ' 4n dbt ' dc
являются нормальными.
Случайные величины Xt _ 1 и независимы и по условию E^t = 0,
тогда
1 dg (at, bt, c) 2 n Гр
~Г-я-= ~Г ^ E l^tXt-(i +1)
Vn ощ Vn t = p
= "T t E^tEXt _ (i +1) ± 0EXt _ (i +1) = 0. Vn t = p Vn t = p
По аналогии
c 1 dg(ai, bi, c) 1 dg(ai, bi, c)
E^^--= 0, E—¡=-= 0.
Vn dbi Vn öc
С учетом D^t = E^2 = а2 < +да найдем соответствующие дисперсии:
2
■ = Р
D
1 dgfa, bj, c) f 2 « r? X -Л2
-r-;-= "г ^ E V^tXt-(i+1) J
Vn oai IV nt = p
- t E [itXt -(i +1) ]2 = 4a2EX02. n t = p
Аналогично
D± MänM> = 4^2 EX2ß--X2,
л/п db;
dg (ai, k, с) \ ) _2PV6„ -2cX-
= 4
"V п 5с
I bi
i = 0
CT2 EXQß~ ^0.
Во всех случаях получаем нулевое математическое ожидание и конечные дисперсии, которые могут быть вычислены по приведенным выше формулам.
По аналогии находим пределы математических ожиданий попарных произведений элементов вектора-столбца А.
По вычислении всех дисперсий и математических ожиданий может быть сделан вывод, что случайный вектор-столбец А является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей 4а2К. Следовательно, асимптотическая ковариационная матрица вектора -(1/2)К_1А равна о2К"2 [18]. С учетом совпадения асимптотического распределения -(1 / 2) К _1А с асимптотическим распределением точки минимума функции я (а, Ь, с) получаем, что асимптотическая ковариационная матрица обобщенной экспоненциальной авторегрессионной модели Озаки для МНК имеет вид а2 К_1.
Компьютерный эксперимент. Полученное формальное выражение асимптотической ковариационной матрицы авторегрессионной модели Озаки позволяет сравнить теоретические и практические значения дисперсии ее коэффициентов. Первые равны диагональным элементам матрицы а2К_1, вторые — непосредственным дисперсиям коэффициентов модели Озаки, найденным заданным оптимизационным методом, минимизирующим квадратичную функцию потерь.
Предположим, что имеется процесс X, удовлетворяющий уравнению (1) первого порядка, и известны свойства его обновляющего процесса ^. Имеются п наблюдений Хп. На основе этих данных с использованием оптимизационного метода найдем оценки коэффициентов ао, Ьо, с и вычислим их дисперсии относительно истинных значений коэффициентов. Получим теоретические значения дисперсий с использованием асимптотической ковариационной матрицы процесса Х{. Путем сравнения по модулю практических и теоретических значений дисперсий для различных п определим, какого числа наблюдений будет достаточно, чтобы МНК дал результат, практическая точность которого будет достигать теоретической.
Следует отметить, что поиск коэффициентов модели Озаки с использованием алгоритмов безусловной оптимизации является вычислительно сложной задачей. В связи с этим в качестве примера рассмотрим только модели первого порядка, причем их коэффициент c рассчитывается с использованием одномерного сеточного метода (перебор значений c в заданном диапазоне с фиксированным шагом). Таким образом, в результате будет проведено сравнение теоретических и реальных дисперсий только для коэффициентов йо, bo.
Вектор Xn для вычисления коэффициентов методом оптимизации сгенерируем 1000 раз со следующими начальным условием и параметрами:
x0 = 2,0, a0 = 0,1, b0 = -0,9, c = 5,0, n = 5, 10, 25, 50, 75, 100, 150, 200, 250.
Выбор подобных значений коэффициентов a0, b0 обусловлен стремлением сделать их максимально независимыми.
В качестве обновляющего процесса ^ используем классическое и загрязненное гауссовы распределения:
f (x) = e"x2/2, f (x) = e"x2/2 (1 - y) + -¡L= e~x2/(2т\ V2tc Ы2к V2ra
распределение Стьюдента
Г((т +1) / 2)
f (x) = ■
Vm^r(2m) (i + x2/m)(m+1)/2 ' распределение Лапласа
f (x)
V2
и логистическое распределение
f (x) = ■
, = _L * -V2|x|
(1 + e-x )2 '
Их конкретные значения получим с использованием датчика случайных чисел библиотеки NumPy языка программирования Python.
Оценку параметров проводим с помощью алгоритма безусловной оптимизации Бройдена — Флетчера — Гольдфарба — Шенно (BFGS) [19-22].
Теоретические значения дисперсии коэффициента bo при различных значениях приведены в табл. 1, модули разностей теоретической и выборочной дисперсии — в табл. 2. Аналогичные таблицы для дисперсии коэффициента a0 для краткости опущены.
Теоретические значения дисперсии коэффициента Ь0
Распределение п
5 10 25 50 75 100 150 200 250
Нормальное 152,18 123,78 111,10 108,00 106,89 106,11 105,56 105,34 105,19
Загрязненное
нормальное:
у = 0,01,1 = 3 158,74 133,22 119,85 115,79 114,47 113,97 113,13 112,81 112,70
у = 0,01, т = 10 291,59 245,75 221,29 213,44 211,05 210,04 208,84 208,33 208,22
у = 0,1,т = 3 260,18 215,91 194,73 187,19 185,21 184,48 183,49 183,04 182,52
у = 0,1, т = 10 2014,70 1678,86 1510,52 1456,97 1435,25 1428,16 1422,86 1418,52 1414,90
Стьюдента:
т = 15 181,27 147,66 131,76 125,23 124,20 123,30 122,92 122,79 122,64
т = 10 196,45 161,14 142,05 136,47 134,83 134,18 133,70 133,49 133,27
т = 5 264,50 213,69 193,90 185,55 183,07 182,07 181,68 181,20 180,71
т = 4 325,16 260,58 233,87 224,40 221,32 220,06 219,28 218,64 218,10
Лапласа 297,86 252,15 224,60 217,00 212,86 212,15 211,01 209,93 209,45
Логистическое 755,70 615,57 544,66 526,71 514,23 511,98 507,73 506,77 505,62
Модули разности значений теоретической и выборочной дисперсии Ьо
Распределение п
5 10 25 50 75 100 150 200 250
Нормальное 6 318 743 61,69 16,89 7,69 1,15 0,97 0,49 2,73 0,38
Загрязненное
нормальное:
у = 0,01,1 = 3 218 491 91,49 3,14 3,87 6,51 11,61 5,64 7,22 1,44
у = 0,01, т = 10 3 818 533 20,43 94,70 103,27 103,07 107,27 101,66 101,84 95,47
у = 0,1,т = 3 657 725 43,10 77,52 89,75 92,86 91,88 93,52 91,8 80,12
у = 0,1, т = 10 3,46 • 109 37835,46 1216,08 1197,63 1201,98 1204,04 1186,25 973,23 901,43
Стьюдента:
т = 15 1 • 108 89,47 12,54 5,00 7,38 8,72 4,99 2,86 2,65
т = 10 2,6 • 107 129,49 9,28 9,51 13,63 12,44 11,66 1,51 3,45
т = 5 6- 107 183,87 27,35 26,30 16,69 10,82 9,34 6,12 5,80
т = 4 1 • 107 250,03 62,47 26,06 19,61 2,60 12,32 9,57 9,75
Лапласа 2,8 • 107 128,88 19,58 4,96 1,53 3,70 18,29 1,57 11,13
Логистическое 1,4- Ю10 10 932 84,64 6,05 5,27 14,72 2,20 5,36 5,76
Погрешность метода статистических испытаний и погрешность МНК приводят к широкому разбросу значений в ячейках табл. 1, 2. Тем не менее МНК крайне быстро достигает теоретических значений дисперсии в случае нормального распределения и показывает высокую скорость сходимости для распределения Стьюдента с большим числом степеней свободы и для загрязненного нормального распределения с малыми значениями у и т. Хуже всего метод показывает себя в случае логистического распределения, распределений Лапласа и Стьюдента при m = 4 и загрязненного нормального распределения при больших значениях у и т.
При дальнейшем увеличении n (и N) абсолютные значения разности дисперсий продолжат уменьшаться, однако никогда не станут полностью нулевыми в силу ранее названных погрешностей метода статистических испытаний и МНК.
Выводы. Получены выражения асимптотической ковариационной матрицы экспоненциальной авторегрессионной модели Озаки для МНК o2K_1. Компьютерный эксперимент показал, что теоретические оценки дисперсии параметров быстрее достигаются в случае нормального распределения, распределения Стьюдента с большим числом степеней свободы и загрязненного нормального распределения с малыми значениями параметров у, т и медленнее для распределений Лапласа, Стьюдента при m = 4 и загрязненного нормального распределения при больших значениях у и т.
ЛИТЕРАТУРА
[1] Chan E.P. Machine trading. Deploying computer algorithms to conquer the markets. Wiley, 2017.
[2] Naik N., Mohan B.R. Stock price volatility estimation using regime switching technique empirical study on the Indian stock market. Mathematics, 2021, vol. 9, iss. 14, pp. 1595-1608. DOI: https://doi.org/10.3390/math9141595
[3] Hsu B., Sherina V., McCall M.N. Auto-regressive modeling and diagnostics for qPCR amplification. Bioinformatics, 2020, vol. 36, no. 22-23, pp. 5386-5391.
DOI: https://doi.org/10.1101/665596
[4] Mohamed H.S., Cordeiro G.M., Yousuf H.M. The synthetic autoregressive model for the insurance claims payment data: modeling and future prediction. Statistics Optimization & Information Computing, 2022, vol. 11, pp. 524-533.
[5] Lapin V.A., Yerzhanov S.E., Aidakhov Y.S. Statistical modeling of a seismic isolation object under random seismic exposure. J. Phys.: Conf. Ser., 2019, vol. 1425, art. 012006. DOI: https://doi.org/10.1088/1742-6596/1425/1/012006
[6] Ozaki T. Non-linear phenomena and time series models. Invited paper 43 Session of the International Statistical Institute. Buenos Aires, 1981.
[7] Ozaki T. The statistical analysis of perturbed limit cycle processes using nonlinear time series models. J. Time Ser. Anal., 1982, vol. 3, iss. 1, pp. 29-41.
DOI: https://doi.org/10.1111/j.1467-9892.1982.tb00328.x
[8] Tong H. Non-linear time series. Oxford Univ. Press, 1990.
[9] Teräsvirta T. Specification, estimation, and evaluation of smooth transition autoregressive models. J. Am. Stat. Assoc., 1994, vol. 89, iss. 425, pp. 208-218.
DOI: https://doi.org/10.1080/01621459.1994.10476462
[10] Chan K.S., Tong H. On the use of the deterministic Lyapunov function for the er-godicity of stochastic difference equations. Adv. Appl. Probab., 1985, vol. 17, iss. 3, pp. 666-668. DOI: https://doi.org/10.2307/1427125
[11] White H. Asymptotic theory for econometricians. Academic Press, 2014.
[12] Häusler E., Luschgy H. Stable convergence and stable limit theorems. In: Probability Theory and Stochastic Modelling, vol. 74. Cham, Springer, 2015.
DOI: https://doi.org/10.1007/978-3-319-18329-9
[13] Goryainov V.B. Least-modules estimates for spatial autoregression coefficients. J. Comput. Syst. Sci. Int., 2011, vol. 50, no. 4, pp. 565-572.
DOI: https://doi.org/10.1134/S1064230711040101
[14] Goryainov A.V., Goryainova E.R. Comparison of efficiency of estimates by the methods of least absolute deviations and least squares in the autoregression model with random coefficient. Autom. Remote Control, 2016, vol. 77, no. 9, pp. 1579-1588.
DOI: https://doi.org/10.1134/S000511791609006X
[15] Andersen P.K., Gill R.D. Cox's regression model for counting processes: a large sample study. Ann. Statist., 1982, vol. 10, iss. 4, pp. 1100-1120.
DOI: https://doi.org/10.1214/aos/1176345976
[16] Ширяев А.Н. Вероятность-1. Москва, МЦНМО, 2011.
[17] Billingsley P. Convergence of probability measures. Wiley, 1999.
[18] Magnus J.R., Neudecker H. Matrix differential calculus with applications in statistics and econometrics. Wiley, 2019.
[19] Broyden C.G. The convergence of a class of double-rank minimization algorithms. IMA J. Appl. Maths, 1970, vol. 6, iss. 1, pp. 76-90.
DOI: https://doi.org/10.1093/imamat/6.1.76
[20] Fletcher R. A new approach to variable metric algorithms. Comput. J., 1970, vol. 13, iss. 3, pp. 317-322. DOI: https://doi.org/10.1093/comjnl/13.3.317
[21] Goldfarb D. A family of variable-metric methods derived by variational means. Math. Comp., 1970, vol. 24, no. 109, pp. 23-26.
DOI: https://doi.org/10.1090/S0025-5718-1970-0258249-6
[22] Shanno D.F. Conditioning of quasi-Newton methods for function minimization. Math. Comp., 1970, vol. 24, no. 111, pp. 647-656.
DOI: https://doi.org/10.2307/2004840
Горяинов Владимир Борисович — д-р физ.-мат. наук, профессор кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Масягин Михаил Михайлович — аспирант кафедры «Математическое моделирование» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Просьба ссылаться на эту статью следующим образом:
Горяинов В.Б., Масягин М.М. Вычисление асимптотической ковариационной матрицы обобщенной экспоненциальной авторегрессионной модели Озаки для метода наименьших квадратов. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2024, № 3 (114), с. 24-44. EDN: PPICLB
COMPUTATION OF THE ASYMPTOTIC COVARIANCE MATRIX OF THE GENERALIZED EXPONENTIAL AUTOREGRESSIVE OZAKI MODEL FOR THE LEAST SQUARES METHOD
V.B. Goryainov vb-goryainov@bmstu.ru
М.М. Masyagin masyagin@bmstu.ru
Bauman Moscow State Technical University, Moscow, Russian Federation
Abstract
High-order mathematical models and their theoretical properties remain the subject of active research over the past decades. They are playing an important role in solving economic, financial, engineering and medical problems. One of the most common examples is the generalized exponential autoregressive Ozaki model. The asymptotic covariance matrix of the generalized Ozaki model was computed for the least squares estimation by its expansion into the Taylor series. The paper compares the speed, at which the model separate implementations tend to its asymptotic behavior for several distributions of the updating process, i.e., normal (Gaussian), contaminated normal with various combinations in the contamination frequency and magnitude parameters, Student, Laplace and logistic. Scientific novelty of this work lies in direct determination of the asymptotic covariance matrix of the generalized Ozaki model. The practical novelty is the possibility of using the tabular results in comparing its implementations to decide on introducing the Ozaki model or any other model in the engineering calculations
Keywords
Generalized exponential autoregressive model, least squares method, asymptotic covariance matrix, Taylor series expansion
Received 03.11.2023 Accepted 25.01.2024 © Author(s), 2024
REFERENCES
[1] Chan E.P. Machine trading. Deploying computer algorithms to conquer the markets. Wiley, 2017.
[2] Naik N., Mohan B.R. Stock price volatility estimation using regime switching technique empirical study on the Indian stock market. Mathematics, 2021, vol. 9, iss. 14, pp. 1595-1608. DOI: https://doi.org/10.3390/math9141595
[3] Hsu B., Sherina V., McCall M.N. Auto-regressive modeling and diagnostics for qPCR amplification. Bioinformatics, 2020, vol. 36, no. 22-23, pp. 5386-5391.
DOI: https://doi.org/10.1101/665596
[4] Mohamed H.S., Cordeiro G.M., Yousuf H.M. The synthetic autoregressive model for the insurance claims payment data: modeling and future prediction. Statistics Optimization & Information Computing, 2022, vol. 11, pp. 524-533.
[5] Lapin V.A., Yerzhanov S.E., Aidakhov Y.S. Statistical modeling of a seismic isolation object under random seismic exposure. J. Phys.: Conf. Ser., 2019, vol. 1425, art. 012006. DOI: https://doi.org/10.1088/1742-6596/1425/1/012006
[6] Ozaki T. Non-linear phenomena and time series models. Invited paper 43 Session of the International Statistical Institute. Buenos Aires, 1981.
[7] Ozaki T. The statistical analysis of perturbed limit cycle processes using nonlinear time series models. J. Time Ser. Anal., 1982, vol. 3, iss. 1, pp. 29-41.
DOI: https://doi.org/10.1111/j.1467-9892.1982.tb00328.x
[8] Tong H. Non-linear time series. Oxford Univ. Press, 1990.
[9] Teräsvirta T. Specification, estimation, and evaluation of smooth transition autoregressive models. J. Am. Stat. Assoc., 1994, vol. 89, iss. 425, pp. 208-218.
DOI: https://doi.org/10.1080/01621459.1994.10476462
[10] Chan K.S., Tong H. On the use of the deterministic Lyapunov function for the er-godicity of stochastic difference equations. Adv. Appl. Probab., 1985, vol. 17, iss. 3, pp. 666-668. DOI: https://doi.org/10.2307/1427125
[11] White H. Asymptotic theory for econometricians. Academic Press, 2014.
[12] Häusler E., Luschgy H. Stable convergence and stable limit theorems. In: Probability Theory and Stochastic Modelling, vol. 74. Cham, Springer, 2015.
DOI: https://doi.org/10.1007/978-3-319-18329-9
[13] Goryainov V.B. Least-modules estimates for spatial autoregression coefficients. J. Comput. Syst. Sci. Int., 2011, vol. 50, no. 4, pp. 565-572.
DOI: https://doi.org/10.1134/S1064230711040101
[14] Goryainov A.V., Goryainova E.R. Comparison of efficiency of estimates by the methods of least absolute deviations and least squares in the autoregression model with random coefficient. Autom. Remote Control, 2016, vol. 77, no. 9, pp. 1579-1588.
DOI: https://doi.org/10.1134/S000511791609006X
[15] Andersen P.K., Gill R.D. Cox's regression model for counting processes: a large sample study. Ann. Statist., 1982, vol. 10, iss. 4, pp. 1100-1120.
DOI: https://doi.org/10.1214/aos/1176345976
[16] Shiryaev A.N. Veroyatnost-1 [Probability]. Moscow, MTSNMO Publ., 2011.
[17] Billingsley P. Convergence of probability measures. Wiley, 1999.
[18] Magnus J.R., Neudecker H. Matrix differential calculus with applications in statistics and econometrics. Wiley, 2019.
[19] Broyden C.G. The convergence of a class of double-rank minimization algorithms. IMA J. Appl. Maths, 1970, vol. 6, iss. 1, pp. 76-90.
DOI: https://doi.org/10.1093/imamat/6.1.76
[20] Fletcher R. A new approach to variable metric algorithms. Comput. J., 1970, vol. 13, iss. 3, pp. 317-322. DOI: https://doi.org/10.1093/comjnl/13.3.317
[21] Goldfarb D. A family of variable-metric methods derived by variational means. Math. Comp., 1970, vol. 24, no. 109, pp. 23-26.
DOI: https://doi.org/10.1090/S0025-5718-1970-0258249-6
[22] Shanno D.F. Conditioning of quasi-Newton methods for function minimization. Math. Comp., 1970, vol. 24, no. 111, pp. 647-656.
DOI: https://doi.org/10.2307/2004840
Goryainov V.B. — Dr. Sc. (Phys.-Math.), Professor, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Masyagin M.M. — Post-Graduate Student, Department of Mathematical Simulation, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Please cite this article in English as:
Goryainov V.B., Masyagin M.M. Computation of the asymptotic covariance matrix of the generalized exponential autoregressive Ozaki model for the least squares method. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2024, no. 3 (114), pp. 24-44 (in Russ.). EDN: PPICLB
