Последовательная идентификация параметров авторегрессии со случайными коэффициентами Текст научной статьи по специальности «Математика»

Д. В. Кашковский

ПОСЛЕДОВАТЕЛЬНАЯ ИДЕНТИФИКАЦИЯ ПАРАМЕТРОВ АВТОРЕГРЕССИИ СО СЛУЧАЙНЫМИ КОЭФФИЦИЕНТАМИ

Предложен последовательный алгоритм оценивания линейных параметров процесса авторегрессии со случайными коэффициентами. Получена верхняя граница среднеквадратического уклонения оценки, обратно пропорциональная параметру процедуры. Построено асимптотическое соотношение для средней длительности наблюдений, пропорциональное параметру процедуры. Доказана асимптотическая нормальность последовательной оценки и получен доверительный интервал для нее.

Введение

В задачах теории управления, физики и экономики особое место занимают стохастические динамические системы, которые, в отличии от детерминированных систем, содержат случайную составляющую. Простейшей и наиболее распространенной стохастической динамической системой является процесс авторегрессии. Для управления стохастическими системами необходимо знать их структуру, а значит, требуется провести идентификацию параметров. В моделях типа авторегрессии коэффициенты являются постоянными величинами. Но на практике может оказаться, что коэффициенты подвержены случайным возмущениям. При этом алгоритмы, рассчитанные на случай постоянных параметров, будут давать неверные результаты. Поэтому наиболее естественным обобщением модели авторегрессии является процесс авторегрессии со случайными коэффициентами, который устраняет эти недостатки.

Модель авторегрессии со случайными коэффициентами и линейным управлением имеет вид

xt = 0(k)xt_i + ... + 0(k)xk +CT06t, k = 1,2, ...,

— (1) 0j (k) = 0j +CTjnj (k), j = 1, q,

где ст0 - известный положительный параметр, {ek }k -

последовательность независимых одинаково распределенных (н.о.р.) случайных величин с нулевым средним, единичной дисперсией и всюду положительной непрерывной плотностью; {(n1(k), ..., nq(k)),}k - независимая от (sk }k>1 последовательность н.о.р. случайных

векторов, компоненты которых независимы, имеют всюду положительные и непрерывные плотности, нулевые средние и единичные дисперсии; вектор начальных значений Х0 = (x0, ..., x_q+1)' с £0 ||Х0|| <+<х> не зависит от последовательностей шумов {ek }k , {"Л,- (k)}k>1, i = 1, q ; штрих означает транспонирование. Параметры 0t, ., 0q неизвестны и должны быть оценены по значениям процесса xk.

Применение процесса (1) можно найти в [1, 2]. Использование модели (1) в задачах управления приведено в [1], в теории компьютерной надежности - в [2].

В случае гауссовских шумов модель (1) эквивалентна процессу авторегрессии с ARCH (autoregressive

conditional heteroscedasticity) шумами. Асимптотическое поведение оценок для этого процесса при больших выборках было изучено в [3], где для обобщенного метода моментов установлена сходимость п.н. и асимптотическая нормальность оценок.

Кроме знания асимптотического поведения оценок, в прикладных задачах часто требуется заранее ограничиться числом наблюдений, которое обеспечивает заданную среднеквадратическую точность оценки. Для наиболее распространенного метода наименьших квадратов (МНК) из-за нелинейности оценки практически невозможно оценить ее среднеквадратическую точность. Выходом является последовательный метод оценивания. Он специально предназначен для остановки наблюдений, когда достигнута заданная среднеквадратическая точность. В [4] для модели (1) при q = 1 строится последовательная оценка МНК параметра, которая является несмещенной и имеет заданную среднеквадратическую точность.

Целью данной работы является составление последовательного алгоритма наименьших квадратов для оценивания параметров процесса (1) конечного порядка q с гарантированной среднеквадратической точностью.

В работах [5-8] были построены гарантированные в среднеквадратическом смысле точечные последовательные оценки на базе МНК для авторегрессии, случайной регрессии и более общих моделей семимартингального типа. Для гарантированного оценивания параметров в авторегрессии и моделях случайной регрессии обычно использовалось два этапа. При этом требовалось строить несколько оценок наименьших квадратов. В данной работе для модели (1) будет построена одноэтапная последовательная оценка наименьших квадратов для авторегрессии со случайными коэффициентами.

Основной результат

Цель этого раздела - построить последовательный вариант оценки МНК. Введем величины

Vk = 1Ц a0 + xk + ... + aqxl q+1 , k = а 1 ...,

где а0 >0, ..., aq >0 - заданные параметры. Тогда оценка МНК для 0 по наблюдениям (xk )k> определяется согласно критерию

ЁVL(xt - Xi-i0)2 ^ min

k=i 0

формулой

0(n) = M-±Xk-!xkvU, M„ = jX-!XlvU, (2)

k=1 k=1

где Xk = (xk, k, xk-g+iX; n > и0, n> =inf{1>1:4(M)>0} ,

Я,? (A) обозначает минимальное собственное значение

матрицы A . Для идентификации вектора неизвестных параметров будем использовать последовательную модификацию оценки (2), которая строится исходя из того, что оценка (2) удовлетворяет неравенству

Xk = AkXk- +Zk, k = 1, 2,

¡ec«) -ei2 <| m-2w -i m

x(h) = inf {

n > n0 : \\Mn < h

1

где IMIf = trMM'. Последовательную оценку для Є момент x(h) вычисляем по формуле

T(h)

e*(h) = M -h) XßkXk-iv2-i Xk

где MT(h) = £ßkXk-1 X^v^, величина ßk определяет-

k =1

ся следующим образом:

Г 1, если k < T(h),

ßk =

a(h), если k = x(h),

где a(h) определяется из уравнения

где Ck = 0^,0, --v 0)',

A =

'ei(k) ... eq (k) ^

v 7q-i 0

(7)

(8)

(3)

где тп - некоторый мартингал (см. лемму 1 в следующем разделе). Для каждого к > 0 определяем момент остановки

(4)

(5)

I _х - единичная матрица порядка q -1. Заметим, что матрицы Ак одинаково распределены. При изучении свойств процедуры оценивания будем предполагать, что на матрицу А1 наложено следующее условие: Нх) собственные значения матрицы ЕеА1 ® А1 по модулю не превосходят единицы. ® означает Кронекерово произведение матриц.

Это условие обеспечивает существование стационарного решения для (7) (см. следующий раздел).

Следующее предложение обеспечивает конечность п.н. моментов остановки п0 и т(к).

Предложение 1. При условии Нх) для модели (1) п0 < ж , т(к) <ж, Ре -п.н.

Изучим свойства последовательного плана (5), (6). Сначала рассмотрим асимптотическое поведение средней длительности наблюдений.

Теорема 1. Пусть процесс (1) удовлетворяет условию Н1). Тогда

где

1- 77 T(h) ||г7-2||1/2

lim Ee-----------= F У ,

F = Ee (ao + X 0 DX o)-1 Xo X 0,

(9)

(10)

В - диагональная матрица с элементами а1, ..., ач на

главной диагонали, Х0 - стационарное решение (7) (см. следующий раздел).

Предложение 2. При условии Нх)

x(h) її 7-^-21|1/ 2 г>

lim^^- = F ^ , Pe -п.н.

h^w h

(11)

T(h)-1

Е Xk-1 X;-1v2-1 +a(Ä)XT(h)-1XT(h)-1v^h)-1

= h-\ (6)

Далее получим верхнюю границу среднеквадратического уклонения оценки (6).

Теорема 2. При условии Н1)

Оценка 9*(И) отличается от (3) не только заменой п на т(И), но также тем, что последние слагаемые в обеих суммах берутся со специальным весом а (И). Выбор такой конструкции последовательного плана, как будет показано в дальнейшем, позволит контролировать среднеквадратическую точность оценок, что не удается сделать для самой оценки МНК.

При изучении свойств последовательного плана идентификации (т(И), 9 (И)) нам потребуется наложить дополнительные условия на область неизвестных параметров 91, к, 9д. Для того чтобы сформулировать требования на параметры, запишем (1) в векторном виде:

Ee|e*(h)-eil2 (1 + о(1)),

и її h

(12)

где Ye = max

Г^2 max,->1

2

1 У Z7-2||1/2

max (>j— F . at 11 11

Замечание. Как видно из теоремы 2, среднеквадратическое отклонение оценки (6) от параметра 9 убывает обратно пропорционально порогу И .

Следующий результат касается асимптотического распределения полученной последовательной оценки. Обозначим

в

k=1

О = Ее (ст2 + Х0ЕХо)(^-1/2 X0 X0 ^-1/2)(ао + X 0 БХ о)-2,

где Е - диагональная матрица с элементами ст1, к, ( на главной диагонали.

Теорема 3. При условии Нх) вектор статистик О-1ПМ (*(к) _ е) является асимптотически нормальным (при к ) с нулевым вектором средних и единичной ковариационной матрицей.

Замечание. Из теоремы 3 следует, что

lim Р0(||0*(И) -0 <

U (t, И))

> Fa2 (t),

где и(/, к) = Х^1 (Мт(к) )Х?' (О)/, ^ 2 (/) - распределение

xq с q степенями свободы, Хq (А) - минимальное собственное значение матрицы А . Полученное соотношение позволяет строить доверительный интервал для последовательной оценки.

Доказательства теорем

В данном разделе доказываются основные утверждения, а также некоторые технические результаты об асимптотических свойствах процесса (1).

1. Доказательство неравенства (3)

Лемма 1. Норма смещения оценки (2) для каждого п > п0 удовлетворяет неравенству (3), где тп - мартингал, определяемый равенством

тп = X П=1 Ук_1 Хк-1 (Х1_1ПП (к) + (0§к X

Па (к) = ((1^1( к), ^, Cтq ^(к))(.

означает равенство распределений случайных величин £ и П. Положим С, к = (ст08 к ,0, ..., 0)' и определим матрицы Ак по формуле (8), заменяя в них п,- (к) на П, (к). С учетом этих обозначений стационарное решение (7) принимает вид

^%k =£ Ak ••• Ak -, z k -s-1+Z k.

(15)

Обозначим через пе распределение Хк. Условие Н1) обеспечивает конечность п.н. величин Х%к, поскольку из него следует, что для некоторых с > 0, 0 <р< 1, выполняются неравенства

3,11 Ak l Ak

1^22 s 1 о

< c р , s = 1, 2, ... .

(16)

Можно показать [9, 10], что при условии Н1) стационарное распределение процесса (7) пе единственно.

Отметим, что процесс Хк будет независимым от

X0.

3. Асимптотические свойства матрицы Мп и доказательство предложения 1. Для доказательства теорем 1, 2 нам потребуются следующие свойства матрицы Мп

Лемма 2. При условии Н1)

1) для всех п > 0

--F

>П I < +ю.

2) P0 -п.н. выполняется предельное соотношение lim = f.

Доказательство основано на представлении матрицы Мп в диагональной форме:

(13)

где Лп= diag{Л(Мп), к, Х.q(М п)}, Х.,(Мп) - собственные значения матрицы М , упорядоченные в порядке убывания: Х1 (М п) > к Хq (М п).

2. Стационарное решение уравнения (7). При

изучении свойств процедуры (4), (5) нам потребуется стационарное решение уравнения (7). Повторно применяя (7), получаем

Доказательство леммы основано на сходимости процесса Хк к стационарному решению Хк, соотношениях (14)-(16), результатах из [9-13] и лемме Боре-ля-Кантелли.

Матрица F обладает следующим свойством.

Лемма 3. Матрица F из (10) положительно определена при условии Н1).

Доказательство леммы следует из (15), (16) и теоремы о мажорируемой сходимости [12].

Доказательство предложения 1 следует из лемм 2, 3 и (13).

4. Доказательство предложения 2 и теоремы 1

Доказательство предложения 2. Из определения т(к) в (4) имеем

Хк = АкДХ +ХАк••• Ак_,С)к_,_1 +?к,к = 1, 2, ... . (14)

4=0

Введем последовательности независимых случайных величин {п, (к)}, {ек} , которые не зависят от Х0 и обладают свойствами п, (к) = п, (к), §к =ек, к > 1,

, = 1, q, п, (к) = п, (1), ек = е1, к < 0, , = 1, q, где £ = п

Г MrihL ^

т(И)

<

Г M и)-1 ^ т(И)

Отсюда с помощью леммы 2 получаем (11). Доказательство теоремы 1. Для всех Д> 0 и соответствующих п > 0 с помощью леммы 2 нетрудно показать, что

s=0

n=1

п

п

т(h) _|F_2||l/2

< А + E0

t( h)

T( h )

t( h)

_ F

>П!

+ F _

t( h)

t( h)

Ee 0 (h)-

h2

где d2 = max ( / ao,max/>1CT? / min/>1 a) •

Доказательство следует из предложения 1, леммы 1 и (5), (6).

Лемма 4. Для всех й > 0

Е0 ( Мт(А) ) < maX — E0T(h)-

где 1А - индикатор множества А . В силу леммы 2 два последних слагаемых в правой части неравенства стремятся к 0 при И , что и доказывает теорему.

5. Доказательство теорем 2 и 3 Предложение 3. Предположим, что для модели (7) условие Н1) выполняется. Тогда для всех И > 0 оценка 9*(И), определяемая формулами (4), (5), обладает свойством

^ й2 Е0 ( Й МТ (И) )

^ ^ ч а1

Доказательство очевидно.

Доказательство теоремы 2. Согласно предложению 3 и лемме 4 получаем

EJ0‘(h) -0||2 < I2-E0T(h).

Отсюда и из теоремы 1 приходим к (12). Доказательство теоремы 3 основано на лемме 2 и результате для асимптотики распределений сумм мартингал-разностей из [12].

Численный пример

В этом разделе приводятся результаты численного эксперимента для сравнения предложенных последовательных оценок (4), (5) со взвешенными оценками наименьших квадратов (2), а также строятся доверительные интервалы для оценки 9*(И). Моделировался процесс (1) 2-го порядка

X = (91 +а1^1( к)К-1 +(92 +а2 П2(кЖ - 2 + 0, 8к , (17)

где 8к - н.о.р стандартные гауссовские случайные величины, х0 = х_1 = 0. Область значений параметров 91, 9 2 при а1 = 0,4; а 2 = 0,3, для которых процесс (17) удовлетворяет условию Нх), представлена на рис. 1.

Коэффициент 21| в верхней границе (12) оценивался с использованием теоремы 1, согласно которой в качестве оценки указанного коэффициента может быть принято выборочное среднее Т(И)/И , вычисленное при достаточно большом И ( И = 1000 ). Моделирование процесса (17) проводилось для различных значений параметров 9*, а* и порога И, указанных в табл. 1, и включало 50 повторений последовательной процедуры (4), (5) при И = 500; а0 = 1; а1 = 0,4; а2 = 0,3; а0 = к = а2 = 1. Результаты вычислений приведены в табл. 1.

Т а б л и ц а 1

Наблюдаемые стандартные отклонения МНК в случае фиксированной и последовательной выборок

01 0,0 0,2 0,4 0,4

02 0,0 -0,5 -0,4 0,4

SD (0*) 0,025 0,020 0,022 0,021

SD (0*2) 0,024 0,027 0,021 0,021

SD (0i) 0,023 0,019 0,021 0,019

SD ( 02) 0,023 0,023 0,022 0,019

ЪЕ% ||0‘ - 0|2 0,613 0,577 0,466 0,442

V т 4,12 3,79 4,12 4,95

В табл. 1 приводятся выборочные стандартные отклонения. При этом величины SD (9*), SD (92) обозначают соответственно наблюдаемые стандартные отклонения последовательных оценок 9*, 92 при значении порога И = 500, а SD(), SD(92) обозначают

наблюдаемые стандартные отклонения взвешенных оценок МНК (2) 91, 92 соответственно. Число наблюдений, используемых в непоследовательной процедуре, МНК бралось равным средней продолжительности последовательной процедуры при 50 повторениях эксперимента. Величина иЕ9||9* - 9||2 обозначает выборочное

значение для величины Е91|9* - 9||2, умноженное на И, а

||р 21| вычисляется способом, описанным выше и

представляет собой теоретическую верхнюю границу для кЕ0 ||б* -0||2 , определенную в теореме 2.

Поскольку значения параметров 01. заранее не известны, то для определения верхней границы в (12) может потребоваться найти с помощью дополнительного моделирования наибольшую величину коэффици-

»-2 ||1/ 2

Р (согласно (9)) при различных значениях

параметров 01. из заданной области так, что верхняя

граница не будет зависеть от них. Наибольшее значе-

»-2||1/2

Р | при -0,5<01,02 <0,5 составляет 6,5.

Значения в табл. 1 показывают, что последовательная оценка (4), (5) практически не уступает по точности взвешенной оценке МНК (2), для которой отсутствуют оценки среднеквадратической точности.

Наряду с определением среднеквадратического уклонения оценки 0*(к) можно построить для нее доверительный интервал, используя замечание к теореме 3. При этом неравенство ||0*(к) -0|| < и(/, к) будет вы-

полнятся с вероятностью не меньшей, чем У) при

достаточно больших к.

Т а б л и ц а 2 Доверительный интервал для различных значений

порога к и доверительной вероятности Р

h 100 100 500 500

P" 0,9 0,95 0,9 0,95

т(h) 393 393 1910 1910

U (t, h) 0,0148 0,0192 0,0029 0,0037

* 2 0 (h) -0 0,0046 0,0046 0,0013 0,0013

В табл. 2 приводятся выборочные значения для величин и(/, к) и ||0*(к) -0| , где t определяется из условия Р 2 (/) = Р , т(к) позволяет оценить число на-

х2

блюдений. Были выбраны следующие значения параметров: 01 = 0,2, 02 =-0,5, ст0 = 1, ст1 = 0,4, ст2 = 0,3, а0 = к = а2 = 1. Для вычисления матриц О и Р использовалась лемма 2 и асимптотический результат из [9] - теорема 17.1.7.

ЛИТЕРАТУРА

1. Kalman R.E. Control of randomly varying linear dynamical systems // Proc. Symp. Appl. Math. 1962. Vol. 13. P. 287-298.

2. Singpurwalla N.D., Soyer R. Assessing software reliability growth using a random coefficient autoregressive process and its ramifications // IEEE

Trans. Software Eng. 1985. Vol. SE-11. P. 1456-1464.

3. Lee T.Y., Wirjanto T.S. On the Efficiency of Conditional Heteroscedasticity Models // Review of Quantitative Finance and Accounting. 1998. Vol. 10.

P. 21-37.

4. Пергаменщиков С.М., Ширяев А.Н. О последовательном оценивании параметра стохастического разностного уравнения со случайными ко-

эффициентами // Теория вероятностей и ее применения. 1992. Т. 37, вып. 3. С. 482-501.

5. Борисов В.З., Конев В.В. О последовательном оценивании параметров дискретных процессов // АиТ. 1977. № 10. С. 58-64.

6. Конев В.В., Пергаменщиков С.М. Последовательные планы идентификации параметров динамических систем // АиТ. 1981. № 7. C. 84-92.

7. Galtchouk L., Konev V. On Sequential Estimation of Parameters in Semimartingale Regression Models With Continuous Time Parameter // Ann. Sta-

tist. 2001. Vol. 29. P. 1508-1536.

8. Konev V.V., Lai T.L. Estimators With Prescribed Precision in Stochastic Regression Models // Sequential Analysis. 1995. Vol. 14. P. 179-192.

9. Meyn S.P., Tweedie R.L. Markov Chains and Stochastic Stability. Springer-Verlag London, 1996.

10. Feigin P.D., Tweedie R.D. Random Coefficient Autoregressive Process: a Markov Chain Analysis of Stationarity and Finiteness of Moments // Journal of Time Series Analysis. 1985. Vol. 6. P. 1-14.

11. Давыдов Ю.А. Условия перемешивания для цепей Маркова // Теория вероятностей и ее применения. 1973. Т. 18, вып. 2. С. 321-337.

12. Ширяев А.Н. Вероятность. М.: Наука, 1989.

13. Давыдов Ю.А. О сходимости распределений, порожденных стационарными случайными процессами // Теория вероятностей и ее примене-

ния. 1968. Т. 13, вып. 4. С. 730-737.

Статья представлена кафедрой высшей математики и математического моделирования Томского государственного университета, поступила в научную редакцию «Кибернетика» 25 апреля 2006 г.