Параметрическое оценивание авторегрессии при автокоррелированных помехах в выходных сигналах Текст научной статьи по специальности «Математика»

УДК 519.254

ПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ АВТОРЕГРЕССИИ ПРИ АВТОКОРРЕЛИРОВАННЫХ ПОМЕХАХ В ВЫХОДНЫХ СИГНАЛАХ

© 2006 В.М. Тренькин

Самарская государственная академия путей сообщения

В статье рассматривается устойчивый численный метод решения задачи минимизации отношения двух квадратичных форм, что позволяет находить оценки параметров авторегрессии при конечной выборке, при наличии автокоррелированных помех наблюдений.

Пусть имеет место случайный процесс авторегрессии конечного порядка, описываемый следующим стохастическим линейным разностным уравнением порядка г с дискретным временем г = ...,-1, 0, 1,...:

Ъ ^-т = 6(0,

т=1

(1)

Т = {¿;^ < г,^ е 2С - множество целых чисел }.

3) Случайные процессы {^О')} и {^2 (г)} статистически независимы.

4)

Уг = г + Ш

где , уг - наблюдаемый и ненаблюдаемый векторы состояний системы, ^ (г) - генератор авторегрессии, £2 (г) - коррелированная помеха. Требуется определить оценку Ь(N) по уг. Пусть выполняются следующие условия:

1) Случайный процесс ^(г) удовлетворяет условиям:

Е(£(/ +1)/Fl) = 0 п.н.;

Е (^ (г +1)/ Fl) = С (г +1) < ж < да п.н.;

Е)) < ж <да .

2) Случайный процесс (г) удовлетворяет условиям:

Е (%2 (г +1)/F1) = 0 п.н.; Е(^(О) < ж <да ; Е(£(г +1)/Fl) < Ж ,

где Ж - случайная величина, Е(Ж) < ж < да , Е-оператор математического ожидания, F-у - алгебра, индуцированная семейством случайных величин {¿;к(^),^ е Т.}, к = 1,2,

N

N-12 ^2 (0^2 (г + т) ^^ (т) < да

N ^да 2 '

г=г0

т = 0,..., г

где АГ (т) - локальная автоковариационная

функция, Щ - положительно определенная матрица

Щг (0) ^0) . . )

Н1 = ^СО Ч2(0) . . /2(г -1)

) Щ2 (г - 1) . . /4(0)

где

н; =

/Г (0) ... /Г (г -1)

^2 (Г - 1) ... ^2 (0)

^2 = /(1),...,^2 (г))т е К . 5) Множество, которому априорно принадлежат истинные значения параметров

(б0и,...,Ь0Г))Т е 5 компактно, 5 е Я .

6) Для случайного процесса I существует предел:

N

11ш N 12 I тТ (.) = Н

N ^да

г*

1 II

г =1

где

I (г) = (I 1,...,I. )Т е Я .

г V / V г-1 " " г-г у г

Представим уравнение (1) в виде:

у = утг № + №+Ш-2Ь

где

у г (0 = (Уг-1,..., Уг-г )т е К, 2г = {¿М-ЛгЦ - г))т .

Введем обобщенную ошибку: е(Ь,г) = у. - у' (¿')ьо = ¿, (г) + ¿¿г) -2ТЬ0. Средняя дисперсия обобщенной ошибки равна:

2 N

о 2 = Нш N- 2 Е(е 2(Ь0, г)) = И\ (0) +

г=1

+ И* (0) + (Н* Ьо, Ьо) - 2(И* , Ьо) = © (Ьо),

%2>и0-

где (.,.) - скалярное произведение. Определим оценку (Ь( N)) неизвестного

истинного значения параметра (Ь0) из условия минимума суммы взвешенных квадратов обобщенных ошибок е 2(Ь, г) с весом ©(Ь), т.е. [1]:

N

ЬШПг, ©~'(Ь)2 (у- УтТ (г)Ь)2 =

г=1

= ш~п © 1(b)UN (Ь)

(Ь )е5 сйг

(2)

где

N

и N (Ь) = 2 (У-УТ (ОЬ)2.

г=1

Утверждение 1. Пусть некоторый случайный процесс {уг,г = ...,-1,0,1,...} описывается уравнением (1) с начальными нулевыми условиями и выполняются предположения 1-5.

Тогда оценка Ь( N) определяемая выражением (2) с вероятностью 1 при N®® ГГ,

существует, единственная и является сильносостоятельной оценкой, т.е.

Ь( N)-

N ^да

0

при этом

N 1 Щп © -1(Ь)UN (Ь) = = 1.

(ь )е5 © (Ь0 )

Доказательство. Рассмотрим функцию:

n 2

N-lUN (Ь) = N-121 + ¿2 (г) - (I (г) + 2г )ТЬ) =

¿=1

N 2

= N-2 (¿10) +¿2 (г) +1' (¿)Ьо - (Iг 0) + 2г )Т Ь) = 1=1

N ~ 2

= N^2&(0 + &(0-1'(¿)Ь -2гТЬ) =

г=1

где

— $1 + $2 + $3 ,

Ь = Ь-Ь0;

N

$1 = ^(62(0 + ¿22(г) + ь 2г(2г)ТЬ -

г=1

-2&(0 + ¿2(0)2 ГТЬ);

N ~ ~

$2 = N-1 2 Ь TIr (¿)Ь ;

N

$3 = 2 N-12 ((-¿2 (г) - ¿1 (¿))IrT (¿)Ь +

г=1

+ 2Т (¿)Ь2 ТГЬ + ¿^(О). Из предположений 1-5 получаем:

$1 ——^ и* (0)+И*2 (0)+ьтн;2 ь - 2(и; )т ь

N ^да

УЬ е Кг.

$

$

п н . . г. т ц *

N ^да П .Н.

^ЬТНШЬ;УЬ е Кг.

->0,УЬ е К .

N ^да

Окончательно имеем

N -1UN (Ь)

П.Н. . , *

>и: (о)+и: (о)+ьтн : ь -

N ^да

- 2(~2)Ть+ьТн;2ь =

V

¿2

§ 2'

= ьТ(Н*22 + н: )ь-2^^ + и* )Ть +

+ hl (0) + h*2 (0) + blHzzb0 = U(b), Vb g R. Покажем что решение задачи min co-l(b)U (b)

(b )Ej~cRr W W

существует и достигается в единственной точке b0, т.е.

, ~ U (b0) min c 1 (b)U (b) = —— = 1 (3)

(b GBcRr c(b0) . (3)

Для этого рассмотрим функцию V(Ъ,в) = U(b) -6a(b),6e R1, V(в) = min V(b,e).

v ' (b )sBcRr v y

Дифференцируя V(b,d) по b и приравнивая производную к нулю, находим b(e),

и тогда

V(в) = hl (0) + h2 (0) + blHZzh - ehl (0) -

-ehl (0)-(HZzb + hl -ehl )T x

%2

X(HZz + Hl -вн;у X(HZzb0 + hl -ehl).

Легко проверить, что уравнение V(в) = 0 на интервале (-да, Amm +1) имеет не более одного корня. Где Amm - минимальное собственное значение матрицы H*zz . Непосредственной постановкой в1 = 1 в уравнение V (в) = 0 легко убедимся, что этим единственным корнем на интервале (-да, Amm +1)

является в1 = 1. Тогда непосредственно следует справедливость (3). Получаем, что с вероятностью 1 при N— ГГ решение задачи (2) существует и является единственным т.е. с вероятностью 1 при N— ГГ существует единственная оценка b( N) и

b( N) —b0,

N—да

Nmin ©_1(b)uN (b) -- > 1

(b)eBcRr N—да

Из утверждения следует, что для получения сильносостоятельных оценок (2) требуется априорное знание лишь отношение у средних дисперсий генерирующих шума

{^(О) и аддитивного шума измерений

£ 2 (о).

Далее показан численный метод построения оценок параметров авторегресии с ав-токорреллированными помехами в выходных сигналах на основе введенного нелинейного метода наименьших квадратов, представляющего собой отношение двух квадратичных функций [2].

Для получения конструктивного метода вычисления оценок из критерия (2) рассмотрим вспомогательную функцию:

VN (Ь,в) = и н (Ь)-вс(Ъ). Лемма 1. Уравнение

VN(в) = VN(Ъ,в) = 0 имеет не более

одного корня в( Щ на интервале (-даДШ1П( N)),

где Аш1п (N) - наименьший корень уравнения: А^Ау -вЩг] = 0. Если в( М) существует, то 0 < в(N) < Яш1п (N), т.е. в(N) - наименьший среди всех корней уравнения V(в) = 0 ,

где

Ay =

У0

У1-Г

yN-1 ... yN -

Выражение

VN (Ъ,в) = УТУ-в(ь^(0) + 2 (0))+

+ ЪТ (АТАГ - вн\г Ъ - 2(уТАу - вЬ\г )ъ .

Дифференцируя VN (Ъ,в) по Ъ и приравнивая производную к нулю, находим

Ъ(N,в) = (аТАг-вщг)-1 (АТУ-Щ )

и тогда

7n

Vn (в) = YTY - e(hl (0) + h|2 (0))+ + bT (N,0)(a^Ay - вН1 )b(N,в) -

- 2(AjY -Ohl) b( N ,в)

r

или

VN (в) = YTY -в(^(0) + Л|2(0))-

- (л^ - У (лт¥л¥ - вН1 )-1 (л^у - в~*).

Заметим, что VN (в) на интервале (- да, Ат1п (N)) непрерывная и

^ (в) = -(^ (0) + Щ2 (0) + ЬТ (N,в) X

4 Ь(N,в) - 2(~; N,в)].

ность {в(/)} определяется следующим алгоритмом:

Шаг 1. в'(0)= 0.

Шаг 2. в'(/) = (ят1п М+в'(/ -1))/2. Шаг 3. Вычисляются ¿(^в'(О) из урав-

нения:

Н

Отсюда ясно, что VN (в) < 0,

Ув е (- да, Ят1п (N)) и доказательство леммы.

Лемма 2. Для функции VN (в) справедливо следующее утверждение:

1) все корни уравнения VN (в) = 0 неотрицательны (если они существуют).

2)уравнение VN (в) = 0 на полусегмен-

АтЛ7-в'(1)Н1 ¿(в'(0) = (л^Лт -в'(/)^).

(4)

Шаг 4. Вычисляется

-в'ф1(0)+а|2(0))

VN(в'(7)) = УТУ-в аш (0) + /

-(л7тУ-в'(0~£ }Ь( N ,в'(/)). Шаг 5. Проверяется условие VN (в'(/)) < 0.

Тогда, если уравнение VN (в) = 0 имеет корень 6>(N) е [0Дт1п(^), то последова-

те ^Д^^)) имеет не более одного корня. тельность в'(0),...,в(0) конечна

и

3) существование корня §(№) на полу- в(0) е [в(N),Ят1п(N)) , в противном случае

сегменте [0, Ят1п (Щ) является необходимым последовательность бесконечна.

Доказательство утверждения непосредственно следует из леммы 2.

Утверждение 3. Пусть существует

и достаточным условием существования единственного решения (2), при этом

• -иыт (К и N (Ь( N)) тт а (Ъ)иы (ь) = —^-

(ь>в^г а(Ь(N)) '

в(0) е [в(N), Ятт (N)) , тогда И™ в(7) = в(N),

где

11т Ь(N,в(i)) = где 0(7), Ь(N,0(1)) оп-

Ъ(N) = (ЛТ Лу - в(ЮН I )-1(ЛТ Y -в(Ы)И;г)

Эта лемма по сути дела доказана при доказательстве леммы 1.

На основании доказанных лемм получены численные методы, которые позволяют:

- ответить на вопрос существует или нет

единственная оценка Ь(Ы);

- определить начальное приближение, гарантирующее сходимость итерационного

процесса к единственной оценке Ъ(ы');

- вычислить с любой наперед заданной точностью оценку ¿(Ы).

Утверждение 2. Пусть последователь-

ределяются следующим алгоритмом:

Шаг 1. Вычисляется ¿(N,$(7)) из уравнения (4).

Шаг 2. Вычисляется

в(7 +1) = (^ (0) + Щг (0) + ЪТ (N,в(i)) х

х Н

$2

Ъ( N, в (7)) - 2(Щ2)ТЪ( N ,в(7)))-1 (

(УТУ +

+ в(7)ЬТ (М,в(7))НI Ъ(Ы,в(7)) - в(/)2(А|2 )Т х

х Ъ(N, в(7)) - (ЛТУ - в(7)Щг )Т Ъ(N,в(7))).

Шаг 3. Переход к шагу 1. Доказательство. Утверждение 3 вытекает непосредственно из метода Ньютона

в(/ +1) = ¿(0 - ^ (в(/»/ в

/Ум (в(/))

Обоснованность использования метода Ньютона следует из того, что ¥н (в) - непрерывна Уве[0Дтт(^), ¥ы (в) < 0, Уве(-^Дтт(N)) и

¥ы (в) = -2ЬТ (в)Н;(Ат¥А¥-вЩ2)-1 Н2 Ь(в) -- 2(~2)т (Н*2)-1 + 3(~2)т (АТАГ-вщ2)-1 X

хя1 ь(в)+ьт(в)и;(лТАг-ви*2)-1 ь;г <о,

Уве[0Дтт( N )).

На практике вычисления прекращаются, если достигнута заранее заданная точность, т.е. если выполняется условие:

(в(/ + 1)) - VN (в(/))||

VN (в(/ +1))||

< 5

1

- 0.25

у

вектор истинных парамет-

Ъ -X ь0т) г,-т = 6(0,

т=1

а наблюдаемый сигнал:

У, = +

где £2 (/) - аддитивная локальная автокоррелированная помеха выходного сигнала с дисперсией , которая изменяется в зависи-

02 =

мости от У (О 2 =

У

о2 - дисперсия сиг-

где 5 - априори задаваемая точность нахождения оценок.

На базе описанного математического алгоритма реализован пакет прикладных программ в среде MathCAD для параметрической идентификации линейных разностных уравнений при наличии локально автокоррелированных помех в выходных сигналах.

В основе программного алгоритма задана тестовая модель авторегрессии (1) со следующими исходными данными:

г=2 - порядок авторегрессии; 2. - вектор выходных значений, где /'=1,2,3... индекс нумерации дискретных моментов времени;

1

Ь =

нала 2). Для цели исследования состоятельности оценок использован большой объем выборки N=500. Параметр у дискретно принимает значения 0,5, 1, 2, 3, 4.

Результаты оценок параметров, полученные классическим и модифицированным МНК посредством программных алгоритмов математического пакета, приведены в табл., где

5 = & - Ь1 )2 + (Ь2 - Ь2 )2 х 100%,

5МНК =^МНК -Ь1) + (Ь2МНК -Ь2) х100%,

Ь1#, Ь2 - вектора оценок модифицированного МНК;

" МНК Г МНК

ЬМНК ЬМ ческого МНК;

5 5 мнк

вектора оценок класси-

погрешности оценок пара-

метров.

Из анализа (рис. 2, рис. 3, рис. 4) откло-

ров; ^1(/) - генератор авторегрессии как последовательность независимых случайных величин; £2 (/) - автокоррелированная помеха как последовательность зависимых величин. Соответственно уравнение авторегрессии будет представлено выражением:

1 \ \ \ /У // \\

Ч-* Ч44'4411

Рис.1. Выходной сигнал рассчитанный с

Г ь 1

параметрами: I - "истинными" I ^ I; II - нелинейного

МНК

V а у

III - стандартного МНК

( Ь МНК \

а мнк

Таблица. Сравнение точности векторов оценок параметров авторегрессии по классическому ё IТ аёоёбёбТ аа и I о I Í Ё аёу N=500 1'бе ёгсёП й6 ь1= 1, ь2= -0,25

а* / У — 5 2/ У /а\ МНК Модифицированный МНК

ь\МНК ¿И НК 5 МНК % ь\ Ь 2 5 %

0 ,5 1,078 -0,2 6 8 13,1 1,003 -0,2 5 8 3

1 1,111 -0,2 6 1 1 0,981 -0,2 3 4 ,4

2 1,17 6 -0,3 0 3 2 3,5 0,965 -0,2 3 5 ,2

3 1,249 -0,3 6 2 6 0,988 -0,2 5 9 7 ,6

4 1,2 9 -0,3 9 2 3 4,2 1,006 -0,2 7 6 7 ,2

Рис. 2. Сравнение 5(у), 5МНК (у) отклонений векторов оценок параметров авторегрессии классическим

и модифицированным МНК.

<5°л> +

60 50 40 30 20

1 □ □

сч II Л

=Р. 2

N

Рис. 3. Сравнение 5МНК (у) отклонений векторов оценок параметров авторегрессии классическим МНК от векторов "истинных" параметров при дд={0.2, 1, 2, 3}.

Рис. 4. Сравнение 5(у) отклонений векторов оценок параметров авторегрессии модифицированным МНК

от векторов "истинных" параметров при дд={0.2, 1, 2, 3}.

нения оценок от истинных параметров и выхода рассчитанного сигнала от истинного (рис. 1) вытекает, что при большом объеме выборки модифицированный МНК дает удовлетворительные результаты при любых значениях у. Оценки стандартного МНК ухудшаются с увеличнием у, соответственно с увеличением дисперсии помех наблюдений

%2(Р) погрешности 5МНК становятся достаточно значимыми.

Следовательно, на приведенном примере показывается менее точный результат классических оценок МНК при наличии аддитивных ошибок измерений в процессе авторегрессии и состоятельность предлагаемых.

В статье описаны конструктивные методы построения оценок параметров авторегрессии; показаны условия существования и единственности этих оценок. Предложенные вычислительные алгоритмы позволяют находить нелинейные МНК - оценки параметров авторегрессии, используя лишь стандартную процедуру решения линейных алгебраических уравнений, эти алгоритмы приспособлены к обработке больших массивов исходной информации для динамических систем высокого порядка.

Реализован пакет прикладных программ в среде MathCAD для параметрической идентификации авторегрессии при наличии ло-

кально автокоррелированных помехах в выходных сигналах. Получена авторегрессионная модель прогноза состояния пути, которая нашла применение при планировании и производстве путевых работ на железнодорожном транспорте [3].

СПИСОК ЛИТЕРАТУРЫ

1. Кацюба О.А., Тренькин В.М. Численный метод построения оценок параметров авторегрессии для случая аддитивных локально автокоррелированных помех в выходных сигналах // Идентификация систем и задачи управления SICPRO'06. М.: Институт проблем управления РАН, 2006.

2. Кацюба О.А., Тренькин В.М., Спирин. С.А., Волныкин А.Н. Численный метод оценивания параметров линейных разностных уравнений при автокоррелированных помехах во входных и выходных сигналах // Третья международная конференция по проблемам управления. М.: Институт проблем управления РАН, 2006. Т. 1.

3. Тренькин В.М. Алгоритм прогноза состояния железнодорожного пути на основе авторегрессионных моделей // Актуальные проблемы развития железнодорожного транспорта. Самара: СамГАПС, 2005.

PARAMETER EVALUATION OF AUTOREGRESS AT AUTOCORRELATED HINDRANCES OF OUTPUT SIGNALS

© 2006 V.M. Tren'kin

Samara State Academy of Ways of Communication

In the article we study the constant numerical method of minimization of two square-law function ratio that allows to find the estimates of autoregress parameters at the final sample and autocorrelated supervision hindrances.