Идентификация параметров динамической модели на основе многомерной авторегрессии нелинейным методом наименьших квадратов Текст научной статьи по специальности «Математика»

УДК 519.2

ИДЕНТИФИКАЦИЯ ПАРАМЕТРОВ ДИНАМИЧЕСКОМ МОДЕЛИ НА ОСНОВЕ МНОГОМЕРНОЙ АВТОРЕГРЕССИИ НЕЛИНЕЙНЫМ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ

© 2006 А.В. Гущин

Самарская государственная академия путей сообщения

В данной статье рассматривается критерий состоятельности оценок параметров многомерной линейной авторегрессии на основе нелинейного метода наименьших квадратов. Приведено доказательство состоятельности оценок лишь при априорном знании отношения дисперсий помех во входном и выходном сигналах.

Рассмотрим многомерную линейную динамическую систему с дискретным временем, описываемую уравнениями:

i = ...,-1, 0, 1,...

+1 = (0 ^г + ^ Хг,

= +31(0,

Ж, = Xг +3 2 (г),

где , Уг - ненаблюдаемый и наблюдаемый векторы состояний системы соответственно

Z,, Y е R.

Р2

а

X, W -

соответственно

N

N_ X

i=i0

Z

X

zT ! xT

N

е(н1(/)нТ(/■)/F_i) = D > 0 п.н.

e(s 2(i)/F_i) = 0 п.н.

e(s2(0н2(0/F_i) = D2 > 0п.н.;

если

k = k' = 1 то j, d = 1, p2 , k = k' = 2

то j, d = 1,p1 , k = 1, k' = 2, j = 1,p2

d = 1,

ненаблюдаемый и наблюдаемый векторные входные сигналы Хг е . Требуется определить оценки (г^, Сг]^ по }, [Жг} .

Утверждение. Пусть выполняются следующие условия:

10. Вектор входных сигналов Хг и истинные параметры удовлетворяют условию:

где Н1 - положительно определена.

20. Случайные последовательности {31(г )} и {3 2(г )} независимы в совокупности и удовлетворяют условиям:

Е(31(0/= 0 п.н.

k = 2, k' = 1, j = 1, p1, d = 1, p2, тогда

E(^ k id)d)) d \ e[sk (0)s[ (0)J = Dk > 0,

k=1, 2, где {Fi } и {F } - неубывающие последовательности у - алгебр

Fi = а{^(0),...,^(/)},

F'=o{S 2(0),..., S 2 (i) }.

30. Собственные числа матрицы G0 по модулю меньше 1.

40. Xi не зависит в совокупности от

S k (i).

Тогда оценки лить из критерия:

Гъ(N

можно опреде-

N

min

ta} - bj-Y. - aj-w,):

j,eB£ а2 + bj,Dl(bJ,)T + a.D2(aJ.)T

"j"" j.

(1) ных истинных значений параметров

r b„ ^

V aj'J

из

условия минимума суммы взвешенных квад-

и они сильно состоятельны, где bj% - j стро- ратичных отклонений:

ка матрицы G, ау.# -] строка матрицы Ql,

В - компактное множество

Рассмотрим модель ] • выхода стационарной динамической системы, которая описывается ] • столбцом G. Т.е. имеет место линейное разностное уравнение 1-го порядка:

№ " Ь <0= аX, (2)

где I = 1, N. Выходная Zi и входная переменные наблюдаются с аддитивными помехами в виде:

^) = ^ ' )(i +1); ^ = Г&) ')(i +1);

яг?) = х^) )(i'); х) = ) -е, Чо,

где j = 1 P2, d = 1, Pl.

Представим уравнение (2), с учетом (3) и (4) в виде:

Y+i) j )(i+1) - b ^(Y- -Si(/)) =

= a (04W -S 2(i));

(5)

Определим оценку

fb j. (N

va j.~("N")

N

mi^ S

(Y+1) - bj.Y - a]

.W )2

а 2 + b, Di(b, )T + a, D1(a.)

t •

Тогда оценка

fb , (N

, определяемая

V а ( N ) ,

выражением (1) (при N ^ да ) существует и является сильно состоятельной оценкой, т.е.

(

b j. (N)

v a ;."("N)

^ п.н. Г А(°) ^

п.н

N

b j. a (°)

V aj. У

(4)

Y +1) = b^(Y -Si(0)+a-S2(0) +

+ j\i +1) = b{f°Yl - bj?Si(0 + .+ a(°W, - aWS2(1) + j)(l +1)

Введем следующую невязку: e(b <°\ a j°), 1 +1) = .= ^( j )(l +1) - b ^ S1(l) - a ^ S 2(1) Тогда из условия 2° и леммы 1 [3] следует, что: N

ду , lim N-1 S (e 2(b (°), a jj, i +1)) = = а2 + b(^(bj.)T + a(°)D1 (aj.)T .

Доказательство. Для доказательства (3) рассмотрим функцию:

N UN (bj., aj.) =

1 N

= ^S (Y+1) + bj.Yi - G°W )2 = N i=1

1 N

= -1S (Zj +*1j )(i+1) -

N i=1

- bj. (Zi +S1(i)) - ay. (Xt + S 2 (i)))2 =

1N

= ^S &j)(i +1) + bj?Zi + aXi -

N i=1

- bj. (Zi +S1(i)) - aj. (Xi + S 2 (i)))2 =

1N

= ^S &j)(i +1) + b^Zi + aXi -

N i=1

-b,.Zi - b,.S1(i) -a,.Xi -af.S2(i))2 =

1

N

неизвест-

= t;S j )(i+1) - (bj.- b (°>)Zt -

N i=1

-(ay. -a(°))Xi -by.S1(i)-ay.S2(i))2 =

1 N ~

= ^S (^((j)(i +1) - bj.Zi - ~j.Xi -N i=1

- by.S1(i) - aj.S 2 (i))2 = V1 + V2 + V3, где

у*

N

Ь. = ъ,, - Ъу(.0), а- =а

у* у*

я

(0).

1 N ~ 1 N ~

-£3[ (г)Ът]*Ъу*2, = -XЪJ*3l(i)2]Ь]* =

N ,=1 N г=1

1 Л

V = ^ X (£1у )(г +1))2 +3]Ъ]*Ъу* (/)31(/) +

N ,=1

+ 32 я]* я у* (г)3 2 (г) + 23]Ъ]* а у* (1)3 2 (г) -- 2^1у) (г + 1)Ъу*31 (г) - 2^(у) (г + 1)ау*3 2(0

1 N

v2 = - X

2 Ni=1

1г

X

Ъу* ! ау*

Ъу* ! ау*

I X

1

N

= 2-X К( 1 (г + 1)Ъу* I) -

N г=1

- К(у )(г +1)~ ,* Х1) + 3] (/)Ъ]*~7* 2 +

+ 1]Ъ]*ау*3] (г) + Х]~]*Ъу*31 (г) +

-т ~т ■

у* у*

+ Х]~]]*~у*3 2 (г) .

Тогда из условия 20 и леммы 1 [3] полу-

чаем, что:

1 N

= - X Ъ*

N1=1 у*

Г ^(О^

^(1)(г-)7(^ Л

^2)(г-)1г(1) ••• ^ р2)(1)1( р2) )

Ъ:

Таким образом, (6) можно представить в виде р22 слагаемых, каждое из которых в

силу предположений 20, 40 сходится к нулю. Аналогично (6) можно доказать, что и

все остальные слагаемые в У3 сходятся к

нулю с вероятностью 1 при N ^ да . Следовательно,

¥3 ^ 0, V

N ^-да

Г Ъ„ л

а,*

V у*J

е В

и

V1 ^ а2 + Ъу,Dl(Ъу*)т + а*Dг(аj^)т .

1

N

N (Ъу*,а*) ^ а2 + Ъу*Dl(Ъу*)т +

N ^да

V

Г ъ„ Л

V у*J

е В

а из условия 10 следует

^

N ^да

Ъу* ! ау*

Н *

Ъу* ! ау*

V

у

а у*

V у*)

е В

+ ау* d2 (а у* )т +

Ъу* ! ~у*

Н *

Ъу* ! ~у*

= и (ъу*, ау*);

Покажем, что решение задачи (1) существует и достигается

Г ъ^Г Ъ (0) Л

в единственной точке а „(0) .

Vяу*) Vау* )

Для этого, вместе с задачей (1) рассмот-

Первые два слагаемых в сумме V в рим функции:

силу условий 10, 20, 40 удовлетворяют условиям леммы 1.2 [3, с.32]:

1 N ~ п.н.

-X^(у)(г + 1)Ъу*2 ^ 0,

где

V (Ъу*, а*, 0) = и (Ъу*, а у,) -

-0ш(Ъу*, ау*), 0 е R1,

ш = а 2 + Ъу* Д (Ъу* )т + а у* D2 (а у* )т ;

1

N

-X^(у)(г• +1)~у*Хг ^ 0

N г=1 У N^да

V (0) = min V (Ъу*, ау*, 0)

V

Г ъ„ Л

V у*)

-■'- 1еВСД

Р1 + Р2

еВ

Заметим, что (6)

Тогда

V (Ъу*, ау*, 0) = а 2 + Ъу* Д(Ъу* )т +

+ а у* ^2 (а у*) +

Ъу* ! ау*

Н

Ъу* ! ау*

*

т

т

т

т

Ъ

т

-0(а2, + Ь/.^1(Ь/. )т + а1,В1(а1.) ) =

= С-0а2-2

Ь (0) ! а(0) иу ! "у

Н

Ь/. ! а/.

+

+ Ь,

а,

ZiZiT + Ъ1 -0Ъ1

XiZiT XiXJ + В2 -0Ъ2

Ь/. ! а/.

где

С = а ( +

Ь /0) ! а /0) Н * Ь /0) ! а /0)

У* I У* У* | У*

Дифференцируя К (Ь/.,а/.,0) по

,а,

V /• у

и приравнивая производные к нулю, находим:

Ь/. (0) I а/. (0)

т

ZiZiT + Ъ1 - 0А ! д,х,т -1

хД !х,х,т + Ъ2-0Ъ2

• Н *

Ь/0 ! а^

(7)

и тогда

К(0) = С -0а ( -

Ь (0) ! а(0)

Н *

дД + Ъ1 - 0Ъ1 ! -1

хд !хгхгт + Ъ2 -0Ъ2

то, следовательно, Л > 0 . Функция V(0) на интервале (да, Л+1) непрерывна и

dV (0)

нетрудно видеть из (8), что

d0

отрица-

тельно для ^0 е (-да, Л+ 1), отсюда следует, что

V (0) = 0 (9)

на интервале (да, Л+1) имеет не более

одного корня. Нетрудно убедиться, что 0 = 1 и является корнем уравнения (9) и

0 < Л+ 1. Тогда из (7) непосредственно следует справедливость утверждения.

Поскольку, как В - компакт и

В е R + , то В - замкнуто и ограничено;

UN и ®(Ь/#, а/.) - непрерывны

V

Г Ь. ^

Vа/. У

е В; ю(Ь/.,а,.) > 0:

V

Г ь,. ^

Vа/. у

е В •

то решение задачи (1) всегда существует [4], т.е. всегда существует оценка (1) (хотя для произвольной конечной выборки она и не обязана быть единственной).

Для доказательства практической состоятельности решения нелинейным методом наименьших квадратов оценок линейных разностных уравнений многомерной авторегрессии из критерия (1) введем следующие обозначения:

у (/) =

у (/) 1 2

у ( / ) 1 N+1

• Н *

Ь?! \ а/0

(8)

Тогда, если Л- минимальное характеристическое число регулярного пучка форм:

+ Д [ 1,ХТ

"х~гГ~\х~Хт 7 Ъ

Ъ I 0

1 I P2, Р1

ор Г Ъ2

Р2, Р1 I 2

,,( /)

(1) (Р2)

У ^ 2)

(1) (Р2)

Ул/ - У N

=

ж;

(1)

ж

(Р1)

т

т

т

т

т

т

у( у

(1) (Р2)

У1 — У1

(1) (Р2)

у У ■■■ уь

ж;

(1)

ж:

(Р1)

ж^0

Тогда UN (Ъу*, а у,) можно записать в следующем виде:

UN (Ъу,, а, ) = [7(у) - А

У(у) - А

ЪУ ! ау

У(у ),w т

ЪУ ! ау-

[(У(у ))т

Ъ,-. ! а

у* ! у

У(у) - АТ(у)

у (у -'ж

Ъ,. ! а

1т

у (у. т'

= (У(у ))тУ(у) +

у * ! у*

Ъу ! ау.

-9 Ш(Ъу. , ау, ) =

Ъу ! ау.

- 2(7(у ))т А

. Ат • А

^у (у),ж у (у

Ъ,. ! а

-0 (а 2 + Ъу, Д^ )т + ау, ^2(ау. )т )

у* ! у*

т

= (У(у ))тУ(у) + Ъ,

у* ! ау*

Ау( у) Ау (у) Ау( у) Аж

АтАУ (у) Ат А

- 2(7(у))Т Аг(у)

У(у

Ъу ! ау.

Ъу ! ау

т

-0 (а 2 + Ъу. Д^ )т + ау. Д2(аув )т )

= у(у))ту(у) -0а2 + Ъу*

аТу) ау (у) -0Dl

т

АжАУ (у)

Ау( у) Аж

Ат Аж 0 д2

а,

•Ъу- ! ау\

- 2(7(у ))тА (у)

У(у

Ъу ! ау*

Дифференцируя ^ (Ъу*, ау*, 0) по Ъу*

а у* и приравнивая производную к нулю, имеем

АУ(у) Ау (у) -0д

АжАУ (у)

Ау( у) Аж

А^Аж -0Д

= Ат у (у)

= Ау(у )жУ

Ъу ! ау

(10)

отсюда

^^ (0) =

min

\e.BCR

а у •

VN (Ъу*, ау*, 0) =

Р1 + Р2

Для получения конструктивного метода вычисления оценок из критерия (1) рассмотрим следующее выражение

VN (Ъ у*, а у*, 0) = и N (Ъ у*, а у*) - 0 и (Ъ /в, а. *) =

= (У(у))ту(у) -0а2 -(ат

'у Х^У(у )ж

У

(у)

г

(11)

Аут(у) Ау (у) -0Д1 Ау( у) Аж

Ат А Аж Аж - Д2

• Ат У (у)

АУ(у )жу .

Для функции Ум (0) справедливо следующее утверждение:

1. Все корни уравнения VN (0) = 0 (если

они существуют) неотрицательны.

2. Уравнение (11) на полусегменте

[0, л тп( N)] имеет не более одного корня

0( N), где Лт;п - минимальное собственное

обобщенное число регулярного пучка форм, т.е. находятся корни уравнения

¿й-

ГА1 у) А (у) ! А.т( у) Аш Л (Д ! 0 ^

у (у ) Лу( у ) | (у) Лж V АжАУ (у) | АтАж )

-0

V 0 !Д)

= 0

(12)

3. Существование корней 0(Щ на

[0, л тЬ (N)] является необходимым и достаточным условием существования единственности решения (1), причем (Ъ у *, а у*) т определяются по формуле (10):

Ъу* ! ау*

Аут(у) Ау(у) -е(N)Д Ат(у) Аж

по Ъу *, АжтАУ (у) А^Аж -0(N)Д2

• Ат у) „ У

(у)

у(у),ж7 . (13)

Особенности численной реализации алгоритма: 1083

т

т

т

т

т

т

т

т

т

1

- эти численные методы позволяют ответить на вопрос "существует или не существует" единственная оценка b j. (N), a. (N);

- определить начальное приближение, гарантирующее сходимость итерационной процедуры к единственной оценке

bj. (N), a j . (N);

- вычислить с любой наперед заданной точностью оценки bj., cij..

Последовательность j§(i) j определяется следующим алгоритмом:

Шаг1 °. 0'(°) = °.

Шаг1 1. 0'(i) = (Лmi„ + 0'(i -1)) / 2, где Л min из (12).

Шаг,

2.

Вычислить

Шаг 2. Вычислить

9(,- +1) = 0(0 + ((7(J))T YJ - 6(i)a J - (ATrij, WYJ) •

j. (N, 0(i))S aJt (N, 0(/)]

/(а 2 + Ь/. N 0(0)^. (N, 0(/)) +

+ а/. (N, 0(/))Ъ2аТ/. (N, 0(/))).

Шаг2 3. Перейти к Шагу2 1. На практике вычисления прекращаются, если достигается заданная точность, т.е. выполняются условия

VN (0(i +1)) - VN (0(0)/ VN (0(i +1))

<5

bj.(N,00'(i)) aj.(N,0'(i)) из (13).

Шаг1 3. Вычислить VN(0'(i)) из (11).

Шаг1 4. Если VN(0'(i))< °, тогда если

уравнение VN (0 )= ° имеет корень

01(N) е [°, Лmin(N)), то последовательность

0'(°),...,0(°) конечна и

0(°) е [01(N),Лmin(N)), иначе перейти к Шагу1 1.

Существует 0(°) е [01(N),Л^С^)), и lim 0(i) = 01 (N) lim b (n, 0(i)) = b (N)

lim a}. (n, 0(i)) = a.(N) , где 0(i) ,

bj. (n, 0(i)), äj. (n, 00(i)) определяется следующим алгоритмом:

Шаг2 1. Вычислить b. (n, 0(i)),

äj. (n, 00(i)) из уравнения (13).

где § - априори задаваемая точность нахождения оценок.

Для подтверждения теоретических исследований были проведены практические эксперименты по реализации численных методов стандартного и модифицированного методов наименьших квадратов. Тексты программ оформлены в виде файлов данных системы Mathcad, функционирование программного обеспечения происходит на персональных компьютерах типа IBM PC не ниже класса Pentium при поддержке операционных систем Windows 98, 2000, XP. В основе программного алгоритма заданна тестовая модель 2-х мерной авторегрессии

Z(j -bjOZ >(/ +1), i = \N,

yS) = Zj )(i+1)

со следующими исходными параметрами: r=1 - порядок авторегрессии; p=2 - количе-

ство выходов, J = 1, p

Z, =

2

Д1) 'i

,(2)

вектор

выходных значений, где • = 1,2,3,... индекс нумерации дискретных моментов времени;

Go =

1 - 0.25 1.2 - 0.55

матрица истинных па-

раметров, где Ь1(.0) = (1,-0.25) ,

Ь20) = (1.2,-0.55) - вектора "истинных" параметров согласно числу выходов р2;

^(0

З1 (0 =

^(2)(0

генерирующим шум авто-

регрессии как последовательность независимых случайных величин, равномерно распре-

T

b

деленных на интервале [-1;1], дисперсионная

матрица

D =

d1(1) 0

d«

(1) 1 , где dj. =3 . Соот-

ветственно уравнение авторегрессии будет представлено выражением

2+1 = G° +£1(0, а наблюдаемый сигнал

+ £ 2(0

-г(1)

= Z +£2 (i) , y(2) z(2)

где

£ 2(i) =

ходного

D2 =

ЙЧо Й2)(0 сигнала

- помеха наблюдения вы-с дисперсией

d12) ! о

° d 22)

которая изменяется в за-

висимости от gg, т.е.

d (1)

d(2 = j У

. Для цели

исследования состоятельности оценок использован большой объем выборки #=1000. Параметр gg дискретно принимает значения 1000, 4, 1, 0.25. Результаты тестов оценок параметров, полученных классическим и модифици-

рованным МНК, приведены на рис.1-2.

Разработанный критерий оценки ошибки "малости" предсказания путем минимизации отношения двух квадратичных форм относится к методам параметрической идентификации линейных динамических объектов, где параметры оцениваются в условиях априорной неопределенности. Предложенный итерационный алгоритм минимизации критериев, получаемых на основе пошагового оценивания до заданной точности матрицы параметров уравне-ния многомерной авторегрессии на основе стохастического градиентного алгоритма ми-нимизации функционала, позволяет получать состоятельные оценки лишь при априорном знании отношения дисперсий помех во входном и выходном сигналах.

СПИСОК ЛИТЕРАТУРЫ

1. Кацюба О.А., Гущин А.В. О состоятельности оценок параметров многомерной регрессии на основе нелинейного метода наименьших квадратов // Сб. тр. IV Меж-

Рис. 1. Сравнение погрешности отклонения оценок вектора параметров авторегрессии

модифицированного (5Ду), 52(у) )

Рис 2. Сравнение точности оценивания векторов параметров авторегрессии классическим

( ьмм

МНК 7 МНК

'2.

) и модифицированным МНК

и классического МНК (§1МНК (у), §М"К (у) ) от вектора "истинных" параметров при у ={1000, 4, 1, 0.25}

гМНК ,

(b?1., b?2.) с истинными параметрами bj. ,Ь2(о) W=1000, у =0,25..1000)

дунар. науч. конф. ИПУ РАН. 2°°5.

2. Кацюба О.А., Гущин А.В. Численные методы определения оценок параметров многомерного линейного разностного уравнения // Математические методы в технике и технологиях (ММТТ-18): Сб. тр. XVIII Междунар. науч. конф. Казань, 2°°5. Т. 2.

3. Кацюба О.А., Жданов А.И. Идентифика-

ция методом наименьших квадратов параметров уравнений авторегрессии с ади-тивными ошибками измерений // Автоматика и телемеханика. 1982. Вып. 2.

4. Шепилов И.А. О методах решения дробных задач математического программирования // Изв. АН УССР. Кибернетика. 1980. Вып. 1.

THE IDENTIFICATION OF THE PARAMETERS OF THE DYNAMIC MODEL BASED ON THE MULTIDIMENSIONAL LINEAR AUTOREGRESSION WITH THE HELP OF THE NONLINEAR LEAST-SQUARES METHOD

© 2006 A.V. Gushchin

Samara State Academy of Ways of Communication

In this article investigate the criterion of the consistency of estimator of the parameters of the multidimensional linear regression based on the nonlinear least-squares method. The demonstration of the consistency of estimator, only in the case of the a priori known ratio of variances of the disturbances in the input and output signals, is made.