CC BY
50
УДК 681.5.015
О СХОДИМОСТИ ИТЕРАЦИОННОЙ ПРОЦЕДУРЫ СРЕДНЕКВАДРАТИЧНОГО ОЦЕНИВАНИЯ КОЭФФИЦИЕНТОВ ЛИНЕЙНО-ПАРАМЕТРИЧЕСКОЙ ДИСКРЕТНОЙ МОДЕЛИ
В. Е. Зотеев
Самарский государственный технический университет,
443100, Самара, ул. Молодогвардейская, 244.
E-mail: [email protected]
Рассматриваются достаточные условия сходимости итерационной процедуры вычисления среднеквадратичных оценок коэффициентов разностных уравнений, описывающих временные ряды результатов эксперимента.
Ключевые слова: обобщенная регрессионная модель, среднеквадратичное оценивание, сходимость итерационной процедуры.
Одним из эффективных методов параметрической идентификации систем различной физической природы является метод, в основе которого лежат линейно параметрические дискретные модели [1, 2]. Эти модели в форме стохастических разностных уравнений связывают результаты измерений нескольких последовательных значений нелинейной функциональной зависимости, описывающей реакцию системы на некоторое типовое тестовое воздействие. Известные соотношения, связывающие коэффициенты разностного уравнения с параметрами системы, позволяют свести задачу параметрической идентификации к среднеквадратичному оцениванию коэффициентов разностного уравнения. Формулировка задачи среднеквадратичного оценивания вектора Л коэффициентов разностного уравнения в виде обобщенной регрессионной модели
b = FЛ + Рле,
где Р\ — невырожденная матрица линейного преобразования вектора е случайной помехи в результатах наблюдений, позволяющая описать алгоритм численного метода среднеквадратичного оценивания коэффициентов разностного уравнения совокупностью рекуррентных формул [1, 2]:
Л(к) =
То-1
Afc-i
F
1
FТ Q-1
A^-1)
A^-1)
Р
Р
Т
A(k-1) PA(k-1)
PA(k-1) = PA
Л(к-1)
(1)
где — среднеквадратичная оценка вектора коэффициентов, вычисленная
на к-той итерации (к € М), Рд(о) = Е — единичная матрица. В данной работе рассматриваются достаточные условия сходимости итерационной процедуры, описываемой формулами (1).
Зотеев Владимир Евгеньевич — доцент кафедры прикладной математики и информатики; к.ф.-м.н., доцент.
Рассмотрим систему нелинейных уравнений
Л1 = 91( ЛЪ Л2) • • • ) Лга),
Л2 = ?2( ЛЪ Л2) • • • ) Лп))
Лп = 0_п(ЛЪ Л2) • • • ) Лга))
которая в матричной форме имеет вид
Л = 9( Л), (2)
где вектор-функция д( Л) описывается выражением
д(Л) = (Ет0-1( л)^-1 ^т0-1( Л) Ь (3)
В п-мерном пространстве введём норму вектора Л и матрицы Ж следующим
п
образом (г = 1, 2, • • •, п): ||Л|| = тах |Лг|, || Ж|| = ша^ |.
г г ^ = 1
Теорема 1 (Достаточное условие). Пусть функции <?г(А) и {г,3 =
= 1, 2, • • •, п) определены и непрерывны в известной замкнутой области С действительного п-мерного пространства Еп, причём в области С выполняется неравенство
а = max лє G
max
п N „ _
ЕЕІ■ Киаіг)"
* л ,л dЛ 3 = 1 k=1 3
< 1, (4)
где Wik — элементы матрицы Q 1( Л) размера N x N; e = b — FЛ — вектор остатков. Тогда, если последовательные приближения
Л(к) = q( Л(к-1)), k Є N, (5)
не выходят из области G : Л(к) Є G, то:
1) независимо от выбора начального приближения Л(0) Є G процесс итерации (5) сходится, то есть существует предел lim Л(к) = Л;
_ k^-ж
2) предельный вектор Л является единственным решением уравнения (2) в области G;
3) имеет место оценка
||Ä-A(fc)|| < -^||A(fc) -А^Ц. (6)
и и і — а11 11
Доказательство. Пусть Л(1), Л(2) Є G и д(Л(1)), q(^(2)) Є G. Тогда
известно, что существует вектор £ Є G такой, что выполняется неравенство
||q( Л(1)) — q(Л(2))У < ||W(£)|| ■ ||Л(1) — Л(2)У < max||W( Л)|М|Л(1) — Л(2)||, (7)
AeG
e
где Ж(£) =
дд4х^ —матрица Якоби системы функций \ <?г(Л) !• по ие-д Л? ] д=^ I J г=1
ременным Л1, Л2, • • •, Лп, вычисленная в точке £ € С. В развернутой форме матрица Якоби размера п х п имеет вид
дд\ дд\ дд\
9Л! д\2 д\п
одп одп одп
. д\ 1 д\2 д\„
Ж ( Л) =
(8)
Покажем, что при выполнении условия (4) выполняется неравенство
шах У Ж ( Л)|| ^ а < 1, лес
то есть отображение (2) является сжимающим в области С. Действительно
дд дд дд
д\\ <9А2 д\п
где ^- —вектор-функции. С учётом формулы (3) имеем
матрицу Якоби (8) можно представить в виде Ж( Л) =
д
дЛ,
-її
Ет 0-1( Л)Ь + (Ет 0-1( Л)Е
дЛ,
рТр>-1/
4-ї д = (^тО-1(Л)Й ^т-
-1 д
0-1( Л)
дЛ,
дЛ,
Ь-Е Л
Обозначая вектор остатков через е = Ь — Е Л, получаем
= (рта-1С\)р) 1^т
д Л,
д
0-1( Л)
д Л,
Тогда матрица Якоби (8) принимает вид
Ж( Л) = (Ет0-1( Л)Е) Ет и( Л),
1
т
(9)
(10)
где и ( Л) =
д\і д%2
д\„
е
= [ М1е М2е ■ ■ ■ Мпе ]
ЭП-^Л)
<9л.
размер ко-
матрица размера N х п. Элементы ^к матрицы М^
торой равен N х N, вычисляются по формуле ц?к = где (г, к =
= 1, 2, • • •, N) —элементы матрицы 0-1( Л) размера N х N.
Тогда элементы матрицы и ( Л) могут быть описаны формулой = N Л
= ^ ек- Оценим норму матрицы С/(А) (г = 1, 2, ..., -/V): к=1 дЛ?
|и( Л)|| = шах^ |и,| = тах ЕЕ
N
д^ік
д Л, ,=1 к=1 ^
д Л, ,=1 к=1 ,
п N
^ ||е|| тах ЕЕ
дШік
д Л, ,=1 к=1 ,
где ||e|| = max |ek| (к = 1, 2, ..., N). Тогда в соответствии с (10) получаем k
-1
W(Л) у < (FTQ-1(^F) FT
FTQ-1( ^F) Vt
<
|U( Л)|| < 1
n N „
I у I d^ik
I e 11 • max^ / y
Следовательно, с учётом условия (4) теоремы имеем оценку
maxllW(Л)У < а = max лес лес
nN
:££
ÖWjk
max
i k^1 d Л,
j=1k=1 j
FT Q-1( Л^) F
1
T
Тогда, усиливая неравенство (7), получаем
|q( Л(1)) — q( Л(2)) У < а||Л(1) — Л(2) I
< 1.
(11)
где 0 ^ а < 1. Следовательно, отображение (2) является сжимающим в области С.
Покажем, что при выполнении условия (11), где а описывается равенством (4), итерационный процесс (5) сходится. Для этого используем обобщенный критерий Коши. Имеем
Ц^1) _ Л(к) || = ||^ Л(к)) _ ^( Л(к-1)^ у ^ а|Л(к) - Л(к-1) || ^
^ а2|Л(к-1) _ Л(к-2)| ^ ••• ^ ак|Л(1) _ Л(0)| (12)
Рассмотрим норму
уЛ(к+р)_Л(к)| = ||( Л(к+1)_Л(к)) + (Л(к+2)_ Л^^^^Л(к+р)_Л(к+р-))|| ^
р-1
|Л(к+1+г) _Л(к+г)|1- (13)
г=0
Отсюда с учётом (12) имеем
|Л(к+р)_Л(к)| ^ ак||Л(1)_Л(0)|+ак+1|Л(1)_Л(0) !+•• •+ак+р-1|Л(1)_Л(0) || =
= ак{1 + а + ... + ар~1) ||Л(-1') — Л<-0-) II = ^С1 ~ а?) ПдС1) _ д(°) II
1а
Следовательно, выполняется неравенство:
K(k+p) _ Л(k) у <
а
1а
|Л(1)-Л(0) У.
(14)
Так как 0 ^ а < 1 и, следовательно, lim ak = 0, то из (14) следует, что для
всякого £ > 0 существует N = N(е) такое, что при k > N(е) и p > 0 выполняется неравенство ||A(fc+p)- A(k) || < £, то есть для последовательности {A(k)}
e
выполнен критерий Коши. Поэтому существует предел lim A(k) = Л, причём
_
Л € G в силу замкнутости области G.
Вектор Л является решением уравнения (2), так как, переходя к пределу при k ^ то в равенстве (5) и учитывая непрерывность в области G вектор-
функции q( A), имеем lim A(k) = q( lim A(k-1M или
Л = q( Л), (15)
то есть Л — решение уравнения (2).
Это решение единственное в области G. Действительно, пусть Л есть другое решение уравнения (2), то есть
Л = q( Л)- (16)
Тогда, вычитая из (15) равенство (16), получаем выражение
Л — Л = q( Л) — q( Л).
Отсюда, с учётом формулы (11), имеем ||Л — Л|| = ||q( Л) — q( Л) || ^ а||Л — Л|| или (1 — а)||Л — Л| ^ 0. Так как а < 1, то 1 — а > 0, следовательно, должно выполняться условие ||Л — Л|| ^ 0. А это возможно только в случае ||Л — Л|| = 0,
то есть когда Л = Л.
Так как в соответствии с (12) имеем
||A(k+2) — A(k+1)|| < a|A(k+1) — A(k)|,
||A(k+3) — A(k+2)|| ^ a||A(k+2) — A(k+1)|| ^ a2|A(k+1) — A(k)||,
|A(k+i+i) — A(k+i)| ^ ai|A(k+1) — A(k)|, i € N, то из формулы (13) получаем
p—1 p—1
11 A(k+p) — A(k) 11 ^^211 A(k+1+i) — A(k+i) 11 ^ 11 A(k+1) — A(k) 11 • ^2 а =
г=0 г=0
= IIA(fc+i) _ д(к)|| . 1 ~ (lV ^ a(l ~ QP) _ |K(fc) _ д(Лг—1) II 11 11 1 — а "" 1 — а 11
Отсюда, переходя к пределу при p ^ то, получаем оценку
цл —Цл^-л^-1)!!,
и и 1 — а и и
где а определяется соотношением (4). □
Следствие 1.1. При заданной погрешности £, то есть выполнения неравенства ||Л — A(k) | < £, достаточно выполнения условия
||Л(к) _ л(к-1)|| <£о = (17)
а
где а определяется формулой (4). Формула (17) описывает апостериорную оценку погрешности к-того приближения.
Следствие 1.2. Вектор остатков е в формуле (4) можно представить в виде:
е = Ь _ Е Л = Е (А _ А) + Рле = = _Е (етП-1( л)^-1 Ет0-1( Л)Рле + Рле =
Рл£ =
(18)
= Е _ е(етП-1( л)е) Ет0-1( л)
= (Е _ М) Рле = НРл е
Здесь матрицы
М = Е (ет0-1( л)е)-1 Ет0-1( л), Н = Е _ М = Е _ е(етО-1( л)/) 1 Ет0-1( л)
идемпотентны, то есть М = М2 и Н = Н2. Действительно, имеем
м 2 = е (ет о-1( л)е )-1 ето-1( л)е (етп-1( л)е )-1 Ет 0-1( л) = = Е (етП-1( л)е) -1 Ет0-1( л) = М^
Аналогично,
НН = (Е _ М)(Е _ М) = Е _ 2М + М2 = Е _ 2М + М = Е _ М = Н
Тогда справедливо неравенство
||е|| < ||НРл|| ■ ||е|| ~ ||НРл|| ■ ||е|| •
Отсюда, используя (4), можно сформулировать ограничение на величину случайной помехи в результатах наблюдений, позволяющее обеспечить достаточное условие сходимости итерационной процедуры (5):
/ п N „
111^/ V"' \"^1 дшгк
е < тах > > ——
\г
(ет 0-1( л)^ 1 ет
1
НРл II , (19)
где матрица Н описывается выражением (18), г = 1, 2, • • •, п.
Известно, что с вероятностью 0,997 все значения нормально распределенной центрированной случайной величины ек попадают в интервал ±3а£. Поэтому с учётом равенства М [ек] = 0 имеем
|е|| = шах |ек| ^ 3а£, (к = 1, 2, • • •, п) (20)
к
Тогда, используя (19), получаем оценку 2 „ I о___________I д^гк
N \ -2
а;< Зтах^^|^|- (У1^1^)/) Г
(21)
В условиях теоремы 1 требуется, чтобы все последовательные приближения
Л(к)
принадлежали области С. Однако на практике, как правило, это проверить достаточно сложно. Введём дополнительное условие, обеспечивающее принадлежность всех приближений Л(к) замкнутой области С: Л(к) € С, к € {0} и N.
Теорема 2. Пусть выполняются условия теоремы 1 и множество Б( А, г) = {Л : ||Л _ А|| < г}
(замкнутый шар радиуса г с центром в точке А ) — замкнутая ограниченная область, целиком лежащая в С, причём
М А) _ А|| < (1 _ а) г, (22)
где А — вектор истинных значений коэффициентов разностного уравнения; а < 1 — коэффициент сжатия, который определяется соотношением (4).
Пусть Л(0) € Б, где Л(0) = (ЕтЕ) ЕтЬ — первоначальная оценка, найденная методом наименьших квадратов. Тогда итерационный процесс (5) сходится, предельный вектор Л является единственным решением уравнения (2) в области С, и имеет место оценка (6).
Доказательство. Очевидно, достаточно показать, что все последовательные приближения Л(к) (к € {0} и N содержатся в области Б и, следовательно, в области С.
Начальное приближение Л(0) € Б и, следовательно, выполняется неравенство ||Л(0) _А|| ^ г Методом математической индукции покажем, что для всех
к € N справедливо неравенство ||Л(к) _ А|| ^ г. Для этого сначала покажем, что ||Л(1) _ А|| ^ г:
||Л(1) _ А|| ^ ||Л(1) _ д( А)|| + ||д(А) _ А|| =
= |9(Л(0)) _ 9(А)! + Цд(А) _ А^ <
^ а|Л(0) _ А|| + (1 _ а)г ^ аг + (1 _ а)г = г
Теперь предположим, что Л(к-1) € Б, то есть справедливо неравенство ||Л(к-1) _ а| ^ г. Покажем, что отсюда следует ||Л(к) _ А|| < г, то есть, что Л(к) € Б:
||Л(к) _ А|| < |Л(к) _ д(А) || + ||д(А) _ А|| =
= |КЛ(к-1)) _ 9(А)| + ||д(А) _ А|| <
^ а|Л(к-1) _ А|| + (1 _ а)г ^ аг + (1 _ а)г = г
Таким образом, получаем, что Л(к) € Б при любых к € {0}иN и, следовательно,
Л(к) € С,
так как Б € С. Тогда на основании теоремы 1 процесс итерации (5) сходится к единственному на множестве Б решению уравнения (2) и имеет место оценка (6). □
Следствие 2.1. При выполнении условий теоремы 2 справедливо неравенство
||Л _Л(к)|| ^ 2акг, (23)
где а определяется соотношением (4).
Действительно, так как предельная точка Л € Б и начальное приближение Л(0) € Б, то
||Л _ Л(0) || < ||Л _ А|| + ||А _ Л(0) || < г + г = 2г.
При 0 ^ а < 1 имеем:
¡Л _Л(к)| = ^(Л) _ 9( Л(к-1))| < < а||Л _Л(к-1)| < а2||Л _Л(к-2)| < ... < ак ||Л _Л(0)|| <
< а2||Л _Л(к-2)| < ... < ак ||Л _Л(0)|.
Следовательно, выполняется (23).
Формула (23) позволяет получить априорную оценку погрешности к-того приближения и найти число итераций, необходимое для достижения заданной точности е: ||Л — || ^ 2акг < е. Отсюда следует, что к > 1п£1~^2г •
Следствие 2.2. Для сходимости итерационной процедуры (5) достаточно, чтобы величина случайной помехи в результатах наблюдений удовлетворяла неравенству
(1 _ а) г
\(гТп-1(\)ру1 гТ (р-1)
В соответствии с формулой (3) имеем
9( А) = (Ет0-1( А)Е)-1 Ет0-1( А)Ь = = (Ет0-1( А)Е)-1 Ет0-1( А) (Е А + РАе) =
= А + (Ет0-1( А)Е)-1 Ет (Ра_1)Те. Тогда при выполнении условий теоремы 2 неравенство (22) принимает вид
||д(А) _ А|| = || (Ет0-1( А )Е)-1 Ет (Р“1)Т е|| < (1 _ а) г.
Отсюда получаем оценку (24).
С учётом формулы (20) установим ограничение на величину дисперсии случайной помехи в результатах наблюдений, обеспечивающее выполнение неравенства (22) и, следовательно, сходимость итерационной процедуры (5):
а2^ (1-«)2г2
9||(^То-1( А)Е )-1 еТ (ра_1)Т и2'
Таким образом, рассмотрены достаточные условия сходимости итерационной процедуры среднеквадратического оценивания коэффициентов разностного уравнения. На основе полученных результатов представлены априорная и апостериорная оценки погрешности к-того приближения; сформулированы ограничения на величину случайной помехи в результатах наблюдений, обеспечивающие сходимость итерационной процедуры.
Работа выполнена при финансовой поддержке Федерального агентства по образованию (проект РНП. 2.1.1/745).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Радченко В. П., Зотеев В. Е. Определение динамических характеристик механической системы на основе стохастических разностных уравнений колебаний // Извест. вузов. Машиностроение, 2007. — №1. — С. 3-10.
2. Зотеев В. Е. Параметрическая идентификация линейной динамической системы на основе стохастических разностных уравнений // Математ. моделирование, 2008. — Т. 20, №9. — С. 120-128.
Поступила в редакцию 05/11/2009; в окончательном варианте — 17/11/2009.
MSC: 65P40, 34C15, 37M05
ON CONVERGENCE OF ITERATION PROCEDURE FOR MEAN-SQUARE ESTIMATION OF COEFFICIENTS OF A LINEAR PARAMETRIC DISCRETE MODEL
V. E. Zoteev
Samara State Technical University,
244, Molodogvardeyskaya str., Samara, 443100.
E-mail: [email protected]
Sufficient conditions for convergence of the iteration procedure for mean-square estimation of coefficients of difference equations is studied.
Key words: generalized regression model, mean-square estimation, the convergence of the iteration procedure.
Original article submitted 05/II/2009; revision submitted 17/II/2009.
Zoteev Vladimir Eugenievich, Ph.D. (Phys. & Math.), Ass. Prof., Dept. of Applied Mathematics and Computer Science.
