Рекуррентная параметрическая идентификация многомерных линейных динамических систем на основе метода нелинейных наименьших квадратов Текст научной статьи по специальности «Математика»

Информационные технологии

УДК 519.254

РЕКУРРЕНТНАЯ ПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ МНОГОМЕРНЫХ ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ НА ОСНОВЕ МЕТОДА НЕЛИНЕЙНЫХ НАИМЕНЬШИХ КВАДРАТОВ

Д.В. Иванов, О.А. Кацюба

Самарский государственный университет путей сообщения 443066, г. Самара, 1-й Безымянный пер., 18

Предложен рекуррентный алгоритм, позволяющий получать сильно состоятельные оценки параметров многомерных по входу линейных динамических систем при наличии помех наблюдения во входных и выходных сигналах. Проведенные численные эксперименты подтвердили высокую эффективность предложенного метода идентификации

Ключевые слова: рекуррентная идентификация, модели с ошибками в переменных, стохастическая аппроксимация.

Введение

Проблема идентификации динамических систем с помехами во входных и выходных сигналах, несомненно, является более сложной, чем классическая постановка задачи в регрессионном анализе, когда зашумленным является только выходной сигнал. Особый интерес представляют рекуррентные методы идентификации, позволяющие получать оценки параметров в реальном масштабе времени. В настоящее время наблюдается активное развитие состоятельных методов идентификации систем с помехами во входных и выходных. В англоязычной литературе развиваются методы инструментальных переменных и их рекуррентные модификации [1, 2], а также нерекуррентные методы, требующие для своего применения знания высших статистик [3]. В русскоязычной литературе развиваются методы на основе нелинейного метода наименьших квадратов [4], однако рекуррентные модификации отсутствуют, за исключением [5]. В данной работе алгоритм обобщается на случай многомерной по входу линейной динамической системы, а также для частных случаев: динамической системы и авторегрессии с помехами в выходном сигнале.

Постановка задачи

Рассмотрим линейную динамическую систему, описываемую следующими стохастическими уравнениями с дискретным временем г =... —1,0,1...

Кацюба Олег Алексеевич - д. т. н., профессор, зав. кафедрой «Мехатроника в автоматизированных производствах».

Иванов Дмитрий Владимирович - аспирант.

г 3 г]

—Т.ь'т =£ £>0тЛ х(—(1)

т=1 ,=1 т=0

У = * +^l(0, ^ ) = х( ) + £( ()(\ где , уг - ненаблюдаемая и наблюдаемая выходные переменные; хг(у), w(]) - ненаблюдаемая и наблюдаемая переменные в ,-том входном сигнале; ^(,)(г), ^1(г) -помеха наблюдения в ,-том входном и выходном сигналах.

Предположим, что выполняются следующие условия:

10. Множество В , которому априорно принадлежат истинные значения параметров устойчивой линейной системы, является компактным.

20. Помехи {^(г)}, {^(,)(г)} - статистически независимые последовательности. {^(г)}, {^(,)(г)} - стационарные в совокупности в узком смысле последовательности независимых случайных векторов с Е{^1(/)} = 0, Е{^(,)(/)} = 0,

и для некоторых постоянных п^ и

Е{(^1 (г))2} = а? > 0, Е{(4(,)(0)2} = (о0)^ > 0

п^О) : ^(0 <п^ и ^(г)

< п , п.н., где Е - оператор математического ожида-

ния.

30. Х(,),.,х(3)} статически не зависят от {^ (г)}, {;(,)(г)} , = 1,3 .

40. Последовательности {х(,)} - стационарные в совокупности в узком смысле с дробно-рациональной плотностью случайные сигналы с Е{(х(,))2} > 0. Для некоторого Пр > 0:

х Х7)

< п.н.

50. Априорно известно отношение у(р = (ст(,)) /с2 .

60. Выполняется условие несократимости полиномов М(д) и N(,)(д) ,

г

где М(д) = 1 — £ь0т) ■ д—т, N«(д) = £^0^''Ч—".

т=1 т=0

—1 —1

д - оператор сдвига назад, д ■ хг = хг—1.

Требуется рекуррентно определять оценки неизвестных коэффициентов динамической системы, описываемой уравнением (1), по наблюдаемым последовательностям уг, wp ).

Рекуррентный алгоритм идентификации

В [4] показано, что оценки будут сильно состоятельны при следующем критерии:

Ііт Е

І^-Ю

Уі

(ь Л

V а У

argmin

Ь Ь

со(Ь, а)

(2)

где Ау w

(¥г (і))т І ^ (і))т

(Wrd (І))Т

- вектор (г + Г + ...+ ^ + ^) X1,

У- (0 = |Уі-1, .Уі-г Г - вектоР г х 1, Wr. (і) =

^(У),., ^У) і ’ ’ І—г,-

вектор Г +1 їх

Г + 1)х1,

Ь =

а =

Ь(1),..., Ь(г)

- вектор Г X 1,

(01) (г,1)

а( ),..., а 1 '

а(0<і),., а ^)

- вектор (г + . + га + d )х 1.

ш(Ь, а) = 1 + ЬтЬ + Г(1) (а(1)) а(1) + . + r(d) (а(d) )Т

( ь Л

7(d )

Оценки неизвестного вектора

а

V у

можно получить с помощью стохастически

градиентного алгоритма минимизации функционала:

гЬ(і +1)\ Ь ()^

а(і+1)J Vа (і 1

-аі ¥( Ь

Уі+1

/ Ь(і)" ч а(і) ,

т

4і+1

,W

ю(Ь(і), а(і),)

(3)

где а - последовательность, для которой выполняются условия ^аг- = ю,

і=0

Ю

а, >ау+1 и ^а| <ю при I > 1, тогда оценки, определяемые алгоритмом (3), либо

і=0

(Ь (і)'

Vа (і)/

V а0 У

п.н., либо

Ь (і 1 ,а (і)

V 4 V

->Ю.

В доказательстве утверждения главную роль играют теоремы 3.15 и 3.17 [6, с. 113]. Теорема 3.15 доказана Л. Льюнгом в [7], строгое доказательство теоремы 3.17 получено [6, с.114].

Доказательство состоятельности оценок

Построим асимптотическую непрерывную детерминированную модель алгоритма (3). Векторный случайный процесс X с дробно-рациональной спектральной плотностью может быть представлен через векторный белый шум, для которого

Е(Ср ■(£„ )т) = 5Р • 1а,

(4)

Т

V

у

а

т

Г

Г

т

2

а

Ю

где 5% - символ Кронекера, I л - единичная матрица.

Представим уравнение (1) с учетом (4) в пространстве состояний, тогда на осно-

вании теоремы 3.1 [8, с. 47] вектор

Уі

А ж ї

является марковским слу-

чайным процессом.

Функционал (3) можно представить в виде:

((ь Л (ьпЛЛГ-*((ь Л (ьпЛЛ

(Ь Л

а

V у

= ст, +

а

VV у

V а0 У

а

VV у

V а0 У

®(Ь, а)

при

а

V у

є Я

Г+г1 +...+^ +d :

где Н = 1т Е\

000

что следует из 1 , 4 , 6 .

Г

(і) і хп (і) ;••• і хГл (і))т (іг (і) і хп (і) ;••• і хгл (і))

> 0,

Іг (і) = Ьі—1,., гі-г - вектор г X1, X (і) =

X(у) х(у)

/'?•••? і—г

- вектор (гу + 1)х1.

В данном случае асимптотическая непрерывная детерминированная модель имеет вид:

( ь Л

V а

Пусть функция Ляпунова равна

= -У, Ь^

(Ь Л

V а у

V =J

V а у Vа у

так

В =

как

( ь Л

V а у

= Ут [Ь.]У

( ь Л ( ь Л

J

V |-Ь-1J(Ь-Л

V а у

то

множество

( ь Л

V а у

є Яг+г1+.+г,г+d • 1

( ь Л

V а у

= 0 > состоит из стационарных точек функционала

J

(ь Л

V а у

[6, с. 114].

Однако из теоремы 3.15 [6, с. 113] следует, что возможными предельными точками алгоритма (3) являются точки множества

\(ъ Л .(ъ Л 1

В, = ■

а

V у

V а у

= 0, и -V2J< 0|

(выполнение условия 2 теоремы 3.15 следует из Н* > 0 (условия 10-40) ; выполнение условия 3 этой же теоремы вытекает из стационарности процесса, описываемого уравнением (1).

т

а

2

а

а

а

Покажем, что В =

(Ь Л

є Я„

Ь0

■+Гй +3 ' V ” .у V”0 у

т.е. множество В со-

0

V”0 у

стоит из одной единственном точки

Для этого рассмотрим функционал

J' (и) =

(и)т И *и

(и)т I' , , , ,м

4 7 Г+Г +...+Гд +3 +1

где и = (и1,..., иг+г1+_+га+ 3+1^ є КГ+Г1 +...+гй

+ 3+1 ’

Я * = 1ІШ Е

( \ У

Ч ж

Уг

к ж Г

Г+Г1+...+Гд +3 +1

1Г+1 0(г+1)х(г[+1) 0 (г+1)х(гй+1)

0 (г| +1)х(г+1) г(1) I (1і • Г1 +1 0 (г1+1)х(гз +1)

0(г+1)х(г+1) 0 (г3 +1)х(г1+1) у(3 ) I (3 ) гд +1

1Г+1 - единичная матрица размерности г+1 . Очевидно, что

(ь Л

V ° у

иє.К

ШІП

Ґ+Ґ\ +...+ГД +й+1

J '(и ) = J

(ь Л

V а у

= Л

(5)

где Лтіп - минимальное собственное число регулярного пучка форм (так как

- положительно определенная матрица), т.е. Лтіп - наименьший ко-

Г+Г +...+ Гд + Д+1

+.. .+Г/ +3+1

) = 0.

ПУсть Лтіп = Л(1) ^ ... ^ л(Г+Г1+^+Г<г+3+1) = Лш:

ах и и1 ,..., иГ+г1+...+г3 +3+1 - какие-либо

соответствующие им главные собственные векторы. Тогда Л, где к = 1, г + г1 +... + г^ + ^ +1, являются стационарными значениями функции J' (и), которые достигаются при и, равных щ ,...,иг+г+ +г^+<:?+1 соответственно. Следова-

тельно, стационарные значения функции /

( ь Л

■V' ^/

( ь Л

= 0 достигаются в точ-

ках

Ь

ч ” у 1

(„ (2) / и (Г+Г1+---+Г<г+3+1* / Л

Д1)’...’ 1 /,«

а

т

ґ (2) и( )

г+г + ...+ га + 3+1

ч а у

V /г +г +...+ Г/

',1+...+ г^ + d+1 V

Причем из (4) следует, что Остается показать, что

(ь Л (ь Л

и

(і)

Г +Г + ...+ Г^ + 3+1

(ь Л (ь Л

(Г+Гі +...+Гё + 3+1) г+Гі +...+ Гз + 3+1

(1)

г+г + ...+ г^ + 3+1

а

1

а

V 2 J

ч а у

> 0, V

ч а у

(ь Л (ь Л (ь Л

г+^+.+г^+3+1

(6)

(ь Л (ь Л ГъЛ

лишь в одной стационарном точке

а

а

-’о

ап

ч а у ч а У1 ча0 у

(ь Л

Задача определения минимума функции J ный экстремум

ч а У

Ту т*

шіпи И1 и

и 1Г+г+...+гё+^+1и = 1

эквивалентна задаче на услов-

(7)

Задача (7) может быть решена с помощью метода неопределенных множителей Лагранжа. Тогда необходимые условия запишутся в виде

|( н 1*-С+г1+...+Г,+3+1 )и = 0 [ и 1Г+Г1+.Г3 +3+1и = 1,

(8)

где 9 - неопределенный множитель Лагранжа. Множеством решений системы (8) являются 9 е |л1Лг+г + +г^+(1+11 и соответствующие им главные собственные векторы и ,...и ^ ^ ^ .

~ 1 ? г+г + ...++d+1

Исследуем матрицу И* -91 'г+ + + +d+1 на положительную определенность. Из (5) следует, что

л« н* <л« н22 7 : £7* ^н2х_

(нТх) 1 нхх

где

Л(1)

н1 и л(1) н 22 __ і [7 * ^-н-2х_

(н2х / 1 нхх

- минимальные собственные числа матриц Н* и

Я*

...22__ш

НхУ

н

Й

тх_

*

хх

соответственно,

н2і = ііш Щг

Н 7Х = Ііш Е

(г г (1)(2 г (0Г )+^2

(г г (/)Х®(0

+ о1!г - матрица г х г,

X^) (/))) - матрица г х (г +... + га + 3),

т

а

а

а

*

/ т \ (х(1)(0 Л( г(1)^ V

Н хх = Ііт Е

х(1)(/)

,х^ )(і)

V гл

+

И )2 Сі 0 (г1 +і)х(т +і)

0 г+1)х('1+1) И' ’ ГС

матрица

(г1 + ...++ й~) х (г1 + ...+га + ^).

В свою очередь, по теореме Штурма [9, с. 146]

Л(1)

Н ZZ ! Т-Г * і

НхГ ! ~ * ! Н хх

<л(2)| Н

или

Л

|(1)

и*

<л

(2)

и

(9)

Из (9) следует, что матрица И* —01'г+г +...+г+d+1 неотрицательно определена

лишь при в = и (6) выполняется В

=

, О . О ,

, т.е. для всех в > Лиіп матрица

И1 —вв'г+гх+...+гй +d+1 имеет отрицательные собственные значения, откуда непосредственно следует (3). Основная особенность алгоритма, позволяющая обосновать глобальную сходимость простого стохастически градиентного алгоритма, состоит в

том, что функция потерь /

(Ь Л

V а У

является ограниченном как снизу, так и сверху, а

также в том факте, что среди всех стационарных точек функции J

(Ъ \

Ъ0

( ь Л

V а У

лишь точка

V °с У

точка минимума, а все остальные являются седловыми точками и одна - точкой максимума.

Результаты моделирования

Предложенный алгоритм (3) был реализован в МаІІаЬ и сравнен с рекуррентным алгоритмом наименьших квадратов и рекуррентным методом инструментальных переменных. Динамическая система описывается уравнениями

2І — 0.7 2І—1 + 0.4гі—2 = х(1) + 0.7 х(1) + 0.2 х^ + х(2) —

— 0.5х(2)— х(2) + х(3) + 0.4 х(3) — 0.7 х(3),

І—1 І —2 і І —1 І —2 7

Уі = 2І + ^(і'), ) = хр) + ^0)(і) (10)

На у-тый вход подавался сигнал:

х(і) — 0.5 • х(У = С(у) — 0.5 • С(У + 0.3 • С(У + 0.2 • С(,

і і—3 ^і ^і—2 ^і—3 ^і—4 ’

где ]^ - белый шум.

Среднеквадратическое отклонение помехи в выходном сигнале о « 3.21, отношение «сигнал-помеха» на входах и выходе о (у) / ) =°1 = 0.5 . Начальные

значения параметров равны 0. Вектор инструментальных переменных [5]:

"7 ,№

(7 (І - Г))Т \№п (І - . - 1))Т

№ (І - г, - 1))Т

(11)

Однако при одинаковой размерности векторов Егг щ и Лу щ метод инструментальных переменных оказывается плохо обусловлен и точность его неудовлетворительна. В ряде случаев эта проблема может быть решена введением расширенного вектора инструментальных переменных. размерность которого больше размерности

Лу щ . Был использован следующий расширенный вектор инструментальных пере-

менных:

у І

-7 ,Ж

(¥г (І - г))т \ (Ж (І - Г1 - 1))т |... \(Ж (І - г, - 1))т

7 (І - г) =|Уі-г-1>- Уі-2г-3

К (І - г} -1) =

вектор

(г + 3) х 1,

^(}) .,... , w((]') .

і-г}-15 ’ і-2г]-4

вектор

(г] + 4) х 1.

На рисунке представлены графики погрешности оценок параметров, определяемые по формуле

5вк =

Г Ь(Т)Л Г ь Л Ь0 7 Г ь Л Ь0

и (і) V а0 ) / 'V а0 )

-10000-

Графики погрешности оценок параметров:

1 - рекуррентный метод наименьших квадратов; 2 - рекуррентный расширенный метод инструментальных переменных; 3 - алгоритм (3) .

Очевидно, что предложенный алгоритм дает наиболее точные оценки парамет-

Т

т

т

т

2

Заключение

В работе предложены рекуррентные алгоритмы для оценивания параметров многомерной линейной динамической системы с помехами во входных и выходных сигналах. Алгоритм, предложенный в данной работе, может быть обобщен на случай коррелированных помех, а также на нелинейную динамическую систему, что послужит основой для создания новых высокоэффективных автоматических систем управления технологическими процессами (АСУТП), а также построения более качественных моделей, применяемых во многих других областях науки и техники.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Soderstrom T., Mahata K. On instrumental variable and total least squares approaches for identification of noisy systems. - International Journal of Control, 75(6): 381-389, April 2002.

2. Thil S., Gilson M., Garnier H. On instrumental variable-based methods for errors-in-variables model identification. Proc. 17th IFAC World Congress, Seoul, Korea, July 6-11, 2008.

3. Tugnait J.K. Stochastic system identification with noisy input using cumulant statistics. IEEE Transactions on Automatic Control, 37(4): 476-485, April 1992.

4. Волныкин А.Н., Кацюба О.А. Идентификация многомерных по входу стационарных линейных динамических систем // Известия Самарского научного центра Российской академии наук. - 2006. -№4. - С. 1026-1033.

5. Кацюба О.А., Жданов А.И. Рекуррентное оценивание параметров стохастических линейных динамических систем с ошибками по входу и выходу // Изв. АН СССР. Техническая кибернетика. -1986. - №3. - С. 191-194.

6. Деревицкий Д.П., Фрадков А.Л. Прикладная теория дискретных адаптивных систем управления. -М.: Наука, 1991. - 215 с.

7. Ljung L. Analisys of recursive stochastic algorithms // IEEE Trans. Aut. Control. 1977 v.AC-22 №4. pp. 551-575.

8. НевельсонМ.Б., Хасьминский Р.З. Стохастическая аппроксимация и реккурентное оценивание. - М.: Наука, 1972. - 304 с.

9. Беллман Р. Введение в теорию матриц. - М.: Наука, 1989. - 376 с.

Статья поступила в редакцию 21 сентября 2009 г.

UDC 519.254

RECURSIVE PARAMETRICAL IDENTIFICATION OF MULTIDIMEN SIONAL LINEAR DYNAMIC SYSTEMS USING NONLINEAR LEAST-SQUARES

D. V. Ivanov, O.A. Katsyuba

Samara State University of Transport 18, 1 Bezimyanii per., Samara, 443066

The recursive algorithm, allowing to receive strongly consistent estimates of parameters of multidimensional on an input linear dynamic systems with errors-in-variables, is offered. Numerical examples confirm the high efficiency of the proposed algorithm

Keywords: recursive identification, models with errors-in-variables, stochastic approximation.

Oleg A. Katsyba - Doctor of Technical Sciences, Professor. Dmitiy V. Ivanov - Postgraduate student.