Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем Текст научной статьи по специальности «Математика»

x.(t) = -13 + 0,46135t2 + 0,925651-1; 1 6

x2(t) = -12 + 0,92269t - 0,07435; x3( t) = t - 0,07731.

Резюме. При предложенном в настоящей работе подходе для определения иор1(0 не используются

сопряженные переменные ввиду чего исключаются как проблема по определению вектора Т(0), так и проблема по удовлетворению условиям трансверсальности на левом и/или на правом концах фазовых траекторий. Эти обстоятельства намного упрощают решение рассматриваемой задачи, несмотря на увеличение при этом размерности эквивалентной задачи НЛП.

СПИСОК ЛИТЕРАТУРЫ

1. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления. - М.: Мир, 1972. - 554 с.

2. Понтрягин Л.С., Болтянский В.Г., Гамкрелидзе Р.В., Мищенко Е.Ф. Математическая теория оптимальных процессов. - М.: Наука, 1983. - 392 с.

3. Симонян С.О. Прикладная теория оптимального управления. - Ереван: ГИУА, 2005. - 180 с. (на армянском языке).

4. Симонян С.О. Основы синтеза специализированных вычислителей динамических задач нелинейного программирования: Автореф. дис. ... д.т.н. - Ереван, 1993. - 47 с.

5. Пухов Г.Е. Дифференциальные спектры и модели. - Киев: Наукова думка, 1990. - 184 с.

6. Симонян С.О., Аветисян А.Г. Прямой метод решения линейных многоточечных краевых задач // Известия НАН РА и ГИУА. Сер. Технические науки. - 2002. - Т. 55. - № 1. -С. 95-103.

7. Симонян С.О., Аветисян А.Г., Казарян Д.А. Метод решения линейных многоточечных краевых задач, основанный на диф-ференциально-дирихлеевских преобразованиях // Вестник ИАА. - 2007. - Т. 2. - С. 253-257 (на армянском языке).

8. Симонян С.О., Аветисян А.Г., Казарян Д.А. Метод решения задач оптимального управления, основанный на дифференциальных преобразованиях // Вестник ГИУА. Сер. Моделирование, оптимизация, управление. - 2007. - Т. 2. - Вып. 10. -С. 102-114.

9. Симонян С.О., Аветисян А.Г., Казарян Д.А Решение задач линейного быстродействия с закрепленными краевыми условиями в области дифференциальных преобразований (общий случай) // Радиоэлектроника. Информатика. Управление (Запорожский государственный технический университет). -2009. - Т. 1. - С. 137-144.

10. Казарян Д.А. Об одном методе решения одного класса задач линейного оптимального быстродействия // Вестник-76 Государственного инженерного университета Армении (Политехник). Сб. научных и методических статей, Ереван. - 2009. -Т. 1. - № 1. - С. 491-497 (на армянском языке).

11. Фельдбаум А.А. Основы теории оптимальных автоматических систем. - М.: Наука, 1966. - 623 с.

Поступила 29.06.2009 г.

УДК 519.233.22

ОДНОЭТАПНОЕ ПОСЛЕДОВАТЕЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ СТОХАСТИЧЕСКИХ СИСТЕМ С ДИСКРЕТНЫМ ВРЕМЕНЕМ

А.А. Маляренко

Томский государственный университет E-mail: [email protected]

Построена и исследована одноэтапная последовательная процедура оценивания параметров нелинейных регрессионных процессов с дискретным временем. Построенная процедура применена к двумерной модели авторегрессии с дрейфующими параметрами и двумерной модели AR/ARCH.

Ключевые слова:

Оценивание параметров, стохастические системы, процессы авторегрессии, последовательный анализ, асимптотический анализ. Key words:

Parameter estimation, stochastic systems, autoregressive processes, sequential analysis, asymptotic analysis.

Известно, что нелинейные стохастические системы широко используются для описания реальных процессов в экономике, технике, медицине и т. д. Асимптотические методы идентификации, такие, например, как метод максимального правдоподобия, метод наименьших квадратов и др. позволяют находить оценки неизвестных параметров

моделей с известными статистическими свойствами при неограниченном увеличении объема наблюдений. В то же время, последовательный метод оценивания параметров динамических систем позволяет получить оценки с гарантированным качеством в среднеквадратическом смысле за конечное время. Время оценивания определяется моментом

остановки, построенным по наблюдаемому процессу. Для простых моделей, например, скалярных моделей авторегрессии первого порядка с дискретным и непрерывным временем, удается построить так называемую одноэтапную последовательную процедуру оценивания [1, 2]. В этих случаях одноэ-тапная последовательная оценка представляет собой оценку по методу наименьших квадратов, вычисленную в специальный марковский момент. Такие оценки являются несмещенными и достаточно просты для исследования. В более сложных моделях, например, моделях авторегрессии высоких порядков и многомерных регрессионных процессах, приходится применять более сложную двухэ-тапную процедуру последовательного оценивания [3, 4] и др. При этом теряется, в частности, свойство несмещенности оценок. Отметим также результаты по двухэтапному оцениванию параметров с дрейфом в моделях авторегрессионного типа [5,6]. В то же время существует класс многомерных моделей, позволяющий строить одноэтапную процедуру оценивания неизвестных параметров [7, 8].

В работе рассматриваются модели подобного типа. Основное отличие от моделей, рассмотренных в [7], состоит в наличии дополнительного аддитивного шума, что позволяет расширить область применения одноэтапного метода оценивания. Построена последовательная процедура оценивания неизвестных параметров модели общей регрессии. В качестве примеров рассмотрены модели двумерного процесса авторегрессии с дрейфующими параметрами и модели типа АК/АКСН.

Модель общей регрессии

Пусть (ОДР) - произвольное, но фиксированное вероятностное пространство с фильтрацией Р,=(Р„)п><>. Предполагается, что наблюдаемый р-мерный процесс (х(п)) удовлетворяет уравнению:

х(п +1) = А0(п) + Д (п) Я + В! (и)|я+1 + В2 (п)пи+1 ,

п > 0, (1)

где А0(п), А1(п), В1(п), В2(п) - ^-измеримые наблюдаемые матрицы размерностей рх1, рхд, рх1, рхт соответственно, элементы которых могут зависеть от реализации процесса (х(п)).

Шумы 4 и г)п образуют последовательности -^-измеримых независимых одинаково распределенных векторов таких, что Е4п=Ецп=0, Е44'п=Ецпц'п=1', Я=(Яь...,Яг) '- вектор неизвестных параметров.

Задача состоит в построении одноэтапной последовательной процедуры оценивания параметра в=а 'Я, где а - заданный постоянный вектор.

Для построения процедуры оценивания введем псевдообратные матрицы А1+(п)=[А '1(п)А1(п)]-^А 1(п) в предположении, что все обратные матрицы [А ,1(п)А1(п)]-1 п.н. определены. Кроме того предполагается, что существуют известные /¡.-измеримые матрицы Е1(п), Е2(п) такие, что для всех п>1 спра-

ведливы следующие неравенства в смысле квадратичных форм:

В1(п) В » <ад, В2(п) В\(п) <Е2(п) п.н. (2)

Последовательные оценки в будем строить на основе модифицированных оценок по методу наименьших квадратов:

£ Ф)а'Д+ (п)(х(п+1) - Ао(п))

в.N =■

£ с(п)

где с(п) = {а'А»^п) +Е2(п))(А+(п))'а}-1. Согласно (1) уклонение оценки ви имеет вид:

£ с(п)а'А+ (п)С(п +1)

£ с(п)

п=1

где ^(п+1)=В1(п)4п+1+В2(п)пп+1. Заметим, что функция с(п) представляет собой обратную верхнюю границу для условной дисперсии шумового процесса а А1+(п)^(п+1):

с(п) < {Е(а'А+ (п)С(п + 1)С'(п +1)(А+ (п))' а| ^и)}--

Определим последовательный план (в*(И), т(И)), оценивания параметра в с заданной среднеквадрати-ческой точностью И1 по формулам

1 т(Н)

в'(Н) = 77 £ Рп(Н)с(п)а'А+ (п)(х(п +1) - Ао(п)), (3)

Н п=1

где

т(Н) = шДN > 1: £с(п) > Н}, (4)

И=1

[1, п <т(Н);

в (Н) =

ап (Н), п =т( Н),

т( Н )-1

Н - £ с(п)

а( Н) =--.

с(т( Н))

Теорема 1. Пусть наблюдаемый процесс (х(п)) удовлетворяет (1), матричные функции А1(п) и В1(п), В2(п) такие, что выполнено условие (2) и

1. Ес(п)<ж для каждого п>1,

да

2. Р{£ с(п)да} = 1.

И=1

Тогда для любого И>0 последовательный план (в*(И), т(И)), определенный в (3), (4), замкнут, т. е. т(И)<да п.н. и справедливы следующие утверждения:

1. Ев'(Н) =в,

2. Е(в'(Н)-в)2 < Н

И=1

И=1

И=1

Доказательство теоремы 1. Конечность с вероятностью 1 момента остановки т(Н) следует непосредственно из условия 2 теоремы 1. Доказательство свойства несмещенности по существу повторяет доказательство теоремы, приведенной в [2], и поэтому опускается. Аналогично [2] проводится также доказательство второго утверждения теоремы с учетом определения момента т(Н), с(п) и свойства вп (Н)<1:

1 т( н )

Е(в*(Н)-в)2 < — X в!(Н)с2(п)аЛ+(п) х

Н п=1

х( АО, + Б2(п)п п+1) х х( В1{п),п+1 + В2(п)Пп+1)'( Л+ (п))' а <

1 т (Н )

<772 X в2(Н)с2(п)аЛ+ (п)(^1 (п) +

Н п=1

1 т(Н) 1

+Е2 (п))(Л+ (п))' а < — X вп (Н)с(п) = —.

Н п=1 Н

В качестве примеров предложенной процедуры оценивания рассмотрим две двумерные модели специального вида.

Двумерный процесс авторегрессии с дрейфующими параметрами

Рассмотрим модель вида:

' х1(п +1) = х1(п)(^ + а^П(п +1)) +

+х2 (п)( X, + 2П2 (п + 1)) + а 1^1 (п + 1), х2 (п + 1) = х1 (п)(А2 + ап2П2 (п + 1)) -

- Х2 (п)( А +алМ. п +1)) + 0,2^( п + 1)- (5)

Процесс х(п)=(х1(п),х2(п))' удовлетворяет (1), причем

х1 (п) х2 (п)

Л>(п) = 0, Д(п) =

- х2(п) х1(п)

Л

В1(п) = В1 =

а

,1

0 а

0 ^

Л+ (") =

«2 У

' ап1 х1(п) ап2 х2(п) ^ ч-а„1х2(п) ап2х1(п) /

ад = а,I, Е2(п) = а¡21|х(п)||21,

1,ап2}.

||х(п)|2

ВМ =

где а?2=я'512а, ап2=а'В22а, В2=Ша§{ап1,ап2}. Тогда, полагая

2

1

"Л (и), с(и) =

а,2 +аП ЦхС«)!2

(6)

Теорема 2. Пусть наблюдаемый процесс (х(п)) удовлетворяет (5). Тогда для любого Н>0 последовательный план (в*(Н), т(Н)), определенный в (3), (4), (6), замкнут, и справедливы следующие утверждения:

1. Ев*(Н) = в,

2. Е(в*(Н)-в)2 < Н

3. Существует постоянная т0, такая, что для любого Н0>0

Ет( Н) вир < «о-

Н >Н 0 Н

Доказательство теоремы 2 вынесено в Приложение.

Двумерный процесс AR/ARCH

Рассмотрим модель вида (1) х1 (п + 1) = х1 (п) А + х2 (п) А +

+7а021 +а121 х12(п) +а221 х22(п)(п + х2(п +1) = х1(п)А2 -х2(п)А +

^а222 +а122х12(п) +а222х22(п)^ (п + ^

(7)

где

ад=о, ад =

х1(«) х2(п)л

- х2(п) х1(п) У ВД«) = diag^ ао2 + а2 х2( п) +а^ п), ^а^ +а2 х2(и)+а^х^(п)}, B2(и) = 2

и предположим, что существуют известные постоянные 82, а02 и а12 такие, что для всех п>1 справедливы следующие неравенства

2 < 82 < а22 < а22, тах(а2, а^) < а?, I = 1,2.

Тогда последовательные планы (3), (4) полностью определены, если положить

2

Л+ (п) =

1

-ЛЦп), с(п) = ■

Ф)|Г

|х(п)||2

(8)

получаем, что последовательные планы (3), (4) полностью определены.

Следует отметить, что наличие в модели дрейфующих параметров не позволяет применять общую процедуру последовательного одноэтапного оценивания, построенную в [7].

где а22 = а 2а22, а12 = ||а||2а12.

Теорема 3. Пусть наблюдаемый процесс (х(п)) удовлетворяет (7). Тогда для любого Н>0 последовательный план (в'(Н), т(Н)), определенный в (3), (4), (8), замкнут, и справедливы утверждения теоремы 2.

Доказательство теоремы 3 вынесено в приложение.

Заключение

Рассмотрена одноэтапная последовательная процедура оценивания параметров модели общей регрессии. Приведены примеры двумерного про-

цесса авторегрессии с дрейфующими параметрами и модели типа AR/ARCH. Показано, что предложенные оценки обладают свойством несмещенности и гарантированности. В примерах исследовано среднее время оценивания. Отметим, в частности, что для модели авторегрессии с дрейфующими параметрами процедура одноэтапного последовательного оценивания, предложенная в [7], не применима, а задача одноэтапного последовательного оценивания параметров многомерной модели AR/ARCH ранее не рассматривалась.

Автор выражает благодарность В.А. Васильеву за помощь в написании работы.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 09-01-00172).

Приложение

Доказательство теоремы 2. Доказательство первых двух утверждений теоремы 2 проводится аналогично доказательству теоремы 1.

Для доказательства конечности момента остановки (4), (6) проверим расходимость ряда

да

PiY c(n) =да} = 1

П=1

по схеме доказательства теоремы в [10]. Для этого запишем систему (5) в следующем виде:

x(n +1) = Ax(n) + Z(n +1), где Z(n +1) = r\(n + 1)x(n) + (n +1),

^=G Д1 •n(n)=

откуда для всех m>n>1 получаем уравнение

XIИ )|12 -И2 ici И -1)||2 +

к-п к =n

m m

+2X x '(к -1) AZ(k ) + Х||С(к )||2.

к=n к=n

С помощью следующей оценки

m m

X |x '(к -1)AÇ (к) <X Щ||x(к -1)|| |Z(к)|| <

к=п к=n

m 1 m 1

<И1 ( XI |x( к -1)||2)2( XZ( к)||¥

к=п к=n

получаем неравенство

^ If

к=n-1 к=n- 1

X ||x(kf + 2|\Ц\( X ||х(к^2)^(Х||С(к^2)^ -

к =n - 1 к =n

m

-Uli (к)||2 > 0,

к=n

m 2

решая которое относительно Ц ||х(к)|| , находим

к=n-1

m m

X ||х(к)||2 >сЦ||С(к)f,

1

||2. Т

где c=(Vl+||A||2-||A||)2 (см. также [10]), и по определению Z(n)

m m

X ||х(к)||2 >е(Х^(к)Б^(к)-

-2^ X П)|| В*£(к)• X И)|| ),

V к=п-1 к=п- 1

нижняя граница при соответственно выбранных п и m будет иметь вид:

где n>1 и

X ||х(к)||2 >р(n),

к = (i-1)n+1

Р (n) =

(9)

= d X (|\п(к)||2E '(к)Bf£ (к)c2 +£ '(к)B% (к)c) -

\ к =(i-1)n+ 2

-cj X ¥i(к)|| Е'(к)B1E (к))2.

\ к=(i-1)n+2

Тогда, согласно усиленному закону больших чи-

сел

где

lim1 pj(n) = р п.н.,

п^да n

p=ol • фа*c2 + c -c)2

—2 2 2 —2 2 2

и, следовательно,

lim X c(к) >

к =(i-1)n+1

> lim« + X ||х(к )f)-1)-1 >

к =(/-1)n+1

> lim« +а2pt(n))-1) ^ п.н.

' n n

Последнее предельное соотношение обеспечивает расходимость ряда из ^п).

Покажем, что для процесса (5) справедливо утверждение 3 теоремы 2. Обозначим через [й\1 -целую часть числа a. Следуя идее доказательства [11] с помощью неравенств (9) при п=2 находим:

Ет(И) = ЕХх[] <т(И)] =

] >1

= 1+ ХР{] <Т(И)} = 1+ ХР{Хс(0 < И} <

Г>1 г>1 г>1

[^ 2/

< 1+ Х Р{ X X с(к) < И} <

]>1 /=1 к = 2(/-1)+1

[ Ут. 1

< 1 + ХР{ Х К + ^Р- (2))-1 < И}.

]>1 /=1

Таким образом, определяя вспомогательный момент остановки,

P, (2)

т( H ) = inf{m > 1: V

tí ä +o;Pí (2)

> 2H},

получаем, что Eт(H)<Eт (Я), Я>0.

Поскольку слагаемые в определении т(Я) независимы и одинаково распределены, согласно [10] существует универсальная константа т0, такая, что для любого Я0>0

Ет (Н)

sup

H >H о

H

•< m0.

Доказательство теоремы 3. Доказательство повторяет в целом доказательство теоремы 2, поэтому приведем только основные отличия.

В ходе доказательства расходимости ряда из с(п) аналогично получаем для всех т>п неравенства

т т т

X ||х(к)||2 > м2 > ЩI2,

с помощью которых нетрудно показать, что для всех />1

in 1

lim V c(k) >— п.н.

k =(i-l)n+l

При доказательстве третьего утверждения теоремы 3 аналогично доказательству теоремы 2 устанавливаются неравенства Et(H)<Et(H), H>0, где

m c§2 \\р II2 f(H) = inf{m > 1: V_2 J'^'L ,|2 > 2H}.

=1 ä0 c52 \\E2

СПИСОК ЛИТЕРАТУРЫ

1. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. - М.: Наука, 1974. - 696 с.

2. Борисов В.З., Конев В.В. О последовательном оценивании параметров дискретных процессов // Автоматика и телемеханика. - 1977. - № 10. - С. 58-64.

3. Конев В.В., Пергаменщиков С.М. Последовательные планы идентификации динамических систем // Автоматика и телемеханика. - 1981. - № 7. - С. 84-92.

4. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении // Техническая кибернетика. - 1982. - № 6. - С. 145-154.

5. Konev V.V., Vasiliev V.A. On identification of linear dynamic systems in the presence of multiplicative and additive noises in observation // Stochastic Contr.: Proc. Second IFAC Symp., Vilnius-1986. Oxford e.a. - 1987. - P. 87-91.

6. Malyarenko A.A., Vasiliev V.A. On sequential parameter estimation problem of non-linear discrete-time stochastic systems // Third Inter. Conf. on Innovative Comp., Inf. and Control, China. - 2008. -P. 544-547.

7. Воробейчиков С.Э., Конев В.В. О последовательной идентификации стохастических систем // Техническая кибернетика. - 1980. - № 4. - С. 176-182.

8. Васильев В.А., Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. - М.: Наука, 2004. - 508 с.

9. Feigin P.D., Tweedie R.L. Random coefficient autoregressive processes: a Markov chain analysis of stationarity and finiteness of moments // Journal of Time Series Analysis. - 1985. - V. 6. - № 1. -P. 1-14.

10. Пергаменщиков С.М. Асимптотические свойства последовательного плана оценивания параметра авторегрессии первого порядка // Теория вероятностей и ее применения. - 1991. -Т.36. - № 1. - С. 42-53.

11. Борисов В.З., Конев В.В. О среднем времени наблюдения при последовательном оценивании параметров рекуррентных процессов // Автоматика и телемеханика. - 1981. - № 10. -С. 90-97.

Поступила 20.10.2009 г.