Двухступенчатый алгоритм оценивания параметров, основанный на методе инструментальных переменных Текст научной статьи по специальности «Математика»

Если векторы й,7, п,, из (3) удовлетворяют условиям согласования с точностью до слагаемых, длины которых достаточно малы, то имеет место а -фокусировка.

Полученные результаты справедливы и в случае, когда множество всех состояний исследуемого процесса п является счетным или континуальным. Для каждого из этих случаев число возможных фрагментов бесконечно. Условия согласования здесь такие же, как и в случае конечного числа состояний. Доказательство сходимости к финальному распределению проводится сначала для процессов Пи (n = 1,2,...), в каждом из которых число возможных фрагментов конечно и неограниченно возрастает с ростом n . Каждый процесс П n при 1110 фокусирует на распределение л П и аппроксимирует с заданной точностью процесс П . С ростом n точность аппроксимации возрастает. Далее устанавливается, что п’П ^п* ( n ).

Пусть локальные возмущения процесса П таковы, что векторы распределений, на которые фокусируют фрагменты, являются случайными. Мощность множества всех состояний процесса п по-прежнему не более чем континуальна. Предполагается, что любой фрагмент при каждом очередном его возмущении

УДК 658.012

ДВУХСТУПЕНЧАТЫЙ АЛГОРИТМ ОЦЕНИВАНИЯ ПАРАМЕТРОВ, ОСНОВАННЫЙ НА МЕТОДЕ ИНСТРУМЕНТАЛЬНЫХ ПЕРЕМЕННЫХ

ТИМОФЕЕВ В.А.

Рассматривается задача оценивания параметров линейной регрессионной модели в случае коррелированных помех. Проводится анализ используемых при этом алгоритмов, в частности, МНК, двойной МНК. В данной ситуации несмещенная оценка может быть получена с использованием МИП, однако целесообразным представляется разработка такой модификации алгоритма, которая позволяла бы получить оценку с минимальной дисперсией. Предлагается двухступенчатая процедура алгоритма МИП. Приводится вычислительная процедура алгоритма. Доказывается его сходимость. Показывается, что предлагаемый алгоритм имеет меньшую СКО по сравнению с аналогами.

Многие задачи распознавания образов, обработки экспериментальных данных, идентификации и прогнозирования связаны с построением множественной регрессии вида

Y = Ха + є,

где Y є Rn — вектор выходной переменной; X є Rn xr n — матрица наблюдений; а є Rn — вектор оцениваемых параметров; В£ Rn — помеха измерений; n — число наблюдений.

На практике наиболее часто для оценивания параметров а используются алгоритмы метода наименьших квадратов (МНК). Если помехи измерений распре-

фокусирует на один и тот же случайный вектор. Условия согласования теперь состоят в том, чтобы были параллельны векторы математических ожиданий Mл,, Mi ,. Остальные предположения об исследуемом процессе остаются прежними (см. условия а), б)). Тогда процесс П с вероятностью 1 фокусирует на случайный вектор ^ *. Равенство (4) теперь имеет вид lim Мл(Л = lim Мл(Л.

ttt„ j w ttt„ J‘v'

Литература: 1. Дикарев В. А. Точки фокусировки и теоре -мы о существовании предельных вероятностей. Харьков, 1995. 9 с. Деп. в ГНТБ Украины 28.02.95, № 526 — Ук95. 2. Dikarev V. A. Modeling of disintegrating economy by Markov process //II Intern. Conf. “Computing in economics and finance”. Geneva, 1996. P. 170-171. 3. Дикарев В. А. Фокусировка распределений марковских процессов // Доп. НАН України. 1999. №11. С. 100 -103.

Поступила в редколлегию 07.12.99

Рецензент: д-р физ.-мат. наук Руткас А. Г.

Дикарев Вадим Анатольевич, д-р физ. -мат. наук, профессор кафедры прикладной математики ХТУРЭ. Научные интересы: функциональный анализ, стохастический анализ и его приложения. Адрес: Украина, 61164, Харьков, пр. Ленина 66, кв. 21, тел. (0572) 33-57-03, (0572) 4094-36.

делены по нормальному закону, МНК-оценки становятся оценками максимального правдоподобия, а также несмещенными, состоятельными, эффективными и достаточными [1]. Наличие коррелированно-сти входных переменных, приводящей к плохой обусловленности информационной матрицы, резко ухудшает свойства МНК-оценок.

Уменьшение среднеквадратичной ошибки (СКО) оценивания может быть достигнуто переходом от МНК к двухступенчатому МНК. Двухступенчатый метод, основанный на МНК, был предложен в [2] для анализа остатков линейного регрессионного уравне -ния. Задача оценивания параметров с помощью такого метода рассмотрена в [3,4]. Обобщение двухступенчатого метода на многомерный случай регрессионной модели осуществлено в [5]. Кроме того, в этой работе показано, что двухступенчатый МНК (ДМНК), обладая тем же смещением, что и МНК, позволяет получить меньшую по сравнению с МНК среднеквадратичную ошибку оценивания. Эффективность ДМНК существенно возрастает при наличии помех и сильной коррелированности входных переменных, т.е. при плохой обусловленности матрицы наблюдений.

В ряде случаев, в частности, при наличии корреляции полезного сигнала и помехи предпочтительным оказывается метод инструментальных переменных (МИП) [4]. Однако известный МИП имеет ряд недостатков, поэтому представляется целесообразным получение такой его модификации, которая помимо несмещенной оценки давала бы еще и оценку с меньшей СКО по сравнению с МИП.

Для получения модифицированного МИП поступим следующим образом. Разобьём матрицу Х и вектор а на блоки

Х = (Хі,X2) , ат= (а/,а2т) • (1)

РИ, 1999, № 4

39

Здесь Xj є Rnxp, X2 є Rnxq , a1 є Rp , a2 є Rq , p + q = m, X — символ транспонирования.

С учетом (1) уравнение регрессии можно записать в виде

Y = + x2a2 +s • (2)

Обозначим X2a2 + st = xt и оценим из полученного уравнения ai • В этом случае оценка МИП будет иметь вид

а 1 = (W1TX1)“1W1TY • (3)

Здесь матрица ИП W разбита также на блоки W = (W1 , W2 ), W1 є Rnxp, W2 є Rnxq •

Обозначим Y = Y - Х1^1 • Тогда оценка МИП вектора a запишется следующим образом:

а 2 = (W2 ТХ 2) -*W2Y или с учетом выражений для ^ и Y

а 2 = (W2 ТХ 2)-1W2 т (Y-Х^ 1) =

= (W2ТХ2)-1W2ТPY , (4)

где Р = I - X1 (W1 Тх 1) _1W2 т; I - единичная матрица размерности n х n •

Таким образом, оценки ДМИП имеют вид

а 1 = (W1TX1)^W^Y ; (5)

а2 = (W2ТХ2)-1W2тPY • (6)

При изучении свойств ДМИП предположим, что:

1) s t ~ N(0, а 2I), а2 — дисперсия помехи;

2) переменные X, W — неслучайны;

3) Х2ТХ1 * 0, W1TX2 * 0, W2TX1 * 0, W2TW1 * 0 •

Определим смещение оценок ДМИП. С учетом (5), (6) и свойств помехи є получаем

Ad1 = Mfo - aj-=Aa2;

Ad 2 = м{а 2 - a2}=-A2A1a2,

где

A1 = (W1TX1)-1W1TX 2;

a2 = (W2 Tx 2)-1W1TX1.

Ковариационная матрица оценок ДМИП определится следующим образом:

D{d 1} = м{(а 1 - M{d 1})(сх 1 - M{d 1}) т}=

= (W1TX1)“1W1TW1(X1TW1)_1 a2 ; (7)

D{a2} = M{(d2 -M{d2})((x2 -M{a2})T}=

= A2PA 2 a2 ; (8)

cov{a 1,a2} = м{(а 1 -M{a 1})(cx2 -M{a2}) }= 0.

(9)

Использование формул (7), (8) позволяет получить выражение для СКО оценивания ДМИП:

ц2 1 . ^ . и и2

м|а 1 - aj2 j = trD{a 1} + ||Aa11|

= a2tr(W1TX1) “1W1T W1(X1T W1) -1 +| |A1

2

a2 2 ;(10)

м|а2 “ a21|2} = trD{(x2} + ||A.

= a 2trA2PA 2 +

A2A1a2

a 21

2

(11)

Здесь trA—след матрицы А. Так как ковариационная матрица оценок МИП имеет вид

D

МИП{« } = (W 'X )-1W 'W(X'W)-1 а2,

\-1_2

то разбиение матриц X и W на блоки X = (Х1, X 2 ), W = (W1, W2) позволяет записать эту матрицу следующим образом:

D

МИП {а} _

С D{d1} cov{d1, d 2}2

cov{d1, d2} D{d2} ;

Для определения элементов матрицы воспользуемся правилами обращения блочных матриц [6]. Тогда

( A B ^

(W ТХ)-1 =

VC D

где

2

A=(W1 Х1)-1 + (W1TX1)-1W1TX2N-1W2 X1(W1TX1)-1;

b = -(W1Tx1) _1W1Tx 2n _1;

C = - N _1W2 TX1(W1 TX1) _1;

D = N-1 = (W2TX2 - W2TX1(W1TX1)-1W1TX2)-1 = = (w2 PX2)-1.

T —1

По аналогии с (W X) определяем элементы

матрицы (ХТ W) 1: (Хт W)

1 _ Г A в л

V C D ,

здесь

A=(X1Tw1) + (X1TW1)_1X1TW2N“1X2TW1(X1TW1)“1; B = -(X1T w1) _1X1T W2n _1;

C = - N _1x2 T w1(X1T w1)_1;

D = N-1 = (X2T W2 - X2 T W1(X1T W1)-1X1 W2)_1 = = (x2 ptW2)-1.

Ковариационную матрицу D мип {^ } можно представить в виде

D

МИП

'D„ D12 '

^D21 D22 у

Подстановка в формулу для D мип {^ } выражений для обратных матриц (W ТХ) 1 и (XTW) 1 и перемножение дают

40

РИ, 1999, № 4

Djj = (W1TX1)“1W1TW1(X1TW1)^1 +

+ (W1TX1)^1 WjT Wj (X1TW1)^1X1T W2N1X2tW1 (X1t W)^1 +

+ (W1TX1)^1 W1tX2N^1W2tX1 (W1tX1)^1 Wt W (X1tW1) +

+ (W1TX1)^1 W1tX2N^1W2tX1 (W1tX1)^1 X

x w5tw1(x1tw1)“1x1tw2N1x2tw1(x1tw5)^1 -

- (w1tx1)^1 w1tx2n^1x2tw5 (x1tw1)^1 - (12)

- (W1TX1)^1 W1tX2N^1X2tW5 (X1tW1)^1X1W2]N“1X2W1 (X^W,)4 -

- (W1TX1)^1 W,T W2N1X2tW1 X (X1TW1)^1 -

- (w1tx1)-1w1tx2N"1w2tx1(w1tx1)-1w1tw2]N-‘x/w^x^wr1

+ (W1TX1)^1 WjT X X2N^1W2tW2N1X2tW1 (X1tW1)^1 ;

D22=NW^cw^r^WC^Wr^^N1 -

- N“1W2TW1(X1TW0“1XiW2N1 + N“1W2t X (13) xW^Vw/x^X^w/wN1.

По аналогии можно выписать выражения и для матриц D12 и D21. Однако поскольку нас интересует CKO-оценки Д МИП, в выражения для которой

входят только Du и D22 , ограничимся приведенными формулами.

Используя (12) и (13), получаем следующие выражения для CKO оценивания МИП:

М{ (х 1 a 1 II <N (х1 - М{сх1} 2 }

2 XV XV 2

М{ (Х.2 — а2 } = М{ «2 - М{(Х2} }

'22,

2

2

где Du и D 22 — определяются формулами (12) и (13) соответственно.

Сравним CKO-оценки ДМИП и МИП:

2 „0 ~ ~ 2 М{

^1 &1

2,

} -М{|а 1 - аЦ2} = М{ oq -М{сх1) } = a2trD1 -a2tr(W1TX1)_1 W1TW1(X1TW1)_1 -||A1a 2||2;

М{

а 2 a2

} -М{ а2 - a2 } =

=М{ oq -М(с^1} } = a2trE22 -a2trA2PA2T -1|A2A1a2ц

2

Подставив в данные формулы выражения для Du ,

D22 , A1, A 2 и P , после несложных преобразований получим, что оценки ДМИП имеют меньшую CKO по сравнению с МИП при выполнении условий

tr\W1T[a2(X1N_1W2tP - I)PtW2N_1X2t -

- X2(a2N_1W2tP + a2a2tX2t)]\W1 > 0; (16)

tr[a 2N _1W2tP(I - Pt)W2N _1 -

-a2W2tpW2 - A2A1(x2a2tA2tA2] > 0 .(17)

Здесь

W1T = (W1TX1)-1W1T; W2T

(W2 Tx 2)-1w2 T.

Так как след положительно-определённой матрицы всегда положителен, то условия (16), (17) выполняются, если

\W1T[a2(X2N_1W2TP - I)PtW2N_1X2t -- X2(a2N_1W2TP + (X 1a 1TX2t)]\W1 > 0 ; (18) a2N_1W2tP(I-Pt)W2N_1 - a2W2tpW2 -

- A2A1cx2ex2TA2t A2t > 0 (19)

в смысле положительной определённости матрицы разностей.

Если матрица W1 невырождена, т.е. rankW = p , то для выполнения первого неравенства требуется положительная определённость матрицы

a2(X2N_1W2TP - I)PtW2N_1X2t -

- X2(a 2N _1W2TP + (X 2 (X 2TX2 t ).

Следует отметить, что полученные результаты являются обобщением результатов на случай ДМНК. Действительно, при построении ДМНК следует принять W = X, т.е. в качестве матрицы ИП используется сама матрица наблюдений X. В этом случае

WTX = Xт W = Xт X,

(WTX) _1 = (X т W)-1 = (X т X) _1

и полученные формулы существенно упрощаются. Так,

D{(X 1} = а 2(x1tx1) _1;

E{a 2} = a 2(і - A2A2)(X2tX2)-1;

Eмнк{«} = 02(X tX )-1.

Кроме того, упрощаются элементы ковариационной матрицы D{a}, так как N_1 = N_1, P = PT ,

т

PP = P . Учет этих соотношений и несложные преобразования позволяют получить результаты, приведенные в [5].

Литература: 1. Себер Дж. Линейный регрессионный анализ: Пер. с англ. М. Мир, 1980. 456с. 2. Freud R.J., Vail R.W., Clumies-Ross C.W. Residnal analisis. J.Amer. Stat. Association, 1961. Vol. 56. P.98-104. 3. Wallance T.D. Efficiencies for stepwise regressions. J. Amer. Stat. Association, 1964. Vol. 59. P.1179-1182. 4. Джонстон Дж. Эконометрические методы: Пер. с англ. М.: Статистика, 1980. 444 с. 5. Абдуллаев Ф.М., Гейдаров Э.Х. Рекуррентный двухступенчатый метод наименьших квадратов // Автоматика и телемеханика, 1981. N1. С.77-83. 6. Фадеев Д.К., Фадеева В.Н. Вычислительные методы линейной алгебры. М-Л: ГИФМЛ, 1963. 734 с.

Поступила в редколлегию 09.09.99

Рецензент: д-р техн. наук Нефедов Л.И.

Тимофеев Владимир Александрович, канд. техн. наук, доцент, ведущий научный сотрудник кафедры ЭВМ ХТУРЭ. Научные интересы: контроль динамических объектов. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 40-93-54.

РИ, 1999, № 4

41