Геометрия систем линейных регрессионных уравнений Текст научной статьи по специальности «Математика»

УДК 330.43

ГЕОМЕТРИЯ СИСТЕМ ЛИНЕЙНЫХ РЕГРЕССИОННЫХ УРАВНЕНИЙ

© 2013 А.П. Котенко, М.Б. Букаренко

Самарский государственный аэрокосмический университет имени академика С.П.Королёва (национальный исследовательский университет)

Поступила в редакцию 02.12.2013

Представлена геометрическая интерпретация метода наименьших квадратов, позволяющая классифицировать возможность идентификации параметров системы линейных регрессионных уравнений. Это даёт возможность в случаях неидентифицируемости или сверхидентифицируемости выдвинуть дополнительные условия, гарантирующие однозначную идентификацию параметров как отдельного уравнения, так и всей системы в целом. Экспоненциальный рост числа вариантов разбиения множества исследуемых факторов на эндогенные и экзогенные усложняет задачу отыскания регрессионных взаимосвязей. В этом случае геометрическая интерпретация системы регрессионных уравнений позволяет целенаправленно подобрать структурную форму модели, обеспечивающую значимость параметров всех уравнений.

Ключевые слова: система линейных регрессионных уравнений, структурная форма модели, приведённая форма модели, идентификация параметров модели.

Системы регрессионных уравнений (например, одномоментные системы эконометрических уравнений [1]) - полезный инструмент моделирования взаимосвязанных явлений. Представим геометрическую интерпретацию метода наименьших квадратов для описания идентифицируемости систем линейных регрессионных уравнений.

Рассмотрим систему линейных регрессионных уравнений

у = ОУ + а\ъУъ +■ ■ ■+а1пУп + ++ bl2x2 + ■..+bimXm + 4 у2 = a21y1 + a23y3 +■+a2nyn + +b2ixi + b22x2 + ■■■+b2mXm + 4 (1)

yn = an1y1 + an2y2 +■+an,n-lyn-1 + +bn1x1 + bn2X2 +■+bnmXm + £n>

связывающую центрированные эндогенные переменные у. =(yihy-2,:,yiN, 1<i<n, экзогенные переменные

xj =

(xj1,

j1, xj2,—, xjN

, 1 < j < m, и

ос-

татки £i =(£ih£i2,...,£iN Y e^N , 1 < i < n; некоторые структурные коэффициенты a.., Ъ..

lj У

Котенко Андрей Петрович, кандидат физико-математических наук, доцент кафедры «Математические методы в экономике». E-mail: ako1959@mail.ru Букаренко Максим Борисович, ассистент кафедры «Математические методы в экономике». E-mail: maximhukarenko@gmail.com

могут быть нулевыми. Ей соответствует приведённая система

У = АЛ + A12 Х2 + ■■■ + A1mXm ~2 =А21 Х1 + А22 Х2 + ■■■ + А

2 X ,

2 m m ?

(2)

у = А,X, +А2Х2 + ■.. + А X

1 1 2 2 m m

с регрессионными значениями

~ ={ЪъУп,--;У1МИ приведёнными МНК-коэффициентами в., среди которых могут встретиться незначимые.

Вектора ~ регрессионных значений эндогенных переменных получаются ортогональным проектированием векторов уг наблюдений эн-доген ных п еременных на линейную оболочку Ь(х1,х2,...,хтМ векторов экзогенных переменных:

, х2,., хт

))е 1{х! , х2,. , хт) ,

1 < I < П.

Как правило у{ Ф у^, так как вероятность совпадения у{ = у{ близка к нулю при достаточно большом числе наблюдений N. Приведённые коэффициенты в.. являются решениями системы N линейных уравнений с т < N неизвестными

У, 1 =А1Х11 +А 2 X21 + ■•• + AmXm1, У. 2 = Ai1X12 +Ai 2 Х22 +■'• + AimXm2>

yiN = Ai1X1N + Ai2 X2 N +■•• + AmX,

mN'

Её ранг r<m при строгой мультиколлинеар-ности векторов регрессоров Xj е ^ и система (3) имеет бесчисленное множество решений:

V/е 1,n ^Эу е z(jq,X2,...,xm)c^N ,

dimL(X2,...,xm) = r < m .

Без строгой мультиколлинеарности r=m и система (3) имеет единственное решение:

V/е 1,n ^ Эу е L((,X2,...,xm)c^N ,

dim L((i , X2,., Xm) = r = m .

В дальнейшем предполагаем отсутствие строгой мультиколлинеарн ости, когда вектора экзогенных п еременных Xj линейно независимы: dimL((i,X2,.,Xm)= m . Этого можно добиться переходом к базису размерности mi е 1,m оболочки L((, X2,., Xm ),исключив линейно зависимые вектора экзогенных переменных.

Заменяя в системе (1) выборочные значения У/ эндогенных переменных регрессионными значениями из систем ы (2), получим в линейной оболочке L((,X2,...,Xm) выборочных значений экзогенных переменных независимые линейные уравнения для идентификации структурных коэффициентов:

~1 = а12~2 + a 3~3 +• • •+ОпУп +

+bi 1X1 +b12X2 +•••+bbnXm, ~2 = a2 1~ + a2 3~3 +• • •+a2n~n + +b21x1 +b22X2 +• (4)

Уп = ап1У + ап2У2 +• • •+ап,п-1Уп-1 +

+Ьп\х1 +Ьп2Х2 +...+ЬптХт.

Из (2), (3), (4) получим систему линейных уравнений для идентификации структурных коэффициентов г-го уравнения V/ е 1,п :

т п т

~ = 2 = 2 ау + 2 ЪкХк =

к=1 ]=1; ] Ф/ к=1

п ( т \ т

= 2 аЧ 2 Р]к*к + 2Ь/кХк °

] =1;] Ф/ V к=1 ) к=1

= b/1 + YdPj1aij

j=1;j *i

Р/2 = Ъ/2 + 2Р]2аУ ,..., = Ъ/т + 2^.(5)

Для решения СЛАУ (5) рассмотрим вначале подсистему 5 > 1 уравнений

п

Д-1 = Ъ/1 + 2^1аУ , ] =1] /

$2 = Ъ/2 + 2^2а] , ]=1;]*1 п

Д'5 = Ъи + 2 (6)

]=1;]*1

с фиксированными структурными коэффициент ами Ьй: например, если экзогенная переменная Хк отсутствует в г-ом уравнении, то Ьй=0 и не требует идентификации.

Её решение (а ,...,а ,а ,...,агя) подставим в оставшиеся т-Б<т уравнений СЛАУ (5) и доопределим неизвестные структурные коэффициенты (Ь. ^,,Ь. ^„,...,Ь. ):

п

Ъ/,з+1 = А>+1 - +1а] ,

] =1;] Ф/

b

'/,5+2 = +2 " +2aij

j =1;j *i

••v b im У \ $

а ■ ■

]т У .

] =1;] ф/

Обозначим через Ь(М) линейную оболочку объединения М/ := N и К/ множества векторов регрессионных значений присутствующих в правой части -го уравнения системы (4) эндогенных переменных

N :=

е^

N

(7)

: ] Ф /, а] Ф 0

0 < N |< М/1, N |< п < N;

и множества векторов выборочных значений экзогенных переменных

К/ ■={хк е^ : ЪЛ Ф о}; (8)

0 < |К/1< М/1 = N | + |К/1, |К/1< т < N;

из правой части этого уравнения: М = N и К с ¿(М )с 1(Х15 Х2,., Хт ,1 </< п.

Идентифицируемость структурных коэффициентов -го уравнения определяется принадлежностью его левой части ~У линейной оболочке Ь(М ) векторов правой части (7), (8) и их воз-

можной линейной зависимостью.

Возможны следующие случаи:

1) если система Мг векторов (7), (8) линейно независима (при этом = + < т < N ) и вектор из левой части уравнения принадлежит её линейной оболочке (т.е. ~ е )), то уравнение точно идентифицируемо и его структурные коэффициенты алгебраически однозначно определяются косвенным МНК (5):

~ = Рг{~1,L{\yj е Ni}и{ е К}))е ь{ы1);

2) если система Мг линейно независима и ~ 2 ), то уравнение сверхидентифициру-емо и структурные коэффициенты статистически однозначно определяются двухшаго-вым МНК:

~ Ф Рг{~,L{{{~j е Ni}и{ е К,}))е Ь{М1);

3) если система М. линейно зависима ( М\ = N + К < т < N )ги ~ е L{мi), то уравнение неидентифицируемо и его структурные коэффициенты нельзя (ни алгебраически, ни статистически) однозначно выразить через приведённые, однако их можно алгебраически представить как бесконечное множество решений СЛАУ (5);

4) если система Мглинейно зависима и ~ 2 L{Mi), то уравнение неидентифицируе-мо, однако ортогональную проекцию Рг{{,L{мi)) можно алгебраически представить как непустое бесконечное множество решений неоднородной системы (5), т.е. структурные коэффициенты этого уравнения статистически неоднозначно предста-вимы через приведённые.

Рассмотрим геометрические свойства систем линейных регрессионных уравнений в указанных случаях подробнее.

В случае 1) структурные коэффициенты являются решениями СЛАУ с Мц = N + |Кг| > 1 неизвестными и N > 2 уравнениями, из которых (Л < N независимы:

J

a,,y, +

у,- 6Ni

I ь

Xj 6Ki

у, 6 L(Mi),

dimlM, ) = \M\ , 1 < i< n.

x, = У,

'J J

(9)

Поскольку вектора ~ е^N регрессионных значений эндогенных переменных являются линейными комб инациями линейно независимых векторов Xj е ^ , то ранг системы (9)

Г = Мг\ = N + т - Ш ~

о

и + \Кц =

,. + m - \Кл о \Кл = m - \Кл

В случае 2) векторное уравнение (9) не разрешимо алгебраически, так как его левая часть

a'jyj +

I b

Xj 6 Ki

,,Xj 6 L (M,) в отличие от пра-

I

Уj6 N'

вой части у, g L(M,).

Обычным МНК найдём ортогональную проекцию правой части на L(M.):

I a,j У j + I b,j Xj = Pr ((y, L (M,)). (10)

yj 6 Ni Xj 6 K,

Система (10) имеет единственное алгебраическое решение. Следовательно, найдено единственное статистическое решение системы (9).

В случае 3) перейдём от СЛАУ (9) с линейно зависимой системой Мг к СЛАУ с базисной подсистемой M\ с Mj, M\ := N-u K'i , N-c N,, K;c K,:

~I a'jyj +

у,- 6 Ni

y, 6 l(m,

1 < dim L(Mj ) = | 1 < i < n.

Применяя алгоритм решения СЛАУ (5), получим единственное алгебраическое решение системы (11). Тогда система (9) имеет бесконечное множество решений.

В случае 4) перейдём от СЛАУ (11) с линейно зависимой системой M к СЛАУ с базисной

г

подсистемой Mj с Mt, Mj := Nj u Kj, Nj c N,,

Ib

Xj 6 K'i

X, = У,;

'j j

(11)

i = N + \K'\ <

К c K,:

I'

У,-6 Ni

a,j-yj +

ij j

Xj 6 K'i

b'jX, = Pr (, L (m;)); (12)

; = n; + K; <

y, 6 l(m ;),

1 < dim L(M;) = | 1 < i < n.

Здесь ортогональная проекция Pr ((,, L (m-)) получается обычным МНК. Применяя алгоритм решения СЛАУ (5), получим единственное алгебраическое решение системы (12). Тогда система (9) имеет непустое (и даже бесконечное) множество решений.

Представленная геометрическая иллюстрация действия МНК и его модификаций позволяет исследовать идентифицируемость систем линейных регрессионных уравнений в случае дополнительных условий, связывающих структурные коэффициенты.

СПИСОК ЛИТЕРАТУРЫ

1. Тихомиров Н.П., Дорохина Е.Ю. Эконометрика: учебник. М.: Экзамен, 2003. 512 с.

GEOMETRY OF THE SYSTEMS OF THE LINEAR REGRESSION EQUATIONS

© 2013 A.P. Kotenko, M.B. Bukarenko

Samara State Aerospace University named after Academician S.P.Korolyov (National Research University)

Is represented the geometric interpretation of the method of least squares, which makes it possible to classify the possibility of the identification of the parameters of the system of linear regression equations. This gives the possibility in the cases of nonidentifiability or superidentifiability to advance the additional conditions, which guarantee the single-valued identification of the parameters of both the separate equation, and the entire system as a whole. An exponential increase in the number of versions of the partition of many factors into the endogenous and predetermined being investigated complicates the task of finding the regression interrelations. In this case the geometric interpretation of the system of regression equations makes it possible to goal-directed select the structural form of model, which ensures the significance of the parameters of all equations.

Key words: system of linear regression equations, the structural form of model, the given form of model, the identification of the parameters of model.

Andrey Kotenko, Candidate of Physics and Mathematical Sciences, Associate Professor at the Mathematical methods in the Economy Department. E-mail: ako1959@mail.ru Maxim Bukarenko, Assistant Lecturer at the Mathematical methods in the Economy Department. E-mail: maxim.bukarenko@gmail.com