Состоятельность МНК-оценок коэффициентов множественной линейной регрессионной модели Текст научной статьи по специальности «Математика»

УДК 519.86

Состоятельность МНК-оценок коэффициентов множественной линейной

регрессионной модели

Л. М. Гафарова, И. Г. Завьялова, Н. Н. Мустафин

Национальный исследовательский университет «МИЭТ»

Авторы рассматривают регрессионные модели — основной инструмент исследования и прогнозирования экономических процессов — в целях исследования оценок параметров регрессии, полученных методом наименьших квадратов. Оценки являются несмещенными, состоятельными и эффективными. Поскольку в доступной литературе доказательства состоятельности приводятся исключительно для простой линейной регрессии (однофакторной), авторы делают попытку доказать состоятельность оценок коэффициентов линейной регрессии для многомерного случая.

Ключевые слова: множественная линейная регрессия; прогнозирование экономических процессов; метод наименьших квадратов; состоятельность оценок коэффициентов линейной регрессии.

Рассмотрим модель множественной линейной регрессии

M(X/ T = t ) = вф + (32^2 + - + З/р

где T = (T1, T2, ..., Tk) — вектор факторов регрессии; в = (вр в2, ..., Pk) — вектор коэффициентов регрессии; k — число факторов регрессии, фиксированное [1, с. 197]; (X1, ..., Xn) — значения случайной величины X, наблюдаемые в n экспериментах, n > k; (t(1), ..., t(n)) — значения /-го фактора регрессии в n экспериментах, / = 1, ..., k.

X = вф(1) + P2t21} + ••• + Pktk1} + ^

x = p1t(n) + e2t2n) +... + ektkn) + £.

n '11 '22 1 k k n

Здесь £ = (£1, ..., £n) — вектор остатков (ошибок наблюдений). Запишем эту систему в матричном виде

X = T • в + £,

( V ... tk1

где матрица T = •• • — .

\ t(n) t(n)

1k

© Гафарова Л. М., Завьялова И. Г., Мустафин Н. Н.

Вектор остатков £ удовлетворяет следующим предположениям:

1) £. ~ N(0, о2), / = 1, ..., n, т. е. все остатки имеют нормальное распределение с нулевым математическим ожиданием и дисперсией о2;

2) cov(£., £) = о2б.., где

б = ^ / = ^

ij [0, / * j, / = 1, ..., n; j = 1, ..., k,

т. е. остатки некоррелированы. Из этих условий следует также независимость остатков. _

Оптимальные оценки в* = (в*, •••, в^ коэффициентов регрессии получаются методом наименьших квадратов (МНК). Это оценки, которые доставляют минимум сумме квадратов остатков в n экспериментах.

i £ 2 = (£, £) = ||£||2 = (X - Тв)(Х - TX - min.

/ = 1 1

Оценки в* являются ^решением нормальной системы T • T • в* = T’ • X или Ав* = T' • X, где A = T • T — информационная матрица.

18

Экономические и социально-гуманитарные исследования № 1 (9) 2016

Гафарова Л. М., Завьялова И. Г., Мустафин Н. Н.

Если A — невырожденная матрица, т. е. rank(A) = к < п, то в этом и только в этом случае нормальная система имеет единственное решение в* = A-1 • T' • X [2, с. 168]. Из этого равенства следует несмещенность в* : М(в*) = в [2, с. 168].

Сложнее доказать состоятельность оценок в*, т. е. доказать, что Р* —Р,- (в* сходятся по вероятности к в,-), i = 1, 2, ..., k (для любого £ > 0

Согласно неравенству Чебышева,

D^

^{|в; - в,| > £} = р{|в* - мв;| > £} < -у-

Докажем, что для i = 1, ..., к, дисперсии оценок коэффициентов регрессии

Дисперсии Бв), i = 1, ..., к, стоят на главной диагонали ковариационной матрицы вектора в* — К*.

Кр, = о2 • A-1, где о2 — дисперсия ошибок наблюдений; A — информационная матрица [1, с. 201]. Перечислим свойства информационной матрицы A = T' • T.

1. Матрица A симметрична, положительно полуопределена, и rank(A) = = rank(T) (см. [3]).

2. Поскольку матрица A невырожденная, ее собственные значения не равны нулю, и матрица A положительно определена [4, стр. 130].

3. Любая симметричная положительно определенная матрица A может быть приведена к диагональному виду D переходом к новому базису D = P-1 • A • P; на главной диагонали матрицы D стоят собственные значения матрицы A (действительные и положительные) — Ар А2, ..., Ак; P — матрица перехода к новому базису [5, с. 127].

В новом базисе матрица обратного оператора D 1 тоже диагональная с собственными значениями на главной диагонали 1/Ар 1/А2, ..., 1/Ак [4, с. 136].

4. Характеристические многочлены матриц A и D одинаковые:

det(D - АЕ) = det(P-1 • A • P - АЕ) = = det(P-1 • A • P - P-1 • AEP) =

= det(P-1(A - XE)P) = det(P-1) x x det(A - АЕ) • det(P) = det(A - АЕ).

Значит, совпадают коэффициенты характеристических многочленов при одинаковых степенях X. Характеристический многочлен диагональной матрицы D det(D - AE) = (A1 - А)(А2 - A) ... (Ак - A). Приравняем коэффициенты при одинаковых степенях А:

- при Ак : (-1)к = (-1)к;

- при Ак - 1 : Оп + a22 + ... + акк = А1 + А2 +

+ ... Ак (след матрицы инвариантен относительно преобразования P-1 • A • P);

- при Ак - 2 : (аи • a22 - ax22) +

+ (a11 • a33 - a123) + . + (ак - 1к - 1 • акк - ак- 1к) =

= А1А2 + А1А3 + ••• Ак - 1Ак и т. д.;

- при А0 : detA = А1 • А2 • ... • Ак.

Таким образом, суммы миноров по-

рядка г, симметричных относительно главной диагонали, у матриц A и D совпадают, г = 1, 2, ..., к. В частности, сумма таких миноров порядка (к - 1) матрицы A равна А2 • . • Ак + А1 • А3 • . • Ак +

+ ... + А1 • ...• Ак - 1.

Выпишем матрицу A = T' • T

.1 _ (f(,>)2 ... i 1 • к'

i щ() i (t®)2 ...

, j = 1 2 1 j = 1 j

1 tWp

j = 1 к 1

1 (tjt^)2

j = 1

Предположим, что существует такое б > 0, что для всех элементов матрицы T \t()\ > б, i = 1, ..., к, j = 1, ..., п. В противном случае, если есть подпоследовательность из {Д}, сходящаяся к нулю, то для выполнения этих условий достаточно начало отсчета перенести в другую

Экономические и социально-гуманитарные исследования № 1 (9) 2016

19

Организационно-экономические аспекты инновационного развития

точку, отдаленную от всех предельных точек не менее чем на некоторое б > 0 (при этом все значения факторов регрессии сместятся на б > 0). Следовательно, не ограничивая общности, можно считать, что \t()\ > б. Это означает, что все диагональные элементы матрицы A стремятся к бесконечности au ~n^'x, i = 1, 2, ..., к. Поскольку след матрицы A и след матрицы D совпадают, X, + Х2 +... + X. ► 00 и deb4-°о.

Аналогично, определитель лю б ой подматрицы матрицы A, симметричной относительно главной диагонали (подматрица соответствует некоторому подмножеству факторов), стремится к бесконечности при n ^ ^.

Если обозначить вектор-столбцы матрицы T как ф ..., tk, то матрицу A

можно переп_ исат_ь в_ виде _ _

№ ад . • ад\

A = (t2,t1) \\t;\\2 . • ад

ад (fA) . • й2,

где \\j\ — норма вектора t; (t.,tJ) — скаляр-

J J i J

ное произведение векторов ti и tJ (матрица

i J

Грама). det A — определитель Грама векторов ф, Г2, ., Гк. Он равен квадрату k-мерного объема параллелепипеда, построенного на этих векторах [6, § 5.1.5—5.1.7].

Вернемся к доказательству того, что Щ>*-----—0, i = 1, 2, ..., к.

1 П-юа

De * < a2trA—1 =

= a2(1/^1 + 1/X2 + ... + 1Дк) =

= a

2

■ X, + XX ■

к 13

X, + XX

к 12

...• X

к- 1

< a2

X1 ^ X2 к • А

<

к — 1,max

det A

X

2

X

к

где А, . — максимальный минор по-

рядка (к — 1), симметричный относительно главной диагонали (см. свойство 4 информационной матрицы) и равный

квадрату объема (к — 1)-мерного параллелепипеда, построенн ого на (к — 1) векторе из множества |t~, t2,..., Гк] (кроме вектора te). Отсюда

det A = А, . • \\t"\\2 • sin а,

к — 1,max e

где а — угол между вектором X и линейной оболочкой векторов, на которых построен (к — 1)-мерный параллелепипед [6, § 5.1.7]; IIXI2 =аее-*-«>.

Поскольку det Л---*^°°, существует

0 < у < 1 такое, что при любом n \sin а\ >

> 1 — у.

Итак, De* < ка2 х

к — 1,max

А

к — 1,max

\\02 • sin а

а2к

арр '(1 - Y)

0.

х

Состоятельность МНК-оценок коэффициентов множественной линейной регрессии доказана.

Литература

1. Вуколов Э. А. Основы статистического анализа. М.: Форум: ИНФРА-М, 2004. 462 с.: ил. (Профессиональное образование).

2. Чернова Н. И. Лекции по математической статистике. Новосибирск: НГУ, 2003. 179 с.

3. Bhatia R. Positive Definite Matrices. Princeton: Princeton University Press, 2015. 240 p. (Princeton Series in Applied Mathematics).

4. Сборник задач по математике для втузов [в 4 ч.] / Под ред. А. В. Ефимова, В. С. Поспелова. Ч. 1. М.: Изд-во Физико-математической литературы, 2003. 288 с.: ил.

5. Бугров Я. С., Никольский С. М. Элементы линейной алгебры и аналитической геометрии. 2-е изд., перераб. и доп. М.: Наука, 1984. 190 с.: ил. (Высшая математика).

6. Овсянников А. Я. Линейная алгебра. Екатеринбург: Изд-во Гуманит. ун-та, 2004. 293 с.

Гафарова Любовь Михайловна — старший преподаватель кафедры высшей математики № 2 (ВМ-2) МИЭТ. E-mail: hm2@miet.ru

Завьялова Ирина Геннадьевна — кандидат физико-математических наук, доцент кафедры ВМ-2 МИЭТ.

E-mail: irinazavialova@gmail.com

Мустафин Наиль Нухович — старший преподаватель кафедры ВМ-2 МИЭТ.

E-mail: hm2@miet.ru

20

Экономические и социально-гуманитарные исследования № 1 (9) 2016