Рекуррентное оценивание параметров регрессионной модели Текст научной статьи по специальности «Математика»

УДК 330.43

РЕКУРРЕНТНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИОННОЙ МОДЕЛИ

Амридон Гемзаевич Барлиани

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры прикладной информатики и информационных систем, тел. (983)319-99-31

Ираида Яковлевна Барлиани

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры управления и предпринимательства, тел. (983)319-99-31

В статье предлагается новый подход к процедуре оценивания параметров регрессионной модели, основанный на методе гребневой регрессии и рекуррентном обращении матрицы.

Ключевые слова: псевдонормальная оптимизация, объясняющие переменные, рекуррентный алгоритм, эконометрическая модель, гребневая регрессия, метод наименьших квадратов.

RECURRENT ESTIMATION OF REGRESSION MODEL PARAMETERS

Amridon G. Barliani

Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D., senior lecturer, Department of Applied Informatics and Information Systems, tel. (983)319-99-31

Iraida Ya. Barliani

Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D., Assoc. Prof., Department of Management and Entrepreneurship, tel. (983)319-99-31

A new approach to the procedure of regression model parameters estimation is offered. It is based on the technique of ridge regression and recurrent matrix inversion.

Key words: pseudo normal optimization, explanatory variable, recurrent algorithm, econometric model, ridge regression, least-square method.

Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной зависимой переменной Y от нескольких объясняющих переменных Х1,Х2, ••• ,Хп. Эта задача решается с помощью множественного регрессионного анализа.

Обычно модель линейной множественной регрессии с к переменными и п индивидуумами записывается в виде

V ¿ = 1 ,п,

Уь = а1' ХЦ + '>'" , +Як " Хцс + £Ь

где М(£ = 0, соу(££) = а2, О < а2 < со, V р,или в матричной форме:

У = Ха + £,

М( £) = 0, К£ = М( ££т) = а2I,

где У — (п, 1) — вектор столбец, X — (п, к) — матрица, а — ( к, 1) — вектор столбец, £ — (п, 1) — вектор столбец случайных ошибок, I — (п, п) — единичная матрица.

В процессе оценивания параметров эконометрической модели возможны три ситуации:

- матрица Хт X некоторого класса необратима, поскольку число индивидуумов меньше числа объясняющих переменных;

- матрица Хт X плохо обусловлена, что может быть, когда число индивидуумов незначительно больше числа объясняющих переменных;

- матрица Хт X хорошо обусловлена и параметры можно оценить по классическому методу наименьших квадратов.

Чтобы получить решение в первом случае пользуются методом псевдонормальной оптимизации [2, 4]. Для получения оценок во втором случае применяют метод «ридж-регрессии» (или «гребневой регрессии») [8,9].

Метод наименьших квадратов дает оценку

Если матрица Хт X плохо обусловлена, то вектор оценок, получаемый по методу наименьших квадратов (2), имеет, как правило, завышенную норму, а компоненты его могут иметь даже неправильный знак [1,6,8]. Тем не менее, можно улучшить качество оценки, если отказаться от поиска решения по методу наименьших квадратов в пользу гребневой регрессии.

При использовании гребневой регрессии вместо несмещенных оценок (2) рассматривают смещенные оценки, задаваемые вектором:

где некоторое фиксированное априори положительное число, единичная матрица соответствующих размеров. Добавление к диагональным элементам матрицы делает оценки параметров модели смещенными, но при этом

матрица В + В 0 лучше обусловлена, чем В.

Приведем рекуррентный алгоритм вычисления обратной матрицы (В + В 0), для этого матрицу значений объясняющих переменных запишем виде[3]:

а = (XтX)-1Xт У = В -1X1 У

(2)

а = (X1 X + 61)-1 XтУ =(В + В 0 )-1 XтУ = И -1 XтУ,

(3)

1 х1гх12х13 • Х1к

1 Х21Х22Х23 • " к

X = 1Х31Х32Х33 • " Х3 к — Хз

1 ^711^712^713 ' " Х-пк Х-п

где Ху — вектор стока матрицы Х.

Для этих условий предлагается рекуррентный алгоритм, который имеет

вид:

В]- 1 - В]}1 -

__

1 +Х}-ВТ}1-Х] ■

(5)

Начиная с некоторой начальной матрицы В 0 последовательно присоединив вектора Х15 Х2, • • • ,Хп, получим обратную матрицу Я - 1 = (В + В0 )-1 Далее по формуле (3) получим оценку вектора модели регрессии а. При этом в качестве начальной диагональной матрицы можно предложить, например В 0 = 0 ,0 0 1 х I.

Нетрудно доказать, что ковариационная матрица вектора а будет равна:

Ка = Я -

ви

(6)

Рассмотрим пример. По приведенным в табл. 1 данным 14 однотипных предприятий провести регрессионный анализ зависимости индекса снижения себестоимости продукции ( ) от трудоемкости единицы продукции ( ) и удельного веса покупных изделий ( ).

Таблица 1

Исходные данные для регрессионного анализа

№ п / п V *2 № п / п V *2

1 129 0,23 0,20 8 116 0,26 0,24

2 119 0,24 0,26 9 33 0,49 0,47

3 146 0,19 0,16 10 88 0,36 0,31

4 142 0,17 0,18 11 80 0,37 0,33

5 116 0,23 0,27 12 58 0,43 0,40

6 102 0,30 0,28 13 92 0,35 0,32

7 100 0,31 0,29 14 76 0,36 0,37

На основании этой таблицы составим матрицу значений, объясняющих переменных и вектор столбец, значений зависимой переменной , которые равны соответственно:

х =

1 0,23 0,20 129

1 0,24 0,26 119

1 0,19 0 ,16 146

1 0,17 0,18 142

1 0,23 0,27 116

1 0,30 0,2 8 102

1 0,31 0,29 • У = 100

1 0,26 0,24 5 116

1 0,49 0,41 33

1 0,36 0,31 88

1 0,37 0,33 80

1 0,43 0,40 58

1 0,35 0,3 2 92

1 0,36 0,37 76

Согласно выше описанному алгоритму найдем обратную матрицу:

И -1 = (В + В 0)-1 = По формуле (3) получим гребневую оценку вектора параметров регрессии:

а

0,9606 -0,5719 -2,4502 -0,5719 97,5033 -100,5593 -2,4502 -100,5593 114,1434

206,439 -165,154 -192,364

Таким образом, модели гребневой регрессии будет соответствовать выражение:

У = 206,439 — 165, 154 х1 — 192, 364 х2.

Для вычисления ковариационной матрицы определим дисперсию остатков по формуле:

¿2=к г, — Уд'

п — к — 1

= 4,361.

По формуле (4) вычислим ковариационную матрицу вектора параметров гребневой оценки:

Ка =

4,1587 -3,3237 -9,7084 -3,3237 339,7281 -345,8077 -9,7084 -345,8077 396,9249

На основании ковариационной матрицы можно определить среднеквадра-тические ошибки параметров по формуле:

т

I - ,

где диаглнальные элементы ковариационной матрицы.

Для сравнительного анализа предварительно найдем обратную цу :

В=

0,9685 -0,3300 -2,7311 -0,3300 122,2319 -127,3909 -2,7311 -127,3909 143,3193

По формуле (2) определим оценку вектора параметров регрессии по методу наименьших квадратов:

а

207,219 -160,904 -199,459

Дисперсии остатков для метода наименьших квадратов будет соответствовать значение:

52 = X У, — '

п — к — 1

= 4,29.

Тогда ковариационная матрица вектора параметров, полученная по методу наименьших квадратов, будет равна:

Ка-

4,1529 -1,4147 -11,7087 -1,4147 524,0200 -546,1372 -11,7087 -546,1372 614,4241

Модельные значения параметров регрессии и их среднеквадратические ошибки, полученные двумя способами, сведем в табл. 2.

Таблица 2

Оценки параметров модели регрессии

№ параметра Метод гребневой оценки Метод наименьших квадратов

Щ тщ XV Щ

1 206,439 2,039 207,219 2,038

2 -165,154 18,432 -160,904 22,891

3 -192,364 19,923 -199,459 24,788

Анализируя полученные результаты можно сделать вывод о том, что изложенный метод оценки параметров регрессии повышает точность параметров, так как их среднеквадратические ошибки в основном уменьшаются по сравнению с классическим методом наименьших квадратов.

Следует отметить, что рекуррентное оценивание параметров регрессии удобно в тех случаях, когда расширяется массив данных, то есть когда к уже имеющимся данным добавляются объекты исследования.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Барлиани А. Г. Метод Гревилля при уравнивании геодезических сетей // ГЕО-Сибирь-2008. IV Междунар. науч. конгр. : сб. материалов в 5 т. (Новосибирск, 22-24 апреля 2008 г.). - Новосибирск: СГГА, 2008. Т. 1, ч. 1. - С. 271-273.

2. Барлиани А. Г. Псевдорешение и метод наименьших квадратов // ГЕ0-Сибирь-2008. IV Междунар. науч. конгр. : сб. материалов в 5 т. (Новосибирск, 22-24 апреля 2008 г.). - Новосибирск: СГГА, 2008. Т. 1, ч. 1. - С. 160-163.

3. Барлиани А. Г. Разработка алгоритмов уравнивания и оценки точности свободных и несвободных геодезических сетей на основе пседонормального решения: монография. - Новосибирск: СГГА, 2010. - 135 с.

4. Барлиани А. Г., Барлиани И. Я. Процедура оценивания параметров эконометриче-ской модели методом псевдонормальной оптимизации // Вестник СГГА. - 2014. -Вып. 1 (25). - С. 105-113.

5. Карпик А. П., Каленицкий А. И., Соловицкий А. Н. Новый этап развития геодезии -переход к изучению деформаций блоков земной коры в районах освоения угольных месторождений // Вестник СГГА. - 2013. - Вып. 3 (23). - С. 3-9

6. Карпик А. П. Разработка критериев оценки качества кадастровых данных // Изв. вузов. Геодезия и аэрофотосъемка. - 2013. - № 4/С. - С. 133-136.

7. Карпик А. П. Разработка методики качественной и количественной оценки кадастровой информации// Изв. вузов. Геодезия и аэрофотосъемка. - 2013. - № 4/С. - С. 137-142.

8. Hoerl, Kennard (1970) Ridge regression, biaised estimation for non orthogonal problems. Technometrics, vol. 12, № 1.

9. Cazes (1975) Protection de la regression par utilization de contrainteslineaireset non lineaires RSA, № 3, vol. 23.

© А. Г. Барлиани, И. Я. Барлиани, 2015