ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ В УСЛОВИЯХ ГЕТЕРОСКЕДАСТИЧНОСТИ НЕИЗВЕСТНОЙ ФОРМЫ Текст научной статьи по специальности «Математика»

ISSN 1814-1196 Научный вестник НГТУ том 55, № 2, 2014, с. 67-76

http://journals. nstu. ru/vestnik Scientific Bulletin of NSTU Vol. 55, No. 2, 2014, pp. 67-76

ОБРАБОТКА ИНФОРМАЦИИ INFORMATION PROCESSING

УДК 519.237.5

Оценивание параметров регрессионных моделей в условиях гетероскедастичности неизвестной формы

А.В. ФАДДЕЕНКОВ

630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет, к. т. н., доцент, e-mail: fadd@fb.nstu.ru

В статье рассмотрена задача оценивания параметров линейных регрессионных моделей в условиях гетероскедастичности. При построении модели предполагается, что дисперсия случайной ошибки зависит от некоторого фактора (в роли такого фактора может выступать один из входных факторов модели или какой-то внешний фактор). Предполагается, что совокупность исходных данных может быть разбита на участки с одинаковой дисперсией. Предложен подход, позволяющий свести регрессионную модель с такими предположениями к модели со структурированной ошибкой. При построении модели предполагается, что ковариационная матрица ошибок является линейной комбинацией известных матриц с неизвестными коэффициентами. Данные известные матрицы имеют диагональный вид и формируются исходя из структуры исходных данных. Оценивание параметров этой модели предлагается проводить с использованием квадратичных оценок минимальной нормы (MINQE). Разработан алгоритм определения границ интервалов области исходных данных с одинаковой дисперсией. В алгоритме проверка гипотез о различии дисперсий на разных участках проводится с использованием критерия дисперсионного анализа (ANOVA-критерия). Средствами статистического имитационного моделирования проведены вычислительные эксперименты, показывающие работоспособность разработанного алгоритма. Даны рекомендации по выбору наилучших параметров алгоритма.

Ключевые слова: регрессионный анализ, линейная регрессионная модель, метод наименьших квадратов, гомо-скедастичность, гетероскедастичность, модели компонент дисперсии, квадратичные оценки минимальной нормы, статистическое моделирование, вычислительный эксперимент

ВВЕДЕНИЕ

Регрессионный анализ является одним из самых распространенных на практике видов статистического анализа. Однако его корректное применение требует соблюдения ряда условий. Одним из предположений классической регрессионной модели является предположение постоянства дисперсии случайной ошибки (гомоскедастичности). Именно в этом случае оценки неизвестных параметров, полученные методом наименьших квадратов, являются оптимальными с точки зрения теоремы Гаусса - Маркова [1, 3, 8]. На практике часто возникают ситуации, когда данное предположение оказывается нарушено. Причиной нарушения могут служить различные факторы как внешнего, так внутреннего характера. Если исследователю известны причины появления неоднородностей в исходных данных, а также последствия (дисперсии наблюдений при каждом изменении), то для оценивания параметров регрессионных уравнений в таких условиях лучше использовать обобщенный метод наименьших квадратов. На практике исследователь такой информацией располагает крайне редко. Следовательно, необходимы специальные алгоритмы и критерии, позволяющие определять наличие гетеро-скедастичности, а также оценивать ее форму. Исследованию критериев обнаружения гетеро-

* Статья получена 10 января 2014 г.

Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта №13-07-00299а

скедастичности была посвящена работа [5]. В данной же статье предлагается алгоритм, позволяющий при ряде допущений определять форму гетероскедастичности исходных данных.

1. ПОСТАНОВКА ЗАДАЧИ

Рассмотрим линейную модель следующего вида:

У = ХР + е, (1)

где У = (У1,...,у^)Т- вектор, состоящий из N наблюдений; Р - вектор неизвестных параметров; X - матрица значений независимых переменных, соответствующих неизвестным параметрам; е = (е!,., еN )Т - случайный вектор.

Корректное оценивание вектора неизвестных параметров уравнения (1) методом наименьших квадратов возможно, если относительно случайных ошибок справедливы следующие предположения [2, 6]:

Е (ег) = 0 , D (ег) = ст2 , Е (ег еу ) = 0, V/ Ф у, (2)

или в матричной форме:

Е (е) = 0, D (е) = ст2^ .

В случае гетероскедастичной ошибки наблюдения нарушается предположение о неизменности дисперсии ошибки.

Допустим, что дисперсия ошибок не постоянна и можно разбить всю область исходных данных на г подгрупп таким образом, чтобы выполнялось условие

Е [ег ] = 0, D [ег ] = ст| при / е Sk, / = 1,., N, (3)

где Sk - к-я подгруппа наблюдений, к = 1,..., г ; Sl и S2 и — и Sr = {1,..., N1; Sm п Sn = 0, при т Ф п .

Если дисперсии ст|, к = 1,.,г известны, то оценивание параметров модели (1), (3) возможно по обобщенному методу наименьших квадратов. При неизвестных дисперсиях необходимо проводить их оценивание.

Решение этой проблемы возможно в рамках модели со структурированной ошибкой путем введения следующих обозначений:

Fk (/, У) =

0,/ Ф у,

0, / = у,/гsk, ек =ст2, / = 1,.,N, у = 1,.,N,

Л / = ¡, / е ^,

где Ек - матрица, составленная из элементов Ек (/, у), к = 1, ..., г. Тогда

Е(е) = 0, D(е) = ^ =е^ + ... + егРг . (4)

Модель (1), (4) является частным случаем модели со структурированной ошибкой [7].

2. ОЦЕНИВАНИЕ КОВАРИАЦИОННОЙ МАТРИЦЫ ОШИБОК

Т

Для оценивания вектора неизвестных параметров е = (е^...,е.) воспользуемся квадратичными оценками минимальной нормы (MINQ-оценками) [7]. Эти оценки являются несмещенными, не требуют знания законов распределения случайных составляющих модели, явля-

ются локально оптимальными в смысле минимума дисперсии. MINQ-оценка для параметра 6 ■ может быть вычислена следующим образом:

6] = YTAJY , (5)

г

где AJ = 1 H~}R FiRT , Н - матрица, составленная из элементов ^ IR FiRT FJ■ I

г=1

(i = 1,..., г , ■ = 1,-, г ); R = Т - М ; Т = Fa+ ХХТ , М = I - Р , Р = X (хТТ~х)хТТ~,

Т

Fa = а^ + ... + агFг, а = (а1,...,аг) - вектор априорных значений неизвестных параметров

6 = (61,..., 6г )Т.

В результате матрица F6 может быть оценена следующим образом:

F6=6lFl + ... + 6, (6)

а вычисление оценок фиксированных параметров проводится с использованием обобщенного метода наименьших квадратов:

Р = (Х^6-1Х)-XTF-lY.

Естественно предположить, что наилучшие результаты достигаются, если априорные значения а1,...,аг максимально близки к истинным значениям параметров 61,...,6г. Снижение зависимости результатов от исходных априорных значений возможно при переходе к итерационной процедуре, в которой оценки, найденные на предыдущем шаге, используются на следующем как априорные значения. Оценки, полученные таким образом, получили названия итерационных МГ^-оценок (ГМГ^-оценки) [7].

3. АЛГОРИТМ ОПРЕДЕЛЕНИЯ ГРАНИЦ ПОДМНОЖЕСТВ С ОДИНАКОВОЙ ДИСПЕРСИЕЙ

Построение матрицы (6) не вызывает особых трудностей, если известны все подмножества Si, для которых выполняется условие (3). Если эти подмножества неизвестны, то их необходимо каким-либо образом выделить. Дальнейшие рассуждения будут основываться на предположении, что гетероскедастичность определяется зависимостью дисперсии ошибки наблюдений от некоторого фактора. Таким фактором может послужить один из регрессоров модели (1) или некоторый выделенный внешний фактор, определенный из особенностей моделируемого объекта.

В дальнейшем будем считать, что фактор, влияющий на величину дисперсии ошибки, определен и все наблюдения отсортированы в соответствии с этим фактором. Задача поиска подмножеств Si сводится к разбиению имеющегося диапазона исходных данных на некоторое количество отрезков. При этом будем фиксировать не границы подмножеств Si, а количество точек, попавших в эти подмножества, с учетом проведенной сортировки.

Обозначим через пк количество наблюдений в к-й подгруппе наблюдений (или в к-м интервале) , к = 1, ..., г . Естественно, должно выполняться условие

г

I Пк = N. к=1

Рассмотрим предлагаемый автором алгоритм определения границ интервалов, содержащих данные с одинаковой дисперсией.

Шаг 1. Определяем максимально возможное количество интервалов гтах, минимальное количество элементов в одном интервале пт;п, единицу приращения размера интервала Д. Задаем начальное разбиение исходных данных , к = 1,..., гтах } как равномерное

пк =-

N

к = 1,.,(гтах 1),

(гтах 1)

= N - I пк . к=1

Текущее количество интервалов определяем как г = гтах. Для текущего разбиения

{пк, к = 1,..., г} вычисляем значение критерия оптимальности F. В качестве такого критерия

может послужить статистика любого критерия на гетероскедастичность, при построении которого используется разбиение исходной области данных на интервалы [5].

Например, в качестве критерия оптимальности может быть использована статистика критерия Бартлетта:

F =

N

1 + L

1п В„

где

(7)

=

1 V 2

N к=1

- ч1/N

п

к=1

2пк

L =-

3 (г-1)

( г \ 1 ^ 1

—+ 1— N к=1 пк

- оценка дисперсии остатков уравнения (1), попавших в к-й интервал. Кроме этого, можно воспользоваться ANOVA-критерием, предложенным в [5]. Для этого строится вспомогательная однофакторная модель дисперсионного анализа

У/у =Ц + аг + И/,

(8)

где в качестве значений зависимой переменной уу выступают модули (или квадраты) остатков исходного уравнения (1), а/ - главные эффекты, число которых определяется количеством интервалов, ц - генеральное среднее, Иу - случайная компонента, / - номер интервала, у - номер наблюдения в интервале.

В качестве функции F может использоваться объясненная сумма квадратов или коэффициент детерминации модели (8). Также в роли функции F может выступать статистика Фишера, построенная при проверке на значимость качественного фактора модели (8).

Пусть номер текущего интервала / = 1.

Шаг 2. Для текущего интервала / проводим сдвиг правой границы вправо на величину Д : п/ = п/ + Д, п+1 = п+1 - Д. Для нового разбиения вычисляем значение критерия оптимальности Гпе№. Если Гпе№ > F, то сохраняем новое разбиение в качестве текущего и переходим на Шаг 3. В противном случае для интервала / проводим сдвиг правой границы влево на величину Д : п/ = п/ - Д, п+1 = п+1 + Д. Для нового разбиения вычисляем значение критерия оптимальности Гпе№. Если Гпе№ > F, то сохраняем новое разбиение в качестве текущего и переходим на Шаг 3. Если сдвиг правой границы интервала / не привел к улучшению критерия оптимальности, то переходим к следующему интервалу: / = / +1 и повторяем Шаг 2.

Если / = г , то оптимальное разбиение достигнуто, останавливаем алгоритм.

п

г

Г

г

1

Шаг 3. Проводим проверку на допустимые минимальные размеры интервалов. Если для какого-либо интервала выполняется условие, что

пк < птш , к = 1,., г,

то проводим объединение этого интервала с соседним (для определенности будем считать, что объединение текущего интервала проводится с предыдущим, а первого - со вторым).

Далее определяем г = г -1, i = 1 и переходим на шаг 1. Если интервалов с количеством наблюдений меньшим птщ не найдено, то определяем i = i +1 и переходим на шаг 1. Работоспособность описанного алгоритма напрямую зависит от определения его начальных параметров: максимального количества интервалов гтах, минимального количества элементов в одном интервале птщ и единицы приращения размера интервала Д. Естественно, что эти параметры зависят от общего количества наблюдений. Число интервалов можно определить, например, по правилу Штюргеса [4]:

гтах -[1 + 3.32 ^N] .

Размер единицы приращения интервала Д можно порекомендовать выбирать в объеме 1 % от исходного размера выборки, а минимальное количество элементов в одном интервале птш - 5-10 %, но не менее 10 наблюдений.

4. ПРИМЕРЫ РАБОТЫ АЛГОРИТМА

Рассмотрим в качестве примера модель парной регрессии

у = 1 + X + 8 , (9)

2

в которой случайная ошибка 8 подчиняется нормальному закону распределения N(0, ст8) с переменным параметром ст?. Значения независимой переменной распределялись равномерно на отрезке, т. е. х е [1; 5].

В ходе проведенных вычислительных экспериментов рассматривалась гетероскедастич-

22

ность, при которой дисперсия случайной ошибки принимала два значения: стт^ и сттах . Величина сттт во всех экспериментах принималась равной 0.5, а сттах = 3 .

В первой серии экспериментов были определены четыре участка одинакового размера, на каждом из которых фиксировалась своя дисперсия ошибки. График остатков модели, полученных при такой форме гетероскедастичности, представлен на рис. 1.

На рис. 2-4 приведены результаты работы алгоритма при использовании в качестве критерия оптимальности ANOVA-критерия. Как видно из рисунков, во всех случаях были получены интервалы, близкие к истинным.

истинные границы итерация 3 итерация 2 итерация 1

Рис. 2. Последовательность изменения интервалов в первой серии экспериментов при Гтах = 4

истинные границы итерация 19 итерация 18 итерация 17 итерация 16 итерация 15 итерация 14 итерация 13 итерация 12 итерация 11 итерация 10 итерация 9 итерация 8 итерация 7 итерация 6 итерация 5 итерация 4 итерация 3 итерация 2 итерация 1

Рис. 3. Последовательность изменения интервалов в первой серии экспериментов при Гтах = 5

истинные границы 1

итерация 16

итерация 15

итерация 14 1

итерация 13

итерация 12 1

итерация 11 1

итерация 10 1

итерация 9

итерация 8 1

итерация 7 1

итерация 6 1

итерация 5

итерация 4 1

итерация 3 1

итерация 2 1

итерация 1 1

Рис. 4. Последовательность изменения интервалов в первой серии экспериментов при .^х = 6

Во второй серии экспериментов были определены три участка разного размера, на каждом из которых фиксировалась своя дисперсия ошибки. График остатков модели, полученных при такой форме гетероскедастичности, представлен на рис. 5.

♦ '' ГЙ

4 1 1 ' 1Р™

|[ 11

Рис. 5. Остатки модели (9) во второй серии экспериментов

На рис. 6-8 приведены результаты работы алгоритма при использовании, как и ранее, в качестве критерия оптимальности ANOVA-критерия. Как видно из рисунков, во всех случаях также были получены интервалы, близкие к истинным.

истинные границы итерация 13 итерация 12 итерация 11 итерация 10 итерация 9 итерация 8 итерация 7 итерация 6 итерация 5 итерация 4 итерация 3 итерация 2 итерация 1

Рис. 6. Последовательность изменения интервалов в первой серии экспериментов при гтах = 4

итерация 28 итерация 27 итерация 26 итерация 25 итерация 24 итерация 23 итерация 22 итерация 21 итерация 20 итерация 19 итерация 18 итерация 17 итерация 16 итерация 15 итерация 14 итерация 13 итерация 12 итерация 11 итерация 10 итерация 9 итерация 8 итерация 7 итерация 6 итерация 5 итерация 4 итерация 3 итерация 2 итерация 1

I

Рис. 7. Последовательность изменения интервалов в первой серии экспериментов при гтах = 5

истинные границы 1

итерация 27

итерация 26

итерация 25 1

итерация 24 1

итерация 23

итерация 22 1

итерация 21

итерация 20

итерация 19 1

итерация 18 1

итерация 17 1

итерация 16 1

итерация 15 1

итерация 14 1

итерация 13 1

итерация 12 1

итерация 11 1

итерация 10 1

итерация 9

итерация 8 1

итерация 7 1

итерация 6 1

итерация 5 1

итерация 4

итерация 3

итерация 2

итерация 1 1

Рис. 8. Последовательность изменения интервалов в первой серии экспериментов при гтах = 6

Отметим, что все примеры работы алгоритма определения границ интервалов приведены для параметров Д = 0.0Ш , пт;п = 0.Ш . Такие значения параметров алгоритма дают наилучшие результаты в большинстве случаев. Границы интервалов, определенные этим алгоритмом, используются далее для определения совокупности подмножеств Sk , к = 1, —, г и далее для определения вида модели (1), (4).

ЗАКЛЮЧЕНИЕ

Предложенный автором алгоритм определения границ интервалов области исходных данных с одинаковой дисперсией позволяет решить проблему идентификации линейных регрессионных моделей в условиях гетероскедастичности. Однако следует помнить, что данный алгоритм применим только в случае, если дисперсия случайной составляющей модели зависит от некоторого фактора (в роли такого фактора может выступать один из входных факторов модели или какой-то внешний фактор), значения которого поддаются определению для каждого наблюдения.

СПИСОК ЛИТЕРАТУРЫ

[1] Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. Т. 2. - М.: Юнити, 2001. -

432 с.

[2] Доугерти К. Введение в эконометрику. - М.: МГУ, 1999. - 402 с.

[3] Дрейпер Н.Р., Смит Н. Прикладной регрессионный анализ. - М.: Статистика, 1973. - 392 с.

[4] Львовский Е.Н. Статистические методы построения эмпирических формул: учеб. пособие для втузов. - М.: Высш. шк., 1988. - 239 с.

[5] Тимофеев В.С., Фаддеенков А.В. Исследование критериев обнаружения гетероскедастичности в регрессионных моделях // Науч. вестн. НГТУ. - Новосибирск: Изд-во НГТУ, 2007. - № 4 (29). - С. 3-14.

[6] Green W.H. Econometric analysis. - 6th ed. - New Jersey, Prentice Hall, 2007. - 1216 p.

[7] Rao C.R., Kleffe J. Estimation of variance components and applications. - Amsterdam: Elsevier Science, 1988. -

374 p.

[8] Searle S.R. Linear models. - New York, John Wiley & Sons, Inc., 1971. - 532 p.

Фаддеенков Андрей Владимирович, кандидат технических наук, доцент кафедры теории рынка. Основное направление научных исследований - разработка и исследование методов и алгоритмов анализа многофакторных объектов со структурированной ошибкой. Имеет более 30 публикаций, в том числе один учебник. E-mail: fadd@fb.nstu.ru

Estimation of regression model parameter under heteroskedasticity of an unknown form

A. V. FADDEENKOV

Novosibirsk State Technical University, 20, K. Marx Prospect, Novosibirsk, 630073, Russian Federation, PhD (Eng.), associate professor, e-mail: fadd@fb.nstu.ru

The paper considers the problem of estimating linear regression model parameters under heteroscedasticity conditions. Constructing the model assumes that the variance of a random error depends on several factors (e.g. one of the model input factors or some external factor). It is assumed that all the source data can be split into sections of equal dispersion. The proposed approach permits us to reduce the regression model with these assumptions to a structured error model. Constructing the model assumes that the covariance matrix of an error is a linear combination of known matrices with unknown coefficients. These known matrices are diagonal matrices and are formed based on the structure of the input data. The estimation of the model parameters is proposed using the minimum norm quadratic estimates. An algorithm for determining the boundaries of the area of the source data intervals with equal variance is proposed. In this algorithm the test of hypotheses of variance differences at different areas is carried out by using the variance analysis criterion (ANOVA-criterion). Computational experiments showing the efficiency of the algorithm have been conducted by statistical simulation methods. Advice on selecting the best algorithm parameters is given.

Keywords: regression analysis, linear regression model, least squares method, homoscedasticity, heteroscedas-ticity, variance component model, minimum norm quadratic estimation, statistical modeling, computational experiment

* Manuscript received January 10, 2014.

Work is executed at financial support of the Russian Foundation for basic research within the framework of a research project №13-07-00299a

REFERENCES

[1] Ayvazyan S.A., Mhitaryan V.S. Prikladnaya statistika i osnovyi ekonometriki [Applied statistics and econometrics]. Moscow, Yuniti Publ., 2001. 432 p.

[2] Dougherti K. Introduction to econometrics. New York, Oxford University Press, 1992. 399 p. (Russ. ed.: Dougerti K. Vvedenie v ekonometriku. Moscow, MGU Publ., 1999. 402 p.).

[3] Draper N., Smit N. Applied regression analysis. New York, Wiley, 1968. 407 p. (Russ. ed.: Dreiper N., Smit N. Prikladnoy regressionnyiy analiz. Moscow, Statistika Publ., 1973. 392 p.).

[4] Lvovskiy E.N. Statisticheskie metodyi postroeniya empiricheskih formul [Statistical methods for constructing empirical formula]. Moscow, High school Publ., 1988. 239 p.

[5] Timofeev V.S., Faddeenkov A.V. Issledovanie kriteriev obnaruzheniya geteroskedastichnosti v regressionnyih modelyah [The research of tests for heteroscedasticity in regression models]. Nauchnyi vestnik NGTU [Science Bulletin of Novosibirsk State Technical University], 2007, no. 29, vol. 4, pp. 3-14.

[6] Greene W.H. Econometric analysis. 6th edition. New Jersey, Prentice Hall, 2007. 1216 p.

[7] Rao C.R., Kleffe J. Estimation of variance components and applications. Amsterdam, the Netherlands, Elsevier Science, 1988. 374 p.

[8] Searle S.R. Linear models. New York, John Wiley & Sons, Inc., 1971, 532 p.

ISSN 1814-1196, http://journals.nstu.ru/vestnik Scientific Bulletin of NSTU Vol. 55, No. 2, 2014, pp. 67-76