Исследование новых критериев для обнаружения автокорреляции остатков первого порядка в регрессионных моделях Текст научной статьи по специальности «Математика»

Математика к Математическое

моделирование

И Ир://та! hfnelpLtb.ru 1531М 2412-5911

Ссылка на статью:

// Математика и математическое моделирование. 2018. № 03. С. 13-25

Б01: 10.24108/шаШш.0318.0000102

Представлена в редакцию: 09.05.2018

© НП «НЕИКОН»

УДК 519.862.6

Исследование новых критериев для обнаружения автокорреляции остатков первого порядка в регрессионных моделях

Базилевский М.П.1'* ^с2178@уапЛ&хд|

1Иркутский государственный университет путей сообщения,

Иркутск, Россия

Статья посвящена проблеме обнаружения автокорреляции остатков первого порядка в регрессионных моделях. Для этого традиционно принято использовать критерий Дарбина -Уотсона, представляющий собой отношение суммы квадратов разностей последовательных значений остатков к сумме квадратов остатков. Однако такой аналитический вид критерия Дарбина - Уотсона не позволяет интегрировать его в виде линейных ограничений в задачу математического программирования для отбора информативных регрессоров в регрессионной модели. Для этого в статье предложены модульные критерии автокорреляции, для которых сначала экспериментально были определены диапазоны их возможных и предельные значения в зависимости от значения выборочного коэффициента авторегрессии. Затем полученные результаты были подтверждены с помощью модельных экспериментов по методу Монте-Карло. Недостатком предложенных модульных критериев адекватности является то, что их зависимости от выборочного коэффициента авторегрессии не являются четными функциями. Для этого предлагаются двойные модульные критерии автокорреляции.

Ключевые слова: автокорреляция остатков первого порядка; критерий Дарбина - Уотсона; отбор информативных регрессоров; модульный критерий автокорреляции; двойной модульный критерий автокорреляции; метод Монте-Карло

Введение

Автокорреляция ошибок регрессии - это корреляция между случайными ошибками регрессии в разных наблюдениях, т.е. нарушение одной из предпосылок метода наименьших квадратов (МНК) [1-3]:

М{егеу) = 0 при I Ф ],

где е - ошибки регрессии, а М - символ математического ожидания.

На практике автокорреляция ошибок проявляется через поведение остатков регрессии е = у - у , ? = 1, п (у и у - это наблюдавшиеся и рассчитанные значения объясняемой переменной), поэтому её несколько неточно называют автокорреляцией остатков.

Наличие автокорреляции остатков регрессии приводит к тому, что оценки параметров регрессии, полученные обычным МНК, становятся неэффективными (их дисперсии не являются наименьшими в классе всех линейных несмещенных оценок), но, тем не менее, их можно использовать для интерпретации и прогнозирования. Гораздо опаснее же то, что при автокорреляции остатков стандартные ошибки оценок параметров регрессии становятся несостоятельными, поэтому с помощью них нельзя строить доверительные интервалы для этих оценок и проверять гипотезы об их значимости с помощью ^критерия Стью-дента.

Известно, что для обнаружения автокорреляции остатков первого порядка в регрессионной модели, оцененной по МНК, разработан критерий Дарбина - Уотсона, представляющий собой отношение суммы квадратов разностей последовательных значений остатков к сумме квадратов остатков. Такой аналитический вид критерия Дарбина - Уотсона делает возможным его интеграцию в задачу отбора информативных регрессоров (ОИР) [4], являющуюся, по существу, задачей математического программирования [5-10]. Однако из-за наличия квадратов, в задаче ОИР возможно учесть этот критерий только в виде нелинейного ограничения.

Целью данной работы является разработка и исследование новых критериев для обнаружения автокорреляции остатков первого порядка в регрессионных моделях, которые в дальнейшем могут быть интегрированы в задачу ОИР в виде линейных ограничений.

1. Критерий Дарбина - Уотсона

Обнаружение автокорреляции остатков возможно двумя способами:

1) графически;

2) с помощью формальных тестов (Дарбина - Уотсона, Бройша - Годфри).

Для графического обнаружения сначала оценивается модель по МНК, а затем строится график остатков в осях ем и е. Если зависимости между остатками нет, то облако полученных точек должно быть похоже на круг. Если зависимость положительная, то облако вытянуто из первой четверти в третью, а если отрицательная, то из второй четверти в четвертую.

Для описания формальных тестов обнаружения автокорреляции введем понятие авторегрессионного процесса первого порядка:

£г + и , * = 2, п , (1)

где р - коэффициент авторегрессии ( -1 < р < 1); и - новые случайные ошибки, которые

независимы между собой, одинаково распределены, имеют нулевое математическое ожидание и постоянную дисперсию. Если р = 0, то автокорреляции нет. Если рФ 0, то ошибки в текущий момент времени зависят от ошибок в предыдущий момент времени, причем, при р > 0 автокорреляция положительна, а при р < 0 - отрицательна.

Тест Дарбина - Уотсона применяется для тестирования автокорреляции первого порядка. С помощью этого теста проверяется нулевая гипотеза об отсутствии автокорреляции Н0 : р = 0, против альтернативной гипотезы Н: рФ0 .

Алгоритм теста Дарбина - Уотсона.

1) Оценить модель и получить остатки е,.

2) Посчитать статистику

¿(ег -ег-1 )2

БЖ = г=2-. (2)

¿«2

г=1

3) Сравнить полученную статистику с критическим значением.

При большом числе наблюдений п можно считать, что ¿е2 е2 е2_х . Со-

г=1 г=2 г=2

гласно формуле (2), возведя в числителе разность в квадрат, получим:

п п п п

¿ « - 2Е егег-1 + ¿ «-1 ¿ егег-1

БЖ = ^-г=2-г=2-= 2 - 2 —-« 2(1 -р), (3)

¿е2 ¿е2

г=1 г=1

где /3 - выборочный коэффициент авторегрессии, оцененный по модели е1 = ре^х + щ .

Из выражения (3) следует, что 0 < БЖ < 4. При этом:

- при положительной автокорреляции /3 = 1 => БЖ = 0;

- при отсутствии автокорреляции /3 = 0 => БЖ = 2;

- при отрицательной автокорреляции /3 = -1 => БЖ = 4.

К недостаткам критерия Дарбина - Уотсона можно отнести то, что он, во-первых, неприменим к моделям авторегрессии, во-вторых, дает достоверные результаты только для больших выборок, в-третьих, не способен выявлять автокорреляцию высоких порядков.

Заметим, что если в числителе выражения (2) заменить знак «-» на знак «+», то получим критерий вида:

п

¿(ег + ег-1)2

БЖ+ = -. (4)

¿е2

г=1

По аналогии с рассуждениями (3) можно заключить, что БЖ + « 2(1 +/3) . Следовательно, 0 < БЖ + < 4. При этом:

- при положительной автокорреляции /3 = 1 => БЖ + = 4 ;

- при отсутствии автокорреляции /3 = 0 => БЖ + = 2 ;

- при отрицательной автокорреляции /3 = -1 => БЖ += 0.

Таким образом, критерий (4) можно назвать противоположным критерием Дарбина -Уотсона.

2. Модульный критерий автокорреляции

Используя в выражении (2) для критерия Дарбина - Уотсона вместо сумм квадратов сумм модулей, введем в рассмотрение следующий критерий:

2 К - е<-1

АС, = ^-. (5)

21*'

"п <=1

Будем называть критерий (5) модульным критерием автокорреляции. Возникает вопрос, какова область его возможных значений. Для ответа на этот вопрос воспользуемся свойствами модуля:

\а - Ь\ < И + Ь|, |а + Ь\ > И - Ь1 •

Тогда сумма модулей в числителе выражения (5), с одной стороны, равна

п п п

2 К - е<-,1 <2 Ы+2 Ы, <=2 <=2 <=2

с другой стороны, равна

п п п п

21е<- е<-,\=21е<+{- е-,) > 21 е\-2Ы,

<=2 <=2 <=2 <=2

т.е. справедливо двойное неравенство:

п п п п

2\е\ -2Ы 2\е\+2 Ы

ш-<=2-< АС < ——^-• (6)

п 1 п

2\е\ 2 ы

<=1 <=1

Считая, что при достаточно большом числе наблюдений п 2\е\ ~2 К1 ~2 К-1 |,

<=1 <=2 <=2

двойное неравенство (6) примет вид

0 < АС < 2 .

Выясним теперь, какие значения критерия АС соответствуют случаям абсолютной положительной и отрицательной автокорреляции. Предположим, что выборочный коэффициент авторегрессии р , оцененный по модели е = Ре^\ + Щ, оказался равным 1, а все ошибки равны нулю, т.е. имеет место абсолютная положительная автокорреляция. Тогда е1 = е1-1, следовательно, из выражения (5) следует, что АС = 0. При абсолютной отрицательной автокорреляции е( = -е^, следовательно, АС = 2 . Отметим, что точно такие же рассуждения справедливы и для критерия Дарбина - Уотсона.

Остается определить значение критерия АС в случае полного отсутствия автокорреляции, т.е. при р = 0, для чего осуществлялся модельный эксперимент по методу Монте-Карло [2]. При этом проводилось моделирование случайного процесса вида

У = а + Ьх< +е<,

п

п

где а = 5 , Ь = 7 .

Значения переменной х задавались как последовательность случайных величин, равномерно распределенных на отрезке [0,10], а значения ошибок £( - нормально распределенных случайных величин с нулевым математическим ожиданием и среднеквадра-тическим отклонением, равным 8. Для заданного объема выборки п в каждой реализации

генерировался временно ряд для t = 1, п , по которому вычислялись МНК-оценки параметров а и Ь . По этим оценкам находились остатки модели и по формулам (5) и (2) определялись значения модульного критерия АС и критерия Дарбина - Уотсона ПЖ . Затем по 10000 реализаций вычислялись средние значения критериев АС и ПЖ . Результаты эксперимента в зависимости от заданного объема выборки п представлены в таблице 1.

Таблица 1. Результаты экспериментов по методу Монте-Карло

Объем выборки п Среднее значение АС Среднее значение БЖ

10 1,34575 1,99914

20 1,38164 1,99938

50 1,40201 2,00103

100 1,4085 2,00175

1000 1,41355 2,00021

10000 1,41417 2,00019

100000 1,41420 1,99998

Как видно по таблице 1, для случая полного отсутствия автокорреляции первого порядка в остатках регрессии значение критерия Дарбина - Уотсона БЖ не зависит от объема выборки и, как полагается, равно 2. А вот значение модульного критерия автокорреляции АС для этого случая зависит от объема выборки и при большом количестве наблюдений, т.е. при п ^ да, стремится к величине л/2 « 1,414213. Таким образом, удалось установить, что:

- при положительной автокорреляции /3 = 1 => АС = 0;

- при отсутствии автокорреляции /3 = 0 => АС = л/2;

- при отрицательной автокорреляции /3 = -1 => АС = 2 .

Для противоположного модульного критерия автокорреляции вида

п

Е К +

АС2 = ^-, (7)

ЕЫ

t=l

аналогично установлено, что:

- при положительной автокорреляции /3 = 1 => АС = 2;

- при отсутствии автокорреляции /3 = 0 => АС = >/2 ;

- при отрицательной автокорреляции /3 = -1 => АС = 0.

3. Эксперименты по методу Монте-Карло

Для подтверждения справедливости результатов, полученных в отношении критериев АС и АС, и для нахождения их зависимостей от выборочного коэффициента авторегрессии р вновь осуществлялся модельный эксперимент по методу Монте-Карло. Для этого проводилось моделирование некоторого случайного процесса вида

у = а + Ьх{ +е,,

где а = 5 , Ь = 7 .

При этом в качестве значений переменной х также задавались случайные величины, равномерно распределенные на отрезке [0,10]. Ошибка регрессии £( подчинена авторегрессионному процессу первого порядка (1). Коэффициент авторегрессии р менялся от -1 до 1 с шагом 0,1, а случайные ошибки иг задавались как нормально распределенные случайные величины с нулевым математическим ожиданием и среднеквадратическим отклонением, равным 8. Для каждого значения р генерировался временной ряд из 1000 наблюдений, по которому вычислялись МНК-оценки параметров а и Ь, с помощью которых вычислялись значения выборочного коэффициента авторегрессии р , критерия Дар-бина - Уотсона (2), а также обычного и противоположного модульного критерия автокорреляции (5) и (7). Результаты эксперимента представлены в таблице 2.

Таблица 2. Результаты эксперимента по методу Монте-Карло

р р БЖ АС АС 2

-1 -0,999 3,989 1,997 0,045

-0,9 -0,908 3,815 1,954 0,433

-0,8 -0,814 3,628 1,913 0,611

-0,7 -0,717 3,434 1,86 0,754

-0,6 -0,616 3,231 1,810 0,880

-0,5 -0,512 3,025 1,750 0,994

-0,4 -0,408 2,817 1,683 1,096

-0,3 -0,305 2,609 1,613 1,188

-0,2 -0,202 2,403 1,54 1,270

-0,1 -0,099 2,199 1,466 1,346

0 0,002 1,996 1,394 1,42

0,1 0,103 1,794 1,32 1,489

0,2 0,204 1,592 1,246 1,557

0,3 0,304 1,391 1,166 1,620

0,4 0,405 1,189 1,082 1,678

0,5 0,507 0,986 0,991 1,740

0,6 0,608 0,784 0,888 1,791

0,7 0,708 0,583 0,773 1,842

0,8 0,807 0,386 0,635 1,881

0,9 0,903 0,195 0,462 1,934

1 0,998 0,004 0,069 1,995

Графики зависимостей критериев БЖ, ЛСХ и ЛС2 от выборочного коэффициента авторегрессии /3 , представлены на рис. 1.

5 4 3 2 1 0

-1 -0,6 -0,2 0,2 0,6 1

2,5 2 1,5 1 0,5 0

АС1

-1 -0,6 -0,2 0,2 0,6 1

б

2,5 2 1,5 1 0,5 0

АС2

-1 -0,6 -0,2 0,2 0,6 1

Рис. 1. Графики зависимостей критериев БЖ , ЛСХ и ЛС2 от величины /3

а

в

На рис. 1, а приведен график зависимости критерия Дарбина - Уотсона от выборочного коэффициента авторегрессии /3 , похожий на прямую линию, чего и следовало ожидать в силу соотношения (3), т.е. приближенного равенства БЖ « 2(1 -/3) . Из графиков на рис. 1, б, в видно, что зависимость критериев ЛСХ и ЛС2 от величины /3 имеет нелинейный характер. При этом указанные графики подтверждают справедливость всех полученных в предыдущем разделе результатов.

Какова же истинная зависимость критериев ЛСХ и ЛС2 от величины /3 ? Поскольку при /3 = 1, р = 0 и /3 = -1 критерий Дарбина - Уотсона принимает значения 0, 2 и 4 соответственно, а при тех же значениях коэффициента авторегрессии /3, например, модульный критерий автокорреляции принимает значения 0, 42 и 2, то можно предположить, что критерии БЖ и ЛС связаны соотношением:

ЛС1 «4бЖ «V2(1 -/3). (8)

Аналогично, для противоположного модульного критерия автокорреляции предполагаемая связь имеет вид:

АС «VБЖ+ « ^2(1 + р) . (9)

Чтобы доказать справедливость приближенных равенств (8) и (9), по данным из таблицы 1 с помощью МНК оценивались параметры следующих регрессионных моделей:

АС2 = а + Ьр + £, АС2 = а + Ьр + е .

В результате были получены регрессии

АС2 = 1,998- 2,027р, АС\ = 1,996+ 1,997р ,

критерии детерминации которых превышают значение 0,999, что говорит о практически функциональной зависимости между переменными. Если представить полученные регрессии в виде АС, = д/2(0,999-1,0135р) и АС2 = у]2(0,998 + 0,9985р) , то, сравнив их с равенствами (8) и (9), можно утверждать об их справедливости.

В завершение отметим одно замечательное свойство рассмотренных критериев БЖ , БЖ +, АС и АС. Поскольку БЖ « 2(1 -р), а БЖ + « 2(1 + р) , то БЖ + БЖ + « 4 . Аналогично, для модульных критериев АС\ « 2(1 - р), АС2 « 2(1 + р) и АС\ + АС\ « 4 . Следовательно, справедливо следующее приближенное равенство

БЖ + БЖ + « АС2 + АС2, (10)

связывающее все рассмотренные выше автокорреляционные критерии.

4. Двойные модульные критерии автокорреляции

Недостаток предложенных в предыдущем разделе модульных критериев адекватности АС и АС состоит в том, что их зависимости от выборочного коэффициента авторегрессии р (8) и (9) не являются четными функциями, т.е. не являются симметричными относительно прямой р = 0. Критерий Дарбина - Уотсона тоже несимметричен, однако его легко свести к симметричному виду следующим образом:

БЖ * = !|2 - БЖ\ «|р|. (11)

Из выражения (11) следует, что 0 < БЖ * < 1. При этом:

- при положительной (отрицательной) автокорреляции р = 1 (р = -1) => БЖ = 1;

- при отсутствии автокорреляции р = 0 => БЖ * = 0 .

Как видно, критерий (11) не дает ответа на вопрос, какая именно автокорреляция присутствует - положительная или отрицательная. Например, для двух регрессий с выборочными коэффициентами авторегрессии р = 0,1 и р = -0,1 критерий (11) покажет одинаковое значение 0,1.

Если по аналогии с критерием (11) ввести критерий вида:

АС* = л/2 - АС «л/2 -д/ 2(1 -р) , (12)

то, например, для некоторых двух регрессий с выборочными коэффициентами авторегрессии р = 0,1 и /3 = -0,1 критерий (12) покажет разные значения. Поэтому, по-прежнему, не представляется возможным интегрировать модульные критерии автокорреляции в задачу ОИР в виде линейных ограничений.

Введем критерий автокорреляции следующего вида:

п п

Е - +Е+

ЛС3 = ЛСХ + ЛС2 = ^-^-«л/2(1 -Р)+ л/2(1 + Р), (13)

ЕЫ

t=l

который будем называть суммарным двойным модульным критерием автокорреляции. Как видно, функция ^2(1 - р) + р) является четной (рис. 2, а). Из выражения (13)

следует, что 2 < ЛС3 < 2^2 . При этом:

- при положительной (отрицательной) автокорреляции р = 1 (/3 = -1) => ЛС3 = 2 ;

- при отсутствии автокорреляции р = 0 => ЛС = 2л/2 .

По аналогии с критерием (13) введем разностный двойной модульный критерий автокорреляции:

пп

Е К- -Е1 е+et-гl

ЛС4 = ЛС - ЛС2 = ^-^-«V2(1 - р) -42(1 + р). (14)

ЕЫ

t=Г

Функция ^2(1 -р)-у]2(1 + р) является нечетной (рис. 2, б). Из выражения (14) следует, что - 2 < ЛС < 2 . При этом:

- при положительной автокорреляции р = 1 => ЛС = -2 ;

- при отсутствии автокорреляции р = 0 => ЛС = 0;

- при отрицательной автокорреляции р = -1 => ЛС = 2.

а б

Рис. 2. Графики зависимостей критериев ЛС, и ЛС от величины 3

По аналогии с критерием (11) критерий АСА можно сделать симметричным относительно прямой р = 0:

АС* = 11АСХ - АС21«1^2(1 -р) -42(1 + р)|. (15)

Из выражения (15) следует, что 0 < АС* < 1. При этом:

- при положительной (отрицательной) автокорреляции р = 1 (р = -1) => АС* = 1;

- при отсутствии автокорреляции р = 0 => АС* = 0.

Заключение

В данной работе предложены модульные критерии автокорреляции, определены области их возможных значений и найдены их приближенные зависимости от значений выборочного коэффициента авторегрессии. Полученные результаты подтверждены с помощью модельных экспериментов по методу Монте-Карло. Поскольку зависимости модульных критериев от значений выборочного коэффициента авторегрессии не являются четными функциями, то предложены двойные модульные критерии автокорреляции.

Таким образом, все рассмотренные в работе модульные критерии являются аналогами критерия Дарбина - Уотсона, о чем говорят полученные аналитические соотношения между ними (8), (9), (13), (14), (15), и могут быть использованы для обнаружения автокорреляции остатков первого порядка в регрессионных моделях, оцениваемых с помощью МНК. Одновременное использование нескольких таких критериев нерационально и вполне можно обойтись только одним из них.

Впоследствии разработанные двойные модульные критерии можно использовать в качестве линейных ограничений в задаче частично-булевого линейного программирования для отбора информативных регрессоров в регрессионной модели, чему будут посвящены дальнейшие исследования автора.

Список литературы

1. Айвазян С.А. Методы эконометрики. М.: Магистр: ИНФРА-М., 2010. 506 с.

2. Доугерти К. Введение в эконометрику: учебник: пер с англ. М.: ИНФРА-М, 2009. 464

rd

с. [Dougherty Ch. Introduction to econometrics. 3rd ed. Oxf.: Oxford Univ. Press, 2007. 464 p.].

3. Базилевский М.П., Гефан Г.Д. Проблема автокорреляции остатков регрессии на примере моделирования грузооборота железнодорожного транспорта по данным временных рядов // Современные технологии. Системный анализ. Моделирование. 2016. № 1(49). С. 141-147.

4. Miller A.J. Subset selection in regression. 2nd ed. Boca Raton; L.: CRC Press, 2002. 238 p.

5. Hiroshi Konno, Rei Yamamoto. Choosing the best set of variables in regression analysis using integer programming // J. of Global Optimization. 2009. Vol. 44. No. 2. Pp. 273-282. DOI: 10.1007/s10898-008-9323-9

6. Young Woong Park, Klabjan D. Subset selection for multiple linear regression via optimization. Режим доступа: http://www.arXiv.org/pdf/1701.07920.pdf (дата обращения: 17.05.2018).

7. Ryuta Tamura, Ken Kobayashi, Yuichi Takano, Ryuhei Miyashiro, Kazuhide Nakata, To-momi Matsui. Mixed integer quadratic optimization formulations for eliminating multicollinearity based on variance inflation factor. Режим доступа: http://www.optimization-online.org/DB_HTML/2016/09/5655.html (дата обращения: 17.05.2018).

8. Seokhyun Chung, Young Woong Park, Taesi Cheong. A mathematical programming approach for integrated multiple linear regression subset selection and validation. Режим доступа: https://arxiv.org/abs/1712.04543 (дата обращения: 17.05.2018).

9. Ryuhei Miyashiro, Yuichi Takano. Mixed integer second-order cone programming formulations for variable selection. Режим доступа:

http://www.me.titech.ac.jp/technicalreport/h25/2013-7.pdf (дата обращения: 17.05.2018).

10. Ryuhei Miyashiro, Yuichi Takano. Subset selection by Mallows' Cp: a mixed integer programming approach. Режим доступа: http://www.me.titech.ac.jp/technicalreport/h26/2014-1.pdf (дата обращения: 17.05.2018).

Mathematics I Mathematical Modelling

f.Vjw

rami.- journal.

h trp:/Arra|hine lpiib.ru

ISSN 2412-591 i

Mathematics and Mathematical Modeling, 2018, no. 03, pp. 13-25.

DOI: 10.24108/mathm.0318.0000102

Received: 09.05.2018

© NP "NEICON"

Research of New Criteria for Detecting Firstorder Residuals Autocorrelation in Regression Models

M.P. Bazilevsky1 *mik217E@vand&xju

1Irkutsk State Transport University, Irkutsk, Russia

Keywords: autocorrelation of first-order in residuals; Durbin-Watson statistic; subset selection;

modular autocorrelation statistic; double modular autocorrelation statistic; Monte Carlo method

When estimating regression models using the least squares method, one of its prerequisites is the lack of autocorrelation in the regression residuals. The presence of autocorrelation in the residuals makes the least-squares regression estimates to be ineffective, and the standard errors of these estimates to be untenable. Quantitatively, autocorrelation in the residuals of the regression model has traditionally been estimated using the Durbin-Watson statistic, which is the ratio of the sum of the squares of differences of consecutive residual values to the sum of squares of the residuals. Unfortunately, such an analytical form of the Durbin-Watson statistic does not allow it to be integrated, as linear constraints, into the problem of selecting informative regressors, which is, in fact, a mathematical programming problem in the regression model. The task of selecting informative regressors is to extract from the given number of possible regressors a given number of variables based on a certain quality criterion.

The aim of the paper is to develop and study new criteria for detecting first-order autocorrelation in the residuals in regression models that can later be integrated into the problem of selecting informative regressors in the form of linear constraints. To do this, the paper proposes modular autocorrelation statistic for which, using the Gretl package, the ranges of their possible values and limit values were first determined experimentally, depending on the value of the selective coefficient of auto-regression. Then the results obtained were proved by model experiments using the Monte Carlo method. The disadvantage of the proposed modular statistic of adequacy is that their dependencies on the selective coefficient of auto-regression are not even functions. For this, double modular autocorrelation criteria are proposed, which, using special methods, can be used as linear constraints in mathematical programming problems to select informative regressors in regression models.

References

1. Ajvazian S.A. Metody ekonometriki [Methods of econometrics]. Moscow: Magistr: INFRA-M, 2010. 506 p. (in Russian).

rd

2. Dougherty Ch. Introduction to econometrics. 3rd ed. Oxf.: Oxf. Univ. Press, 2007. 464 p. (Russ. ed.: Dougherty Ch. Vvedenie v ekonometriku: a textbook. Moscow: Magistr Publ.: IN-FRA-M Publ., 2009. 464 p.).

3. Bazilevskij M.P., Gefan G.D. The problem of autocorrelation in regression residuals by example of modeling rail freight based on time series data. Sovremennye tekhnologii. Sistemnyj analiz. Modelirovanie [Modern technologies. System analysis. Modeling], 2016, no. 1(49), pp. 141-147 (in Russian).

4. Miller A.J. Subset selection in regression. 2nd ed. Boca Raton; L.: CRC Press, 2002. 238 p.

5. Hiroshi Konno, Rei Yamamoto. Choosing the best set of variables in regression analysis using integer programming. J. of Global Optimization, 2009, vol. 44, no. 2, pp. 273-282. DOI: 10.1007/s10898-008-9323-9

6. Young Woong Park, Klabjan D. Subset selection for multiple linear regression via optimization. Available at: http://www.klabjan.dynresmanagement.com, accessed 17.05.2018.

7. Ryuta Tamura, Ken Kobayashi, Yuichi Takano, Ryuhei Miyashiro, Kazuhide Nakata, Tomo-mi Matsui. Mixed integer quadratic optimization formulations for eliminating multicollinearity based on variance inflation factor. Available at: http://www.optimization-online.org/DB HTML/2016/09/5655.html, accessed 17.05.2018.

8. Seokhyun Chung, Young Woong Park, Taesi Cheong. A mathematical programming approach for integrated multiple linear regression subset selection and validation. Available at: https://arxiv.org/abs/1712.04543, accessed 17.05.2018.

9. Ryuhei Miyashiro, Yuichi Takano. Mixed integer second-order cone programming formulations for variable selection. Available at:

http://www.me.titech.ac.jp/technicalreport/h25/2013-7.pdf, accessed 17.05.2018.

10. Ryuhei Miyashiro, Yuichi Takano. Subset selection by Mallows' Cp: a mixed integer programming approach. Available at: http://www.me.titech.ac.jp/technicalreport/h26/2014-1.pdf, accessed 17.05.2018.