CC BY
46Регуляризация в регрессионных методах эконометрики
Жданов А.И., Парчайкина Т.Г. Самарский государственный аэрокосмический университет
В современных экономических исследованиях широко используются различные количественные данные для наблюдения за ходом развития экономики, ее анализа и прогнозов. Набор статистических методов, используемых для этих целей, называется в совокупности эконометрикой. Среди этих методов, наиболее важную роль играет регрессионный анализ, который по существу представляет ядро эконометрики.
Модель линейной множественной регрессии в общем виде имеет вид:
Ав = Ь + е, (1)
где А - т х п - матрица независимых (объясняющих) переменных, Ь - т - мерный вектор зависимых (объясняемых) переменных, в - п - мерный вектор неизвестных параметров регрессионной модели, е - т - мерный вектор неконтролируемых случайных возмущений.
С алгебраической точки зрения задача определения оценок неизвестных параметров в множественной линейной регрессии (1) сводится к вычислению псевдорешений х переопределенной системы линейных алгебраических уравнений (СЛАУ)
Ах « Ь , (2)
где А е Ятхп, т > п, гапкА = п, х е Яп, Ь е Ят.
Известно [I], что если между векторами матрицы А существует приблизительная линейная зависимость (мультиколлинеарностъ), то псевдорешение х СЛАУ (2) формально существует, но обладает "плохими" свойствами (численная неустойчивость псевдорешений и большая среднеквадратическая погрешность оценок параметров). Что делать, если по всем признакам имеется мультиколлинеарность? Однозначного ответа на этот вопрос нет, и среди эконометристов есть разные мнения на этот счет [2].
Наиболее эффективным способом "борьбы" с мультиколлинеарностью в настоящее время несомненно является использование в регрессионном анализе идеи регуляризации псевдорешений. В регрессионном анализе эти методы чаще известны как ридж - регрессия или гребневая регрессия [I].
Регуляризованное псевдорешение СЛАУ (2) определяется как решение задачи
ха = ^ё™[п{ах - Ь||2 + а11 х||2} (3)
хеЯ"
где Ц-Ц2 - евклидова норма вектора, а - параметр регуляризации.
Решение регуляризованной задачи (3) эквивалентно решению нормальной системы уравнений
(АТ А + а2 Еп )ха=АтЬ, (4)
где Т - символ транспонирования, Еп - единичная матрица.
Вычисление регуляризованных псевдорешений ха из нормальной системы уравнений (4)
несомненно является наиболее простым способом с вычислительной точки зрения. Однако во многих эконометрических исследованиях СЛАУ (4) оказывается плохо обусловленной, с спектральным числом обусловленности
2 2
сопё 2 (Ат А + а2 Еп ) = (5)
22 о + о
max шт
где оШзх и оЩ. - максимальное и минимальное сингулярные числа матрицы А соответственно.
В данной работе система (4) преобразуется к эквивалентной расширенной СЛАУ
(аЕт А Л(а~1т^ (Ь^
т
V Ат -аЕп;
у X у V0У
0
о Мага = /,а> 0. (6)
Можно показать, что собственные числа матрицы Ма равны
±-у1о2 +а2,/ = 1,2,...п,
а
где о1 - сингулярные числа матрицы А .
Следовательно, спектральное число обусловленности матрицы Ма равно
СОМ2 (Ма) =
2 2 /0шх +а
а
В большинстве реальных задач параметр регуляризации а > оmin. Это означает, что спектральное число обусловленности расширенной СЛАУ (6) существенно меньше числа обусловленности нормальной системы (4), т.к.
сопё2 (Ат А + а2Еп) > соМ1 (Ма ).
Важно также отметить тот факт, что для решения расширенной СЛАУ (6) можно эффективно использовать итерационное уточнение.
Таким образом, решение плохо обусловленных задач регрессионного анализа с применением предлагаемой расширенной СЛАУ (6) всегда позволяет повысить точность регуляризованных решений по сравнению с традиционным подходом основанном на решении нормальных систем (4). Выбор оптимальных значений параметра регуляризации в задачах регрессионного анализа рассмотрен в [З].
Литература:
1. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981.
2. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. М.: Изд-во "Дело", 2000.
3. Жданов А.И. Оптимальная регуляризация решений приближенных стохастических систем
линейных алгебраических уравнений//Журн. вычисл. матем. и матем. физ. - 1990. - Т. 29, N 10. - С. 1588 - 1593.
