CC BY
212
УДК 62.50: 621.789.32
М.В. Мусатов, А.А. Львов
АНАЛИЗ МОДЕЛЕЙ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ И МЕТОДОВ ПОЛУЧЕНИЯ ОЦЕНОК
Метод наименьших квадратов в настоящий момент широко применяется при обработке результатов естественнонаучных опытов. Проводится анализ применяемых на практике разновидностей МНК и исследуется новый критерий, названный полным методом наименьших квадратов
Метод наименьших квадратов, гетероскедастичность, автокорреляция
M.V. Musatov, A.A. L’vov
ANALYSIS OF LS MODELS AND METHOD OF OBTAINING ESTIMATES
Least-squares method is widely used in processing of results of natural science experiments. The analysis of LSMs versions applied in practice is given in the article as well as the new criteria, called the full least squares method discussed
Least squares method, autocorrelation, heteroscedasticity
При несоблюдении основных предпосылок метода наименьших квадратов (МНК) приходится корректировать модель. Если дисперсия возмущения зависит от значений факторов, то подобные регрессионные модели называются моделями с гетероскедастичностью возмущений, при которых оценки её параметров традиционным МНК неэффективны. Рассчитанные значения стандартных отклонений ошибок коэффициентов уравнения регрессии могут быть заниженными, а при проверке статистической значимости коэффициентов может быть ошибочно принято решение об их значимом отличии от нуля, тогда как на самом деле это не так.
При наличии автокорреляции возмущений МНК дает несмещенные и состоятельные оценки параметров модели, которые, однако, неэффективны. По сравнению с гетеро-скедастичностью возмущений автокорреляция приводит, наоборот, к завышению стандартных ошибок коэффициентов уравнения регрессии. На основе таких результатов может быть сделан ошибочный вывод о несущественном влиянии исследуемого фактора на зависимую переменную, в то время как на самом деле влияние фактора на нее значимо.
Ковариации и дисперсии возмущений могут быть произвольными, т.е. задаваться некоторой положительно определенной ковариационной матрицей Q :
jU(ssT) = Q. (1)
Модель множественной регрессии, для которой выполняется условие (1), называется обобщенной линейной моделью множественной регрессии. Для получения несмещенных и эффективных оценок параметров такой модели применяют обобщенный МНК (ОМНК), получаемый на основе минимизации функции:
eTQ-1e ^ min . (2)
Вектор оценок Ъ* параметров обобщенной модели определяется как [1]
Ъ = (XTQ4X)-1 XTQ-1Y . (3)
На практике ковариационная матрица вектора возмущений Q, как правило, неизвестна, и для реализации ОМНК приходится вводить дополнительные условия на структуру матрицы Q. Рассмотрим применение ОМНК для корректировки гетероскедастичности возмущений. Пусть строится линейная регрессионная модель. Будем считать, что модель гетеро-скедастична, т.е. дисперсии возмущений а2) (i=1, 2, ..., п) не равны между собой, а сами
возмущения некоррелированны и их математические ожидания равны нулю. Это означает,
что ковариационная матрица вектора возмущений Q будет диагональной.
Для оценки параметров такой модели используется взвешенный МНК (ВМНК), являющийся частным случаем обобщенного МНК. Условие взвешенного метода наименьших квадратов имеет вид
Z [ef/ a(ei )]^ min. (4)
i=1
Вектор Ъ* оценок параметров модели определяется по формуле (4). На практике среднеквадратические отклонения возмущений а(£i), как правило, неизвестны. Поэтому для
применения ВМНК, необходимо сделать предположение о значениях <7(£i). Часто считают среднеквадратическое отклонение возмущений пропорциональным значению одного из факторов, что делает выборочную совокупность неоднородной.
Если имеется автокорреляция возмущений, то для оценки параметров модели используют другой частный случай ОМНК. Основным недостатком данной модели является предположение о несимметричности МНК, т.е. предполагается, что ошибки возможны исключительно в матрице значений факторов X . Для симметричной модели (в предположении, что ошибки возможны как в матрице значений факторов X , так и в векторе значений результата Y) применяется общий МНК. И модель можно представить в следующем виде:
N
У + АУ = Z & ■ bk(xi + Axi). (5)
k =1
Решение задачи общего МНК приведет к получению лучших результатов, если предположение о наличии ошибок не только в матрице X , но и в векторе У окажется верно. Однако в случае наличии гетероскедастичности и автокорреляции возмущений приведет, соответственно, к тому, что оценки параметров модели не будут эффективными и к завышению ошибок коэффициентов уравнения регрессии.
Все достоинства выше перечисленных методов объединяет в себе относительно новая разновидность МНК, а именно полный МНК. Многие модели измерений описаны как нели-
т Г (1) (ь) Т
нейное соотношение между величиной у и множеством Ь других параметров x = [х ■ ■ ■ х ] •
Часто используемая модель зависит от N параметров , как показано ниже:
N
у = ¿£к • ЪкУ xе КЬх\ (6)
к =1
где Ък (•) - N вещественных функций от Ь переменных, называемых базисом модели. Задача построения регрессии состоит в определении N параметров %к по заданному множеству из М измерений у^ и и величин у и х из (10) (переменные величины обозначены подчеркнутыми, а их оценки, полученные по данным измерения, - неподчеркнутыми). После нахождения параметров модели £к, необходимо оценить неопределенность или точность их оценивания, так как измеренные данные у. и х. известны с погрешностями.
Принципиальным отличием рассматриваемой задачи от классического МНК [1] является предположение, что ошибки воздействуют на все М измеренных величин у и х, даже если рассматривать точную модель (10). Поэтому не будут удовлетворяться точно все М (Ь +1) уравнений
N
у1 « • Ък(х. \ . е1,-к М. (7)
к=1
После введения расстояния 8, определяющего рассогласование между данными и моделью, основанной на метрологическом анализе, получена новая математическая формализация - полный МНК (ПМНК).
Модель измерения (10) ведет к решению противоречивого множества уравнений (5), когда величины у и х в (10) заменяются измеренными значениями у. и х., полученными
при повторных наблюдениях. Уравнение (5) может быть переписано как
{¡М ® Ъ }• Ъ(хЬ у. (8)
Символ ® представляет матричное кронекеровское произведение. Уравнение (7) может быть переписано более в компактной матричной форме
Е-а “ 0Мх1, (9)
где Е = [/М ® Ът - /М ] и а = а(т) = [Ъ у]т. Вектор а выражен как функция вектора измеренных данных т размерности М (Ь +1) т = [х у]т.
Вводя в систему уравнений (5) корректирующие случайные члены Лу. и Ах. (возникающие из-за недостоверности измерения) можно свести (5) к следующей непротиворечивой системе уравнений
N
у. + Лу. = ¿4 • Ък(Х + АХ) (10)
к=1
или это эквивалентно следующей записи, что следует из (7),
Е-а(т + Лт) = 0, Лт = [Ах Ау]т. (11)
Уравнение (8) допускает следующее приближение первого порядка:
Е-{а + В • Ат}= 0, В = йа/йт. (12)
Существует несколько возможностей, чтобы определить несоответствие между моделью и данным вектором измерения т , причем каждая из них обычно сводится к различному решению регрессионной задачи. Степень несоответствия измеряется соответствующим расстоянием 8 , вводимым в метрическом пространстве данных.
\\т\\, -,=л1 тт •Е(т)-1 • т , (13)
II 11Е(т) ^ 4 '
где Е(т) - дисперсионная матрица вектора измеренных данных т.
Поскольку согласно (8) Лт является случайной поправкой измеренных данных, необходимой для получения непротиворечивой модели, представляется естественным определить следующую количественную характеристику соответствия модели измеренным данным 8 = ||Лт||£(т) и вычислить коэффициенты регрессии % модели, минимизирующие расстояние 8, с учетом ограничения Е • {а + В • Лт} = 0Мх1, то система уравнений (9) будет совместной. Другими словами, проблема построения регрессии требует решения следующей задачи условной оптимизации:
Наиболее полным критерием является полный МНК, так как даёт не смещенные состоятельные и эффективные оценки для моделей с наличием гетероскедастичности и автокорреляции возмущений, а также наличием ошибок как в матрице значений факторов X , так и в векторе значений результата У. Однако стоит заметить, что для использования в моделях, где присутствует гетероскедастичность и автокорреляция возмущений, но нет ошибок в векторе значений результата, больше подходит ОМНК, а при отсутствии гетероскедастично-сти и автокорреляции возмущений и наличии ошибок в векторе У и матрице X - ПМНК.
ЛИТЕРАТУРА
1. Линник, Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений / Ю.В. Линник. М.: ГИФМЛ, 1958. 334 с.
Мусатов Михаил Викторович -
магистрант Саратовского государственного технического университета Львов Алексей Арленович -
доктор технических наук, профессор кафедры «Техническая кибернетика и информатика» Саратовского государственного технического университета
Статья поступила в редакцию 25.09.09, принята к опубликованию 25.11.09
