CC BY
30
Информатика, вычислительная техника и управление. Моделирование. Приборостроение. Метрология. Информационно-измерительные приборы и системы
m
УДК 518.852+518.853
Носков Сергей Иванович,
д. т. н., профессор, директор Центра моделирования транспортных процессов, Иркутский государственный университет путей сообщения, тел. (3952) 638-322, e-mail: [email protected]
КРИТЕРИЙ «СОГЛАСОВАННОСТЬ ПОВЕДЕНИЯ» В РЕГРЕССИОННОМ АНАЛИЗЕ
S.I. Noskov
THE CRITERION OF «CO NSISTENCY OF BEHAVIOR» IN THE
REGRESSION ANALYSIS
Аннотация. В статье рассматривается критерий «согласованность поведения» при построении регрессионных уравнений. Приводятся способы его учета при оценивании параметров в случае линейной аппроксимирующей функции и использовании метода наименьших модулей, сводящиеся к задачам линейного и частично-булевого линейного программирования.
Ключевые слова: критерии адекватности, регрессионный анализ, метод наименьших модулей, частично-булевое линейное программирование.
Abstract. The article considers the criterion of «consistency of behavior» in the construction of regression equations. Provides methods for its consideration when estimating parameters in the case of linear approximating function and use of the method of least modules, consisting of the tasks of linear and partially-bool linear programming.
Keywords: criteria of adequacy, regression analysis, the method of least modules, partially-bool linear programming.
Регрессионный анализ является признанным инструментом построения качественных математических моделей сложных систем различного характера и масштаба. В рамках этой научной дисциплины разработано значительное число критериев адекватности регрессионных моделей -множественной детерминации, Фишера, Стьюден-та, Дарбина - Уотсона, средних относительных ошибок аппроксимации и прогноза, смещения и т. д. (см., например, [1]). Каждый из них «отвечает» за ту или иную характеристику модельного описания исследуемого объекта или процесса и формально выражается, как правило, через рассчитанные по модели ошибки аппроксимации. Значимость этих критериев бесспорна в силу их глубокой теорети-
ческой обоснованности и повсеместного использования в различных комбинациях при построении практически всех известных статистических моделей. Не вызывает, однако, сомнений тезис о том, что адекватность модели - понятие многогранное, заключающее в себе множество самых различных частных характеристик, число которых в результате проводимых в этой области исследований постоянно увеличивается. Так, существует важный аспект в оценке качества статистических зависимостей, не связанный напрямую с точностью аппроксимации, а отражающий степень согласованности в характере изменения (поведении) расчетных и фактических значений зависимой переменной на различных наблюдениях выборки. Ниже предлагаются некоторые способы формализации отражающего этот аспект критерия «согласованность поведения» и корректировки оценок параметров регрессий на его основе. При этом в данной работе не ставится цель изучения качественных свойств полученных оценок. Отметим, что впервые этот критерий введен и описан в работе [2].
Рассмотрим обязательный элемент любой статистической модели - регрессионное уравнение общего вида:
yk = F (а; хк1, хк2,..., хш ) + £к, к = 1, п, (1)
где у - зависимая переменная, xi, i = 1, m, - независимые переменные, а - вектор оцениваемых параметров, F - аппроксимирующая вещественная функция, ек - ошибки аппроксимации, n - длина выборки.
В регрессионном анализе оценка параметров а регрессии (1) определяется посредством минимизации выбранной функции потерь:
п
I (а )=£ф(е к ).
к=1
Вещественная функция ф является монотонно неубывающей (обычно выпуклой) и принимающей неотрицательные значения. К классическим функциям потерь должны быть отнесены, в частности, функции [3] Хубера, Андрюса, Ме-шалкина, а также функции вида:
п
I,(а) = ЕКГ, V > 1.
к=1
При этом одному из наиболее популярных в регрессионном анализе методу наименьших модулей (МНМ) соответствует значение V = 1, а методу наименьших квадратов (МНК) - V = 2.
Обозначим через ук, к = 1, п, расчетные
значения зависимой переменной, вычисленные с помощью найденной на основе использования выбранной функции потерь I(а) оценки а :
Ук = Р(а';^xk2,■■■,), к = 1 п .
При построении статистических моделей могут возникать ситуации, когда даже для «почти функциональных» регрессий с малыми значениями функций потерь «поведение» расчетных и фактических траекторий, характеризующих изменение значений зависимых переменных, не согласовано. Это может быть выражено, в частности, в несовпадении для некоторых пар номеров наблюдений к и к +1 знаков приращений ук+1 — ук и
Ук+\ — У к, что, безусловно, снижает качество такой модели, в частности ее прогностические возможности, поскольку она в этом случае не в достаточной степени «объясняет» исследуемый процесс. Причиной низкой «согласованности поведения» является либо отсутствие в числе независимых переменных регрессии существенных (значимых) факторов, либо неверный выбор вида аппроксимирующей функции Г или функции потерь I(а).
Критерий «согласованность поведения» (СП-критерий), позволяющий выявлять подобные ситуации, может быть представлен в виде принимающей целые значения функции Ф1:
п—1
Фх (а)= £ в1вп[(1Ук+1 — у к Хук+1 — Ук)]. (2)
к=1
Значение Ф1 (а) = п — 1 указывает на полную «согласованность» векторов у и у в смысле
шшт
критерия (2). Если среди компонент суммы (2) присутствуют только значения 0 и 1, эти вектора будем считать почти «согласованными».
СП-критерий в зависимости от целей исследования может рассчитываться на произвольных парах, тройках и т. д. номеров наблюдений. В частности, иногда имеет смысл включение в него вторых разностей, отражающих темпы увеличения (уменьшения) значений зависимой переменной:
п—2
Ф2 (а) = £ ^ (Ук+2 — 2Ук+1 + Ук ) (Ук+2 — 2А+1 + Ук )]. к =1
Разрывность функций Ф1 и Ф2 затрудняет использование СП-критерия для корректировки параметров регрессии (1) с целью повышения «согласованности» векторов у и у. Поэтому альтернативным по отношению к (2) способом задания СП-критерия является следующий:
п—1
Фз (а) = £
(3)
к=1
где гк =
\\ук+1 — ук I пРи (Ук+1 — Ук)(Ук+1 — Ук)] = —1 [0, в противном случае.
Легко видеть, что для СП-критерия (3) случаям как полной, так и почти «согласованности» соответствуют нулевые значения функции Ф3.
СП-критерий, безусловно, не может рассматриваться в качестве альтернативного по отношению к функции потерь и другим перечисленным выше критериям показателя качества регрессии, поскольку наиболее важной интегрирующей характеристикой адекватности модели исследуемому объекту или процессу является все-таки точность аппроксимации. Вместе с тем имеет смысл использовать СП-критерий в качестве вспомогательного для корректировки уже найденной посредством минимизации выбранной функции потерь I(а) оценки а. Такая корректировка может быть произведена следующим образом.
Пусть I " - найденное минимальное значение функции потерь для регрессии (1), а а" - соответствующая ему оценка параметров. Предположим, что исследователь (разработчик модели) может назначить некоторую величину А I", на которую допустимо увеличение значения I" без существенного ухудшения качества аппроксимации. Тогда задача повышения «согласованности поведения» представима в форме:
г
к
Информатика, вычислительная техника и управление. Моделирование. Приборостроение. Метрология. Информационно-измерительные приборы и системы
(4)
Ф (а) ^ max,
^ аеЛ
A = {а 11(а)< I*+Д/*}.
Пусть a ** - решение задачи (4). Для того, чтобы несколько «подтянуть» эту оценку к а*, не уменьшая значение функционала в (4), необходимо решить задачу:
I (а) ^ min, (5)
аеВ
B = {а | ф(а) = Ф(а**)}.
В случае, когда регрессия (1) линейна, а функция потерь имеет вид (а), то есть соответствует МНМ, задачи (4) и (5) могут быть сведены к одной задаче частично-целочисленного линейного программирования (ЧЦЛП). Воспользуемся для этого приемом, описанным, например, в [1], который позволяет свести задачу с альтернативными условиями к задаче математического программирования с частью булевых переменных. Применим также способ сведения задачи определения оценок параметров линейной регрессии с помощью МНМ к задаче линейного программирования (ЛП), впервые описанный в [3].
В связи с наличием в (4) операции sign введем в рассмотрение булевы переменные а; следующим образом:
il, sign[(y,+1 - у, Хуj+1 - уj)] = 1 [0, в противном случае.
Введем также неотрицательные вещественные переменные ик, ик, характеризующие соответственно положительные и отрицательные ошибки аппроксимации ек в (1) в случае линейности функции F:
а j =
и* = "!
у* -Еах, ук >Еах i=1 i=1
0, в противном случае.
m m
-ук +Еах, у* <Еал
г=1 г=1
0, в противном случае.
Тогда заменяющая (4) и (5) задача ЧЦЛП примет вид:
п
А(а) = 2с 1 — г^(ик +ъктах, (6)
ш
Еа iхь+ и*-и * = у к, * =1, n,
(7)
i=1
(у,+1 - у, S а i j - xß )+Ma j > M + 5, (8)
0 <а, < 1, j e S,
J ■> J
n
Z(u* +°* )< I1*+ Д11'
* > 0, и* > 0, * = 1П, а - целые, j e S.
*=1 и
(9) (10)
(11)
Здесь М - заранее выбранное большое отрицательное число, S = {1,2,..., п — 1}\ К, где
К = {к 1У+1 — Ук \ < 8}, 8 - малая положительная константа.
Смысл введения малой величины 8 > 0 состоит в задании меры «безразличия» между близкими значениями зависимой переменной.
В качестве константы г в функционале (6) может быть выбрано, например, любое число из
(
интервала
0,
1
л
м; +11,
либо другая положи-
тельная константа. Наличие второго слагаемого в (6) позволяет достичь совместного решения задач (4) и (5) и, кроме того, обеспечивает выполнение
условия ик^ = 0 для всех к = 1, п, необходимость реализации которого вытекает из определения переменных щ и и •
Неизвестными в задаче ЧЦЛП (6)-(11) являются вектора а, и, и, а с общей размерностью т + 2п +1£|.
Нетрудно видеть, что свои максимальные значения функции ф (а) и ^ (а) принимают на одном векторе а .
Легко убедиться в том, что при задании СП-критерия в виде функции ф (а) в задаче (6)-(11) изменится только ограничение (8), которое примет вид:
m
(у,+2 - 2у s+1 + у )Еа,(
а-Х+у - 2xs+1,i + X
i)+Ma s
> M.
i=1
jeS
*=1
Для того чтобы иметь возможность сравнения по критерию (2) регрессий, построенных на различных выборках, ему необходимо придать
m
i=1
относительный характер посредством введения величины Фх (а ) = ф (а)-100%/| .
При использовании в качестве СП-критерия функции (3) задачи (4) и (5) по аналогии с (6)-(11) могут быть сведены к следующей задаче ЛП:
п—1 п
А (а)=£г, + р£(ик+«к, (12)
j=i
k=1
Z а>хь+ uk ~°k = yk, k =1, n, (13)
m
sign (yi+1 - ys )S« i (xs+1,i - )+l s > 0,
s = 1, n -1,
Ё (uk + Uk /;+A/;
(14)
(15)
щ > 0, и > 0, k = 1, n, 0, s = 1, n -1. (16) Здесь p - наперед заданное положительное число.
В случае если исследователь затрудняется в назначении величины AI *, может быть использован следующий простой способ ее расчета. Обозначим через а1 оценку параметров линейной регрессии, вычисленную с помощью МНК: а1 = arg min I2 (а) Тогда значение AI* может быть вычислено по формуле
AT =
I1 (а1)-11
с > 1.
Посредством такого задания А/* вычисленная в результате решения задач (6)-( 11) или (12)-(16) оценка а2 будет по критерию ^ своего рода «компромиссом» между оценками МНМ и МНК: Г"< I! (а2 )< I, (а1).
Результаты проведенного сравнительного анализа эффективности использования МНК и
шшт
МНМ, а также предложенного выше способа корректировки параметров на основе СП-критерия для ряда конкретных моделей показали следующее. Вычисленные в результате решения задач (6)-( 11) или (12)-(16) оценки параметров при возможном некотором ухудшении аппроксимацион-ных характеристик, как правило, не приводят к снижению точности прогноза зависимой переменной, значительно повышая «согласованность поведения» фактической и расчетной траекторий изменения значений у как на обучающей, так и на экзаменующей выборках.
Необходимость решения при этом задач ЧЦЛП или ЛП не является существенным препятствием вследствие наличия для современных ЭВМ большого количества соответствующих эффективных программных средств.
Отметим, что СП-критерий позволяет помимо статистической учитывать также и экспертную информацию, выражающуюся, например, в назначении номеров наблюдений выборки, установление «согласованности поведения» для которых особенно необходимо. В этом случае переменные о; и г ■ в (6) и (12) следует умножить на соответствующие весовые множители.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Носков С. И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. - Иркутск: Обл-информпечать, 1996. - 320 с.
2. Носков С. И. Построение эконометрических зависимостей с учетом критерия «согласованность поведения» // Кибернетика и системный анализ. 1994. - № 1. С. 177-180.
3. Мудров В. И., Кушко В. А. Методы обработки измерений. Квазиправдоподобные оценки. М. : Радио и связь, 1983. 304 с.
m
i=1
i=1
k =1
с
