CC BY
39
Информатика, вычислительная техника и управление
2. Малышев В.А., Никитенко Ю.В. Обобщенная методика управления техногенными рисками на предприятии // Вестник Воронеж. ин-та высоких технол. 2013. № 2. С. 18-23.
3. Акофф Р. Искусство решения проблем. М. : Мир, 1982. 220 с.
4. Соломенцев Ю. М. Управление гибкими производственными системами. М. : Машиностроение, 1988. 357 с.
5. Малышев В.А., Никитенко Ю.В., Лукин О.В. Методы и модели построения
интеллектуальных комплексов автоматизированного освоения военно-технических систем. Воронеж : ВАИУ, 2011. 280 с.
6. Губинский А. И. Надежность и качество функционирования эргатических систем Л. : Наука, 1982. 269 с.
7. Кристофедис Н. Теория графов: алгоритмический подход : пер. с англ. / под ред. Г.П. Гаврилова. М. : Мир, 1978. 432 с.
УДК 681.3 Носков Сергей Иванович,
д. т. н., профессор, кафедра «Информационные системы и защита информации» Иркутский государственный университет путей сообщения, тел. 638322, e-mail: [email protected] Баенхаева Аюна Валерьевна, старший преподаватель кафедры математики и эконометрики, Байкальский государственный университет, тел. 255550 (167), e-mail: [email protected]
МНОЖЕСТВЕННОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛИНЕЙНОГО РЕГРЕССИОНОГО УРАВНЕНИЯ
S. I. Noskov, A V. Baenkhaeva
MULTIPLE ESTIMATION OF PARAMETERS FOR THE LINEAR REGRESSION EQUATION
Аннотация. В статье рассматривается проблема двухкритериального оценивания параметров линейного уравнения регрессии. При этом используется векторная функция потерь, один частный критерий которой соответствует методу наименьших модулей (так называемое городское расстояние), а второй - метода антиробастного оценивания (расстояние Чебышева). Результатом оценивания является множество Парето, которое в критериальном пространстве представляет собой объединение ребер образа многогранника, задаваемого ограничениями используемого метода. Приведены приемы, облегчающие работу с множеством оценок, а именно его точечная характеризация, основанная на программе отсутствия мажорирования, а также использование m-мерного параллелепипеда, в который вписано это множество. Решена задача построения интервального прогнозного значения эндогенной переменной. Решение всех рассматриваемых в работе задач предполагает применение аппарата линейного программирования. Методическим основанием работы послужила классическая статья американских математиков Ю и Зелены, посвященная разработке так называемого многокритериального симплекс-метода.
Ключевые слова: регрессионный анализ, оценивание параметров, множество Парето.
Abstract. In this article, the problem of parameter estimation by the two-criterions for linear regression equation is considered. The vector-function of loss is used, in which one criterion is consistent with the method of least modules (so-called city-block distance), and the second - method of anti-robust estimation (distance of Chebyshev). The result of evaluation is the Pareto's set in space of crite-rions, which is the union of the edges of polyhedron's image defined by the limitations of the used method. The techniques facilitating work with a set of assessments are listed, namely, point characteristion based on the program of the absence of domination, and using m-dimensional parallelepiped, which this set is inscribed. The problem of constructing interval forecast of the endogenous variable is solved. The solution of all the problems of this article are assumed to use the device of linear programming. The classic article of American mathematicians Yu and Zeleny devoted to the development of so-called multi-criteria simplex method are methodological basis of this work
Keywords: regression analysis, estimation of parameters, Pareto set.
Рассмотрим линейное регрессионное уравнение
m _
Уи =Za ¡х* +s k > k = 1П (!)
i=1
где y — эндогенная (объясняемая, зависимая, выходная), а х — i-я экзогенная (объясняющая, независимая, входная) переменные; ai — i-й подлежащий оцениванию параметр; s — ошибки аппрок-
симации, к — номер наблюдения, п — число наблюдений (длина выборки).
Представим уравнение (1) в матричной форме:
у = Ха + г, (2)
где у = (У1,"-, Уп)Т, а = (а!,..., ат )Т,
г = (г,...,гп)Т, X — (п хт) матрица с компонентами Хь- .
ИРКУТСКИМ государственный университет путей сообщения
Присутствие в уравнениях (1), (2) аппрокси-мационной составляющей может быть вызвано:
- неточностями в регистрации значений эндогенной и экзогенных переменных;
- неучетом каких-либо существенных факторов;
- влиянием помех;
- неточным (неудачным) выбором формы связи между переменными.
Уточним, что данная работа методически основана на материале монографии [1].
Вопросам оценивания неизвестных параметров регрессионных уравнений посвящена весьма обширная литература. Достаточно упомянуть фундаментальные монографии российских и зарубежных ученых [2-12], а также работы, посвященные некоторым частным вопросам оценивания [13-17].
Отметим одно важное обстоятельство. Если следовать мнению известного российского специалиста в области анализа данных С. А. Айвазяна, существует два подхода к интерпретации в в (2) и, соответственно, два варианта формирования методических основ для оценивания вектора параметров а. В первом из них в трактуется как случайная величина, распределенная по некоторому закону. В соответствии со вторым в — это ошибки модельного описания реального объекта или процесса. Первый подход называется вероятностным, второй — аппроксимационным. Мы в данной работе будем придерживаться второго подхода.
Общим для этих подходов является то, что и в том, и в другом случае обработка данных осуществляется в соответствии с некоторым функционалом качества метода оценивания. Различие состоит в обосновании выбора такого функционала и в интерпретации полученных результатов.
Широкий класс методов оценивания параметров уравнения (2) связан с поиском так называемых Ьу -оценок посредством минимизации функций потерь вида [5]:
4 (а) = Ё 1в к
(3)
Каждая из этих оценок характеризуется реакцией на так называемые выбросы, то есть наблюдения, несогласующиеся со всей выборкой в целом. При этом чем больше значение V , тем сильнее -оценка реагирует на выбросы. В регрессионном анализе методы оценивания, слабо реагирующие на выбросы, или вообще их игнорирующие, называют робастными.
Методом оценивания параметров уравнения (2), соответствующим V = 2 , является всем хорошо известный и наиболее популярный в регрессионном анализе метод наименьших квадратов (МНК), при V = 1 это метод наименьших модулей (МНМ), соответствующий городскому расстоянию, при V — метод антиробастного оценивания (МАО), соответствующий расстоянию Че-бышева. Отметим, что в соответствии с хорошо известным фактом имеет место соотношение
^ = тах в.
к=1,)
(4)
В упомянутых выше источниках описаны способы расчета вектора параметров а в соответствии с каждым из трех методов. При этом использование МНК приводит к аналитическому выражению
а = (ХГХ)-1 Хгу.
Для отыскания вектора а по методу наименьших модулей можно использовать аппарат линейного программирования (ЛП) следующим образом.
Представим вектор ошибок в в виде в = и — и ,
где и — положительная часть в , а и — отрицательная часть. Или, более строго,
К, вк > о,
—в
ик =■
вк < 0,
[0, в пр. случ. " [0, в пр. случ.
Легко видеть, что имеют место равенства
|в*| = Щ , Щ ик = 0, к = 1, п.
Поскольку среди компонент вектора а могут быть отрицательные, по аналогии с в предста-
вим его в виде
а = а1 —а2,
1 2
где а и а — положительные и отрицательные части а соответственно.
Представим уравнение (1) в виде
т _
Уи = Ё(а1—а2к + ик—и"> " =1 п (5)
1=1
Представим далее равенство (5) в матричной форме и несколько его преобразуем:
у = Ха1 — Ха2 + и — и. (6)
По определению все неизвестные переменные неотрицательны:
а1 > 0, а2 > 0, и > 0, и> 0. (7) Целевая функция задачи ЛП имеет вид
Ё(и"+и") ^ т1п
(8)
к=1
V
"=1
Информатика, вычислительная техника и управление
Решение задачи ЛП (6)-(8) позволяет оценить параметры уравнения (2) в соответствии с МНМ. Она имеет 2(m + n) переменных и n ограничений.
В [1] показано, что МАО-оценка также может быть определена с помощью решения задачи ЛП.
Действительно, поскольку в этом случае необходимо минимизировать функцию (4), а номер, на котором реализуется максимум модуля ошибки, заранее неизвестен, введем в рассмотрение новую неизвестную переменную r по правилу
r = maxi гк I.
к=1,и 1
Тогда естественным образом можно выписать систему линейных неравенств:
щ +ut- r < 0, к = 1, n. (9)
Целевая функция в задаче ЛП принимает
вид
r ^ min. (10)
МАО-оценка будет получена посредством решения задачи ЛП (6), (7), (9), (10). Эта задача по сравнению с (6)-(8) содержит дополнительные n ограничений-неравенств и еще одну неизвестную переменную.
МНМ- и МАО-оценки являются своего рода антиподами: первая игнорирует выбросы (в [18] доказано, что в случае, когда матрица X не имеет особенностей, число нулевых ошибок аппроксимации равно m ), вторая к ним тяготеет.
Это обстоятельство наталкивает на мысль оценивания параметров уравнения (2) одновре-
менно по двум критериям — ^ (а) и ^ (а), то есть по векторному критерию J (а) = = ((а), ^ (а)). Это позволило бы максимально увеличить информативность процедуры оценивания, извлечь из выборки (X, у) всю заключающуюся в ней информацию при построении уравнения (2).
Прежде всего заметим, что добавление к ограничениям (6), (7) ограничений (9) не изменит МНМ-оценки, если целевая функция по-прежнему будет иметь вид (8). Таким образом, задачи ЛП для определения МНМ- и МАО-оценок различаются лишь целевой функцией - соответственно (8) и (10).
Итак, задача состоит в минимизации векторного критерия J (а) при ограничениях (6), (7), (9). Она относится к классу задач многомерного линейного программирования (МЛП).
Для удобства последующего изложения будем через 2 ^ Я2(п+т)+1 обозначать множество векторов г = (а1, а2, и, и, г) , удовлетворяющих ограничениям (6), (7), (9).
Из теории принятия решений, занимающейся многокритериальными проблемами, известно, что классического решения задачи минимизации критерия J на симплексе 2, как правило, не существует, тем более когда частные критерии по-лярны. Иными словами, не существует элемента
* V
г е 2 такого, что
Jх(г*) < J1(г), Jж (г*) < J„ (г), У г е 2.
Под решением такой многокритериальной задачи обычно понимают множество Парето Р с 2, характеризующееся тем, что ни одно паре-товское решение не может быть улучшено по какому-либо одному критерию без ухудшения значения другого. Или, более строго,
Р = \г е 2\(^ е 2) гр\ где Р1 — отношение Парето, задаваемое по правилу
(Уг19 г 2 е 2) г! Р г 2 о
[( J 1(г1) < J 1(г2) л (Jж (г1) < J„ (г2)]
л [(35 = 1, ж) (Js (г1) < Js (г2)]
Таким образом, решением задачи оценивания параметров регрессии (2) по двум критериям ^ (а) и ^ (а) одновременно будет множество оценок. Назовем его Ь -множеством по аналогии с LV -оценками [20]. Существует фундаментальная работа американских математиков Л. Ю и М. Зелены [19], где изложен так называемый многокритериальный симплекс метод решения задач МЛП.
Будем в дальнейшем через Р* обозначать множество паретовских вершин многогранника 2, через J(Р) — образ множества Р в критериальном пространстве, а через £(аг,...., а1) — выпуклую оболочку векторов а, . ., а .
Многокритериальный симплекс-метод основан на следующих фундаментальных результатах
[19].
1. Множество Р связно.
2. Если внутренняя точка грани (выпуклой комбинации вершин) 2 является паретовской, недоминируемой, то вся грань паретовская.
3. Если внутренняя точка грани 2 является непаретовской (доминируемой), то вся грань не-паретовская.
4. Так называемая программа отсутствия мажорирования.
Пусть г0 е Z . Сформируем задачу ЛП: ^ тах ,
30 = ^ +<
2 = {(г, й) г е Z, (г) + < (г0),
> О, , = 1, да}.
Имеет место теорема [19]
г0 е Р О 30 = О .
Кроме того, в [19] изложены некоторые простые необходимые условия паретовости вершин 2.
В [19] описаны также два способа формиро-
г>*
вания множества Р .
Первый из них имеет итерационный конструктивный характер.
Второй же предполагает применение приема последовательного свертывания критериев. Рассмотрим его более подробно.
Сформируем линейную свертку критериев 31 и 3 т :
(г) = у3:(г) + (1 -у)3м (г), уе (0,1). (11)
Построим на интервале (0, 1) равномерную в -сеть:
0 <у 1 <у2... <уI <1.
Для каждого узла у, / = 1,1, решим обычную, со скалярной целевой функцией, задачу ЛП: т1П • ( г ).
В [19] доказано, что ее решением является паретовская вершина. При достаточно мелкой сети таким образом формируется все множество Р* . Необходимо иметь в виду одно важное обстоятельство: каждой паретовской вершине в критериальном пространстве в качестве прообраза может соответствовать грань многогранника 2, представляющая собой выпуклую оболочку паретов-ских вершин.
Упорядочим по возрастанию одной из компонент (например, первой) значения элементов
множества
3(Р ) = (•\• 2,...,3ч). Очевидно, что множество Парето в критериальном пространстве 3(Р) является объединением ребер 5, соединяющих соседние паретовские вершины симплекса
3 (2):
3 (Р) = и 5(33,33+1). (12)
3=1
При ч = 5 3(Р) может иметь вид, представленный на рис. 1.
Прообразами ребер 5(33,33+1) являются множества векторов г е 2, удовлетворяющие ограничениям
п
X ("к + ^) = 3 + (1 -ВД+1, (13)
к=1
г = (1 - Я) 3з+', 3 = 1,4-1, (14)
О <Я< 1. (15)
Обозначим через С] множество векторов г е Я2(т+п)+:, удовлетворяющих ограничениям (6), (7), (9), (13)-(15). Тогда множество Р представи-мо в виде
Р = и С3.
(16)
3 =1
В качестве вектора параметров а регресс-сионного уравнения (2) можно принять любой вектор
а = (г1 — гт+1 , г2 — гт+ 2 ,...., гт — г2т )
при г е Р.
Безусловно, с такой формой задания модели, в которой параметры определены неявным образом, работать трудно. Поэтому представляется целесообразным иметь конструктивные приемы, облегчающие эту работу. Рассмотрим некоторые из них.
Рис. 1. Множество 3 (Р)
1. В работе [21] описан способ точечной ха-рактеризации множества Парето, позволяющий оперировать не всем множеством, а неким его «полномочным представителем», который в какой-то степени отражает в себе свойства всего множества. Таким представителем может быть, например, центр тяжести 3 О множества 3(Р) ,
характеризующий его конфигурацию. Он рассматривается как выпуклая комбинация паретовских
Информатика, вычислительная техника и управление
вершин многогранника J(P) с равными коэффициентами:
1 £
J0 = 1 £ J'. (17)
gtl
Очевидно, что J0 не будет являться паре-товской точкой многогранника J(P) . Определим
точку J *, максимально улучшающую J0 по обоим критериям одновременно. Воспользуемся для этого программой отсутствия мажорирования и решим задачу
J(z*) = d, + ^ max,
zeZ
n
Z = {(z, d)| z e Z, £ (Щ +ut) + dx < J°,
к =1
r + d < J0, d > 0, d > 0}.
CO CO ~ 1 ~ CO s
Решение этой задачи z* и будет являться искомой точечной характеризацией множества P. Оно может также трактоваться как компромиссное решение задачи оценивания параметров уравнения (2). Заметим также, что будет справедливо равенство J (z *) = J *.
2. Рассмотрим способ повышения «осязаемости» в восприятии множества P. Это может быть сделано, в частности, посредством построения множества
A = {ae Rm a e аг,а,.]}, (18)
которому гарантированно будут принадлежать вектора а = (а,. ., ат )Т с компонентами
а = z< - z,.
i = 1, m.
(19)
а = a1 - а2
a i = а1 - а2
а j = minla1 - а2
zeC
а/ = max (а1 - а2
zeCj
;(а! -а2 ),
(21)
Тогда a i и а i в представлении (18) отыщутся по формулам
ai = min а/, аi = max а/.
7=1, g-1 j=1,g-1
Имея множество A, легко формировать вектора а для регрессии (2). Но, как правило, имеет место свойство
A \ P,
т. е. A содержит «лишние» параметры, являющиеся компонентами непаретовских векторов ~ е Z .
Для того чтобы выявить такие вектора ~ е Z \ P, необходимо всякий раз реализовывать программу отсутствия мажорирования. Она формируется следующим образом.
Найдем вектор s = y - ^a . Далее легко
выписать вектора u - и = s,
r = max sJ
k=\,n 1
+ U = |s|= (| sl|,...., Is n |),
Вектор г0, фигурирующий в программе отсутствия мажорирования, примет вид
г0 = (а1, а2, и, ~).
В случае, если г0 окажется непаретовским, в качестве компонент вектора параметров а регрессии (2) следует принять разности (19) по отношению к вектору, который мажорирует г0 .
Вместо программы отсутствия мажорирования можно проверить выполнение условия, следующего из (13)-(15):
Z(uk + ~ )-J1
j+1
r - r
j+1
А представляет собой параллелепипед в т -мерном пространстве, в который вписана
проекция Р множества Р на Я т .
Легко видеть, что справедливы равенства
Jj - Jj J1 J1
j+1
Jj - J
J rrs J ,
j+1
= Àe [0;1]
Г) 12 12
Здесь а, а и а, а — соответственно
минимально и максимально возможные значения положительных и отрицательных частей компонент вектора оцениваемых параметров.
Для построения множества А необходимо для каждого параметра а 1 решить 2( g — 1) следующих задач ЛП:
1т(а1 —а2), (20)
для какого-либо ] = 1, g — 1.
3. Рассмотрим проблему прогнозирования значений эндогенной переменной у регрессии (2) с множественной оценкой ее параметров такой, что ~ е Р, или, что то же, J(~) е J(Р).
Пусть заданы значения экзогенных переменных уравнения равны
X = ~, 1 = 1, т.
Поскольку оценка параметров имеет множественный характер, естественно считать, что соответствующее прогнозное значение переменной у также будет принадлежать множеству - отрезку [у, У ]. Ниже приведен способ расчета его гра-
ниц.
j = 1, g - 1.
Решим 2(q -1) задач ЛП:
m
lin V(
=,г/ ¿—i
i=1
y = max Vax ,
^ zeCj i 1 1
i=1
j = 1,4 -1.
Тогда получим
y = min y , y = max y .
_ j-1,9-1 _ j=1,9-1
БИБЛИОГРАФИЧЕСКИМ СПИСОК
1. Носков С.И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. Иркутск : Облинфорпечать, 1996. 320 с.
2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. М. :Финансы и статистика, 1983. 472 с.
3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М. : Финансы и статистика, 1985. 488 с.
4. Айвазян С.А. Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М. : Финансы и статистика, 1989. 607 с.
5. Демиденко Е.З. Линейная и нелинейная регрессии. М. : Финансы и статистика, 1981. 302 с.
6. Пирогов Г.Г., Федоровский Ю.П. Проблемы структурного оценивания в эконометрии. М. : Статистика, 1979. 327с.
7. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. В 2 т. М. :Финансы и статистика, 1981. Т.1. 366 с.
8. Афифи А., Эйзен С. Статистический анализ: подход с использованием ЭВМ. М. : Мир,1983. 486 с.
9. Джонстон Дж. Эконометрические методы. М. : Статистика, 1980. 416 с.
10. Кади Дж. Количественные методы в экономике. М. : Прогресс,1977. 297 с.
11.Поллард Дж. Справочник по вычислительным методам статистики. М. : Финансы и статистика, 1985. 344 с.
12.Себер Дж. Линейный регрессионный анализ. М. : Мир, 1980. 456 с.
13.Носков. С.И. Лоншаков Р.Л. К оцениванию параметров производственной функции с постоянными пропорциями // Успехи современного естествознания. 2008. № 8. С.118-121.
14.Базилевский М.П., Носков С.И. Алгоритм формирования множества регрессионных моделей с помощью преобразования зависимой переменной // Междунар. журн. приклад. и фундаментал. исслед. 2010. № 3. С. 159-160.
15.Базилевский М.П., Носков С.И. Идентификация неизвестных параметров линейно-мультипликативной регрессии // Современные наукоемные технологии. 2012. № 3. С. 14-18.
16.Базилевский М.П., Носков С.И. Алгоритм формирования множества регрессионных моделей с помощью преобразования зависимой переменной // Междунар. журн. приклад. и фундаментал. исслед. 2011. № 3. С. 159-160.
17.Базилевский М.П., Носков С.И. Методические и инструментальные средства построения некоторых типов регрессионных моделей // Системы. Методы. Технологии. 2012. Вып. № 13. С. 81-86.
18.Лакеев А.В. Носков С.И. Метод наименьших модулей для линейной регрессии. Число нулевых ошибок аппроксимации // Современные технологии. Системный анализ. Моделирование. 2012. № 2. С. 48-50.
19.Yu L., Zeleny M. The Set of all Nondoinated Solutions in Linear Cases and Multicriteria Simplex Method// J. of Math. Anal. and Applic. 1975. V. 49. № 2. PP.430-468.
20.Носков С.И. L-множество в многокритериальной задаче оценивания параметров регрессионных уравнений // Информационные технологии и проблемы математического моделирования сложных систем. 2004, № 1. С.64-71.
21.Носков С.И.: Точечная характеризация множества Парето в линейной многокритериальной задаче // Современные технологии. Системный анализ. Моделирование. 2008. № 17. С. 99-102.
