CC BY
6_ДОКЛАДЫ АН ВШ РФ_
2014_октябрь-декабрь_№ 4 (25)
ТЕХНИЧЕСКИЕ НАУКИ
УДК 519.242.5
АДАПТИВНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ ПРИ НЕОДНОРОДНОСТИ СЛУЧАЙНЫХ ОШИБОК
В.С. Тимофеев, Е.А. Хайленко
Новосибирский государственный технический университет
Рассмотрена задача оценивания параметров регрессионных моделей. Предложен алгоритм адаптивного оценивания с использованием полупараметрического подхода к оцениванию функции плотности распределения случайных ошибок с учетом неоднородности распределения ошибок наблюдений на области определения входных факторов. Проведено сравнение точности оценивания параметров регрессионных зависимостей данного метода с результатами, полученными, разработанными авторами ранее, адаптивными методами на основе универсального лямбда-распределения и полупараметрической оценки функции плотности распределения ошибок.
Ключевые слова: регрессионная зависимость, адаптивное оценивание, полупараметрическая оценка, обобщенное лямбда-распределение, метод максимального правдоподобия.
Б01: 10.17212/1727-2769-2014-4-115-123
Введение
На практике исследователям часто приходится сталкиваться с задачей нахождения взаимосвязи между входными факторами, описывающими условия функционирования, и выходными факторами, характеризующими результат этого функционирования. Для решения такой задачи используют методы регрессионного анализа.
Классическим методом нахождения неизвестных параметров регрессионных зависимостей является метод максимального правдоподобия (ММП) [1], однако для его корректного применения необходима априорная информация о виде распределения ошибок наблюдений, которой, как правило, у исследователя нет. Поэтому ранее в работах [2-4] авторами были предложены методы адаптивного оценивания параметров регрессионных зависимостей с использованием универсальных распределений, которые позволяют получать ММП-оценки при неизвестном распределении ошибок наблюдений.
Следует отметить, что данные методы разработаны для случая, когда ошибки являются одинаково распределенными на всей области определения входных факторов, однако на практике распределение ошибок на отдельных участках может отличаться. Поэтому в данной работе предлагается модифицировать уже существующий адаптивный метод оценивания параметров регрессионных зависимостей с использованием полупараметрического восстановления функции плотности распределения на основе обобщенного лямбда-распределения (вЬ-рас-пределения) на случай неоднородности распределения ошибок наблюдений на области определения входных факторов. В результате появляется возможность более гибко реагировать на изменение условий экспериментов.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ, по государственному заданию № 2014/138, проект № 1689
© 2014 В.С. Тимофеев, Е.А. Хайленко
1. Постановка задачи
Рассмотрим регрессионное уравнение вида
y = х e+s,
(1)
где X =
f1( x11)
fl( xn1)
fm ( x1m )
fm (xnm )
- матрица регрессоров, имеющая полный столб-
цовый ранг, т.е. rg(X) = т , т - количество регрессоров, п - количество испытаний, /1(х),..., /т (х) - известные действительные функции, хц - заданные зна-
т
чения входных факторов в п наблюдениях, у = (У\,...,уп) - вектор отклика,
т
0 = (01,..., 0т) - вектор неизвестных параметров, подлежащих оценива-
т
нию; в = (в^,..., вп) - вектор независимых ошибок наблюдений с унимодальными и, как правило, неизвестными плотностями распределения g(х) . Также имеют место следующие предположения [5]:
E(s) = 0 , E(ssT) = с2/ , с2 <<х>, rg(X) = m .
(2)
Кроме того, предполагается, что на отдельных участках области определения входных факторов наблюдается различное распределение случайных ошибок. На
рис. 1 представлен пример неоднородного распределения ошибок для одномерной области.
На рис. 1 входной фактор х определен на отрезке [щ; 05 ], на участках [щ; а2 ) , [02; °3 ) , [ 03; а4 ) и [ а4; 05 ] наблюдаются различные
распределения случайных ошибок наблюдений, количество участков неоднородности в данном
случае равно 4. В общем случае входных факторов может быть несколько, и область может быть поделена на любое количество участков.
г, , т, .... Обозначим через к количество таких участков,
Рис. 1 - Распределение случайной г -1
ошибки на области определения через П - количество °шиб°к наблюдений,
входных факторов Fig. 1 - Distribution of errors on domain of definition the input data
соответствующих 7 -му участку, / = 1, к .
Задача состоит в том, чтобы по имеющимся данным (значениям отклика и входных факторов) восстановить распределение ошибок наблюдений на каждом участке и оценить вектор неизвестных параметров уравнения регрессии (1).
2. Полупараметрическая оценка функции плотности
Для идентификации распределения случайных ошибок на отдельных участках области определения входных факторов предлагается использовать полупараметрическую оценку функции плотности. Ранее авторами в работах [2, 3] предложена такая оценка неизвестной функции плотности с использованием ОЬ-рас-пределения. В этом случае искомая функция плотности имеет вид
g
( x, А,, а) = (1 -а)ф( x, А, ) + аф( x),
(3)
где ф(х,А) - параметрическая компонента функции плотности, ф(х) - непараметрическая, а - неизвестная величина (0 < а < 1), которая оценивается с использованием метода максимального правдоподобия [6].
В качестве параметрической компоненты предлагается использовать функцию распределения универсального вЬ-распределения, которая определяется с точки зрения квантилей распределения следующим образом [7]:
Аь А2, ^ А4) = А1 +:1 А2
иАз (1 - и )А4
А3 А4
0 < и < 1, (4)
х = Q(u, А,1, А2, А3, А4).
Соответствующая функция плотности имеет вид
Ао
Ф(х, А) = -Г--2-ТТ, 0 < и < 1. (5)
иА3-1 + (1 - и)А4-1
Как известно из [7, 8], вЬ-распределение полностью определяется своими первыми четырьмя моментами, поэтому для вычисления оценок параметров распределения можно использовать метод моментов [1].
В качестве непараметрической компоненты предлагается использовать оценку функции плотности, предложенную Розенблатом-Парзеном [9]:
Ф(х) ^И1?), (б)
где к - ширина ядра (окна сглаживания), К (г) - функция ядра, в качестве которой было взято ядро Гаусса [9],
1 Г 12
К (г) = ,— ехр < — г л/2л I 2
Таким образом, искомая функция плотности распределения ошибок наблюдений g (х, А, а) находится путем подстановки (5) и (6) в (3).
3. Адаптивный метод оценивания параметров регрессии
Используя идею идентификации распределения остатков регрессионных зависимостей, вычисляемых как е = у - X0 , на каждом участке области определения входных факторов на основе полупараметрического способа оценивания функции плотности можно предложить адаптивный метод оценивания параметров регрессионных зависимостей, который учитывает такую неоднородность (рис. 2). Для этого предлагается:
• для каждого , -го участка неоднородности распределения ошибок (г = 1,к) выбрать остатки, соответствующие наблюдениям из данного участка, определить
их количество п, и записать их в вектор е(г) =(е[г),е2р ,...,е^);
• найти полупараметрическую оценку функции плотности распределения
остатков е(г) по формуле (3);
• подставить полученные оценки плотностей в функцию правдоподобия. В данном случае функция правдоподобия имеет вид
к П I (Л „ ч
^е,0) = ППg, (е( ,А,аг), ,=1 ]=1
где функция плотности gi (е(',X,аг ) определяется по соотношению (3), аг - доля непараметрической компоненты в оценке функции плотности для г -го участка. Поскольку ошибки наблюдений являются независимыми, то логарифм функции правдоподобия имеет вид
к п / () - \
1п ((е, 6) ) = ££1П ( (е]}, X, аг)).
г=1 ]=1
Вычисление Цв1 —в1-'!!, i = J + l.
Да
f
Выход
Рис. 2 - Алгоритм адаптивного метода оценивания параметров регрессионных моделей
Fig. 2 - Algorithm of adaptive parameters estimation of regression models
На каждой итерации алгоритма производится идентификация распределения остатков с использованием параметрической и непараметрической оценок функции плотности, вычисляется полупараметрическая оценка плотности, определяются оптимальные значения ai, i = 1, к и 0 . Для поиска оценок 0s и ai, i = 1, к на s-й итерации используется симплексный метод Нелдера-Мида или поиск по деформируемому многограннику [10].
4. Результаты исследований
Проведем исследование точности оценивания параметров регрессионных моделей адаптивными методами с параметрическим, основанном только на GL-распределении и полупараметрическими без учета и с учетом неоднородности распределения на области определения входных факторов способами идентификации распределения случайной компоненты.
В качестве исследуемой использовалась следующая модель:
2
Уг = +^2xi + ®3xi +ег , i = 1,...,п ,
где количество регрессоров m = 3 , количество испытаний п = 500, значения
т
входных факторов xi выбирались из отрезка [0;1], 6ист = (1; 1,5; 2) , случайные ошибки si, i = 1,...,п , моделировались независимыми, причем область определения x была разделена на два участка неоднородности распределения ошибок: xе[0; 0,5) и xе[0,5; 1].
Распределение на участках области определения x будем моделировать в виде смеси двух нормальных распределений с функцией плотности:
F(x) = (1 - ц)N(0; 0,01) + |N(0; 0,5), (7)
где | е [0; 1]. Представление функции распределения ошибок наблюдений в виде (7) позволяет моделировать ошибки с различной степенью засорений. При x е [0; 0,5) - доля выбросов | = 0,1, при x е [0,5; 1] - доля выбросов | = 0 , т. е.
распределение является нормальным и является частным случаем GL-рас-пределения.
В табл. 1 представлены результаты оценивания параметров GL-распределения и доли непараметрической компоненты функции плотности остатков на каждом участке области определения x . По табл. 1 видно, что при появлении в выборке выбросов, на участке x е [0; 0,5), распределение ошибок существенно отклоняется от нормального закона и при идентификации распределения случайной ошибки требуется использование непарамерической компоненты (доля непараметрического распределения а = 0,470). При нормальном распределении ошибок наблюдений, на участке x е[0,5;1], использование непараметрической компоненты практически не требуется (а = 0,012).
Таблица 1 / Table 1
Полупараметрическая оценка параметров плотности распределения остатков Semiparametric density function estimation of residuals destribution
Параметры GL-распределения ^2 Хз Х4 а
x е [0; 0,5) -0,103 6,444 1,201 -0,183 0,470
x е[0,5;1] -0,024 13,101 0,333 0,163 0,012
Теперь проведем исследование качества оценивания параметров регрессионных зависимостей от доли выбросов для всех трех адаптивных методов. В качестве показателя точности нахождения оценок использовалось соотношение
Л
i=1
,ист i
Л2
Проводилось по 100 вычислительных экспериментов, каждый из которых заключался в моделировании выборки исходных данных, а также ошибок наблюдений, и с последующим оцениванием параметров этой модели выбранными методами.
В табл. 2 представлены результаты оценивания. Для удобства обозначим адаптивный метод на основе GL-распределения как метод 1; адаптивный метод на основе полупараметрической оценки функции плотности без учета неоднородности распределения ошибок наблюдений - как метод 2; адаптивный метод на основе полупараметрической оценки функции плотности с учетом неоднородности распределения ошибок наблюдений - как метод 3.
Таблица 2 / Table 2
Точность оценивания параметров регрессии при распределении ошибок, представленных в виде смеси двух нормальных распределений Estimation accuracy of regression model parameters when errors distribution presented as mixture of two normal distributions
Метод Доля выбросов (ц) 6q 01 02 V
1 0,1 0,928 1,759 1,831 4,228E-02
0,2 1,097 1,175 2,236 7,019E-02
2 0,1 0,980 1,555 1,983 1,824E-03
0,2 0,991 1,691 1,780 2,838E-02
3 0,1 1,004 1,489 2,008 8,663E-05
0,2 1,026 1,415 2,087 5,740E-03
По табл. 2 можно сделать следующие выводы. С увеличением доли выбросов в выборке распределение случайной ошибки в большей степени отклоняется от нормального закона и хуже описывается в терминах GL-распределения, таким образом, точность оценивания параметров регрессионных моделей методом 1 ниже по сравнению с методами 2 и 3. Метод 3 показал наиболее точные результаты оценивания, это связано с тем, что непараметрическая компонента в большей степени используется при оценке функции плотности распределения ошибок только на участке, на котором присутствуют выбросы (в данном случае при x е [0; 0,5)).
Рассмотрим случай, когда ошибки имеют различное GL-распределение на отдельных участках (табл. 3). При x е [0; 0,5) - симметричное GL-распределение с параметрами GLD (0; 10; 0,5; 0,5), и при x е [0,5,1] - несимметричное с правой асимметрией распределение GLD (0; 10; 0,5; 0,002).
Таблица 3 / Table 3
Точность оценивания параметров регрессии при GL-распределении ошибок Estimation accuracy of regression model parameters when errors have Generalized lambda-distribution
Метод 00 01 02 V
1 0,843 1,919 1,852 1,082E-01
2 1,072 1,217 2,256 5,719E-02
3 0,988 1,593 1,943 4,833E-03
Как видно из табл. 3, метод 1 показал наименее точные результаты, это связано с тем, что данный метод строит единую оценку плотности распределения ошибок в терминах вЬ-распределения для всей области определения входных факторов.
Однако при наличии неоднородности распределения на отдельных участках итогового распределения может не быть в классе GL-распределения. Метод 2, за счет подключения непараметрической оценки в процедуру идентификации распределения ошибок на всей области, показал точность выше, чем метод 1. Однако метод 3 показал наиболее точные результаты, поскольку при вычислении функции правдоподобия он учитывает распределение на каждом участке области определения входных факторов.
Заключение
В статье рассмотрена задача оценивания параметров регрессионных зависимостей. Предложен и исследован алгоритм адаптивного оценивания неизвестных параметров регрессионных зависимостей, который учитывает неоднородность распределения ошибок наблюдений на области определения входных факторов в процессе вычисления функции правдоподобия. С помощью вычислительных экспериментов подтверждена работоспособность данного алгоритма. Проведено сравнение результатов работы данного метода с результатами, полученными адаптивными методами на основе GL-распределения и полупараметрической оценки функции плотности. Получено, что при появлении в выборке выбросов предложенный алгоритм показал наиболее точные результаты. При различных GL-распределениях ошибок наблюдений на отдельных участках области определения входных факторов наиболее точные результаты также показал разработанный метод.
ЛИТЕРАТУРА
1. Боровков А. А. Математическая статистика. Оценка параметров, проверка гипотез. -М.: Наука, 1984. - 472 с.
2. Денисов В.И., Тимофеев В.С., Хайленко Е.А. Полупараметрическое восстановление функции плотности на основе обобщенного лямбда-распределения в задаче идентификации регрессионных моделей // Сибирский журнал индустриальной математики. -2014. - Т. 17, № 3. - C. 71-77.
3. Тимофеев В.С. Адаптивное восстановление регрессионных зависимостей на основе полупараметрической оценки плотности случайной компоненты // Научный вестник НГТУ. - 2013. - № 4 (53). - С. 24-30.
4. Тимофеев В.С., Хайленко Е.А. Адаптивное оценивание параметров регрессионных моделей с использованием обобщенного лямбда-распределения // Доклады Академии наук высшей школы Российской Федерации. - 2010. - № 2 (15). - С. 25-36.
5. Айвазян С.А., Енюков И. С., Мешалкин Л.Д. Прикладная статистика. - М.: Финансы и статистика, 1985. - 488 с.
6. Olkin I., Spiegelman C.H. A semiparametric approach to density estimation // Journal of the American Statistical Association. - Vol. 82, iss. 399. - P. 858-865.
7. Karian Z.A., Dudewicz E.J. Fitting statistical distributions: the generalized lambda distribution and generalized bootstrap methods. - New York: CRC Press, 2000. - 435 p.
8. Lakhany A., Mausser H. Estimation the parameters of the generalized lambda distribution // ALGO Research Quarterly. - 2000. - Vol. 3, iss. 3. - P. 27-58.
9. Pagan A., Ullah A. Nonparametric econometrics. - New York: Cambridge University Press,
1999. - 424 p.
10. Банди Б. Методы оптимизации. Вводный курс: пер. с англ. - М.: Радио и связь, 1988. -128 с.
ADAPTIVE ESTIMATION OF REGRESSION MODEL PARAMETERS WITH ERROR DESTREBUTION INHOMOGENEITY
Timofeev V.S.1, Khailenko E.A2
1Novosibisk State Technical University, Novosibirsk, Russia 2Novosibisk State Technical University, Novosibirsk, Russia
The problem of estimation of regression model parameters is considered. An adaptive estimation method of regression model parameters using a semi-parametric approach to the estimation of the density function of the distribution of observation errors taking into account their inhomo-geneity on the domain of input factor definition is investigated. The comparison of the accuracy of estimating the regression model parameters using this method with the results obtained by the adaptive methods based on Generalized Lambda-Distribution developed by the authors earlier is made.
Keywords: regression models; adaptive estimation; semi-parametric estimation; Generalized Lambda-Distribution; the maximum likelihood method.
REFERENCES
1. Borovkov A.A. Matematicheskaya statistika. Otsenka parametrov, proverka gipotez [Mathematical Statistics. Parameters estimating, hypothesis testing]. Moscow, Nauka Publ., 1984. 472 p.
2. Denisov V.I., Timofeev V.S., Khailenko E.A. Poluparametricheskoe vosstanovlenie funktsii plotnosti na osnove obobshchennogo lyambda-raspredeleniya v zadache identifikatsii regres-sionnykh modelei [Semiparametric reconstruction of the density function based on a generalized lambda-distribution in the problem of identification of regression models]. Sibirskii zhurnal industrial'noi matematiki - Journal of Applied and Industrial Mathematics. 2014, vol. 17, no. 3, pp. 71-77. (In Russian)
3. Timofeev V.S. Adaptivnoe vosstanovlenie regressionnykh zavisimostei na osnove polupara-metricheskoi otsenki plotnosti sluchainoi komponenty [Adaptive construction of regression models based on semiparametric estimation of disturbance density function]. Nauchnyi vest-nik NGTU - Science Bulletin of Novosibirsk State Technical University, 2013, no. 4 (53), pp. 24-30.
4. Timofeev V.S., Khailenko E.A. Adaptivnoe otsenivanie parametrov regressionnykh modelei s ispol'zovaniem obobshchennogo lyambda-raspredeleniya [Adaptive estimation of regression models parameters using generalized lambda-distribution]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii - Proceedings of the Russian higher school Academy of sciences, 2010, no. 2, pp. 25-36.
5. Aivazyan S.A. Enyukov I.S. Meshalkin L.D. Prikladnaya statistika [Applied Statistics]. Moscow, Finansy i statistika, 1985. 488 p.
6. Olkin I., Spiegelman C.H. A semiparametric approach to density estimation. Journal of the American Statistical Association, vol. 82, iss. 399, pp. 858-865.
7. Karian Z.A., Dudewicz E.J. Fitting statistical distributions: the generalized lambda distribution and generalized bootstrap methods. New York, CRC Press, 2000. 435 p.
8. Lakhany A., Mausser H. Estimation the parameters of the generalized lambda distribution. ALGO Research Quarterly, 2000, vol. 3, iss. 3, pp. 27-58.
9. Pagan A., Ullah A. Nonparametric econometrics. New York, Cambridge University Press,
1999. 424 p.
10. Bunday B.D. Basic optimization methods. Introductory course. London, Edward Arnold Publ., 1984 (Russ. ed.: Bandi B. Metody optimizatsii. Vvodnyi kurs. Moscow, Radio i svyaz', 1988. 128 p.).
СВЕДЕНИЯ ОБ АВТОРАХ
Тимофеев Владимир Семенович - родился в 1972 году, доктор технических наук, доцент, профессор, кафедра программных систем и баз данных, НГТУ. Область научных интересов: разработка и исследование устойчивых методов и алгоритмов анализа многофакторных объектов, в том числе с использованием непараметрической статистики. Опубликовано более 70 научных работ. (Адрес: 630073, Россия, Новосибирск, проспект К. Маркса, 20. Email: v.timofeev@corp.nstu.ru).
Timofeev Vladimir Semenovich (b. 1972) - D. Sc. (Eng.), Associate рго-fessor, рrofessor, Department of Software Systems and Databases, NSTU. His research interests are currently focused on developing and investigating robust methods and algorithms for the analysis of multivariate objects using nonparametric statistics. He is author of more than 70 scientific papers. (Address: 20, K. Marc Prospect, Novosibirsk, 630073, Russia. Email: v.timofeev@corp.nstu.ru).
Хайленко Екатерина Алексеевна - родилась в 1985 году, кандидат технических наук, научный сотрудник, кафедра программных систем и баз данных, НГТУ. Область научных интересов: разработка и исследование алгоритмов устойчивого и адаптивного оценивания параметров регрессионных зависимостей и планирование эксперимента. Опубликовано 17 научных работ. (Адрес: 630073, Россия, Новосибирск, проспект К. Маркса, 20. Email: xajlenko@corp.nstu.ru).
Khailenko Ekaterina Alekseevna (b. 1985) - PhD (Eng.), research associate, Department of Software Systems and Databases, NSTU. Her research interests are currently focused on developing and investigating algorithms of robust and adaptive estimation parameters of regression models and design of experiment. He is author of 17 scientific papers. (Address: 20, K. Marc Prospect, Novosibirsk, 630073, Russia. Email: xajlenko@corp. nstu.ru).
Статья поступила 13 ноября 2014 г.
Received November 13, 2014
To Reference
Timofeev V.S., Khailenko E.A. Adaptivnoe otsenivanie parametrov regressionnykh zavisimostei pri neodnorodnosti sluchainykh oshibok [Adaptive estimation of regression model parameters with error destrebution inhomogeneity]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Fede-ratsii - Proceedings of the Russian higher school Academy of sciences, 2014, no. 4, pp. 115-123.
