CC BY
131
2. Akers S., Krishnamurthy B. A group theoretic model for symmetric interconnection networks. Proceedings of the International Conference on Parallel Processing, 1986. P. 216-223.
3. Schibell S., Stafford R. Processor interconnection networks and Cayley graphs. Discrete Applied Mathematics. 1992. Vol. 40. P. 337-357.
4. Even S., Goldreich O. The Minimum Length Generator Sequence is NP-Hard. Journal of Algorithms. 1981. Vol. 2. P. 311-313.
5. Kuznetsov A. A., Kuznetsova A. S. [Relation between growth functions in symmetric groups and tasks of combinatorial optimization]. Vestnik SibGAU, 2012, no. 6 (46), p. 93-97.
© Кузнецов А. А., Кузнецова А. С., 2014
УДК 519.7
НЕПАРАМЕТРИЧЕСКАЯ ОЦЕНКА КРИВОЙ РЕГРЕССИИ В УСЛОВИЯХ БОЛЬШИХ ВЫБОРОК*
А. В. Лапко1, 2, В. А. Лапко1, 2, Д. В. Борисов1
1 Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected] 2Институт вычислительного моделирования СО РАН Российская Федерация, 660036, г. Красноярск, Академгородок, 50, стр. 44. Е-mail: [email protected]
Предлагается методика построения непараметрической регрессии в условиях обучающих выборок большого объема. Синтез модели основывается на декомпозиции исходных статистических данных и анализе вероятностных характеристик получаемых множеств случайных величин. Исследуются асимптотические свойства непараметрической регрессии и рассматриваются результаты вычислительного эксперимента. Устанавливается зависимость свойств непараметрической регрессии от количества интервалов дискретизации значений случайной величины и объёма исходных данных. Проводится сравнение аппроксимационных свойств предлагаемой модели и традиционной непараметрической регрессии. Результаты исследований имеют важное значение при решении задач доверительного оценивания плотности вероятности и кривой регрессии.
Ключевые слова: непараметрическая регрессия, плотность вероятности, регрессионная оценка, аппрокси-мационные свойства, методы дискретизации.
NONPARAMETRIC ESTIMATION OF REGRESSION CURVES IN THE CONDITIONS OF LARGE SAMPLES*
A. V. Lapko1, 2, V. A. Lapko1, 2, D. V. Borisov1
1Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation Е-mail: [email protected] 2Institute of Computational Modeling, Siberian Branch of RAS 50, Akademgorodok, Krasnoyarsk, 660036, Russian Federation Е-mail: [email protected]
The technique of construction of a nonparametric regression in the conditions of training samples of large volume is offered. Model synthesis is based on decomposition of initial statistical data and the analysis of probabilistic characteristics of received random variables sets. Asymptotic properties of a nonparametric regression are investigated and results of computing experiment are considered. Association of nonparametric regression properties on an amount of sampling intervals of values of an random variable and volume of input datas is established. Comparison of approximating properties of offered model and a traditional nonparametric regression is spent. The results of researches are important to the solution of problems of a confidential estimation of a probability density and a regression curves.
Keywords: nonparametric regression, probability density, regression estimations, approximating properties, sampling methods.
* Работа выполнена в рамках базовой части государственного задания Минобрнауки РФ (СибГАУ № Б121/14).
Вычислительная эффективность непараметрических алгоритмов обработки информации во многом определяется объемом статистических данных и снижается по мере его увеличения, что затрудняет построение систем принятия решений в условиях больших выборок [1; 2].
В подобной ситуации используются принципы декомпозиции исходных статистических данных по их объему и технологии параллельных вычислений. К этому направлению относится смесь непараметрических оценок плотностей вероятности для одномерных и многомерных случайных величин [3-7]. При этом сокращение времени вычислений сопоставимо с количеством составляющих смеси.
Полученные результаты обобщены при оценивании решающей функции в задаче распознавания образов для условий больших выборок. Разработаны двухуровневые непараметрические системы классификации [8; 9]. Установлены асимптотические свойства непараметрических оценок их уравнений разделяющих поверхностей для одномерного и многомерного случаев [10; 11]. Данный подход при восстановлении стохастических зависимостей предполагает разбиение обучающей выборки по её объёму. На этой основе осуществляется синтез семейства частных непараметрических регрессий с последующей их интеграцией в обобщённой модели [12; 13].
Перспективное направление «обхода» проблем больших выборок связано с использованием регрессионной оценки плотности вероятности. Её синтез основан на декомпозиции исходных статистических данных и последующем анализе количественных характеристик получаемого множества случайных величин [14-17].
Цель настоящего исследования состоит в разработке методики синтеза и анализа непараметрических моделей стохастических зависимостей в условиях больших выборок, которая основана на использовании регрессионной оценки плотности вероятности.
Синтез регрессионной оценки плотности вероятности
Пусть имеется выборка V = (, / = 1, п) из п независимых значений одномерной случайной величины х с неизвестной плотностью вероятности р(х).
Разобьем область определения р(х) на N непересе-кающихся интервалов длиной 2р и сформируем множества случайных величин Х], у = 1, N . В качестве характеристик X1 примем частоту Р3 попадания
случайной величины х в у-й интервал и его центр 21. На основе полученной информации определим эле-
данных V = (х1, і = 1
(х1, і = 1, п). Поэтому
центры интервалов
менты
выборки ¥1=(, У = ( / (2Р), і = 1, N),
где 71
7, і = 1, N являются случайными величинами и имеют равномерный закон распределения р1 (г) = (2pN) '. Объем N полученной выборки V1 значительно меньше объема п исходных статистических данных V. Выборка позволяет оценивание
плотности вероятности р(х) свести к задаче восстановления стохастической зависимости.
В качестве приближения по эмпирическим данным V искомой плотности вероятности р(х) примем статистику [14]
N - . ( х - 7і 1 р (х) = с' XР]Ф ------- , (1)
1=1 V с ) которая является непараметрической оценкой условного математического ожидания
2PN| ур (х, у)Иу . (2)
Здесь и далее бесконечные пределы интегрирования опускаются.
В регрессионной оценке плотности вероятности (1) ядерные функции Ф(и) удовлетворяют условиям Н:
Ф(и ) = Ф(-и ), 0 <Ф(и) <да,
|ф(и)Ии = 1, | и2Ф(и)Ии = 1.
Коэффициенты размытости с = с(К) ядерных функций характеризуют область их определения.
При синтезе р( х) в выражение (2) подставляется непараметрическая оценка
Р(х, У) =-----------ХФ
і
х - 7-1
псс
1 1=1
Ф
і
У - У
(3)
совместной плотности вероятности р(х, у). Интегрируя выражение (2) при
У - У] 1И і і Р1 - Иу = yJ и yJ =-----------
2 р
центры введенных интервалов и соответствующих им значений оценок у] плотности вероятности. Границы области А изменения случайной величины х априори неизвестны и определяются минимальным и максимальным значениями исходных статистических
получим регрессионную оценку плотности вероятности (1).
В многомерном случае х = = 1 ,к) стати-
стика (1) имеет вид
1 ^ _ к (х _ _} \
Р (х)= -1Р Пф . (4)
С 1=1 v=1 ^ 6 )
Регрессионные оценки плотности вероятности (1), (4) обладают свойствами асимптотической несмещённости и состоятельности [14]. Из условия минимума асимптотического выражения среднеквадратического отклонения р (х) от р(х) определена процедура оптимального выбора количества интервалов дискретизации [18; 19]
N = ^А п | р2 (х) ёх . (5)
Количество интервалов дискретизации зависит от вида восстанавливаемой плотности вероятности, длины А интервала значений случайной величины и объёма п исходных статистических данных.
Непараметрическая оценка кривой регрессии
Пусть V=(х, У, 1 =1, п) статистическая выборка независимых наблюдений одномерных случайных величин (х, у), распределенных с неизвестной плотностью вероятности р(х, у) и р(х)>0 V хеО(х). Априори вид однозначной стохастической зависимости у = Е(х) не задан.
В качестве её модели будем использовать условное математическое ожидание
у = ф(х) = “[у р(х, у)ИУ . р (х )•'
(6)
Решающая функция (6) является оптимальной в смысле минимума квадратического критерия [20].
При оценивании р(х, у) используем технологию синтеза регрессионной оценки плотности вероятности типа (1). Для упрощения преобразований будем считать, что интервалы значений (х, у) одинаковы.
Тогда
р (х, У) = с 2 X Р Ф
1=1
х - х-1
і 1 (, Ф
У 2_У_
с
(7)
У
р ( х, У )
= 2 N р р (х, у)
.х У р (х)
непараметрическую оценку (6) представим в виде
У = ф(х ) =
X у р1 ф
1=1
( Л х - х
(8)
Исследуем свойство асимптотической несмещённости статистики (8). Пусть функции ф(х), р(х, у) ограничены и непрерывны со всеми своими производными до 2-го порядка включительно. Ядерные функции Ф(и) удовлетворяют условиям Н.
Определим частоту появления случайных величин в виде
(
Л
(
У - У
Л
где
И (и ) =
1 V | и |< 1,
плотностью вероятности р(/ь /2). Тогда
72 IИ 72 І2
в
в
р (ъ Ґ2 )р (7Ъ 72 )ИЧ ••• ^2 =
где М - знак математического ожидания.
Осуществим замену переменных (21—/1)/р = и1, (22-^2)/Р = и2. С учетом р(21, 22) = (2pN)2 получим М ((х ))=••• ^ч )ф(х _рм; ~^ х й (и2 ) И (и1) р (/1, t2) ёи1 ... ё/2 =
=^ггг^ фГх-ви2-2
2с •' V с
х И (и2 ) р (/1, ґ2 ) Ии2 Иґ1 Л2 .
(9)
где N2 - объем массива данных (х], у1, Р1, у = 1, N2),
формируемых на основе исходной статистической выборки V = (х1, уг, 1 = 1, п ) .
Значение Р3 определяет частоту встречаемости наблюдений из V в элементе (х1 ± р, у1 ± Р) равномерной сетки в пространстве (х, у).
Тогда с учетом
Обозначим ф(^) = M(t1/t2). Проведём замену (x-Pu2-t2)/c = и. На этой основе преобразуем (9) к виду
М (ф (х)) = Nр Ц ф(х _ Ри2 _ си) х
х Ф(и) И(и2) р(х _ Ри2 _ си) ёи ёи2 .
Разложим функции ф(х-ри2-си), р(х-Ри2-си) в ряд Тейлора в точке х. Тогда при достаточно больших п приходим к утверждению
М (ф( х))~ ф( х) -р(х)- + р1( х)
2
Л
в 2 — + с2 3 у
(ф(X) р<2->(X) +ф<1)(X) р<1)(х) +ф<2)(х) р(х)
Л
2 Л( х) А( х)
+ ф(2)(х) р(2)(х) в2
в2 + 0(с4, в4, с2в2). (10)
Статистика (8) обладает свойством асимптотической несмещенности по отношению к оптимальному решающему правилу (6), если закон распределения исходной выборки наблюдений х равномерный, т. е. р(х) = р1(х). Это возможно при проведении активного эксперимента при исследовании зависимости у = -Р(х).
Для устранения смещения необходимо умножить статистику (8) на отношение р1 (х) / р(х). В результате получим
N
X у1 а (х)
N
с
V у
. (11)
[0 V | и |> 1.
Наблюдения из выборки (х1, у1), 1 = 1, п имеют один и тот же закон распределения р(71, 72). Элементы массива данных (хс1, у1) і = 1, N2
В многомерном случае при х = (х1, ..., хк) непараметрическая регрессия имеет вид
N
к+1
характеризуются
_ X у1 а (х)
ф(х -------------------, а (х) = Р1 Пф
у=1
1=1
2
х
г=1
Анализ результатов вычислительных экспериментов
Исследовались свойства непараметрических моделей типа (8), (10) и традиционной непараметрической регрессии [20] методом вычислительного эксперимента. Исходные данные (х1, у , 1 = 1, п) формировались в соответствии с примером работы [21]
у = Г(х) = 1-х+ехр(-200(х-0,5)2). (12)
Значения у1 вычислялись по формуле
у1 = Ях1)+2(0,5-е1) Г(х) г, 1 = Г"й.
Случайная величина ее[0; 1] имеет равномерный закон распределения, а г - уровень помех.
Оценка эффективности изучаемых моделей определялась критерием
Г ( х] )_ф( х])
1
т
1=1
Г
(х )
где т - объём контрольной выборки.
При построении непараметрических моделей в качестве ядерных функций использовалось ядро В. А. Епанечникова [22].
Ф(и ) =
3и
475 2^75 0
V |и| <75
V
|>75.
Вычислительные эксперименты при фиксированных условиях исследования повторяются 20 раз. По полученным результатам вычислялись ошибки аппроксимации Vt, t = 1,20 и среднее V их значение.
Установлено, что объём исходной выборки п может быть сокращён на порядок и выше. На такую же величину повышается вычислительная эффективность непараметрической регрессии. Обнаружена линейная зависимость между значениями уровня помех г и количеством N интервалов дискретизации.
Зависимость средней относительной ошибки аппроксимации V от количества интервалов дискретизации N при п = 10000, г = 0,05: кривая 1 соответствует модели ф(х) (11); прямые 2 и 3
характеризуют традиционную непараметрическую регрессию при объёме обучающей выборки п = 500 и п = 200
Точность аппроксимации непараметрической регрессии ф( х) (11) выше в два и более раза, чем со
смещением (8). Традиционная непараметрическая регрессия менее устойчива к уровню помех.
С ростом количества N интервалов дискретизации аппроксимационные свойства статистики (11) улучшаются, что согласуется с результатами аналитических исследований (см. рисунок). Данный факт особенно проявляется при высоком уровне помех.
Непараметрическая модель стохастической зависимости (11) является эффективным средством обработки данных большого объема. Ее синтез осуществляется путем декомпозиции исходной статистической информации и анализа количественных характеристик, получаемых множеств случайных величин. На этой основе осуществляется «сжатие» исходных данных. Предлагаемая статистика обладает свойством асимптотической несмещенности.
По своим аппроксимационным свойствам и устойчивости к помехам она значительно превосходит традиционную непараметрическую регрессию. Особенность структуры разработанной непараметрической модели стохастической зависимости позволяет решить проблему её доверительного оценивания.
Библиографические ссылки
1. Лапко А. В., Лапко В. А. Непараметрические системы обработки неоднородной информации. Новосибирск : Наука, 2007. 174 с.
2. Лапко В. А., Капустин А. Н. Синтез нелинейных непараметрических коллективов решающих правил в задачах распознавания образов // Автометрия. 2006. Т. 42, № 6. С. 26-33.
3. Лапко А. В., Лапко В. А., Егорочкин И. А. Непараметрические оценки смеси плотностей вероятности и их применение в задаче распознавания образов // Системы управления и информационные технологии.
2009. № 1 (35). С. 60-64.
4. Лапко А. В., Лапко В. А. Анализ свойств смеси непараметрических оценок плотности вероятности многомерной случайной величины // Вестник СибГАУ.
2010. № 2 (28). С. 32-35.
5. Лапко А. В., Лапко В. А. Анализ свойств непараметрических оценок смеси плотностей вероятности при различных условиях распределения статистических данных // Информатика и системы управления. 2013. № 1 (35). С. 119-126.
6. Лапко А. В., Лапко В. А. Свойства непараметрической оценки плотности вероятности многомерных случайных величин в условиях больших выборок // Информатика и системы управления. 2012. № 2. С. 121-126.
7. Лапко А. В., Лапко В. А. Синтез структуры смеси непараметрических оценок плотности вероятности многомерной случайной величины // Системы управления и информационные технологии. 2011. Т. 43, № 1. С. 12-15.
8. Лапко А. В., Лапко В. А. Разработка и исследование двухуровневых непараметрических систем классификации // Автометрия. 2010. Т. 46, № 1. С. 70-78.
9. Лапко А. В., Лапко В. А. Коллектив непараметрических решающих функций в двуальтернативной задаче распознавания образов // Системы управления и информационные технологии. 2009. № 3.1 (37). С. 156-160.
10. Лапко А. В., Лапко В. А. Асимптотические свойства многомерной непараметрической оценки уравнения разделяющей поверхности в двуальтернативной задаче распознавания образов // Системы управления и информационные технологии. 2010. № 1 (39). С. 16-19.
11. Лапко А. В., Лапко В. А. Непараметрическая оценка уравнения разделяющей поверхности в условиях больших выборок и её свойства // Системы управления и информационные технологии. 2010. № 1.2 (39). С. 300-304.
12. Лапко А. В., Лапко В. А., Варочкин С. С. Коллектив непараметрических регрессий, основанный на принципе декомпозиции обучающей выборки // Вестник СибГАУ. 2009. № 1 (22). Ч. 2. С. 38-40.
13. Лапко А. В., Лапко В. А. Коллектив многомерных непараметрических регрессий, основанный на декомпозиции обучающей выборки по её объёму // Вестник СибГАУ. 2012. № 3 (43). С. 42-46.
14. Лапко А. В., Лапко В. А. Регрессионная оценка плотности вероятности и ее свойства // Системы управления и информационные технологии. 2012. Т. 49, № 3. С. 152-156.
15. Лапко А. В., Лапко В. А. Непараметрические методики анализа множеств случайных величин // Автометрия. 2003. Т. 39, № 1. С. 54-61.
16. Лапко А. В., Лапко В. А. Дискретизация интервала изменения значений случайной величины на основе результатов оптимизации непараметрической оценки плотности вероятности // Информатика и системы управления. 2013. 4 (38). С. 63-69.
17. Лапко А. В., Лапко В. А. Построение доверительных границ для плотности вероятности на основе ее регрессионной оценки // Метрология. 2013. № 12. С. 3-9.
18. Лапко А. В., Лапко В. А. Оптимальный выбор количества интервалов дискретизации области изменения одномерной случайной величины при оценивании плотности вероятности // Измерительная техника. 2013. № 7. С. 24-27.
19. Lapko A. V., Lapko V. A. Optimal selection of the number of sampling intervals in domain of variation of a one-dimensional random variable in estimation of the probability density // Measurement Techniques. 2013. Vol. 56, no. 7. P. 24-27 (DOI: 10.1007/s11018-013-0279-x).
20. Надарая Э. А. Замечания о непараметрических оценках плотности вероятности и кривой регрессии // Теория вероятности и её применения. 1970. Т. 15, № 1. С. 139-142.
21. Хардле В. Прикладная непараметрическая регрессия. М. : Мир, 1993. 300 с.
22. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятности и ее применения. 1969. Т. 14, вып. 1. С. 156-161.
References
1. Lapko A. V., Lapko V. A. Neparametricheskie sistemy obrabotki neodnorodnoj informacii (Nonparametric heterogeneous information processing system). Novosibirsk, Nauka, 2007. 174 p.
2. Lapko V. A., Kapustin A. N. Avtometrija. 2006, vol. 42, no. 6, p. 26-33.
3. Lapko A. V., Lapko V. A., Egorochkin I. A. Sistemy upravlenija i informacionnye tehnologii. 2009, no. 1 (35), p. 60-64.
4. Lapko A. V., Lapko V. A. Vestnik SibGAU. 2010, no. 2 (28), p. 32-35.
5. Lapko A. V., Lapko V. A. Informatika i sistemy upravlenija. 2013, no. 1 (35), p. 119-126.
6. Lapko A. V., Lapko V. A. Informatika i sistemy upravlenija. 2012, no. 2, p. 121-126.
7. Lapko A. V., Lapko V. A. Sistemy upravlenija i informacionnye tehnologiju. 2011, vol. 43, no. 1, p. 12-15.
8. Lapko A. V., Lapko V. A. Avtometrija. 2010, vol. 46, no. 1, p. 70-78.
9. Lapko A. V., Lapko V. A. Sistemy upravlenija i informacionnye tehnologii. 2009, no. 3.1 (37), p. 156-160.
10. Lapko A. V., Lapko V. A. Sistemy upravlenija i informacionnye tehnologii. 2010, no. 1 (39), p. 16-19.
11. Lapko A. V., Lapko V. A. Sistemy upravlenija i informacionnye tehnologii. 2010, no. 1.2 (39), p. 300-304.
12. Lapko A. V., Lapko V. A., Varochkin S. S. Vestnik SibGAU. 2009, no. 1 (22), рart 2, p. 38-40.
13. Lapko A. V., Lapko V. A. Vestnik SibGAU. 2012, no. 3 (43), p. 42-46.
14. Lapko A. V., Lapko V. A. Sistemy upravlenija i informacionnye tehnologii. 2012, vol. 49, no. 3, p. 152-156.
15. Lapko A. V., Lapko V. A. Avtometrija. 2003, vol. 39, no. 1, p. 54-61.
16. Lapko A. V., Lapko V. A. Informatika i sistemy upravlenija. 2013, no. 4 (38), p. 63-69.
17. Lapko A. V., Lapko V. A. Metrologija. 2013, no. 12, p. 3-9.
18. Lapko A. V., Lapko V. A. Izmeritel'naja tehnika. 2013, no. 7, p. 24-27.
19. Lapko A. V., Lapko V. A. Optimal selection of the number of sampling intervals in domain of variation of a one-dimensional random variable in estimation of the probability density. Measurement Techniques, 2013, vol. 56, no. 7, p. 24 - 27. doi: 10.1007/s11018-013-0279-x.
20. Nadaraja Je. A. Teorija verojatnosti i ejo primenenija. 1970, vol. 15, no. 1, p. 139-142.
21. Hardle V. Prikladnaja neparametricheskaja regressija (Applied nonparametric regression). Moscow, Mir, 1993. 300 p.
22. Epanechnikov V. A. Teorija verojatnosti i ee primenenija. 1969, vol. 14, no. 1, p. 156-161.
© Лапко А. В., Лапко В. А., Борисов Д. В. 2014
