Локальные полиномиальные оценки условных функционалов и их производных по независимым наблюдениям Текст научной статьи по специальности «Математика»

Управление, вычислительная техника и информатика

УДК 519.2

ЛОКАЛЬНЫЕ ПОЛИНОМИАЛЬНЫЕ ОЦЕНКИ УСЛОВНЫХ ФУНКЦИОНАЛОВ И ИХ ПРОИЗВОДНЫХ ПО НЕЗАВИСИМЫМ НАБЛЮДЕНИЯМ

А.В. Китаева

Томский политехнический университет E-mail: [email protected]

Предложены оценки подстановки функций функционалов от условных распределений (условных функционалов) и их производных. В качестве элементов подстановки взяты локальные линейные оценки, построенные по независимым наблюдениям. Рассмотрены их асимптотические свойства: найдены условные смещения и дисперсии. Определен также порядок скорости сходимости в среднеквадратическом четвертых условных моментов отклонений оценок

Ключевые слова:

Функционалы от условного распределения, линейная локальная аппроксимация, условные асимптотические моменты.

1. Введение. Постановка задачи

В условиях недостаточности априорной информации об объекте, что, как правило, и имеет место на практике при моделировании сложных систем, можно воспользоваться непараметрическими методами. В этом случае для всестороннего исследования объекта проводится идентификация в широком смысле [1, 2], т. е., например, определяется степень связи между входными и выходными переменными, что можно сделать с помощью функций чувствительности в регрессионной модели, находится остаточная дисперсия и т. д.

Данная работа посвящена развитию идеи единого подхода к идентификации в широком смысле стохастических систем в условиях априорной неопределенности [3]. В качестве модели берется функция регрессии, минимизирующая среднеквадратическое отклонение истинных выходов объекта и модели. Регрессионный анализ является одним из самых распространенных методов изучения зависимостей, к примеру, практически вся эконометрика основана на исследовании регрессии [4].

В [5] отмечена важная роль условных функционалов в практических приложениях, более того, все примеры, приведенные в статье (функция регрессии, функция чувствительности, условная дисперсия, куртическая и скедастическая кривые), либо прямо являются условными функционалами и их производ-

ными, либо представляют собой функции от них. Поэтому с содержательной точки зрения вместо оценок базовых функционалов а[х)=Щу)Лу,х)йу, г=1,5+1, &+^1 и их производных, введенных в [5], представляется целесообразным сразу же рассматривать оценки условных функционалов

ь (х) = а (х)/ р( х) = ц (х) / а +1 (х) =

= j gi (У) f (УI x)dy, i = 1,5

(1)

и их производных, которые в [5] рассматривались как характеризационные.

Здесь применяются без дополнительных пояснений обозначения, введенные в [5].

Таким образом, взяв за основу условные функционалы, в дальнейшем будем рассматривать функции

J (х) = а({Ь(х)}, {Ь^(х)}, / = 1~), (2)

где Ьу( х) =

dbt (х) dx

Заметим, что отказ от рассмотрения оценок функции регрессии и функций чувствительности, как оценок подстановки в рамках идеологии работ [3,5], позволяет получить более естественные оценки, обладающие лучшими асимптотическими свойствами в среднеквадратическом смысле.

Приведем еще два важных примера применения выражений вида (1) и (2): при gi(y)=I(Y<y), где ДО - функция-индикатор, соответствующий условный функционал представляет собой условную функцию распределения; отношение

| У~‘/(У I х)СУ

минимизирует среднеквадратиче-

| У ~2 / (У1 х)СУ ское относительное отклонение [6].

Будем рассматривать одномерный случай (т=1).

Классические ядерные оценки типа Надарая-Ватсона функционалов (1) (оценки подстановки базовых функционалов, рекуррентный аналог которых использован в [5], формула (7) при к;к=к„) имеют вид

£ я,- (X,) к

Ьп (х) =-

£ к

( х - X} к

а п(х) Рп (х) ’

для оценивания Ь(1)(х) в [5] предлагается брать оценку подстановки производной Ь;(х).

Оценки Ь;н(х) можно рассматривать как частный случай оценок аНн (при а¡1)=...=осi(p)=0), удовлетворяющих условию

(

£

к)

-£аа

V к = 1

(X, - х)к

К

( х - X Л

Ш1П .

—(к)

(а а а ] )

(4)

' я1 (У1)Л

Г’ 3 = } , Л =

V Яа ( Уп ) )

(

Введем обозначения 1 Х1 - х 1 Х2 - х

1 X, - х

(X1 - х)

(X 2 - х)Р

(X, - х)Р

,р Л

Заметим, что если ядро К(.) задано на компакте, что и будем предполагать, то матрица D не вырождена с вероятностью, стремящейся к единице при нкн^ж. Теоретически проблема может быть решена и для ядра, заданного на Я, например, гауссовского, однако с практической точки зрения выбор финитного ядра оправдан [13].

Из (4) следует

а,

= е^Б-ЛтКО,,

а,) = ет(к) Б- ЛтКО],

к = 1, р.

(5)

Рассмотрим случай р=1 (линейная локальная аппроксимация). Тогда из (5) следует

У(2) - 5(1)(X, - х)

1

пк

£ к

к

Я,(У, )-

У (0) - (у (I))2

(6)

,= 1, у, (3) где у

(,)

=— £ к

пк “1

(X,- х) .

Заметим, чтобы оценить Ь(1)(х), ]=1^ следует взять коэффициент при (Х—х), полученный по критерию (4), - аН(1), и, вообще, чтобы оценить производную к-го порядка (к<р)Цк)(х) следует взять а^к!. Таким образом, мы получаем единый естественный подход к оцениванию условных функционалов и их производных любого порядка.

Оценки функции регрессии (^(х)=х) вида (4) впервые были рассмотрены в [7], (до этого они использовались в анализе временных рядов) и изучались в [8-10]. Обсуждение достоинств этих оценок можно найти также, например, в [11, 12].

2. Асимптотические свойства оценок условных функционалов и их производных

Воспользуемся методологией, предложенной в [9], и найдем условные смещение и дисперсию оценок ан (при условии Х1=х1,...,Хн=хн), т. к. при усреднении по переменной X возникают проблемы, связанные с возможностью обращения в нуль знаменателя в (6), которые можно решать различными способами, в частности, при помощи кусочногладкой аппроксимации [14] или, просто добавляя к знаменателю слагаемое н~2 [15].

Введем определение. Пусть (4) и (пн) - последовательности случайных величин, определенных на вероятностном пространстве (0,ДР).

Определение. Будем говорить, что последовательность (4) бесконечно мала по сравнению с по-

ние: 4=о„(п„)), если для V е > 0 Р

( 4 л

>е

V Пп )

^ 0

при н^да; последовательность (4) ограничена по сравнению с последовательностью (пн) по вероятно-

сти (4=0 (г1н)), если Vе > 0 Зу,N: Р

>7

<е

для Vн>N.

В леммах 1-5 будем считать, что весовая функция К(.) - ограниченное ядро-плотность, заданное на компакте, причем все его начальные моменты нечетного порядка (нам будет достаточно моментов первого и третьего порядков) обращаются в нуль. Заметим, что для выполнения последнего условия достаточно взять симметричное ядро, что является вполне естественным для задач ядерного оценивания. Существование всех моментов ядра (как и ин-

е(Щ - вектор размерности (р+1)х1, состоящий из тегралов } К 2(х)Сх и } х2К2(х)с1х, рассматривае-

нулей, кроме к+1-ой компоненты, равной 1,

кпК = сНая

К ^

V V к,

D=ATKA.

мых далее) следует из ограниченности ядра, заданного на компактном носителе.

,=1

,=1

Лемма 1. Пусть функция Ь(х) дважды непрерывно дифференцируема, функция плотности распределения р(х) непрерывно дифференцируема в точке х, р(х)^0, последовательность (кн)—0. Тогда при н—ж

Ьшя, = Е(а п(х)X = х!,...,Xп = хп)-Ь (х) =

1 ж

= 2ь,(х)К I х2К(х)Сх + Ор (кп2). (7)

-ж

Доказательство. Из (6) следует

Е (ап (х)| X1 = хр..., Xп = хп) =

1

пк

£ к

( х - х Л

(х, -х)Ь,(х,)

У(2) - 5(1)

Разложим функцию Ь() в ряд:

Ь,(х,) = Ь,(х) + (х, -х)Ь](х) + 2(х - х)2й/(х) +... Тогда

Ыая, =

= е^Б-1 ЛТК

' Ь, (х)

Ь'Ах) .

V 14 V

((х1 - х)2 л

(хп - х)2

Ь 1(х) + ...

-Ь,( х) = 2 Ь,( х)е(о)ТБ-1 ЛТК

(хп - х)2

+.... (8)

При р=1

-Б = п

( с(0) о« Л

„(1) „(2)

)

-ЛТК

п

((х1 - х)2 л

(хп - х)2

( „(2) Л

5(3)

Для у=0,1,2,3

кп | х1 К(х)Схр(х) + орк) при 1 = 0,2;

„(1) =^

К11 х+'К(х)СхР(х)+ор(кп+1) пРи1= 1,3. (9)

Отсюда, при р(х)^0, следует пБ-1 =

( 1 р'(х)

рм -Ор(1)

+ Ор(1)

р (х)

2( ) 'Ор (1) р (х)

1

к^р(х) | х2К(х)Сх

■ Ор (К2)

(10)

Обозначим

Р,к (х) = ЕЯ (7) Як (У)\Xl = х1,..., X, = х,) --Ь1( х)Ьк(х)

Ф,к = С,аЯРк (х1Х-^к (хп )).

Найдем условные ковариации

еоу(а,п(х), аы(х)|Xl = х^..., Xп = хп), к,1= 1,

Лемма 2. Пусть функция рк(х) непрерывна в точке х, р(х) непрерывно дифференцируема в точке

х, р(х)^0, 11ш(Кп +1/(пкп)) = 0. Тогда при н—ж

п——ж

С0У(а,п (х),акп ( х)\X1 = х1,-> ^ = хп ) =

ж

I К2(х)сжр,к(х)

-+ О„

( 1 Л

V пкп )

пкпр (х)

Доказательство. Из (5) следует

С0У(ащ (х),а*п (х)|X1 = х1,..., X = хп )

= е(0)ТБ-1 ЛТ К Ф ¡кКЛБ~ 1е(0).

Рассмотрим

(11)

(12)

—ЛТ К Ф ,кК4 = п

=йк!т(Л

=р( х)р,к(х) *

К1 I К2(х)Сх + Ор (к-1) I хК2(х)Сх + 0р (кп )

| хК2(х)Сх + 0р(кп) кп | х2К2(х)Сх + 0р (п-1)

(13)

Подставив (10) и (13) в (12), получаем при (кн+1/(нкн))—0 то, что и требовалось доказать.

Рассмотрим свойства оценки а-н1)(х) производной Ь'(х) в линейной локальной аппроксимации.

Лемма 3. Пусть функция Ь(х) имеет непрерывную третью производную, функция плотности распределения р(х) непрерывно дифференцируема в точке х, последовательность ( кн)—0. Тогда

Ь,а1 = Е(<(х)| Xl = х1 >..., X = хп) - Ь(х) =

ж

ь"'(х) Iх"к(х)Сх

-ж

Подставляя полученные результаты в (8), получаем то, что и требовалось доказать.

Обратим внимание на то, что смещение оценки ан„(х) в отличие от Ьн(х) [14] не зависит от Ь'(х), в частности, если функция Ь() линейна (ЬДх)=0), то скорость сходимости смещения увеличивается.

I х2К(х)Сх

Ь" р’ (х)

2 р( х)

I х4К(х)сСх

-ж

ж

I х2К(х)Сх

I х2К(х)Сх

к2 +

+Ор (к„).

(14)

Доказательство. Из (5) следует (р=1, к=1)

Е(а1 (х)|X1 = хр..., Xn = хп) = е(Т)Б-1ЛТЩ , (15)

( Ь. (х1) Л

где В. =

Ь (х )

V .Л п/)

. Разложим Ь/х) в ряд

1

Ь,(х,) = Ь (х) + (х, -х)Ь'(х) + -(х -х) Ь’’(х) +

1

+б(х, - х) Ь,(х) +...

(16)

Подставляя (16) в (15), учитывая (10), получим

= е(1)ТБ-1 ЛТК

(Ь,(х)Л 1

+

2

3 Л

((х1 - х)2 Л

Ь' (х)

V 1 4 -V

(хп - х)2

Ь 1 (х) +

1

+

6

(х1 - х)

Ь 'X х) +...

= е(1)ТБ-1 ЛТК

(хп - х)3, -Ь1( х) = ((х - х)2 Л

Ь1(х)+

1

+

6

(хп - х)2

((х1- х)3 Л

(хп - х)3

=е(1) х

( “Г)+ Ор(1) р(х) р

р'(х)

+ Ор (1)

р'(х) р( х)2

+ Ор (1)

к2р(х) I х2К(х)Сх

+ Ор (К1)

пК, I I х2К(х)Сх

Доказательство аналогично доказательству леммы 2. Найдем

соу(а® (х), аы (х) | Xl = хр..., Xn = х,)

(будем считать выполненными условия леммы 2 и дополнительно 11ш1/(пк2) = 0 ):

п—ж

п С0V(а1n) (х), акп ( х)| X1 = х1,..., X = хп) =

= пе(1)ТБ- ЛТК Ф 1кКЛБ-1е(0) =

Р (х) р( х)2

■ Ор (1)

к^р(х) I х2К(х)Сх х р( х)Р1к(х) х

( -ж ж Л

К11к2(х)Сх+Ор(к;1) ]"хК2(х)Сх +0, (кп)

I хК2 (х)Сх + 0р (кп) кп I х2К2 (х)Сх + 0р (п-1)

( 1

р( х) р'( х)

Ор (1)

+ Ор (1)

К р( х)

р (х)

I хК2(х)Сх I х2К(х)Сх

+ Ор (кп_2)-

( „(2 „(3) Л

----Ь 1 (х) +---Ь1( х) +...

2 6 1

„(3) „(4)

----Ь 1 (х) +---Ь "(х) +...

V 2 1 6 1 у

Принимая во внимание (9), получаем при (кн)—0 то, что и требовалось доказать.

Лемма 4. Пусть функция рк(х) непрерывна в точке х, р(х) непрерывно дифференцируема в

точке х, р(х)^0, 11ш(кп + 1/(пкп3)) = 0. Тогда

п—ж

С°У(«1п)( х); акШ( х)\X1 = х1>-> Xn = хп ) =

1 I х К2(х)Сх рк(х)+ Ор 1-0. (17)

ж р(х) I пк„)

Заметим, что если К(.) - симметричная функция, то

соу(а(п)(x), акп(х)|X1 = xl,..., Xn = хп) = Ор(п

Рассмотрим поведение условных четвертых моментов статистик анп(х)=а^0’(х) и а^х), что надо для исследования свойств оценок подстановки функций (2). Обозначим

Sln = аЦ(х) -Е(О)(х)|X1 = х1,...,Xn = хп), 0(() = = КЛБ-1е(1)е(,;Б-1ЛТК = (^,,,] = Щ),

/ = 0,1, (3 - В])(0] - В1)Т = с =

= (Ск = (Я1(У,) -ЬСУ))(Я/Ук) -Ь1(УкЛ ^ к =1 п). Лемма 5. Пусть

Е((яД) -Ь/х))4|X1 = хр...,Xn = х,) <ж,

р(х) непрерывно дифференцируема в точке х, р(х)^0, 11ш(кп + 1/(пкп'+1)) = 0. Тогда при н—ж

п—ж

Е(Б^\X1 = х1,...,Xn = х,) = 0р (п-\2*+\ Доказательство. Из (5) следует

Е^(,)4|X1 = х1;...,X = х ) =

^1^ 1 15 5 п п '

= Е(е(1)ТБ-ЛТКС<2(СКЛБг\) X1 = хр...,Xn = х ).

Пусть t=0. Учитывая (10), получаем

( (х хЛ (х хЛЛ

K

n2Q <0> =

1

K

V hn у

( хп - х Л

(х1 - х) K

(Xn - х) K

V V П у

V hn у

( Xn - х Л

v hn у у

( 1

, + Op (1) (1)

p’(х) pW p>(х) p' '

£!£.+Op (1) (£Mi+Op (1)

V^ (х) p (х) у

p (х)

K i ^ хЛ

V К у

(х ,л

p (х)

K

( хп - х Л

v hn у

(х1 - х) K

V hn у

(хп - х )K

( хп - х Л

V hn уу

Итак,

ATKE (CQ(0)C|X1 = х1,Xn = хп )KA = 1

п hn

I

p ,y,k ,m=1

pykm

I (лу - х)д

p,y ,k ,m=1

pykm

I (х, - х)арг1<т I (х,- х)(хp - х)аиЫ

Vp,y,k,m=1 py ,k,m=1

х - х Л ( х - х

a^,km = K | -p-----------IK

pykm

XE(Cpm9kmCky |X1 = х1,--- = Xn = хп )-

(18)

Если среди индексов ц у, к, т есть хотя бы один отличный от остальных, то Е(сыдктск)Х1=х1,...,Хн=^н)=0 в силу независимости выборочных значений, и главные члены в матрице (18) дают попарные совпадения индексов, при этом все суммы превращаются в двойные. Выделяя главные части, аналогично (9), получим при н—ж

к, ЛТКЕ (С0 (0CX1 = х1,..., Xn = х, )КЛ =

= 'с + Ор (1) 0р (К,) ^

О (к ) О (к 2) ,

V р 4 п' р ^ п ' )

где с^0. Учитывая (10), получаем

Е^п|X1 = х1,...,X, = х,)4 = Ор (п-2к;2).

Случай = рассматривается аналогично. Доказательство леммы 5 закончено.

Порядок сходимости условных четвертых моментов отклонений, равный

0(п-2 к-2(1+» + к,4),

показывается аналогично доказательству леммы 7 [16].

Интересно отметить, что степень полинома р оказывает такое же влияние на скорость сходимости смещения оценки ан функции регрессии ^(у)=у), как и параметр V в [5], показывающий минимальный порядок момента ядра, отличного от нуля: Маз^О^к^1) для нечетных р и Ыаз=0р(к„р+2) для четных р [11]. Этот результат может быть распространен и на условные функционалы общего вида (1).

n

X

X

СПИСОК ЛИТЕРАТУРЫ

1. Райбман Н.С. Что такое идентификация. - М.: Наука, 1970. -119 с.

2. Эйкхофф П. Основы идентификации систем управления. Оценивание параметров и состояния. - М.: Мир, 1975. - 683 с.

3. Китаева А.В., Кошкин Г.М., Пивен И.Г Непараметрическая идентификация в экономических системах // Обозрение прикладной и промышленной математики. - 2008. - Т. 15. -Вып. 4. - С. 588-612.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985. - 487 с.

5. Китаева А.В., Кошкин ГМ. Полурекуррентные ядерные оценки базовых функционалов по независимым наблюдениям // Известия Томского политехнического университета. - 2008. -Т 312. - № 2. - С. 8-12.

6. Jones M.C., Heungsun Park, Key-Il Shin, Vines S.K., Seok-Oh Je-ong. Relative error prediction via kernel regression smoothers // J. Statist. Planning and Inference. - 2008. - V. 138. - № 10. -P. 2887-2898.

7. Stone C.J. Consistent nonparametric regression // Ann. Statist. -1977. - V. 5. - № 4. - P. 595-645.

8. Cleveland W.S. Robust locally weighted regression and smoothing scatterplots // J. Amer. Statist. Assoc. - 1979. - V. 74. - № 368. -P. 829-836.

9. Fan J. Design-adaptive nonparametric regression // J. Amer. Statist. Assoc. - 1992. - V. 87. - № 420. - P. 998-1004.

10. Ruppert D., Wand M. P. Multivariate Locally Weighted Least Squares Regression // Ann. Statist. - 1994. - V. 22. - № 3. -P. 1346-1370.

11. Fan J., Gasser T, Gijbels I., Brockmann M. Engel J. Local polynomial regression: optimal kernels and asymptotic minimax efficiency // Ann. Inst. Statist. Math. - 1997. - V. 49. - № 1. - P. 79-99.

12. Fan J., Gijbels I. Local Polynomial Modeling and Its Applications. - London: Chapmen and Hall, 1996. - 341 p.

13. Seifert B., Gasser T Finite sample variance of local polynomials: analysis and solutions // J. Amer. Statist. Assoc. - 1996. - V. 91. -№ 433. - P. 267-275.

14. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. - М.: Наука, Физматлит, 1997. - 336 с.

15. Fan J. Local linear regression smoothers and their minimax efficiency // Ann. Statist. - 1993. - V. 21. - № 1. - P. 196-216.

16. Китаева А.В., Кошкин ГМ. Ядерные оценки базовых функционалов по зависимым наблюдениям // Известия Томского политехнического университета. - 2009. - Т. 314. - № 2. -С. 26-31.

Поступила 24.03.2009г.