Полурекуррентные ядерные оценки базовых функционалов по независимым наблюдениям Текст научной статьи по специальности «Математика»

УДК 519.2

ПОЛУРЕКУРРЕНТНЫЕ ЯДЕРНЫЕ ОЦЕНКИ БАЗОВЫХ ФУНКЦИОНАЛОВ ПО НЕЗАВИСИМЫМ НАБЛЮДЕНИЯМ

А.В. Китаева*, Г.М. Кошкин

*Томский политехнический университет Томский государственный университет Отдел проблем информатизации ТНЦ СО РАН, г. Томск E-mail: [email protected]

Рассматриваются оценки подстановки для широкого класса функционалов от многомерных плотностей распределений, содержащего функционалы от условных распределений. В качестве элементов подстановки предлагаются рекуррентные ядерные оценки с векторным параметром размытости (оценки базовых функционалов). Находится главная часть асимптотической сред-неквадратической ошибки оценок базовых функционалов. Показывается, что в асимптотике при оптимальном выборе параметров размытости выбором ядра можно добиться неограниченного сближения скорости сходимости в среднеквадратическом предложенных непараметрических и обычных параметрических оценок

Введение

Для широкого класса статистических задач при синтезе оптимальных процедур и отыскании их характеристик требуется оценивать различные выражения от многомерных распределений, которые можно представить в форме:

3(х) = Н({а,.(х)}, {а,(1 л(х)}, , = 1,7+1, ] = \ш) =

= Н (х,{а( х)}, {а х)}). (1)

Здесь хеК", Я^К^+'^Я1 - заданная функция, а базовые функционалы определяются следующим образом:

(х) = а (х) = | (у) / (х, у) ф, , = 177+1, (2)

а,(1 Л(х) = да(х), , = 17+1, ] = 1т, (3)

дх /

а(ол(х) = а(х) = (а(х),..., а7+1(х)), а}(х) = = Ц(1Л( х),..., а™( х)),

где g1,...,gs - известные измеримые по Борелю скалярные функции, причем gs+1=1, /(х,у) - неизвестная плотность распределения наблюдаемого случайного вектора 1=(Х,Т)еКп+1. Интегрирование в (2) проводится на всей числовой оси, т. е. считается, что ; далее в подобных случаях будет использоваться аналогичная замена. При фиксированном значении х будем называть /(х) характери-зационным функционалом.

Впервые выражения типа (1) без производных рассматривались в работах [1, 2] при изучении условных центральных моментов. Нетрудно видеть, что класс характеризационных функционалов содержит важный класс функционалов от условных распределений

Ь,(0Л( х) = Ь, (х) = а (х)/ р( х) =

= а,(х)/а+1(х) = |& (у)/(у I x)dy, г = I7

где р(х) - плотность распределения вектора X, /(у\х)=/(х,у)/р(х) - условная плотность распределе-

ния. Будем называть для краткости функционалы от условных распределений условными функционалами.

Условные функционалы обычно представляют собой отношения некоторых функций, что позволяет отнести их к классу функционалов с особенностями. При исследовании статистических свойств оценок отношений, например, сходимости в среднеквадратическом, приходится преодолевать дополнительные трудности, связанные с возможной неограниченностью оценок таких функционалов. Эти проблемы можно решать разными способами (см., например, [3-6]).

Ядерные оценки имеют непараметрический характер [7]. М. Розенблатт впервые в 1956 г. ввел класс ядерных оценок плотностей и исследовал их асимптотическую несмещенность и состоятельность [8]; позднее Е. Парзен (1962) доказал их асимптотическую нормальность [9]. Главная особенность непараметрического оценивания состоит в том, что класс распределений не определяется с точностью до конечного числа параметров. Несмотря на «бедность» исходной информации, непараметрические процедуры во многих случаях почти не проигрывают в эффективности параметрическим, когда оба типа процедур строятся по данным, соответствующим известной модели, и существенно выигрывают, если выбранная параметрическая модель неадекватно описывает реальность. Отметим, что в ряде случаев параметрические модели нельзя построить в принципе, либо это требует значительных затрат времени и средств [10]. Следует обратить внимание также и на то, что при решении целого класса задач нелинейной обработки сигналов непараметрические процедуры дают более обозримые результаты, чем параметрические рекуррентные процедуры, связанные с решением нелинейных дифференциальных уравнений в частных производных [11] или разложением плотности распределения в ряды.

Приведем ряд примеров характеризационных функционалов, возникающих при математическом описании различных прикладных задач. Обозначим 0({Ь(х)})=И(Ш}).

Важнейшую роль, безусловно, играет функция регрессии

r (x) = E (Y | X = x) = E (Y | x) =

f J yf(x, y)dy

■■ I yf (y | x)dy = 1-—-

J p(x)

(4)

минимизирующая среднеквадратическое отклонение (СКО) истинных выходов объекта и модели. В этом случае Я(а1,а2)=а1/а2, й(у)=у, g2(y)=1.

В регрессионной модели (4) функция чувствительности по у-му входу имеет вид

dr (x)

n(lj) п n(lj)

(ij) „eiЛ\_ a_ nin2

T (x) = —^; H (п, n2, ni1 j), П21 j)) =

dxj n2

gi(y) = y, g2(y) =1

(5)

и характеризует степень связи между изменениями входных и выходных характеристик объекта.

Погрешность регрессионной модели можно измерять остаточной или условной дисперсией (ске-дастическая кривая [12. С. 462])

Б(7 / х) = | у2 / (у\х)йу - г 2( х);

Ь2) = Ь2 -ЬI g1(y) = у, я2(у) = у2 или условным стандартным отклонением ст(х) = у]Б(7 /х), б(Ь„Ь2) ^Ь2 -Ь2.

Кроме того, остаточная дисперсия вместе с условными центральными моментами третьего и четвертого порядков определяют, соответственно, условный коэффициент асимметрии или клитическую кривую

Ч3

А( x) =

E ((Y - r (x)) | x) , [^(Y | x)]3 2 '

ßft, .2, A3) = Ь - ^ + 2b13

Sri)

i

(x) = - in K'g (Y )K(r

hm

\ С) У

= nr-i( x) -

Jrj )

i( x) -П h-1g (Yn )K(r

k=1 r = 0,1,

' x - X ^

'(n)

(6)

где Z=(X,Y), 1=1,n - (т+1)-мерная выборка, характеризуемая плотностью f(x,y),

K

(0 j )

(u /h(0) = K(u /h(l)) = ПK(u / h)

- m-мерное мультипликативное ядро, масштабированное по каждой компоненте,

Ж (u / h( 0) =

K(1 j '(u / h(0) =

5и..

= K (u1 / hn)-

xK ,l)(ui. / h.) K (u

K (ui-1/ h, (.-1)) x * u / h™),

7 +1 / h, (j+1))

dK(

(1)

(1) ^ '(u,. /hj) K (1)(u,. / h,.) =-IJ-.

du j

чисел (Ank)^0 Vk=1,m,

an')(x)=(ainto,(x),...,a|+i)n(x)), s(y)=(fi(y),...,&+1(j)).

(Ь2 - ь2Г2

и куртическую кривую

в = Е ((7 - г( х))\х)4 [ Б(7\х)]2 ' связанную с условным эксцессом [12. С. 462].

1. Постановка задачи

В качестве рекуррентных ядерных оценок базовых функционалов а(х)=ат)(х) и их производных а(1Л(х) в точке х возьмем объединенную статистику

последовательности j),...

Впервые рекуррентные ядерные оценки плотности были предложены и изучены в [13, 14]. Последовательные процедуры обладают рядом преимуществ: они, как правило, легко реализуются на компьютерах, экономя машинную память, на каждом такте работы алгоритма дают готовый результат, и поступление новых измерений не приводит к громоздким перерасчетам, что позволяет обрабатывать информацию в режиме реального времени.

Оценивание характеризационных функционалов проводится методом подстановки, т. е. путем замены в (1) неизвестных базовых функционалов и их производных оценками (6). Метод подстановки прост, конструктивен и лежит в основе большинства приемов оценивания [15. C. 41]. Свойства таких оценок определяются отдельно свойствами статистик ctfXx) и преобразования Н. Можно ожидать, что если оценки являются «хорошими», то получим также и «хорошую» оценку Jn(x). Если мы знаем свойства оценок аЩ!)(х), то теоремы непрерывности А.А. Боровкова [16. C. 34] позволяют получить и свойства оценки Jn(x).

Например, в качестве полурекуррентных (числитель и знаменатель оцениваются рекуррентно) оценок подстановки условных функционалов b(x)=(b1(x),...,bs(x)) в точке x будем рассматривать

b„ (x) =

= 1П g (Y )K

f x - X Л

/ in h*K

1=1 k=1

f x - X. Л

n„ ( x)

n.

(0 j)

(x)

(7)

Рп (х) </)„ (х)

Заметим, что оценки (7) можно записать также в форме

Ьп (х) = Ьп-,(х) + (я (Уя) - Ьп-,(х)) х

т

х[1 + (п -1)Рп-,(х)ПЬпк (к((х- Хп) / )))-1]-1,

к=1

где ^„_1(х) - рекуррентная ядерная оценка многомерной плотности. Такое представление удобно в задачах прогнозирования, поскольку g(Yn)-bn-1(x) -ошибка прогноза на и-ом шаге.

. =1

2. Асимптотические свойства ядерных рекуррентных оценок базовых функционалов

Будем считать для простоты обозначений, что g(Y): Л'^Л1. Пусть ||/||=тах|/;| - норма вектора а'ЧхНШЩХ:})Лу, М)=Щх)—1(х) — смещение оценки ¡п(х), тр=тр,Т=\и!К(и)йи,7=1,2,....

х хеГ '

Для доказательства асимптотической несмещенности оценок воспользуемся утверждением [17]: если последовательность функций |/П(х)| сходится к функции Дх) в точке х при п^да, то

lim J- X f (x) = f (x).

(8)

Лемма 1 (асимптотическая несмещенность ап(х)). Если функция а(х) непрерывна в точке х и 8ира1+(х)<да; ядро обладает свойствами: |К(и)с?и=1 и] | К( и )\йи< да; последовательность чисел (кпк)^0 Ук=1,т, то

lim b(an (x)) = 0.

(9)

Доказательство. По определению математического ожидания и теореме Фубини

1 — т \Ean (x)| < - ХП

n i=1 k=1

i g (y)K

( \ x -1

v h(i) )

f (t, y )dtdy

i n m

=1X П

1=1 k=1

( -1 л

J K x— J g (y ) f (t, y)dydt

V h(1))

1 n m

< supa'+ (x)-ХПh-

x n 1=1 k=1

JK

с Л

x -1

V h(1) )

dt

< да.

Сделав в повторных интегралах замену переменных (х—)/Нц=ий и обозначив и(1)=(ий,...,иы), и(1)к(,)=(ийкй,...,и1тк1т) получаем

Еап (х) =

1

— 1=1

X J K (U(1)) J g (y) f( x y)dydu(l) =

1 n

-X J a(x-U(l)h(l))K(u(i))du(i). (10)

+2sup a1+ (x) J |K(u)|du.

JjK(u)|du. Справедливость (9), учитывая вышеприведенное утверждение, показана.

Лемма 2 (асимптотическая несмещенность an(1J)(x)). Если функции a(1J)(x) и a(x) непрерывны в точке x, supa1+(x)<<», sup|a(U)(x)|<<»; ядро K(u) удовлетворяет условиям леммы 1 и дополнительно i|K(1)(u)|du<^, jjm K(u)=0; последовательность векторов (й(„))^0, то

lim b(a-j)) = lim Ea—1 j} (x) - a{lj) (x) = 0. (11)

—^да —^да

Доказательство, в сущности, аналогично предыдущему и здесь не приводится.

Обозначим

Tv d(v)a(rj>(x)

ю.

( rj)

(x) =

,(0 j )

v! dxv,

(x) =4i(x).

Пусть последовательности (hw) при и^да удовлетворяют следующему условию

-ХПh-= s Vxк Inh + о\\ л

(12)

где множество /е(1,2,...,т|, к;=0,1,2,... постоянная £ зависит от / и суммы показателей степеней {к}.

Замечание. Равенство (12) выполняется, например, для к7=0(га), 0<а<1 (именно такой вид имеют оптимальные параметры размытости (14)), при этом постоянную £ можно определить согласно формуле Эйлера-Маклорена [18. С. 544].

Лемма 3 (скорость сходимости смещения). Пусть выполняются условия леммы 1 (или 2), и для г=0 (или 1) функции а(й(х) непрерывны на Л вместе со своими частными производными до у-го порядка включительно, причем

5(у) а(г)(х)

sup

x

dxi dxt...dxq

<да, l, t,..., q =1, m.

Ядро К(и) дополнительно удовлетворяет условиям \\и'К(и)^и<да, Т=0, ,7=1,...,V—1, Т^0, К(и)=К(-и), а последовательность (к{п))-10 — соотношению (12). Тогда при п^да

Разобьем пространство Кт для каждого 1=1,п на два множества: Л^б^иуЦи^к^б} и Л^б^и^ЦиокоИ^З}, б>0 — произвольное. Тогда

J (a(x-u(i)h(i)) - a(x))K(u(i))duii)

< sup |a(x -u(l)h(l)) -a(x)| J |K(u)|du + ||u» A i )|<ä

b(a-r 4 x)) - S (v) )(xW—,

= о \\h

)

соответственно для г=0 (или 1).

Доказательство (г=0). Для простоты обозначений без ограничения общности будем считать у=т. В формуле (10) разложим функцию а (х-ик„) по формуле Тейлора в точке х с остаточным членом в форме Лагранжа:

1 п

Еап(х) = -X \ а(х -ы(1 Д ))К(м(/))^м(/} =

К, (З)

Первое слагаемое выбором б можно сделать сколь угодно малым вследствие непрерывности функции а(х) в точке х. Второе слагаемое выбором достаточно большого п также можно сделать сколь угодно малым вследствие сходимости интеграла

1 —

=1X

— ,=1

a( x) +X h,

da(rj)( x) dx,

J uK(u)du -

1 m , , d2a(x)

+TT X h,ih,

2! 11=1

dxi dxt R

J uu,K(u)K(ut )diijdut +... +

i =1

¡=1 jEj

i =1

R

R

1 m 5v-1a( x)

+- X hiA hp-x

(v-1)! i .cp=i sx, ax, ...axp

x J ulut ■■■upK(ul)K(ut)••• K(up )duldut ...dup

Rm-1

1 m dva( x + u( i) h ¡ß) +— X АЙАЙ - hh---x

v ! ll 1l ¡p ¡q - -

l ,t,..., p ,q=1

¡q dx,dxt...dx dxq

x J ulut ■•• upuqK(u,) — K(uq )diu ...duq

Rm

1 n m 1 n

=a (x)+- XXh>v,(x)+- X y .

.=-!■ J

„I J

где

X h,ihtt hphq

dva( x + u.fh.fff)

l ,t.....p ,q =1

-Yh.; u

a p.. 1

l=1 xl

dx,Dx,...dx dx

l t p q

K(u)du, 0 <в< 1.

1

-X h = S (v)K, + o\h

(n )

чим

lim

l^M

П h +|<П W

= 0

n2 cov(a™(x), af)(x)) Xn tf cov| g, ft )K"> ], ft )K(- 1 x- X

Xn h-

J g.OOg, (y)K"" | I K<q" IZ-L I f (t, y)dtdy-

- J g,(^)K<"[ ^h-^ If(t, y)dtdy J gp (y)K»>( I f(t, y)dtdy

Rm+1 ^ h(l) J Rm+1 ^ "(') J

=X 13 * [ h H lit И ^1 d'--'•¡" >K"( f h-- ° И v)d =

= XnhiKKq J a,p(x-umhm)K'M(um)K<q'>(«(,))d«(,) -

i=l S= [,m

-П hs J a,(x - "c h ))K"'>("(, Л,) J aP (x - u(, Л ))K'"(u(l ))du(l)

s=1 Rm Rm

= X m-h/hr/a,, (x)L<r'q)(1)L<r q)(1) (L(0'0) (1) )m-1 + £ Y,

Применив теорему Лебега о мажорируемой сходимости, видим, что последовательность у;=о(||А(;)||у). Учитывая (12), а именно

y, =П К^'К

J [a,,p(x - u (, )h(i)) - a,,P (x)]K"'>(" (,)) K q*>(" (, )-

и то, что Т=0 дляу=1,...,у-1, получаем требуемый результат. Для г=1 доказательство проводится аналогично.

Вернемся к векторной функции g(y). Обозна-

-П hs J a,(x - u(l Д))K"'>("«))d"«) J ap (x - u(l )h(l ))K< q*>("(l) )d"(f

По теореме Лебега о мажорируемой сходимости при 7;=о(1).

Согласно условию (12)

¿О^(с) = jK(r)(М)(см, r,q = 0,1, c eЛ1;

P (x) = j a (y) (y) /(y) dy;

a'up (x) = j| Si (У) gp (y) /(x, y) dy, i, p = 1,5 +1;

B(r*) = Lr ,q )(1)( ¿(0,0(1))»-1 ^,p (x).

Лемма 4 (ковариация). Пусть функции ahl(x), a,(x), ap(x) непрерывны на Rm,

sup a,'+p (x) < да, sup a1 (x) < да, sup ap+ (x) <да; j|Kmax(r'q) (m) \fu <да, j K (u )du = 1;

Xn h^'h^h- =

l=1 s=1 m

S (- m - r - q )П hnXjh- + o (| |h.

|-( m+ r+ q)

(n ^ ).

Лемма доказана.

Следствие (дисперсия). Пусть i=p, j=k, r=q; функции au(x) непрерывны на Rm,

sup a1+ (x) < да, sup a]+ (x) <да; j|K(r)(u)du <да, jK(u)du =1;

lim

= 0.

П hs +|ln hlshl2

i=1

Тогда при и^да D'af'x>> = B(r,r) S (-m - 2r «П I +

и выполняется (12). Тогда при и^да ССУ( х), арП >( х)) =

т

= )5(-т - г - 9)(иП)-1 +

I=1

/ II-(т+ г+д)\

+о(п \\\»)|| )-

Доказательство. По определению ковариации, основываясь на независимости выборки (Х1, ^¡),...,(Х„, Г„), находим

-1 II l|- (m+ 2 r)

+o(n" h(nj

(13)

Из полученн^1х результатов видно, что выбором последовательности векторов (h{n)) можно повысить скорость сходимости СКО оценок 0?(x) к нулю. В этом случае (h{n)), вообще говоря, будут зависеть от t=\,s+\, j=1,m ?=0,1. Обозначим СКО оценок базовых функционалов и их производных wXa?(x))=Aa?(x))+bXa?(x)).

Теорема (СКО). Если выполнены условия леммы 3 и следствия, то для оптимальных по скорости сходимости последовательности (h($°) и СКО

l=1 s=1

R

s=1

R

¡=1

s=1

u2 (x)|

^ | = u 2(arn ) 0 (X))

справедливы соотношения

( 1 Л

Ш?) 1 = о

К")

m+2(v + r )

\

( 2v Л

u 2(а"л 0 (x)) = о n m+2(v+r) . V

Доказательство. Рассмотрим u2{a(nj) (x)) = B?/)S(-m - 2r) (n]]hnl"

X S )(x)K,

^11 ||-(m+ 2r) II ||2v +0(n - h( n) + h(n J )•

Дифференцируя главную часть СКО по ^ и приравнивая полученные выражения к нулю, получаем первую формулу (14); учитывая полученный результат в (15), получаем вторую формулу (14).

Из теоремы следует, что при среднеквадра-тическое отклонение для оптимальных по скорости сходимости оценок ведет себя так же, как для параметрических оценок. Таким образом, выбором ядра

(14) можно улучшать скорость сходимости в среднеква-дратическом оценок (6) за счет повышения скорости сходимости к нулю смещения. Впервые эту проблему для ядерных оценок плотностей поставил и решил М. Бартлетт [19]. Заметим, что при v>2 ядра будут знакопеременными, т. е. не обладающими характеристическими свойствами плотности (неотрицательность и нормировка на 1).

Асимптотические свойства полурекуррентных ядерных оценок подстановки функционалов (1)

(15) будут рассмотрены далее.

СПИСОК ЛИТЕРАТУРЫ

1. Конаков В.Д. Непараметрическое оценивание условных и частных моментов // Теория вероятностей и ее применения. -1973. - Т. 18. - Вып. 2. - С. 440-442.

2. Konakov V.D. Asymptotic properties of some functions of nonpara-metric estimates of a density function // J. Multiv. Anal. - 1973. -V. 3. - № 4. - P. 454-468.

3. Алексеев В.Г. О непараметрических оценках кривых и поверхностей регрессии // Автоматика и телемеханика. - 1988. - № 7. - С. 81-87.

4. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. - 1964. - Т. 19. - Вып. 1. - С. 147-149.

5. Bosq D., Cheze-Payaud N. Optimal Asymptotic Quadratic Error of Nonparametric Regression Function Estimates for a Continuous-Time Process from Sampled-Data // Statistics. - 1999. - V. 32. -P. 229-247.

6. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. - М.: Наука, Физматлит, 1997. - 336 с.

7. Wand M.P., Jones M.C. Kernel Smoothing. - London: Chapman & Hall, 1995. - 210 p.

8. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. - 1956. - V. 27. - № 3. -P. 832-837.

9. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. - 1962. - V. 33. - № 3. - P. 1065-1076.

10. Jianqing Fan, Qiwei Yao. Nonlinear Time Series: Nonparametric and Parametric Methods. - New York: Springer-Verlag, 2003. - 577 p.

11. Пугачев B.C. Теория вероятностей и математическая статистика. - М.: Наука, 1979. - 496 с.

12. Кендалл М., Стьюарт Дж. Статистические методы и связи. -М.: Наука, 1973. - 900 с.

13. Wolverton C.T., Wagner T.J. Asymptotically optimal discriminant functions for pattern classification // IEEE Trans. - 1969. -V. IT-15. - № 2. - P. 258-266.

14. Banon G. Sur un estimateur non parametrique de la densite de probabilite // Rev. Statist. appl. - 1976. - V. 24. - № 4. - P. 61-73.

15. Боровков А.А. Математическая статистика. - Новосибирск: Наука, 1997. - 772 с.

16. Симахин В.А. Непараметрическая статистика. Ч. 1. Теория оценок. - Курган: Изд-во Курганского гос. ун-та, 2004. - 216 с.

17. Ahmad J.A., Lin P.E. Nonparametric sequential estimation of a multiple regression function // Bull. Math. Statist. - 1976. - V. 17. - № 1-2. - P. 63-75.

18. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т. 2. - М.: Наука, 1966. - 800 с.

19. Bartlett M.S. Statistical Estimation of Density Function // Indian. J. Statist. - 1963. - V. A25. - № 3. - P. 245-254.

Поступила 17.12.2007г.