Асимптотические свойства непараметрической оценки регрессии в задаче восстановления стохастических зависимостей Текст научной статьи по специальности «Математика»

УДК 519. 243

DOI 10.24411/2409-3203-2019-1938

АСИМПТОТИЧЕСКИЕ СВОЙСТВА НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКИ

РЕГРЕССИИ В ЗАДАЧЕ ВОССТАНОВЛЕНИЯ СТОХАСТИЧЕСКИХ

ЗАВИСИМОСТЕЙ

Юлдашев Турсун Камалдинович

к. ф.-м. н., доцент,

стажёр кафедры математического анализа и дифференциальных уравнений Иркутский государственный университет Россия, Иркутск

Аннотация. Рассматриваются непараметрические оценки регрессии типа Розенблатта-Парзена в задаче восстановления стохастических зависимостей. Изучаются асимптотические свойства непараметрической оценки регрессии. Доказывается асимптотическая несмещенность регрессии. Установлено, что математическое ожидание непараметрической оценки регрессии при увеличении объема экспериментальных данных сходится к искомой функции регрессии, имеют место сходимость в среднеквадратическом и состоятельность оценки регрессии.

Ключевые слова: регрессия, непараметрическая оценка, асимптотические свойства, оценка типа Розенблатта-Парзена, ядерная функция.

ASYMPTOTIC PROPERTIES OF NONPARAMETRIC ESTIMATES OF THE REGRESSION IN A PROBLEM OF RESTORATION OF STOCHASTIC DEPENDENCES

Yuldashev Tursun K.

PhD, Associate professor, Department of Math. Analyses and Diff. Equations,

Irkutsk State University Russia, Irkutsk

Abstract: It is considered in this article nonparametric estimates of regression of Rosenblatt - Parzen type in a problem of restoration of stochastic dependences. It is tested the convergence of nonparametric estimates of the regression with increasing amount of experimental data to the desired regression function. It is studied asymptotic properties of the nonparametric estimates of regression. It is proved the asymptotic unbiasedness regression. It is founded, that the expectation value of nonparametric regression estimate with increasing amount of experimental data converges to the desired function of regression. It is hold convergence in the mean for the estimate of regression and the consistency of regression.

Key words: regression, nonparametric estimate, asymptotic properties, Rosenblatt -Parzen type estimation, kernel function.

1. Введение

Часто изучение технологических и социально экономических систем связано с усложнением процессов принятия решений, что в значительной мере характерно для условий априорной неопределенности в закономерностях функционирования систем и их целевых установках. Использование в данной ситуации традиционных методов

170

моделирования и управления путем введения последовательности допущении не всегда позволяет получать удовлетворительные результаты. Задача аппроксимации стохастических зависимостей в исследовании систем возникает при построении статистических моделей их элементов и оценивании показателей эффективности по экспериментальным данным [1 - 3]. Изучению синтеза и анализа непараметрической оценки плотности вероятности посвящены много работ (см., напр. [4 - 13]).

В условиях отсутствия априорных сведений о виде восстанавливаемой зависимости в качестве ее модели используется непараметрическая регрессия. Непараметрические алгоритмы ориентированы в использование информации, содержащейся в точках обучающей выборки. Важным условием их применения является однозначность восстанавливаемой зависимости.

Здесь важную роль играют методы, основанные на оценке регрессии типа Розенблатта-Парзена [2, 14]. Целью исследования асимптотических свойств является проверка сходимости непараметрической оценки регрессии с увеличением объема экспериментальных данных к оптимальному решающему правилу.

Пусть дана выборка (х1,у\,у2,1 = 1,п ) статистически независимых наблюдений случайной величины (х, у, у2 ), распределенных с неизвестной плотностью р (х, у ). Существует некоторая неизвестная зависимость между X и у = фх (х);

2 2

У2 = Ф2( х) =у 1 =ф1(х)- Необходимо оценить данную зависимость, построив модель у2 =ф2 (х)-

Сначала восстановим зависимость у =ф (х). Построим непараметрическую оценку регрессии у = ф (х), если известно, что оператор связи ф (х) имеет однозначный характер.

За оптимальное решающее правило примем статистику

у 1 =| у 1 р (у 1/х)^у ^ (1)

— да

( . \ Р(х, у 1)

где Р(у 1/х)=---.

р(х)

Для перехода к оцениванию у1 =Ф1(х) по выборке независимых наблюдений из генеральной совокупности используется оценка типа Розенблатта-Парзена

У1 =

n

L J®

i = 1 — да

x - xi ^

V c J

-1

n

Ly 1 ®

i =1

x-xi

V c J

(2)

где с — коэффициент размытости ядерной функции Ф (и) .

Ядерная функция ф (и) является положительным и симметричным, а также

да

J® (u)du =Jи 2 Ф (u)du = 1; (3)

— да

да

b v '2 J и 2 ^®v(u)du < да , J и 2 1 ®v(u)du = 0, 1 N, v> 1. (4)

— да — да

Относительно коэффициента размытости ядерной функции предполагается справедливость следующих предельных соотношений:

lim c(n) = 0, lim n• c(n) = да. (5)

В данной работе с помощью статистики

да

да

да

У 2 = У12 =

n

Ъ i ф

i =1 —о

fx — xi^

V C У

—1

Ъ У1Ф

x—xi

i =1

изучаются асимптотические свойства непараметрической оценки регрессии. Проверяется сходимость непараметрической оценки ф2(х) с увеличением объема экспериментальных

данных к искомой функции регрессии ф 2(х).

2. Асимптотическая несмещенность непараметрической оценки регрессии ф2 ( х) = ф 2( х )

Теорема 1. Пусть выполняются следующие условия:

1). Функции 9i(x), ф2(x), p(x,y), p(x) в области своего определения

ограничены и непрерывны со всеми своими производными до второго порядка включительно;

2). Ядерная функция ф (и) является положительной, симметричной и выполняются условия (3) и (4);

3). Справедлива формула (5).

Тогда справедлива формула асимптотической несмещенности регрессии

lim M (ф2 (x) — ф2 (x))= 0.

п^-да

Доказательство. Так как

lim M (ф 2 (x) — ф 2 (x)) = lim M (ф 2 (x) — ф 2 (x)) =

п^оо п^оо

= lim M (ф !2(x))— lim M (ф 2(x))= lim M (ф 2(x))—ф 2(x),

п^оо п^оо п^оо

то для доказательства формулы (6) достаточно показать, что

lim M (ф 2 (x)) = ф 2 (x).

Сначала покажем, что справедлива асимптотическая оценка

1,0 4 p (2) (x)

(6)

(7)

1 г 7 x — t - j i У1 ф| —I P

— да — да

(t,У1)dtdy1 ~p(x) ф1 (x)b1,0 — <

ф (2)( x) b1,4 +

1,4

4

+ с 2 p (x)

^^ ф1(x) + p (1)(x) ф (1)(x) + 1 ф (2)(x)

(8)

где b1,0 = |Ф(и)du , b1,4 = jи4Ф(и)du.

— да —да

Действительно, имеем

1 j j У1 Ф| —- | p(t,У1)dtdyl =1 о о У1 ф( —- | p(У1 /1) p(t)dtdyl =

| о ^ о

1 j j У1 p (У1/1 )dУl

— да —да

Л

ф

fx — Л

V с

p (t) dt.

С учетом оптимального решающего правила (1) из последнего равенства получаем 1 11 У ф( — | РУ =1 I Ф1(0ф( — |Р(*)•

Здесь, производя замену переменных

x — t

= и, t = x — си, dt = — с du,

2

с

о

о

— о — о

— о

— о

— о

с

имеем

1 ™ I х—™

- | ф(1)Ф|-Iр(г)йг = |ф(х — си)Ф(и)р(х — си)йи .

Используем формулу разложения функции g(х — си) в ряд Тейлора в точке х :

Е (х — си) = g (х) — cug (1)(х) + ^ g (2)(х) +... + О (с 4) ,

где е (к)(х) — производная к — го порядка функции е (х) . Тогда имеем

1 | ф1(1)Ф| — |р(1)йг =

2 2

с и (2)/„л , , ^>/„4

= { Ф(и)

Ф (х) — си ф (1) (х) + ^^ ф(2) (х) + ... + О (с 4)

2 2

с и ,(2)Г,А , , ^>/„4,

2!

,2.2

р (х) — сир(1) (х) + р(2) (х) + ... + О (с 4)

р (х) ф1 (х) Ь1,0 + с 2р (х)

р (2)( х)

2 Ф1(х) + р (1)(х)ф (1)(х) +1 ф (2)(х)

йи 1

. (2) /

— с4ф((2)(х)Ь1,4.

Справедливость асимптотической формулы (8) доказана. Аналогично можно показать, что справедлива и следующая асимптотическая оценка

1

ф 2 (1) Ф 2 ( — | р (1) йг ~ с [2 р(1) (х) ф1 (х) ф (1) (х) + р(2) (х) ф 2 (х)]+

ф1(х) ф ((2)(х) + (ф (1)(х))

+ — р(х)ф^(х)Ь 2'° + 2ср(х) с

Пусть функция р (х) — известная функция. Тогда оценка (2) перепишется в виде

1

у = ф1( х) =

м! у 1Ф

пср ( х) 1=1

^х — х^

V с У

(9)

(10)

Теперь докажем (7). Действительно, с учетом (10) имеем

--М

М (ф 2( х)) = М г

1

1

V

п п

пср ( х) 1=1

X у 1Ф

1

х — х

с

2 2 2 / ч 1—11—1

пср (х) 1=1 ]=1

II у 1Ф

V ~ У У

( Л с

х — х

V с У

у/ Ф

х—х

У\

1

2 2 2/ \ 1—1

п с р (х) 1=1

IМ

(у 1 )2

Ф2

Г г\\ х — х

с

+

+ -

1

г Г

2 2 2 / \ ¿—I ¿—I

п с р (х) 1=1 }=1

1 *}

Сначала вычисляем первое слагаемое в (11)

-IIМ

у 1 Ф

х — х

V У У

«Л

V V У

у / Ф

х—х

УУ

1 У\

(11)

V УУ

— да

да

X

— да

X

2

с

— да

2

2

1

2 2 2 / \ п с Р (х) «=1

I м

Л2^2

у 1)ф2

х - х

V " у у

^II И (У 1 ГФ:

'х - х-*1

2 2 2 / \ ' J

п с Р (х) «=1 -I-

да —да да да

V с у

р (х', у1) йх'йу{ =

1 11 / . 2^т I I у2ф2' х—г

пс р (х) -II I ^ I

пЗД -[ЦУ 2 р (У1/г)йу

Р (г, у1) йхйу1 =

Ы х - г ^

Ф

V с у

Р (г) ¿г =

1

пс2Р2(х) -'

|ф 2 (г) Ф21 — IР (г) йг.

Отсюда с учетом (9) получаем

1

2 2 2 п с Р (х)«=1

Ь 2'и +

I м

Л2*ч2

х - х

1 Ф12(хК 2,0

пс Р(х)

У1) ф 2

V " у у

2 с +с3 Р (2)(х)"

п Р (х) п Р 2 (х)

2 ср (1) (х)

+

ф1(х) ф (2)(х) + (ф ((1)(х))2 2, л

п Р г(х)

Теперь вычисляем второе слагаемое в (11)

2, Л ф1(х) ф (1)(х) + ф 2(х). (12)

1

2 2 2 / п с Р (х) «=1 7=1

'* 7

-II м

х - х

( ( Л

у1 ф V V с у

У / ф

х-х

2п р (х)

7^

уу

п -1

1111

с 2пР 2 (х)

1111 У 1ф

гх - х'^

-I-1-1-1

V с у

у 1 ф

п -1

п Р ( х) п -1 1

-III

1 II У1 ф

х - х

х - г

\Р (х ', У1, х-7 , У1 )й х'й у[й х Ыу 1

Р (г, У1) йгйу1

п Р 2(х) Отсюда с учетом (8) имеем

1 п п

-^77 I Iм

п с Р (х)'=1 7=1

2 да

- ' ф 1(г) ф

х - г

Р (г) йг

г г

у 1' ф

V V

х - х

У1 ф

х-х

уу

|ф1( х)+

' * 7

рЩ^ ф,( х)+Р <»( х) ф ?>( х)+1 ф ¡2>( х)

- с

4 Р (2)(х) фР )(х^1,4^

4 р 2( х) Подставляя (12) и (13) в (11), имеем

<Х)

X

с

с

2

с

-I -1

2

с

-1

с

с

2

M (ф2( x)) ~

1 Ф1( X^2,0 +

nc p (x)

2 c +c3 p (2)(x)

np (x) n p (x)

Ф1(x) ф (2)(x) + {Ф((1)(x))

2c p(1) (x) n p 2 (x)

+

Ф1( x) Ф (1)( x) +

c p (2)(x) ,

2n p 2 (x)

ф2(x)+

+ 1 Ф1( x) + c:

P^- Ф1( x) + p ®(x) Ф (1)( x) +1 Ф (2)( x)

С4р (2)( х) ф (2)( х^1,4 4 р 2( х)

Из (14), переходя к пределу при п ^ да, с учетом (5) получаем (7). Теорема доказана.

(14)

3. Среднеквадратическая сходимость непараметрической оценки Ф 2( x) Теорема 2. Путь выполняются все условия теоремы 1. Тогда математическое ожидание непараметрической оценки регрессии Ф 2(x) при увеличении объема

экспериментальных данных сходится к искомой функции регрессии ф2(x), т.е. справедлива формула

lim M (ф f( x)) = ф 2( x).

«^да

Доказательство. Для M (ф ^(x))

(15)

M (ф 22( x)) = M (ф4( x)) = M

имеем

1

(ч L У1Ф

ncp(x) i=1

Г Л\4 x — x

1

4 4 4 n4 c 4 p 4 (x)

V " JJ

n n n n

*L L L ilm

i=1 j=1 k=1 m=1

f f У1 ф

f

x — x

У 1j Ф

V V J

x—x

j

У f Ф

k

x—xk

VJ

■ Y\

f

у m®

VJ

x—x

JJ

■A1 + A2 + A3 + A4

4 4 4/ \ i—i

n c p (x) i=1

L M

(y 1 )4Ф

Ф4

■Y\

+ ■

1

4 4 4 / \ i—i i—i

n c p (x) i=1 j=1

i * j

-LI m

f f y 1 ф

x — x

i

(у/)3

f

Ф3

v v " j

x — x

V c JJ

j

+

x—x

c

+

+ -

1

n n n

4 4 4 / {I I IM

n c p (x) i=1 j=1 k=1

j * k

f f

У1Ф

x — x

c

Л

У 1j Ф

n n n n

*LIL LILM

i=1 j=1 k=1 m=1 k * m

V V J

f f

У 1 ф

x — x

c

\

У1 ®

x—x

x—x

k 2^2

V V J

(y k)

У 1k Ф

v - JJ

k

Ф2

x—x

V

c

+ ■

1

4 4 4/ \

n c p (x)

JJ

k

x—xk

y m®

x—x

JJ

. (16)

Вычисляем первое слагаемое в (16)

A1 =

1

4 4 4/ n i—i

n c p (x) i=1

IM

(y 1 )4®

f

Ф4

;Y\

x — x

V c JJ

X

2

X

n

X

c

1

X

c

c

c

c

II I I (у 1 )4 ф

1

4 4 4/ ч ^ ' ' п с р (х)'=1 -I-

I -1

I I

х - х

V с у

р(х1,у- )йх1 йу- =

п с р (х) -II г

I I У14ф41—- IР(г,У1)йгйу- =

1

п3 с 4р 4(х) -I

I IУ14 Р (УЛг )йУ

ф4

Г х - г Л

V с у

р (г) йг =

3 4-^ Ь4(г) ф4Г х-г

п3 с 4 р 4( х) -• 1

р (г) йг =

п3 с3 р 4(х) -

!ф4(х - си) ф 4 (и) р (х - си) йи =

п3с3р4(х) -

I ф 4 (и)

ф1( х) - си ф(1)( х) + ф((2)( х) + ... + О (с 4)

2 2 с и , (2)I

2 2

р (х) - сир(1) (х) + —^ р(2) (х) + ... + О (с 4)

йи

I ф 2 (х) - 2 си ф1 (х) ф (1) (х) + 2 с 2 и 2 ^ (х) ф (2) (х) + (ф (1) (х))21

1

к Р (1)(х) + и 2 р (2) (х)

,2 „ (2)

п с3р3(х) п с2р (х) 2 п3ср 4(х)_

4,2

ф 4( х) ь 4,0

ф4 (и) йи = 1 „ „-+

3 3 3 / ч

п с р (х)

+

Ь

пъср 4(х)

4 р (х) ф 2( х)

ф1( х) ф (2)( х) + 2 (ф (1)( х))2

+ 4 р (1)( х) ф 3( х) ф (1)( х) +

(1)

1

+ 1Р (2)(х) ф 4(х)^^ 3 4 2 ] п р (х)

Ь 4,4 с

4 Р (х)

ф1( х) ф (2)( х) + (ф (1)( х))2

+

+ 8 р (1)( х) ф1( х) ф (1)( х) [ф-( х) ф (2)( х) + (ф (1)( х))2

ф1( х) ф (2)( х) + 2 (ф (1)( х)) 2

+

+ 2р(2) (х)ф 2(х)

Теперь оценим второе слагаемое в (16) 1 - - ' '

А, =

-II м

2 44

п с р (х) 1=17=1

1 * 7

У1 ф V V

х-г Чу!)3ф3

/

с

х-х

У\

1

I I I I

II I

4 4 4 ^ ч ^^ ^^ Л Л Л

п с р (х) 1=1 7=1 -I-I-I-I

1 *7

У1 ф

х - х

\(у - )

V с уу -Гх-х7 Л

ф

V с у

X р (х1, у\, х1, у( ^)йх1йу[йх]йу( =

II I I I / .

Л Л Л Л .4^41 х - г | 2

п с р (х) - I - I- I-

I

У14 ф4

I -I-I-I

р2 (г, у-) йг 2йу 12 =

(17)

п -1

п3 с 4р 4(х)

I I у 12 ф2

х - г

Р (г, у-) йгйу-

4

-1

I

I

4

1

X

I

X

2

X

X

2

п п

X

с

с

I I

с

V

-I -I

п — 1

п

1

пс 2р 2(х) —

| ф2(г)Ф2

х—г

р (г) йг

Здесь, используя формулу (9), имеем

1 ф ^ х)

пс р(х) ф1( х) ф (2)( х) + (ф (1)( х))

Ь2'0 +

2 с +с3 р(2) (х)

пр (х) п р (х)

+

2 с р (1)(х) , . т, . с р (2)(х) 2 ^ 1>(х) ф (1)(х) + ^ 1

п р 2 (х)

2п р 2 (х)

ф2(х» . (18)

Оценим третье слагаемое в (16) п — 1

да да да да да да

А =

3 2 4 4 /^4

п с р4 (х)

11

у1Ф

х — х

Л Г

у 1Ф

х — х

V с У

М )2 Ф

^х — хк*

|р (х1, у\, х-', у{ , хк, у\к)йх1йу\йхЫу1йхкйу\

к 7_к

п — 1

п

4 4,

4 4 . 3 п 3

I ф 13(г) Ф3

х — г

с3 р3 (х)

р (г) йг

п — 1

Л _

п 3 с 3 р 3(х) I Ф3 (и)

1 да _ _

—^- |ф 13(х — си)Ф 3(и)р(х — си)йи

с 3 р 3 (х)

2. 2

ф(х) - си ф(1)(х) 4

(1)^ ^^ф(2)(х)

2!

X

2 2

р (х) — сир (1)( х) + ^^р(2) (х)

йи \ .

Аналогично оценим четвертое слагаемое в (16) п — 1

дададададададада

А =

4 4 4/ ч

пс р (х)

^х — хк^

у 1Ф

х — х у1 Ф

1 с У

С х — х{

х ук ф

у ГФ

х — х

|р (х1, у1, х' , у{, хк, ук, хГ, у Г )

хк, ук,хГ, уГ )х

х йх1йу\йх:{йу{йх

с 4р 4(х)

дададададададада

да да да да да да да дау>4

х—г

р4 (г, у1) йг4 йу 14 =

ф1( х) + с:

1 (х — г —— | ф1(г)Ф(-|р(г)

ср(х) —да V с

^^ ф1( х) 4 р (1)(х) ф (1)( х) 41 ф (2)( х)

(19)

(20)

2

с

V

да

X

2

X

X

с

да

с

3

да

1

с

3

2

п

4

да

<

— да

3

X

X

с

да

с

с

1

с

да

4

Подставляя (17)-(20) в (16) и пренебрегая слагаемыми малости некоторых величин, получаем

M (ф

(ф14( x)) ~

1 фi(x) 2 с

ч--X

+

пс p(x) np(x) 2 с p (1)( x)

ф1( x) ф (2)( x) + (ф (1)( x))

+

п p 2 (x)

ф1( x) ф (1)( x) + f ^^ ф 2(x)^ +

2п p 2 (x)

+ ■

пс

ф4(x) с2 4p(x)ф3!^) ф^) + 3p(2)(x)ф4(x)' +

+w x)+с

p (x) 2

p (2)( x)

p2( x)

+

ф1(x) + p (1)(x)ф (1)(x) +1 ф (2)(x)

2

(21)

Переходя к пределу в (21) при п ^ о, получаем (15). Теорема доказана.

Теорема 3. Путь выполняются условия теоремы 2. Тогда имеет место сходимость в среднеквадратическом для оценки регрессии ф 2( x)

lim M (ф 2(x) — ф 2(x))2 = 0. (22)

Доказательство. Так как

M (ф 2(x) — ф 2 (x))2 = M (^2(x) — ф2(x))2 = M (^4(x) — 2 ^2(x) ф 2(x) + 9f(x))

= M (ф4( x))- 2 M (ф 12( x))ф 2 (x) + ф 4(x),

то, переходя к пределу в (23) при п ^ о, с учетом (7) и (15) получаем:

lim M (ф2 (x) — ф2 (x))2 = lim M (ф f(x))— 2 lim M (ф 12(x))ф 2(x) + ф 4(x) =

(23)

= ф - (х) - 2 ф 2 (х) ф - (х) + ф 4 (х) = 0.

Теорема доказана. Обращаемся к формуле (23). Подставляя (14) и (21) в (23)

и пренебрегая слагаемыми малости некоторых величин, имеем

ф4( х)

M(ф2(x) —ф 2(x))2 ~ —

пс

+ -

1

ф14( x)

-+-

p(x)

4

— 2 ф2 (x) p (x) b

ф^ x) A^ x) +

2,0

+

п 2с 2 p 2(x) п 2p 2(x)

4 с 2 с

+ 2 2. Л ^12( x) + A4 (x) + с 2 As( x), п 2 p (x) п

(24)

где

+

A1 (x) = ф1( x) ф (2)( x) + (ф (1)( x))

p , 1 p (2)(x) 2

+

p (x)

A 2 (x) =

-ф1( x) ф (1)( x) + -

4 p (x)

ф^ x),

2ф3l(x) ф(12)(x) 3 p(2)(x)ф4(x)' ■ + ■

p(x)

2

p 2( x)

2

1

4

A3 (x) = ^^ Ф1(x) + p(1) (x)ф((1)(x) +1 ф (2)(x),

A4 (x) = A2 (x) — 4p (x)

A5 (x) = 4ф 3(x) A3 (x) — 4ф1(x)p 2(x)

Ф1( x) ф (2)( x) + (ф (1)( x)) — 4 p (1)( x) ф1( x) ф ?>( x) — p (2)( x) ф2( x), p (2)(x)

Ф1(x) + p (1)(x)ф(1)(x) +1 ф(2)(x)

1

.(2)/

2

Для определения условий сходимости на всей области изменения x проинтегрируем (24)

nc

Ф4( x)

— 2

+ -

M J^2(x) — ф2(x))2dx

— да

92(x)p 2(x) • Ф 2(u)

2 2 n 2c 2

Ф4( x)

+ -

4

n

4 c 2 A2( x)

n 2 p(x)

+ — n

p (x) A 4(x)

+ c'

p(x) p (x) A5(x)

ФК x) A1( x)

p(x)

+

(25)

где || A (x)|| = J A (x) dx.

Величина критерия (25) представляет собой меру близости между искомой плотностью регрессии ф 2(x) и ее оценкой ф 2(x). При конечном объеме выборки она зависит от коэффициента размытости С и ядерной функции Ф (и).

4. Состоятельность оценки регрессии ф 2( x)

Покажем, что если ф 2(x) является асимптотически несмещенной оценкой ф 2(x) и

сходится в среднеквадратическом, то она обладает свойством состоятельности.

Теорема 4. Путь выполняются условия теоремы 3. Тогда имеет место

состоятельность оценки регрессии ф 2( x), т.е. справедливо предельное соотношение

lim M (ф 2(x) — M (ф 2(x)))2 = 0. (26)

Доказательство. Используя свойства математического ожидания, имеем

M (ф 2(x) — M (ф 2(x)))2 = M (^2(x) — M (ф2( x)))2 =

= M [(ф 12(x) — 9?(x))+ (ф2(x) — M(ф12(x)))]2 = = M [(ф2( x) — ф 2( x))2 + 2 (ф2( x) — ф 2( x))^ 2( x) — M (ф12( x)))+(p 2( x) — M (ф12( x)))2

=M [ф12( x) — ф 2(x)]2 + 2M [(ф12( x) — ф 2(x))^ 2(x) — M (ф12( x)))]-

+M [ф 2( x) — M (ф12( x))]2 = =M [ф2( x) — ф 2(x)]2 + 2M [ф2( x) — ф!«]^ 2(x) — M (ф2( x)))-+ (ф2( x) — M (ф 2(x)))2 = = M(^2(x) — ф11(x))2 — 2 (ф11(x) — M(ф2(x)))2 + (ф11(x) — M(Ф2(x)))2

]-

2

c

да

=M(ф?(х)-ф?(х))2 -(Ф2(x)-M(ф^х)))2. (27)

Переходя к пределу в (27) при П — », с учетом (22) получаем

lim M (ф2 (x) - M (ф 2 (x)))2 = - lim (ф 2 (x) -M (ф 2 (x)))2 =

и—»

lim ф/(х) + 2 lim [ф2(x)M(ф2(x))]- limM(ф2(x))2

Ф/(x) + 2p2(x) limM(ф2(x))- limM(ф2(x))2. (28)

— lim ф (x) ^ 2 lim ф (x)M (x м —

и—» и—» и—»

.

и—

В силу свойства математического ожидания и (15), имеем

lim M (ф2( х))2 = lim M (ф!4(х))= ф / (x). (29)

и—» и—»

Учитывая (7) и (29), из (28) получаем (26). Теорема доказана.

5. Заключение

Вычислительная эффективность непараметрических алгоритмов обработки информации, основанных на ядерных оценках функции регрессии, во многом определяется объемом статистических данных и снижается по мере его увеличения, что затрудняет построение систем принятия решений в условиях больших выборок. В данной

работе проверяется сходимость непараметрической оценки ф 2(x) с увеличением объема

экспериментальных данных к искомой функции регрессии ф 2(x). Установлено, что если

ф 2( х) является асимптотически несмещенной оценкой ф 2( x) и сходится в среднеквадратическом, то она обладает свойством состоятельности.

Список литературы

1. Вапник В. Г. Восстановление зависимостей по эмпирическим данным. - М.: Наука, 1979. - 447 с.

2. Лапко В. А. Непараметрические коллективы решающих правил. - Новосибирск: Наука, 2002. - 168 с.

3. Хардле В. Прикладная непараметрическая регрессия. - М.: Мир, 1993. - 349 с.

4. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и её применения. - 1969. - Т. 14. - № 1. - С. 156161.

5. Лапко А. В., Лапко В. А. Свойства непараметрической оценки плотности вероятности многомерных случайных величин в условиях больших выборок // Информатика и системы управления. - 2012. - Т. 32. № 2. - С. 121-126.

6. Лапко А. В., Лапко В. А. Анализ свойств непараметрических оценок смеси плотностей вероятности при различных условиях распределения статистических данных // Информатика и системы управления. - 2013. - Т. 35. - № 1. - С. 119-126.

7. Мания Г. М. Статистическое оценивание распределения вероятностей. -Тбилиси: ТбГУ, 1974. - 238 с.

8. Надарая Э. А. Об оценке плотностей распределения случайных величин // Сообщ. АН ГрССР. - 1964. - Т. 32. - № 2. - С. 277-280.

9. Дмитриев Ю. Г., Тарасенко Ф. П. Об одном классе непараметрических оценок нелинейных функционалов плотности // Теория вероятностей и её применения. - 1974. -Т. 19. - № 2. - С. 404-409.

10. Юлдашев Т. К. Непараметрическая оценка квадрата плотности вероятности и её свойства в условиях больших выборок // Журнал Средневольжского мат. общ. - 2015. -Т. 17. - № 4. - С. 60-69.

11. Юлдашев Т. К. Среднеквадратическая сходимость непараметрической оценки квадрата плотности вероятности // Современные вопросы математической физики, математической биологии и информатики. Материалы Всероссийской научной конференции молодых ученых. - Нальчик: Институт прикладной математики и автоматизации РАН, 2014. - С. 143-146.

12. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statistic. - - 1962. - vol. 33. - pp. 1065-1076.

13. Rosenblatt M. Remarks on some Nonparametric Estimates of a Density Function // Ann. Math. Statist. - 1956. - vol. 27. - pp. 642-669.

14. Лапко А. В., Лапко В. А. Непараметрические системы обработки неоднородной информации. - Новосибирск: Наука, 2007. - 174 с.