CC BY
56
Г.М. Кошкин, И. Г. Пивен
НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ ФУНКЦИОНАЛОВ ОТ УСЛОВНЫХ РАСПРЕДЕЛЕНИЙ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СИЛЬНОГО ПЕРЕМЕШИВАНИЯ
В работе предлагается метод оценивания функционалов от условных распределений при непараметрической неопределенности по наблюдениям, удовлетворяющим условиям сильного перемешивания, на основе кусочно-гладких аппроксимаций оценок подстановки, для которых выведены формулы главных частей асимптотических среднеквадратических ошибок с улучшенной скоростью сходимости. Полученные результаты применены для решения задачи идентификации нелинейной авторегрессии первого порядка.
Определим класс условных функционалов формулой
J(x)=іg(у)f(y\x)dyJg(yw;-y)dy=%*, (i)
p(x) p(x)
где g(^) - известная измеримая по Борелю скалярная функция, fxy) - неизвестная плотность распределения наблюдаемой двумерной случайной величины Z = (X,Y) є R2, G(x) = lg(y)f (x,y)dy, p(x) - маргинальная плотность рас-
v г / і ■. f (x, y) пределения величины Х, f (y | x) = ——— - условная плот-
p( x)
ность распределения.
Интегрирование, если не оговорено иначе, проводится на всей числовой оси или плоскости, т.е.
Mr, Я^2.
Приведем примеры условных функционалов (1).
Так, условное математическое ожидание, или функция регрессии выхода стохастического объекта относительно входа, является моделью, минимизирующей среднеквадратическую ошибку (СКО) истинных выходов объекта и модели:
г(x) = E(Y | X = x) = іyf (y | x)dy =1 yf (^y)dy.
p( x)
Обычно при построении модели учитываются не все входы реального объекта, поэтому возникает погрешность, связанная с упрощением регрессионной модели относительно истинной структуры объекта.
Эту погрешность можно измерять остаточной (условной) дисперсией
1 y2f (x y)dy
D(Y | x) = -
p(x)
--r 2( x).
1 n
где Gn (x) = —— Z g (Y) K
nhn i=1
( x - X ^
V hn /
Zi = (Xi,Yi), i = 1, n - двумерная выборка, характеризуемая плотностью
f(x,y),
Pn (x) =
nhn
Z K
i=1
ґ x - X, ^ ~h~
Для характеристики уровня сложности объекта применяются также такие его статистические характеристики, как условные коэффициенты асимметрии и эксцесса. В этом случае g(у) = у4, к = 1, 2, 3, 4; более сложные функции g(у) заданного вида используются при построении оптимальных оценок прогноза (см. гл. 8 в [1] ).
1. ПОСТАНОВКА ЗАДАЧИ
Простые непараметрические ядерные оценки подстановки [2. С. 91] условных функционалов ,/(х) в точке х согласно [1. С. 28] имеют вид
Л (X) = ^ = 2 g (г, )К (2 К [, (2)
Рп(х) ,=1 I К ) ,=і I К )
К(и) - ядерная функция, последовательность чисел hn >0 удовлетворяет условию limhn = 0. Согласно (2),
при g(y) = у получаем известную ядерную оценку регрессии Надарая-Ватсона [3,4].
Применение оценок типа (2) иногда приводит к нежелательным эффектам. Например, при некоторых значениях параметров модели оценки (2) становятся неустойчивыми, в частности, если pn(x)| < е для достаточно малых е.
Другая проблема состоит в том, что теоретическая возможность равенства pn(x) = 0 (например, когда используются знакопеременные ядра [5], улучшающие скорость сходимости в среднеквадратическом ядерной оценки Jn(x) к функции J(x)) не позволяет из-за неустойчивости оценки типа (2) в явном виде сформировать мажорантную последовательность и определить главную часть СКО оценки Jn(x) в соответствии с методами, изложенными в [1, 6, 7].
Известны следующие три метода решения этих проблем.
1. Ограничивать область U, в которой р(х) > 0 [8], при исследовании свойств сходимости оценки Jn(x).
2. Налагать на случайную величину g(Y) и ядро К(и) дополнительные условия:
|g(Y)|<ж [3], supE[exp(a | g(Y) |] <ж, a > 0 [9],
Y
K(u) > 0 [3,9].
3. Использовать усеченные модификации знаменателя оценки (2) [1. C. 68].
В работе предлагается четвертый метод решения указанных проблем: оценивание функционала (1) при непараметрической неопределенности с помощью кусочно-гладких аппроксимаций оценок (2), для которых можно найти главные части асимптотических СКО с улучшенной скоростью сходимости, причем наблюдения удовлетворяют условиям сильного перемешивания (с.п.).
Полученные результаты применены при решении задачи идентификации нелинейной авторегрессии первого порядка и позволяют также исследовать более общие динамические системы, в том числе процессы авторегрессионного типа со свойствами с.п. [1. С. 146].
Сходимость с вероятностью 1 для последовательностей с.п. оценок типа (2) исследовалась в [11] , но проблема вычисления СКО таких оценок осталась не исследованной. В [9] найдена главная часть асимптотической оптимальной СКО оценки Надарая - Ватсона
1
для с.п. последовательностей, но с традиционной скоростью сходимости.
2. КУСОЧНО-ГЛАДКАЯ АППРОКСИМАЦИЯ КЛАССИЧЕСКИХ ОЦЕНОК
Представим функционал /(х) в виде
/ (х) = Н (^(х), а0(х)) = а1( х)/а0(х). (3)
Согласно [1. С. 17], назовем базовыми функционалами функции
а (х) = 1 g(у)/(х, у)ёу и ао (х) = 1 /(х, у)ёу = р(х).
Для преодоления ограничений, указанных в п.2, и увеличения устойчивости оценки /„(х) в области, в которой знаменатель р„(х) в (2) близок к нулю, применим следующую кусочно-гладкую аппроксимацию (см. [7] ) для оценки (2):
JV](x) = , Jn (x)
рчт
(4)
(1 + 8„,у | /„ (х)|р)
где т> 0, р> 0, рт > 1 и 5„,у = 0(к2 + („к„ )-1), V > 2.
В данной работе установлены условия существования оптимальной скорости сходимости порядка
0(„_2V/(2v+1)), V = 2, 4,..., непараметрической оценки (2) и ее кусочно-гладких аппроксимаций (4) для слабозависимых наблюдений, удовлетворяющих условию с. п., при которых эта скорость является оптимальной и в случае независимых наблюдений (см. [5, 6] ). Если V , то эта оптимальная скорость, которая является наилучшей согласно [10], стремится к скорости сходимости О(„_1) классических параметрических оценок.
3. ЯДЕРНЫЕ ОЦЕНКИ БАЗОВЫХ ФУНКЦИОНАЛОВ СЛУЧАЙНОЙ ВЫБОРКИ
3.1. Вспомогательные обозначения и определения
Пусть 21 ,..., 2„ - двумерная выборка объема п из генеральной совокупности, характеризуемой плотностью распределения / (х, у). В качестве непараметрической оценки плотности р(х) = а0 (х) и базового функционала а1 (х) воспользуемся объединенной статистикой следующего вида:
anr (x) =
nh
gr (Y)K
n i =1
( x - Xi ^
hn
r = 0, 1,
(5)
Определение 2. Функция H (z) e N (R), если указанные в определении 1 свойства H (z) выполняются для всех х e Rs.
Определение 3. Функция H (z) e Nv s (x, e), если
H (z) и все ее частные производные до v-го порядка включительно непрерывны и ограничены в некоторой e -окрестности точки X.
Обозначим:
sup = sup, Tj = Ju1 K(u)du, j = 1,2,....
x xeR1
Определение 4. Борелевская функция K(u) принадлежит классу нормированных ядер A, если
sup|K(u)| < ж, J| K (u)| du <ж, J K (u)du = 1.
Определение 5. Борелевская функция K(u) e Av, если K (u) e A, и K(u) удовлетворяет условиям
J|uvK(u)|du <ж , Tj = 0 , j = 1,...,v-1.
Замечание 1. Классу A2 принадлежат симметричные относительно нуля ядра с характеризацион-ными свойствами плотности и J u2 K(u) du <ж, однако ядра K(u) из класса Av, v > 4, не являются плотностями, поэтому функция K(u) при некоторых значениях аргумента u будет отрицательной.
Одним из методов нахождения ядер K(u) e Av является рекуррентная процедура, основанная на полиномах Якоби, ортонормированных с весовой функцией p(u) = {1 -u2,|u| < 1;0,|u| > 1}, которая определяется следующим образом:
v -2
K(u) = p(u)X Pj (0)Pj (u)(2 j + 3)( j + 2)/8( j +1),
2=0
Pj+2(u) =
j+3
j + 4
2 j + 5 j + 2
UPj +1(u) - Pj (u)
где К(и) - ядро, которое, вообще говоря, не обязательно обладает характеризационными свойствами плотности (неотрицательность и нормировка на 1), а последовательность чисел И„ ^ 0.
Оценку (5) при г = 0 обычно называют ядерной или парзеновской оценкой плотности (иногда оценкой типа Розенблатта - Парзена).
Определение 1. Функция Н(г): Rs ^ R1 принадлежит классу ^ ж (х), если она и все ее частные производные (до V -го порядка включительно) непрерывны в точке х.
P0(u) = P0(0) = 1, P1 (u) = 2u , Pj(0) = 0.
В качестве примера приведем ядро класса А6:
K(u)=|105(5-35u2 + 63u4-33u6)/28, при|u|A [ 0, при |u| >1.
3.2. Асимптотические свойства
Обозначим a+(x)= il gr (y) f (x, y) dy, смещение
оценки anr (x) - через b(anr) = Eanr (x) -ar (x). Теперь сформулируем условия асимптотической несмещенности оценки (5).
Лемма 1 (асимптотическая несмещенность базовой оценки). Если при r = 0,1 функции ar (z) e ^a,1( x),
sup a+ (x) < ж, ядро удовлетворяет условиям
x
i| K (u ) du < ж , | K (u) du = 1, последовательность вещественных чисел hn ^ 0 , то
lim b(anr) = lim Eanr (x) - ar (x) = 0. (6)
Определение 6. Оценка tn параметра t имеет скорость сходимости порядка n~a при а > 0 (в знаках: tn e V(n-a)), если для ее СКО u 2(tn) = E(tn -t)2 справедливо предельное соотношение lim nau 2(tn) = C,
n——ж
где 0 < C < ж.
Обозначим производную m-го порядка функции ar (x) как a.rm) (x).
При вычислении скорости сходимости оценки (2) в соответствии с определением 6 требуется для J n (x) вычислить скорость сходимости смещения.
Лемма 2 (скорость сходимости смещения). Пусть
при r = 0,1 1) ar(z)eNv1(R); 2) supam)(x)<ж, m = 0,v;
x
3) K(u) удовлетворяет условию Av без sup IK(u)| <ж ;
u
4) hn i 0 .
Тогда при n — ж для смещения оценки am (x) получим
|b(anr)-®rv)(x)hv| = o(hn), (7)
a(v)( x).
где
ro(rv)( x) = -
-T .
V!
Danr (x)-------7"L(V)a2r (x).
nhn
(9)
Улучшение скорости сходимости смещения оценки (лемма 2) позволяет повысить скорость ее сходимости в смысле определения 6.
Теорема 1 (СКО). Если выполнены условия леммы 2 и следствия 1, то при п оптимальная последовательность Н0г принимает вид
= argmin, >0 и 2(am(x))-
L(1) a2r ( x)
2 n v
1
2v+1
а оптимальная СКО вычисляется по формуле
и 2(anr (x)lh =ho ) = u 2(anr (x))'
Ftyyj. llyjj.
2v
\2v+1
L(1) a2r ( x)
2nv
2v 2v
[ю^Чx)]^ = O(n 2v+1). (10)
Согласно (10) и определению 6, при v ^ œ
Определение 7. Последовательность вещественных чисел {hn} принадлежит классу Н, если
(hn +1/nhn) i 0.
Обозначим L(c) = JK(u)K(cu)du, c e Rl, т.е.
L(1) = J K2(u)du.
Определение 8. Числовую последовательность an будем называть эквивалентной числовой последовательности ßn Ф 0 (в знаках an ~ ßn ), если
lim |an/ ßn |=1.
n^œ
Лемма 3 (ковариация). Пусть при r,s = 0,1 и х Ф y :
1) функции ar (z ) e N0,1(yX a2(z) e No,1(y);
2) функции ar (z) e N0 1 (х), a2 (z) e N0 1 (х);
3) ядро К (u) e A и lim К (u) = 0;
|u|
4)E | g2(Y)|<œ ;
5) последовательность вещественных чисел hn e H ;
6)sup | K(u)u |< C0.
u
Тогда при n ковариация равна
COV(anr (х), ans (У)) ~ —X^~L(1) Гar+ s (x) + ar+ s (y)l . (8) 2nhn Г J
Следствие 1 (дисперсия). Если выполнены условия 2) - 5) леммы 3, то при n ^ œ дисперсия равна
а°пг (х) е V(п ^ V(п '),
Вывод. Скорость сходимости оптимальной непараметрической оценки а°пг (х) стремится к обычной скорости сходимости параметрических оценок.
Замечание 2. Результаты теоремы 1 имеют важное теоретическое значение, но их применение на практике вызывает определенные затруднения, так как, во -первых, они справедливы только при достаточно больших п и, во-вторых, оптимальные к°пг и и 2(апг (х)) выражаются через неизвестные нам функции а2г (х), аг (х) и их производные а^ (х).
Это позволяет считать центральной проблемой при применении на практике оценок апг (х) задачу нахождения для конкретного набора Zl,...,2п оптимального, в смысле некоторого критерия, значения Кг (¿!,..., 2п ).
Например, при г = 0 такое к°пг (¿1,..., 1п) часто находят из максимума эмпирической функции правдоподобия:
п
Кг (¿ь.- ¿п) = агЕ тахй>0 ПРп-1(Х), (1 ^
где
Pn-1( Xi ) =-
1
n-1
K
Г x_,-xi ï h
(п - 1 Н) *г
Свойства так называемой кросс-проверочной ядерной оценки р п (х) = ап 0( х) с параметром Н'00(21,..., 2п), полученным из критерия (11), обсуждаются в гл. 6 монографии [14], где также можно найти достаточно подробный список литературы по данной проблеме.
Методом кросс-проверки можно найти
Н°п1(11,..., 1п) для ап1 (х), Н°п (¿1,...,¿п) для оценки /п (х) = ап1 (х) / ап0 (х) функции /(х) из минимума критериев:
hn01(Z1,..., ¿п ) = агЯт1пй>0 Ъ [g (¥г ) -
2=1
1
n -1
( 1)h-X gY )K (n -1)hj
ГX - x, ï
lpn-1(Xi )
2=1
2
К (Z\,..., Zn) = arg minh>o Z [g (Y) -
n-1 i X■ - X ■
- zg (Y >K (
/n-1 i X- - X-
zg (Y1K (-V
Представляет интерес также подход Э.Надарая к решению указанной проблемы, когда в оптимальных
НЩг неизвестные функции а2г (х),. аг (х) и их производные аГ',)(х) заменяются соответственно состоятельными ядерными оценками (см. пар. 2, гл. 1 в [15]).
Замечание 3. При использовании в (11) оценок с V > 2 эмпирическая функция правдоподобия может принять отрицательное значение с отличной от нуля вероятностью, что приведет к некорректному результату, не поддающемуся интерпретации. Этого можно избежать, если в (11) использовать неотрицательные ядерные оценки плотностей с улучшенной скоростью сходимости [1, 16].
4. УСЛОВИЕ СИЛЬНОГО ПЕРЕМЕШИВАНИЯ
Обозначим ст-алгебру, порожденную одномерными случайными величинами Хх, Хх+1, ..., Х(, через ^ .
Определение 9. Строго стационарная последовательность {Ху } ^ удовлетворяет с.п. условию, если
єир р (АВ)-Р(А)Р (В)<а(х) 0, тТго, (12)
,Ве^т"
а(т) - коэффициент с.п. (в знаках: {Ху} ^ є £ (а)). Замечание 4. В определении 9 под {Ху} ,^ можно
подразумевать также последовательность векторов.
Важные примеры с. п. последовательностей можно найти в [10], [1]; отметим только, что с.п. последовательности обычно генерируются динамическими моделями авторегрессионного типа [1].
1
Обозначим |Х||р =(Х|р)р . В дальнейшем часто
будет использоваться следующее неравенство.
Лемма 4 [17]. Пусть случайные величины Х и У
измеримы относительно ст-алгебр .Р-ТО и ^т°° соответственно, имеет место (12) и пусть 1 < р, q, г < го,
р - + q — + г _1 = 1. Тогда
|E-Y - E-EY| < 2ла17r (т)||X||
(13)
Впервые неравенство типа (13) с константой С = 12 вместо 2п было доказано в [18].
5. СВОЙСТВА ЯДЕРНЫХ ОЦЕНОК БАЗОВЫХ ФУНКЦИОНАЛОВ С.П. ПОСЛЕДОВАТЕЛЬНОСТЕЙ
Понятно, что результаты лемм 1 и 2 остаются справедливыми и в случае, когда выборочные наблюдения {¿у }п зависимы между собой. Далее мы докажем, что для ковариаций, дисперсий и СКО оценок выражения их главных частей (главных вкладов) при задаваемых условиях перемешивания совпадают с
190
главными вкладами утверждений леммы 3, следствия
1 и теоремы 1.
Положим z = (x,у),dz=dxdy, (Z1 <z) = (X1 <x,Y1 <y). Обозначим
a++s(x) = j|g(y)|2+5 f (x,У)dУ, a-+T,rs (x, y) = i|| gr (v) gr (qf (x, v, y, P)dvdP,
d4
где f1T (z, p) =----P(Z1 < z, Zт < p) - четырехмерная
ÖzÖP
плотность распределения случайных величин (Z1, ZT).
Лемма 5 (ковариация оценок базовых функционалов для с.п. последовательностей).
Пусть при r, s = 0,1
1) последовательность {Z.} e S(a), причем
j>1
i [а(т] dт < ж , 0 < q < 1;
2) функции ar+s (v) e Nu (y), a++s (v) e Ny (y);
3) функции ar+s(v) e N0,1 (x), a++s (v) e N0,1 (x);
4) ядро К(u) e A и дополнительно lim К(u) = 0;
|u —ж
5) sup\K (u)u| ^ C0;
u
6) последовательность вещественных чисел
hn e H, sup a(+2+5)r (x) <ж. x
Тогда при n — ж для ковариации справедлива оценка
4п(1 + o(1))
|cov(anr(x), аш (>’)) <
Х[a(2+8)r (x)a(2+8)s
1-q
nh:q ( У)]
||K(u)| 1—q du ^ [а(т)] dт. (14)
Пусть дополнительно
7) коэффициент а(т) удовлетворяет
1 [а(т)] ^т<ю, 0 < q < 0,5;
8) функции а+ (х) а+ (у) и а+т,га (х, у) для т> 1
равномерно ограничены в Я2.
Тогда при п —— ю ковариация равна
СО\(апг (x), аю (у)) =
=2пк1(1) [аг+* (х)+аг+*(у)]+0 (). (15)
Следствие 2 (дисперсия оценок базовых функционалов для с.п. последовательностей).
Если при г = 5 = 0,1 выполнены условия 1), 3), 4),
6) - 8) леммы 5, то при п —ю дисперсия оценки равна
Danr(x) = nrL(1)a2r (x) + 0
V nhn J
(16)
Теорема 2 (СКО оценок базовых функционалов для с.п. последовательностей). В условиях леммы 2 и следствия 2 при п —ю выполняются все утверждения теоремы 1.
i =1
Х
6. СХОДИМОСТЬ ЧЕТВЕРТЫХ МОМЕНТОВ ЯДЕРНЫХ ОЦЕНОК БАЗОВЫХ ФУНКЦИОНАЛОВ ДЛЯ С.П. ПОСЛЕДОВАТЕЛЬНОСТЕЙ
Обозначим
М* у )(*+у+к )( г 5,и,^) =
= д§Р(^1 <Г¿г <5Д+у <и,!г+у+к <М>) дгд5ди^
- плотность распределения случайных величин
(^1, ¿г, ¿г+у , ¿г+у+к ),
а+(г+у)(г+у + к),г (^ У, x', У) = ^8 ^г (v)gГ (5)gr (v')gГ (5)\ Х
Х У1г(
2+у)(2+у+к) г (х, V, у,5, х', V ', у' , 5 ')dvdsdv'ds',
1(1+у)(1+ у+к),г (х У, х') = ^6 (v)gr (5)gr (v '^ Х
г (х, v, у, 5, х ', v ')dvdsdv'.
а
Х f1(1+j )(1+ j+k ), г (
M4(anr) = E[anr (x) -an (x)] - четвертый момент
отклонений anr (x) от ar (x),
Учитывая, что знаменатель /п (х) может быть близок к нулю в оценке подстановки /п (х) отношения / (х), особенно при использовании знакопеременных ядер для восстановления базовых функционалов, приходим к выводу о неустойчивости самой оценки подстановки. Поэтому, как следует из Введения и п.3, теоремы о СКО оценок сложных функций с особенностями, требующими нахождения мажорантных последовательностей, оказываются неприменимыми. Одним из конкретных способов решения этой проблемы является использование для оценки отношения /п (х) кусочно-гладкой аппроксимации /п (х) (см. формулу (4)).
Введем обозначения:
С°У(ап1, ап1) С°У(ап1, ап0)
^СОУ(ап0 , ап1 ) СОУ(ап0 , ап0)_
{?п }п>1 - последовательность оценок аргумента ?
функции Н (?): Rs — R1, 5 > 1; УН (?) = (Н1,..., Н5), где Н1 = дН (?)/д/1,..., Н5 = дН (?)/д^;
B(an1> an0) =
^ = апг(х) -Еаг(х) = nh~n XПг - центрирован- у = Jґ2 +... + £ - евклидова норма вектора tn;
ная оценка апг (х).
Пг = gr (Y) K
х - Xi h„
-Е
gr (Y) K
rх-X л
v h„ у
, г = 0,1.
Лемма 6 (порядок сходимости четвертых центральных моментов). Пусть для r = 0,1
1) последовательность {Zj} .> e S(а) и
io т2 [а
(т)] 2+8 dт < ГО, S > 0
2) функЦии a+ (i+j)(i+j + k),r (M V, t, W) e ^0,4 (x x, x, x),
i,j,k >1, i+j+k < n; a1+(1+;.)(1+;+k),r (u,v,t)e N()2(x,x,x),
j,k >1, 1+j + k < n;
3) K(u) e ^ и lim uK(u) = 0;
|u|—
4) последовательность вещественных чисел hn eH,
SUPxa(+2+8)r (x) <ГО
Тогда Е(£„г )4 = О
r _Lл
V„2 Ä„2y
Лемма 7. (порядок сходимости четвертых моментов отклонений). Если для г = 0,1 выполняются усло-
вия лемм 2 и 6, то М4 (апг) = О
ґ 1 ^ —— + h4v
2,2 4
V4 hn
7. СВОЙСТВА ЯДЕРНОЙ ОЦЕНКИ УСЛОВНОГО ФУНКЦИОНАЛА ДЛЯ С.П. ПОСЛЕДОВАТЕЛЬНОСТЕЙ
Оценим условный функционал
/ (х) = Н (а1 (х), а0 (х)) = а1 (х) / а0 (х) методом подстановки [2, с.91], т.е. отношением
3п (х) = Н(ап1 (хХ ап0 (х)) = ап1 (х) / ап0 (x),
где апг (х) задается формулой (5).
N + - множество четных натуральных чисел;
У (X) = {^, к): q > q(X) = 2к /(X - к -1) > 0,
Х>Х0 =[3, к = 1;2к, к > 2]} , множество для тройки ^, к, X), где к, Хе^
Г(да) = {(у, к): 0 < у < (да - к - 1)/2к, да > да0 = (3, к = 1; 2к, к > 2, к е ^} - множество для пары (у, к) и да е N ;
Н«п) = Н (?п )/(1 + 5п|Н (?п )|<г)р, где q > 0, р > 0, pq > 1, 5п > 0.
Определение 10. Последовательность функций {Н (?п)} принадлежит классу М (у), если для всевозможных значений величин Х1,...,Хп последовательность {Н(?п )|} мажорируется числовой последовательностью С^1, dn Т ю, п — ю,0 < у < ю.
Свойства оценки подстановки Н (?п) и ее кусочногладкой аппроксимации Н (?п) исследованы в [7]. Далее эти теоремы (обозначенные здесь под номерами 4 и 5) дополнены новыми следствиями.
Теорема 3 (теорема 1 в [7]). Пусть выполнены условия
1) Н (г) NXs,
2) {Н (?п )}е М (у),
3) Е|\ГП -^ = О^-/2) для всех г е N .
Тогда для любого к е N
Е[Я(t„) - H(t)]k -E[VH(t)(t„ -1)T ]'
= 0(rf,
-(k+1)/2
).
Если в условии 3) положить г = да, то утверждение теоремы выполняется, когда 4) (у,к) е Г(да).
Следствие 3. Пусть выполнены условия
1) Н (г) NXs,
2) {Н (гп )}е М (у),
3) Е||/п - г||4 = 0(dn-2),
4) (у,к)еГ(4) = {у :0<у< 1/4}.
Тогда для СКО оценки подстановки имеем и 2( Н (гп)) =
= X ННр [СОу(гщ,гпр) + Ь(г,у )Ь(гпр)] = 0№3/2).
у, Р=1
Теорема 4 (следствие 4 в [7]). Пусть выполнены условия
1) для некоторого X > 3, ХеК,
Е||гп -г\\х = 0^-пх/2), dn Тю, п — ю,
2) функция Н(г) е N2,5 (г, в),
3) 5п = Cd-1, 0 < С <ю
4) Н(г) Ф 0 или q еК+.
Тогда для любых ^, к) е У (X)
к+1
е[Н(гп) - н(г)]к -е[нтп - г)]к = 0^~).
Следствие 4. Пусть выполнены условия
1) Н (г) е NXs,
2) е| |гп - г||4 = 0(dn-2),
3) 5 = 5п = Cdn-1,
4) Н (г) г 0 или q еК+,
5) (q,2) е У(4) = { : q > 4}.
Лемма 9. Если выполняются условия следствия 2, то
Тогда
е[ h (tn) - H (t)] 2 =
= X НуНр [соу^.,гпр)+Ь(гп] щг^)] + 0^3/2).
у, Р=1
Лемма 5 и следствие 2 определяют условия сходимости ковариационной матрицы оценок ап1 (х) и
ап0(х) для с.п. последовательностей.
Лемма 8. Если выполняются условия следствия 2, то
lim nhn BCfl^ an0) = L(1)
a2 (x) a1 (x) a1 (x) a0 (x)
(19)
Наличие верхнего или нижнего индекса ^] у величин к^}, ¿п) (х) и др., зависящих от К(и), обозначает принадлежность ядра К(и) классу функций А.
Обозначим через а0^ (х) оптимальную оценку базового функционала, для которой
h°Vv\ = ß°LvJn'
nr r
-1/(2v+1)
ß0[v] =
где
L ] (1) a2r (x)/(2 vBjv])
1/(2v+1)
пусть также
Ör°[v] = (B[v]) (ß0[v])v , L = jK2 (u)du.
lim n 2v+1B(an,jv], ao0v]) =
Lv (1) a2( x)
L(ß0v] / ß1v]) + L(ß1v] / ß0,1])^
ß1
ß0
a1 (x)
L(ß0 /ß1vJ) + L(ß1v /ß0v1) ß[v] ß[v]
L[v] (1) a0( x)
a1 (x)
ß0
(20)
Замечание 5. Порядок скорости сходимости СКО в (10) совпадает с порядком скорости сходимости ковариационной матрицы (20) (каждого ее элемента) в смысле определения 6.
Обозначим
ст2 (х) = -р(х)[|g2 (у)/(у | х^у - /2 (х)] .
Свойства оценки подстановки условного функционала /п (х) и ее кусочно-гладкой аппроксимации
3?]( х) изучаются ниже.
Теорема 5. Пусть выполнены следующие условия:
1) последовательность {1у}у>1 е £(а), и коэффициент с.п. а(т) удовлетворяет двум дополнительным ограничениям
|-ю -1q
1 [а(т)] dт<ю, 0 < q < 1/2,
5
т2 [а(т)]2+5dт<ю, 5> 0;
2) ar (z) e N21(x), sup | a(2)(x) |<ж, r = 0, 1,
x
a+ (v) e N0,1 (x), a(2+s) (v) e N0,1 (x),
3) sup | a(2)(x) |< ж, p(x) > 0, r = 0, 1, supp(x) < ж;
xx
4) последовательность вещественных чисел hn e H;
5) ядро K(u) e A, lim uK(u) = 0;
|u|——ж
6) функции a+ (x) и a+Trs (x, x), r = 0, 1, для т > 1 в R2 равномерно ограничены;
7) функции a+(i+j)(i+j+k),r (u, v, t, w) e N0,4 (X, X, X, xX i, j; k>1, i + j + k < n a+(i+j)(i+j+k),r(u, v, t) e N0,3(x, x, x),
r = 0,1, j, k > 1 1 + j + k < n;
8) j u 2 | K(u) | du < ж; 9) | g(Y) |< ж.
Тогда при n — t
E( Jn (x) - J(x))2 -
nhn
h4T 2
hnT2
(2 P(x))'
-[(J (x) p( x))(2) - J (x) p(2)( x)] = O
3/2
v(nhn) у
(nhn )
Асимптотические свойства оценки условного функционала, задаваемой формулой (4), характеризует Теорема 6. Пусть выполнены следующие условия:
1) последовательность {Zj} e S (а) и
Г ж г iq
j [а(т)] dт<ж, 0 < q < 0,5,
5
j0 т2[(т)]2+5dт<ж, 5>0;
2) ar (z) e Nv1(x), supla^x) <ж, r = 0, 1,
x
a+ (v) e N0,1 (x), a2 (v) e (x), a(2+s) (v) e (x),
sup a+ <ж,
x
3) sup arv) (x) < ж, p(x) > 0, r = 0, 1, sup p(x) < ж;
xx
4) последовательность вещественных чисел такова, что (hn +1/ nhn) i 0;
5) ядро K(u) e A, lim uK(u) = 0;
u—ж
6) функции a+ (x) и a(+т rs (x, x), r = 0, 1, для т > 1 в R2 равномерно ограничены;
7) функции a1+ (i+j)(i+j + k),r (u v, t, w) e N0,4 (X, X, X X),
i, j, k>1, i + j + k < n,
a+(i+j)(i+]+k),r(u,v,t) e x,x), r = 0 1, J, k>1
1 + j + k < n;
8) j uv |K(u)| du <ж для некоторого v e N+;
9) J (x) Ф 0 или т > 4, ieN+.
Тогда при n — ж
~[v] 2 CTf2v]( X)
E( Jjv]( x) - J (x))2 -[] -
nhn
h2vT2
n v
-[(J(x)p(x))(v) - J(x)p(x)]
1) Улучшается скорость сходимости СКО при использовании знакопеременных ядер для кусочногладкой аппроксимации /Тк (х) при v > 4.
Снимается ограничительное условие ^(У)| < ю.
СКО для кусочно-гладкой аппроксимации (х)
вычисляется даже в тех случаях, когда ранее это было
невозможно, т.е. при ^ K
i =1
f X-Xiл
К hn у
< 0 и K(u) < 0 на
некоторых множествах из Я1 (например, в области определения знакопеременных финитных ядер).
Лемма 10. Если выполнены условия леммы 6 и теоремы 6 то при п —ю
Е[Н (х) - / (х)]4 = 0(52,2).
Лемма 11. Если выполнены условия леммы 6 и теоремы 7 то при п —ю
j[ j[:\.x) - j(x)]4=O(sn,v).
Согласно лемме 11 и лемме Бореля - Кантелли справедливо
ю
Утверждение. Если ряд сходится, то при
п=1
п —ю последовательность оценок /^] (х) сходится к / (х) с вероятностью 1, т.е.
P<j lim
n—ж
~М
Jn (X) - J (X)
= 0^ = 1.
( ( ) _..........................., = 0((5п,М)3/2).
(р(x)v!)
Для получения улучшенной скорости сходимости
~ [vк
СКО оценки /п (х) порядка 0(п 2v/(^+1-1) по сравнению с обычной скоростью порядка 0(п~4/5) для /п (х) ( ср. п. 6 в [6] ) согласно теореме 7 необходимо применить знакопеременные ядра К(и), принадлежащие к классу А для v > 2.
Применение полученных в этой работе новых результатов, изложенных в теоремах 6 и 7, в случае конкретной g (•) в (2), (4) и зависимости наблюдений требует проверки следующих простых условий:
Е(ап (х) - а(х))4 = 0((пИ„ )-2),
Е( рп (х) - р(х))4 = 0((пН„ )-2).
Сравнительные преимущества теоремы 7 по сравнению с теоремой 6 открывают особые возможности применения кусочно-гладких аппроксимаций оценок подстановок:
Аналогичное утверждение справедливо и для оценки /п (х).
Следствие 5. В условиях леммы 11 для оптимальной последовательности Н°п = 0(п_1/(^+1)), обеспечивающей одинаковую скорость сходимости к нулю дисперсии и квадрата смещения оценки (х) [6],
имеет место равенство Р {lim у°[v] (x) - J (x) = 0} = 1.
(n—ж I I )
Следствие 5 справедливо, так как
sn„ =sn
> = O(n
-2v /(2v+1)
),
и ряд X (5^ )2 сходится.
п=1
Введем два вида оптимальных оценок условных функционалов /(х):
оценку подстановки /П^] (х; P0[v], Р^-1), для каждой компоненты которой используется свое оптимальное значение параметра = РОмп~1/(^+1:1, г = 0, 1, и со-
ответствующую ей кусочно-гладкую аппроксимацию х; Р0^], p1o[v]);
оценку подстановки ] (х; P0[v]), для которой ис-
пользуется общее оптимальное значение параметра И<эМ =роМп-l/(2v+l), и соответствующую ей кусочногладкую аппроксимацию 3п]( х; P0[v]).
Обозначим
Т-М (1)
a[2v](х;P0[v],РОМ) = —¿¿у- 1 g2(у)/(у I х)^у-р( х)в1
¿м(1) [ Т(Р0Т] / р^) + црМ/ р^) 1
/ 2( х)
р( х)
Р0М
Р0
стм(х; Р0М) = ^Ом [1 g2 (у) / (у 1 х)^ - 3 2 (х) ].
Теорема 7. Если выполнены условия теоремы 7, то при п — ю
2у
п^Е/™ (х^ ДоМ) - / (х))2 -а?,] (х;Р0^ ] ,P1o[v]) -
(р( х^!)'
г[(P1o[v] )2v (/ (х) р( x))(v) -(P0[V] )2/ (х) p(v) (х)]:
=0(1),
2v
п 2v+1 Е(/^ (х; po[v]) - /(х))2 - a[2v] (х; р°м) -
------—^Ф^)^ [(/(х)р(x))(v) -/(х)р(у)(х)]
(р( x)v !)2 [ ]
= 0(1).
Полагая во втором утверждении теоремы 8 v=2, получаем результат Г. Коломба [28], приведенный в [22].
8. НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ НЕЛИНЕЙНОЙ АВТОРЕГРЕССИИ
Пусть случайная последовательность
{, г =...,-1,0,1,...} генерируется нелинейной авторегрессией
Хг = у(Хг-ь ау) + вг (21)
где {вг} - последовательность независимых и одинаково распределенных случайных величин с нулевым средним и дисперсией Ввг = 1, у - неизвестная функция, такая, что
х, у е Я1, |у (у + х)-у(у)| < ау I х I, 0 < ау < 1,
у(0) = 0 ; (22)
условие (22), как показано в [23], обеспечивает стационарность процесса (21).
Заметим, что к авторегрессии типа (21) сводится и более сложная модель
g(Хг) = У(Хг-1;а) + вг, когда известная функция g(.) и ее обратная функция g- (•) являются взаимно однозначными. Действительно, в этом случае, обозначив Уг = g (Хг), Ф(У) = у^- (Уг)], приходим к модели вида
Уг = Ф(Уг-1; аФ ) + вг .
Пусть Х0, Х1,..., Хп - выборка, генерируемая процессом (21). Теперь функцию у в (21) можно оценить статистикой
уп (х) = Х Х?к|
'X К1^
(23)
которая по структуре аналогична известной регрессионной оценке Надарая - Ватсона, или ее кусочногладкой аппроксимацией
у [nV]( х) =-
у п ( х)
(24)
(1 + 5n,v 1 у„ (х)Г)Р Оценка (24) и ее свойства сходимости в среднеквадратическом анонсировались в [25 - 27].
Оценка условной дисперсии, характеризующей качество приближений (23) и (24) к функции у нелинейной авторегрессионной модели (21), выражается формулой
= о„ =-
X ХК (х—Хг-1
г=1 I п*
(25)
Если ф - плотность распределения случайной ве-
личины вг
С < ю и УД > 0
11 ф(х + Д) - ф(х) | dx < СД ,
то процесс нелинейной авторегрессии Хг , согласно
[24], удовлетворяет условию с.п.: для любого т > 0
а(т) < С(аф )е~5(аф )т, С(аф) <ю , 5(ау) > 0 . (26)
Теперь, учитывая (26), нетрудно переформулировать все результаты пп. 3-7 данной работы для оценок
(23), (25) и их кусочно-гладких аппроксимаций типа
(24). Например, главная часть дисперсии оценки условной дисперсии (25) при выполнении требуемых условий выражается формулой
Т(16) Х
пИ„р (х)
х1[у2р2 (х)-2у! (х)р2 (х)-а2 (х)р(х)+2^ (х)] /(х,у)ф.
Полученные результаты позволяют также исследовать более общие динамические системы, в том числе процессы авторегрессионного типа со свойствами с.п. [1. С. 244] (важные примеры с.п. последовательностей можно найти в [12] и [1. С. 146]). Из областей современной математики, где открываются новые возможности применения результатов исследований с.п. последовательностей, несомненный интерес представляет теория одномерных конечных автоматов [13].
ПРИЛОЖЕНИЕ
Для удобства будем отмечать знаком ■ конец доказательства.
Доказательство леммы 1. По определению математического ожидания имеем
Еапг (х) = у 11 gГ (у)К
/ (г, y)dгdy. (П.1)
Так как по условиям леммы
1К \ 11 gr (у) / (г, у^у^
< ю,
(П.2)
то в соответствии с замечанием [28. С. 299] об условиях равенства многократного интеграла повторному имеем |Еапг (х)| < да . Сделав в интеграле (П.2) замену
переменных
х -t
■ = u , получаем
|uh„ |<5 +f
+(-1ГаМ( х) ^-Ту + у „
v!
где
Y nr =
(-1)hV
v!
||^alv\x + (-1)vuhn9r - arv)(x)JuvK(u)du ,
cov(a„r(x), anS (y)) = f f x - Xj Л f
nh
cov
gr (Yj)K
v hn у
v hn у у
ҐA Л. A
x -t
K
y -1
f (t, z)dtdz -
fx-Л
v hn У
\ “n J \ “n J
Л. Л
-ffgr (z)K -h- f(t,z)dtdzffgs (z)K
y-t
v hn
f (t, z)dtdz\.
Обозначим
Gr (x)=jj gr (z)K — f(t, z)dtdz=f ar(t)K
V hn У
V hn у
dt,
E«nr (x) = J K (u)J gr (y) / (x - uhn, y)dydu =
= J ar (x - uhn) K(u) du .
Разобьем пространство Л1 на непересекающиеся множества ^(S)={u:|u|<5/hn} , ^(S)={u:|u|>5/hn} ,
5>0 произвольное. Тогда
|J[ar (x - uhn) - ar (x)]K(u)du| <
< sup |ar (x - uhn) - ar (x)| J , | K(u) | du +
1,10 ^n(S)
fJpi(S)lar (x - uhn) + ar (x)| | K(u) | du . (П.3)
^n (S)
Первое слагаемое в правой части неравенства (П.3) выбором S можно сделать меньше е /3.
Второе слагаемое этого же неравенства не больше С L1 | K(u) | du, если взять C > 2sup | br (x) |. Выбо-
«„(S) x
ром достаточно большого n его можно сделать меньше 2е/3 , т.е. формула (2) справедлива.
Доказательство леммы 2. В интеграле (П.2) разложим функцию по формуле Тейлора с остаточным членом в форме Лагранжа и получим
Eanr (x) = ar (x) + £ (-1)^4 x) T +
Gr+s(xy) = Цgr+"(z)K' x t
= f ar+s (t) K
K
dt.
f (t, z)dtdz = (П.5)
Тогда
cov(anr (x),ans (y)) =— {+s (x, y)-Gr (x)Gs (y)}. (П.6)
nhn
Согласно лемме 1, при n ^ro
Gr (x)
= ar (x) + o(1).
Gs(y)
hn
= as (y) + o(1).
Если у=х , то рассуждая аналогично (П.3), получим при n ^ го
Gr+s (x, x)_
hn
) С 2
-=f ar+s (x-uhn)K (u)du = £(1)ar+s (x)+o(1).
При y Ф x, выполнив в интеграле Gr+s (x, y) в
x -1
(П.5) замену переменных --------= u, приходим к ра-
hn
венству
Gr+s ( X, y) hn
= f ar+s (x - uhn)K(u)KI u +
y - x
du .
(П.4)
0 <ег <1.
Из теоремы Лебега о мажорируемой сходимости (ее условия выполнены ввиду 1 и'К(и^и <ю,
¿г'’-1 (х + (- ГГ иИпег) — ¿г'’-1 (х) при п —ю для каждого х е Я1) следует, что | упг |= о(И„ ). С учетом того, что Тг = 0 , г = 1,...,V-1, сумма в (П.4) равна нулю, и, таким образом, имеет место утверждение (7). ■
Доказательство леммы 3. По определению ковариации, учитывая независимость двумерной выборки (Х1, У1),..., (Хп, Уп), получаем
Пусть £ - любое сколь угодно малое число, | е |< 1,
е^(y-x)-1, sign(y-x) = signе , Цп = (y-x)/hn . Тогда (ср. [29])
J K (u) K (u +Цп K+, (x - uhn )du = J (...) + J (...) <
|u|<e^n | u | > еЦ n
< sup | K(u + цп )| J | K(u)ar+, (x-uhn )| du +
|u|<еЦn
+ sup | K (u)| J | K (u + цп )ar+, (x-uhn )| du =
|u|>еЦn
= sup | K (u +цп )| J| K (u)ar+, (x-uhn )| du +
(1-е)Цn <u+Vn S(1+е)Цn
+ sup | K(u)u || u-1 | J| K(z)ar+, (y - zhn)| dz <
|u|>еЦn
= sup | K(z)| J | K(u)ar+, (x - uhn )| du +
(Г-еХ <z<(1+е)Цn
+ , Crh , J| K(z)ar+, (y - zhn )| dz = Un + Wn .
| е || y - x |J
При достаточно больших n и достаточно малом |е|<1 Un < sup |K(z)z||z-1| J|K(u)ar+, (x-uh„)|du<
(1-e)^n < z<(1+e)^n
Ch
<■
- f I K(z)ar+s (y - zhn )l dz = Zn .
(1- | в |)| у - х |
Применяя лемму 1 имеем, что 2п = 0 (Ип), Wn = 0(Ип) и, таким образом,
Сг+5 (х, у) = |Т(1) аг+5 (х) + о(1), если у = х,
hn
o(1)
если y Ф x.
h
n
2=1
Выполнив в том же интеграле Сг+, (х, у) в (П.5)
у - 2
замену переменных-------= и , имеем
Сг+, ( X У)
= Д!)аг+ з (у)8х,у + °(!) при п ^да .
2
с учетом изложен-
ного выше, получаем
Сг+* (X, у) 5х,у
Ип 2
Д1)[аг+з (х) + аг+з (у)] + о(1).
и 2(апг (х)) = +
-[ю^Ч х) ]
ИЗ'Ч о
пК
( 1 ^ 1 + И2'
V пИп
1+ 2г п
(П.7)
2 + 5
лучим
|с°у(и,К)| < 2п[а(т-1)]2+8 \e\u\2+5 е\у\2+8
2+8
. (П.11)
Так как ковариация является симметричной функцией случайных величин, то необходимо, чтобы этим свойством обладала и ее оценка. Поэтому, представив
Сг+, (х, у) = ^ х,у) + Сг+‘(х,у)
По теореме о мажорируемой сходимости имеем для любого 5 > 0
2+8 = 1 = Ип2+
п
1+о(1)
Еи|2+5 =
£г (^) К
х-Ї
2+8
/ (Ґ, z)dtdz =
И
1+8
і(+2+8)з (У) IК (м)2+8 du. (П.12)
Подставив Сг+ж (х, у), Сг (х), Сх (у) в выражение (П.12), приходим к необходимому результату. ■
Доказательство теоремы 1. В силу леммы 2 и следствия 1 СКО можно представить в виде суммы дисперсий (9) и квадрата смещения Ь(апг)
Так как а(т) ^ 0, то для любого д > 0 справедливы неравенства:
5 5
ю 2+5 3 -- 4 ---
X[а(т-1)k <12[а(т-1)]2+5dт+1 [а(т-1)]2+5dт+...=
= 1[а(т-1)к2+5d т= 1[а(т-1)к2+5dт (П.13)
2 1 Учитывая соотношения (П.11) - (П.13), получаем оценку для Яп (х, у):
Продифференцировав главную часть СКО (П.7) по Ип и приравняв полученное выражение к нулю, полу-
2
X (п -Т +1) соу(^1г (х), ^ (у))
2
п т=2
<
чаем, что
4п(1 + о(1))
пи2(1+8)/(2+8)
[а(+2+8)г (х)а(+2+8)з (У)]
1_
2+8
Щ)І2г (х) 1 2у+1 1 = 0(п 2у+!). (П.8) х[ЛК(и)|2+8 du
2пу[ю((У) (х)]2
Заменяя в (П.7) Ипг на И0г согласно (П.8), приходим к утверждению теоремы (10). ■
Введем обозначения, которые понадобятся в даль-
нейшем: ^ (х) = -1 ^ (У- )К I х-Х-
Ип V Ип
и = Ъг (х),
V = 1тг (у).
Доказательство леммы 5. Воспользуемся методом доказательства теоремы 3 из [30]. Представим ковариацию в виде
1 п п
С°У(апг (х) апз (У) = — ХХС0У(£-г (х) ^ (У)) =
п - =1 ] =1
=—соу(^1г (х),^ (у))^-?2 X (п-т+1)соу(^1г (х),^тз (у))=
2+8
ХНТ-!)]
2+8 <
т=2
___1
пИ
2
п т=2
2 {+з (x, У) - °г (х)°* (У)} +
+'— X (п - т +1) соу(^1г (х), ^ (у)) =
п т=2
= Ап (х, у) + Яп (х, у). (П.9)
По лемме 3 первое слагаемое в правой части последнего равенства (П.9) при п —ю равно
Ап (x,У) =^Т^Г 1(1)[аг+з (х)+аг+з (У)]+о
2пИп
(П.10)
4п(1 +о(1)) [ + . . + , .]
гИ2(1+8)/(2+8) [а(2+8)г (х) а(2+8> (у)]
1
2+8
2 да 8
[||К(и)|2+8 du 2+8 |[а(т)]2+8 dт . (П.14)
Обозначив
8
2+8
1
= ц, 0 < ц < 1, получим
= 1 + 5,
1 - ц
2+8
2(1 + 8) (2 + 8) + 8
2+8
1
2 + 8 2 + 2ц /(1 -ц) 2
2 + 8 =- 2
откуда и следует неравенство (14).
Из (П.9) и (П.10) вытекает, что для доказательства второго утверждения леммы (15) достаточно доказать, что слагаемое Яп (х, у) в (П.9) имеет порядок
V пИп у
. Для этого представим
, с(п)
К (X, У^ < - X СОТ & г (x), ^ (У^ +
п т=2
да
+- X с°у|^іг(х),^(У) = ^ 2,
п с(п)+1
п
т=2
2
X
о
где с(п) - положительные целые числа такие, что
с(п) — ю, с(п)Ип — 0, с(„)И„д — ю ; при
п — ю (например, можно взять с(п) ~ Ап
0 <е <1 -2д.
Теперь, учитывая условие 6) леммы, имеем
'„е-1
с(п)
/1 Е!я
ег (2) К
[ х - и Л
V Ип
gs (р) К
[ у - и Л
V Ип У
пИп т=2
; |/1т(и,у,', р) - /(и,у)/(V, р)| dudzdvdp <
2 с(п)г 1
< ТТ XI а1+тг (X, у) + аг+ (x)as+ (у) I Х
„к л
т=2
х11
К
[у - иЛ
К
•п У I "п У Сс(п)
/■\^-»с(п)г
2С ^ г® | |
^иЛ1 <— X 1 К (и) du
п
т=2
=0
Кс(п))=0[_± 1„к
если с(п) —ю и с(п)Ип — 0 при п — ю. Для /2, согласно (П.14), имеем
4п(1 + о(1))
4П(1 + 0(1)) Г + _ ч + _ П-
2 < „и2(1+5)/(2+5) [¿(2+5)г (х)а(2+5)s (у)]
1_
2+5
(Ц к (,)|2+5
2
5
,2+5
/2- < с(„)„и;С*5«з+.) т5,)с(п) [“(т»>
5 2+5
_5_
2+5
С
с(п)пк2'^
5)/(2+5)
X т[а(т)] <
т=с(п)
С
5_
2+5
-с(„)„и?-«-^)Xт[а(т)' ■
4д 1
Теперь выберем 5 =-----, 0 < д < —, и получим
1 - 2д 2
/2 <
С
2д
-Xт[а(т)] .
с(п)пИ1+2д т=2 Функция а(т) не возрастает, т.е. 1 > а(1) > а(2) >
>а(3)..., поэтому Xт[а(т)]
2д
ю 1
XI а(т)] < ю, 0 < д < — , следует, что
т=2
со 2д
СО СО
2д СО 2д
Xт[а(т)] =XX[а(г)] ^И^] <
У=2 г=у
т=2
т=2
2д
< X [а(^)] X[а(г)] +X[а(т)] <
у=2 г=у
X[а(т)]
т=2
-£{[а(т)Г}
т=2
Таким образом
[ , Л [
= 0
/2 = 0
1
1
< ю.
Л [ 1 Л
= О
чс(п)пК+2д У |пИпс(п)Ип2д
так как с(п)И2д — ю при п — ю.
Доказательство леммы 6. Воспользуемся методикой доказательств леммы 4 [31] и леммы 5 [31]. Последовательность {2;}у> является стационарной, поэтому
Е(^пг )4 = ^г Е
4» 4 '
п И
[ п Л4
Пгг I г=1 У
< 4п„Г X |ЕП1гПггП(г+у)гП(г+у+к)г |, (П.16)
п И
г, У ,к
2+5 X [а(т-1)] , (П.15)
т=с(п)+1
для любого д > 0.
Так как функция а(+2+5)г (х) ограничена, а
1К(и)|2 5 du <ю для любого 5 > 0, то в силу монотонного убывания а(т) для любого 5 > 0 имеем
где сумма берется по тем г,у,к, для которых
г,у,к > 1, г + у + к < п. (П.17)
2+5
По лемме 4 при г =--------, р = д = 2 + 5, учитывая,
5
что Ег|1г = 0 после замены переменных в интегралах, получим
Е
I 5
{г (Пг{+у)гП(г+у+к)г )}| < 2п[а(г - 1)]2+5 [Е|П1
2+5
ЕКП(г+у)гП(г+у+к)г| + 2+5 <С[-1)]2+5 (1+о(1))И„2+5 >
а
(2+5)г
(х) (| К (и )|2+5 du )
1(1+у)(1+у+к ),г
(х, х, х)
1
2+5
< СН„+ъ [а(г -1)]2+5 .
(П.18)
< ю, так как из
и Е{г (Пгг'П(г+;)г'П(г+;+к)г }СИп2+5[а(к)]2+5 . (П.19)
Используя повторно лемму 4 и условие стационарности, получим
Е{п1г (ПггП(г+у)гП(г+ у+к)г)}=|Е{п1г (Пгг%+у)гП(г+у+к)г)}-
-Е(П1г Пг )Е(П(г+ у)г П(г+ у+к )г ) + Е(П1г Пг )Е(П(г+у )г П(г+ у+к )г )}|< ~ _5_
<сК„;+Ъ [а(к)]2+5 +Е(П1гПгг)Е(П1гП(к+1)г)|-
Еще дважды применяя лемму 4, получаем
— _5_
|Е(П1гПгг ^ < СИп+ [а(г - 1)]2+5 ,
|Е(П1г П(к +1)г ^ < СИп+5 [а(к)} 2+5 .
Подставляя эти два неравенства в предыдущее не-
равенство, находим
2
4
4
т=2
2
|Е{піг Сп,т П(і+j )r П(і+j+k) r
— ( _5_ _J_
< Ch2+5 \[a(i -1)] 2+5 [a(k)] 2+5 +[a( j)] 2+5 |; |E{r (n,r П(,+j )r П(,+j + k )r )}<
(П.20)
5
< Ch2+5 \[a(i -1)] 2+5 [a(k)] 2+5 + [a( j)] 2+5
. (П.21)
4
(П.16) не превосходит произведения Ch;2+8 на
5 5 5
St a(i - 1)]2+5 [a(k)] 2+5 + 2 Y[ a (¿)] 2+5 +
i ,k< j j,k<i
5
+ X [а(г -1)]2+5,
у,к <г
где индексы суммирования, кроме указанных ограни чений, подчиняются и (П. 17).
Поскольку 1 = а(0) >а(1) >а(2)..., то
5 5 п+1 ю 5 5
X [а(г — 1)]2+5 [а(к)]2+5 <X X [а(г-1)]2+5 [а(к)]2+5 <
г,к< у у=1 г,к=1
[ ю 5 Л2
5 ж k=1
< 2 nY[a( i-1)] 2+5 Y[a(k )]2+5 < 2 n Y[a( i-1)]
ІІ2+5
V i=1
<^J1 [a(x-1)]2+5dTj =(j0 [a(x)]2+5dTj . (П.23)
Аналогично
5 5 n i 5
Y [a(i)]2+5 < Y [a(i-1)]2+5 < Y Y [a(i-1)]] <
j ,k<i j,k<i i=1 j,k=i
ж гж —
<Yk2 [a(k-1)]2+5 < j T2 [a(x-1)]2+5 dx=
k=1
і* ж —~
= j (t + 1) a(T)2+5 dt.
(П.24)
Из этих двух цепочек неравенств вытекает, что
)4 4!nCh2+5
E(Snr) =
4, 4
n hn
Y[a (i -1)]
2+5 | +
+31 Yk2 [a(k -1)]
2+5
k=1
25
Ch 2+5 (^
2i 2 n hn
Y[a(i -1)]
2+5 | +
2-5 Ch,2+8
n2 hlnK k=1
Y k2 [a(k -1)]
2+5 .
(П.25)
Второе слагаемое в правой части последнего нера-
[
венства (П.25) при 0<5<2 имеет порядок о
(_Lл
vn2 h«/
25 __4_
с2 (n)h2+5 = O(hn 2+5)
при n , поэтому
25
5 ( ж 5
h 2+5 • »її
n hn Vi=c(n)+1
C
Y [a(i-1)]
2+5
25 h 2+5
n2h2c(n)
Y c(n)[a(/)]2+5
Vi=c(n) /
25
Согласно полученным неравенствам, сумма в
5 Л2 (
YT[a(T)]2+5 | = о
1
2
Vn hn
n-hl(l+2r)
. (П.26)
n hn c (n)h2+5 Теперь покажем, что в условиях леммы величина
25
I =-
Ch 2+5 (c(n) 5 Л
Chn Y [a(i -1)]
V i=2 j
2 /„2
n h
(П.22) имеет, по крайней мере, порядок O
( 1 л
2 7 2 Vn hn j
. Для этого
получим для величин из (П.18) - (П.20) другие неравенства. Сделав замены переменных, имеем
|ЕК (Пггп(г+у)гП(г+у+к)г )} <
< СК (11К(и)\^) а1+(г+у )(г+у+к),г (X, X, X, х) <
< Cht f1
n J 1i(..),r >
(П.27)
где f1i(..),r = max f1(i+j)(i+ j+k),r. j,k
Обозначив
f(..)0k,r max f\(i + j)(i+ j+к),r i, j
и f(')0 j(-),r = ni^‘kX /(i+j)(i+ j+k),r ,
аналогично получаем
|Е{(П\г Л,> n(i+j )r )(n (i + j + k )r >)| < Ch44f(..)0k,r; (П.28)
|E{(n\r nir )(n(i + j )r n(i + j+к )r )) < Ch4 4)0 j (.),r. (П.29)
Согласно неравенствам (П.27) - (П.29), слагаемые в (П.16) не превосходят произведения Ch4 на
Y f\i(..),r + Y f(..)0k,r + Y f(-)0 j(■),r < 3 Y fi,r , (П.30)
j ,k <i i, j < k i,k < j j ,k <i
где fr,r = msx(7\r(..),r , f(..)0i,r, W. Далее имеем
_n _i c (n) CO
Y fr <Y Y f,r <Yk2fk,r = Yk2fk,r + Y k2fk,r.
j ,k<i i=0 j ,k=0 k=0 k=0 k=c (n)+\
Так как в условиях леммы
Y k2fk,r < Cnc2(n),
k=0
то, учитывая (П.25), (П.26) и существование
lim c(n)hn = O (!), получаем
.4 < n2CC2(n)K + o
E(Snr ) <------ZI------+ 0
n h„
первое слагаемое - скорость сходимости меньшую, чем это необходимо для справедливости утверждения леммы.
Займемся первым слагаемым. Выберем последовательность целых положительных чисел так, чтобы
с(п) = о(„), с(п) = 0(И-1), т.е. с(п) — ю при п — ю.
При таком выборе с(п) имеем
1
2; 2 n hn
1
2, 2 n hn
V n / V n /
Доказательство леммы 7. Привлекая при р = 4 и да = 2 неравенство
Yы| <тР 1Yи, ^ р > l,
(П.31)
имеем
4
4
М4(апг) = Е[ +Ь(апг)]4 < 23 [е[]4 + Ь4(а„г)
Доказательство леммы 9. Используя, как при доказательстве леммы 3, приемы замены переменных в интегралах, получаем для г, s = 0,1
Иш п 2'+1 соу(а0['], а-[у]) = Пт
2,
/,2,+1
„г т
хК
С Л х - г
Ио[']
V п У
п—ю „но[:] но[:] [
ио[:]
1 ¿г^(г) К
^ л
х-г
И о[ у]
V „г У
dг -1 аг (г) К х--'Л dг 1 as (г) К
с Л
х - г
И-[у]
V п У
dг
= Пт
2,
7 2,+1
1 ¿г+s ( X - иИ-'1) К (и) К
ИоМ
пг
И-м
V „ У
du -
и 2( н (г„))=е
X Ну (г„у -гу)
у=1
+0(dn-3/2) =
= X НуНрЕ[(г„у-гу)(г„р-гр)]+0(dn-3/2)=
у, р=1
Ит пИ„ а„0) =
„——ю
= ¿(1)
соу(ап1, а„1) соу(ап1, а„ 0) соу(а„0 , а„1) соу(а„0 , а„0)_
а2 (х) а1 (х) а1 (х) а0 (х)
(П.38)
I 3п (х) 1=
X g (У ) К
г =1
X - Хг
X К
х - Х Ип
< тах(| g (Уу )|) < С = Cdn
уе1, п
т.е. у = 0.
Так как р(х) > 0, а при 22 ф 0 функция 21/ 22 принадлежит классу Ы2 2 (а1 (х), р(х)), то, используя при нахождении смещений лемму 2 (у=2), получаем
Н1Ь(а„1) -
И2Т
Ип12
2 р( х),!
(3 (х) р( х))1
(2)
= -(И„),
„—ю „И„',|']
-И-|у] 1 аг(х-иИ-[у])К(u)du 1 аs(х-иИ-[у])К(u)du] .
Доказательство следствия 3 теоремы 4. Полагая в утверждении теоремы 4 к = 2 получаем следующую цепочку равенств:
Н 2^(а„0) - 3 (х) р(2)( х)
= 0(И„).
= X НуНрЕ[{(г„;.-Ег„у)+Ь(г„у)}-Ег„р)+Ь(г„р)}+
у, р=1
+0(dn-3/2) = X НуНр [соу(г„у,г„р)+Ь(г„у)Ь(г„р)]+
у, р=1
+0(d—3/2).
Доказательство теоремы 6. В обозначениях следствия 3 имеем
s = 2, 2 = (21, 22), Н(2) = 21 / 22, г„ = (г1п, г2п ) = (а„Ъ а„0) = (an1, р„ X г = (гl, г2\
г1 = а1 (х) = 3 (х) р( х), г2 = а0 (х) = р( х), dn = 0(И-4 + „И„), Н1 = 1/ р(х),
Н 2 = -а1 (х) / р 2 (х) = - 3 (х) / р( х).
Покажем, что М4 ||ап1,р„||=0^-22). Действительно,
М4 ||а„1, р^| < 2 [М4 ||а„11| + М4 ||р„ 11] =
= 2 [Е(а„1 - ¿1)4 +Е(р„ - р)4 ] .
Оба слагаемых в правой части последнего равенства, согласно лемме 7, имеют порядок
0((„И„ )-2 + И„2').
Далее все необходимые ковариации находятся в соответствии с леммой 8:
2 р( х)
Теперь, собирая вместе найденные выше выражения, после элементарных преобразований приходим к утверждению теоремы.
Доказательство теоремы 7. Сначала доказательство данной теоремы полностью совпадает с доказательством теоремы 6.
Отличия начинаются после формулы (П.38). Во-первых, теперь отсутствует необходимость в нахождении мажорантной последовательности. Во-вторых, при 22 ф 0, как следствие аналитичности функции
21/22, записываем, что 21/22 еЖ,2(а1(х),р(х)), V6N+.
При нахождении смещений используем лемму 2 в общем случае:
Н1Ь(а„1) -
И'Т
И Л *
(р (х),!)
-(3 (х) р( х))1
(V)
Н2Ь(а„0 ) --
И„Ту -3 (х) р(у)( х)
= о(И„ ),
= о(И„ ).
Выполняется и условие 2) следствия 3. В самом деле, учитывая, что К (и) > 0, получаем
(р( х),!)
Далее нетрудно убедиться, что все условия следствия 4 для оценки
■7„у] (х) при д > д0 = 4
выполняются.
Для получения улучшенной скорости сходимости
среднеквадратической ошибки оценки 3„'] (х) порядка 0(„~2у /(2у+1)) по сравнению с обычной скоростью порядка 0(„~4/5) для 3п (х) (ср. п. 6 в [6]) согласно теореме 7 необходимо применить знакопеременные ядра К (и), принадлежащие к классу А, для V > 2.
Применение полученных в этой работе новых результатов, изложенных в теоремах 6 и 7, в случае конкретной g (•) в (2), (4) и зависимости наблюдений требует проверки следующих простых условий:
Е(а„ (х) - а( х))4 = 0((пИ„ )-2),
Е( р„ (х) - р( х))4 = 0((пИ„ )~2).
Сравнительные преимущества теоремы 7 по сравнению с теоремой 6 открывают особые возможности применения кусочно-гладких аппроксимаций оценок подстановок:
Улучшается скорость сходимости СКО при использовании знакопеременных ядер для кусочногладкой аппроксимации 3' (х) при V > 4.
Снимается ограничительное условие ^ (У)| < ю.
„ тМ, ч некоторых множествах из Я1 (например, в области
СКО для кусочно-гладкой аппроксимации 3У-1 (х) ^ , ч
определения знакопеременных финитных ядер...).
вычисляется даже в тех случаях, когда ранее это было Доказательство теоремы 8. Доказательство этой
невозможно, т.е. при Y K
i=1
Г x-X ^
hn
< 0 и K (и) < 0 на
теоремы проводится аналогично доказательствам теорем 6 и 7 с использованием ковариационной матрицы леммы 9 вместо матрицы леммы 8.
ЛИТЕРАТУРА
1. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит, 1977.
2. Боровков А.А. Математическая статистика. Новосибирск: Наука,1997.
3. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. 1964. Т. 19. Вып.1. С. 147-149.
4. Watson G.S. Smooth regression analysis // Sankhya. Indian J. Statist. 1964. V. A26. P. 359-372.
5. Gasser T., Muller H.-G. Kernel estimation of regression functions // Lect. Notes Math. V. 757. P. 23-68.
6. Кошкин Г.М. Асимптотические свойства функций от статистик и их применения к непараметрическому оцениванию // Автоматика и телемеханика. 1990. № 3. С. 82-97.
7. Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сиб. мат. журн. 1999. Т. 40. № 3. С. 605-618.
8. Алексеев В.Г. О непараметрических оценках кривых и поверхностей регрессии // Автоматика и телемеханика. 1988. № 7. С. 81-87.
9. Bosq D., Cheze-Payaud N. Optimal asymptotic quadratic error of nonparametric regression function estimates for a continuous-time process from sampled-data // Statistics. 1999. V. 32. P. 229-247.
10. Stone C.J. Consistent nonparametric regression // Ann. Math. Statist. 1977. V. 5. No. 4. P. 595-645.
11. Masry E. Nonparametric estimation of conditional probability densities and expectations of stationary processes: strong consistancy and rates // Stochastic Processes and Apll. 1989. V. 32. No. 1. P. 109-127.
12. ИбрагимовИ.А., ЛинникЮ.В. Независимые и стационарно связанные величины. М.: Наука, 1965.
13. БоровковА.А. Курс теории вероятностей. М.: Наука, 1972. С.19.
14. RosenblattM. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. 1956. V. 27. No. 3. P. 832-837.
15. ParzenE. On estimation of a probability density function and mode // Ann. Math. Statist. 1962. V. 33. No. 3. P. 1065-1076.
16. Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. М.: Мир, 1988. 408 с.
17. Надарая Э.А. непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбил. ун-та, 1983.
18. Кошкин Г.М. Улучшенная неотрицательная ядерная оценка плотности // Теор. вероятн. и ее примен. 1988. Т. 33. Вып. 4. С. 817-822.
19. Давыдов Ю.А. О сходимости распределений, порожденных стационарными случайными процессами // Теор. вероятн. и ее примен. 1988. Т. XIII. Вып. 4. С. 730-737.
20. Надарая Э.А. Непараметрические оценки кривой регрессии // Тр. ВЦ АН ГССР. Тбилиси: Мецниереба, 1965. № 5:1. С. 56-68.
21. Цыбаков А.Б. О выборе ширины окна в ядерной непараметрической регрессии // Теор. вероятн. и ее примен. 1987. Т. 32. Вып. 1. С. 153-159.
22. Балтрунас Й.Й., Рудзкене В.Ю. Нелинейные стохастические процессы авторегрессии // Тр. АН ЛитССР. Сер. Б. 1984. Т 3(142). С. 81-90.
23. Балтрунас Й.Й., Рудзкене В.Ю. Регулярность процесса нелинейной авторегрессии // Тр. АН ЛитССР. Сер. Б. 1986. Т 2(153). С. 118-122.
24. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Наука, 1972.
25. Билингсли П. Сходимость вероятностных мер. М.: Наука, 1977.
26. Koshkin G.M., Piven I.G. Nonparametric estimation in nonlinear autoregression processes // Обозр. прикл. и промышл. матем. 2001. Т. 8. Вып. 1. С. 385-386.
27. Bradley R., Bryc W. Multilinear forms and measures of dependence between random variables // J. Mult. Anal. 1985. V. 16. No. 3. P. 335-367.
28. Collomb G. Estimation non parametrique de la regression par la metode du noyau: These Docteur Ingenieur. Toulouse: Univ. Paul-Sabatier, 1976.
29. Kitaeva A.V., Koshkin G.M. Piven I.G., Ryumkin V.I. Nonparametric identification of dynamic systems // Пробл. синт. и проект. сист. автома-тич. упр.: Матер. науч.-практич. сем. Новосибирск: Изд-во НГТУ, 2001. С. 97-100.
30. Kitaeva A.V., Koshkin G.M. Piven I.G., Ryumkin V.I. On nonparametric karnel identification of nonlinear autoregression process // The 5th Ko-rea-Russian Intern. Symp. on Science and Techn.: Proceed. KORUS 2001. V. 2. Tomsk: Tomsk Polytechnic University. P. 208-211.
31. Schuster E.F. Joint asymptotic distribution of the estimated regression function at a finite number of distinct points // Ann. Math. Statist. 1972. V. 43. № 1. P. 84-88.
32. MasryE. Probability density estimation from sampled data // IEEE Trans. Inf. Theory. 1983. V. IT-29. No. 5. P. 696-706.
Статья представлена кафедрой теоретической кибернетики факультета прикладной математики и кибернетики Томского государственного университета, поступила в научную редакцию «Кибернетика и информатика» 30 апреля 2003 г.
