Адаптивное оценивание в гетероскедастичной непараметрической регрессии Текст научной статьи по специальности «Математика»

2019 Математика и механика № 57

УДК 519.22 MSC 62G05, 62G08

DOI 10.17223/19988621/57/3

Е.А. Пчелинцев, С.С. Перелевский

АДАПТИВНОЕ ОЦЕНИВАНИЕ В ГЕТЕРОСКЕДАСТИЧНОЙ НЕПАРАМЕТРИЧЕСКОЙ РЕГРЕССИИ1

Рассматривается задача оценивания неизвестной функции гетероскедастич-ной регрессии. Предлагается адаптивная процедура выбора модели, основанная на улучшенных взвешенных оценках наименьших квадратов со специально подобранными весовыми коэффициентами. Устанавливается, что процедура имеет более высокую среднеквадратическую точность по сравнению с процедурой, основанной на классических взвешенных оценках наименьших квадратов. Для среднеквадратического риска предлагаемой процедуры доказывается неасимптотическое оракульное неравенство, определяющее для него точную верхнюю границу по всевозможным оценкам. Приводятся результаты численного моделирования.

Ключевые слова: гетероскедастичная регрессия, улучшенное непараметрическое оценивание, процедура выбора модели, оракульное неравенство.

1. Введение

Предположим, что наблюдения ()1ä j<n описываются уравнением гетероске-дастичной регрессии

y} = S(Xj) + ст j% j, 1 < j < n, (1)

где Xj = j / n ; S(•) e £2[0,1] - неизвестная 1-периодическая Ж. ^ Ж. -функция, которую требуется оценить; (i ■ )1äj<n - последовательность независимых одинаково распределённых случайных величин, таких, что E(i) = 0, E(§2) = 1, E(^) = i* < ж; (ст j )j< j<n - неизвестные коэффициенты волатильности, которые в общем случае зависят от Xj и функции S ; n - число наблюдений. Предполагается, что коэффициенты ст ■ в (1) удовлетворяют следующим неравенствам:

max ст2 < ст , min ст^ > ст0, (2)

1<j<n J 1<j<n J

где граница ст является функцией от n , т.е. ст = стп такая, что для любого 5 > 0

lim ст^ = 0,

n^x n

ст0 - некоторая положительная величина.

1 Работа выполнена в рамках государственного задания Минобрнауки России

(проект № 2.3208.2017/4.6) и при финансовой поддержке РФФИ (грант № 16-01-00121 А).

Модели вида (1) с ст = ст( х}-) были введены как обобщение непараметрической

модели ЛМСОУЛ [1]. Следует отметить, что гетероскедастичные регрессии с таким коэффициентом волатильности встречаются в эконометрических исследованиях, а именно, в анализе инвестиционного поведения фирм [2, 3]. Например, для задачи потребления используют некоторые параметрические аналоги модели (1) с коэффициентами волатильности

ст= с0 + с1 х}- + с2 Б2 (х2), где с0, с1, с2 - некоторые неотрицательные неизвестные постоянные. Отметим, что регрессионная модель (1) является важной в стохастических дифференциальных уравнениях для аппроксимации диффузионных процессов с непрерывным временем путем использования последовательных ядерных оценок, имеющих асимптотически минимальные отклонения (см., например, [4-6]).

Цель работы — построить адаптивную процедуру выбора модели для оценивания функции Б в модели (1), которая имеет более высокую среднеквадратиче-скую точность по сравнению с оценками МНК для конечного объема наблюдений, и получить оракульное неравенство для среднеквадратического риска построенной процедуры выбора модели.

Напомним, что метод выбора моделей появился в пионерских работах Акайке [7] и Мэллоуза [8], которые предложили ввести пенализационное слагаемое в критерий максимального правдоподобия. Далее, Барон, Бирже и Массар [9], Мас-сар [10] и Кнайп [11] развили этот метод для получения неасимптотических ора-кульных неравенств в непареметрических регрессионных моделях с гауссовскими шумами в дискретном времени. К сожалению, этот метод не может быть применен к регрессиям с негауссовскими шумами, поскольку для таких моделей оценки коэффициентов Фурье являются, вообще говоря, зависимыми случайными величинами и, как правило, с неизвестными корреляционными коэффициентами. Этот факт делает невозможным применение метода Барона-Бирже-Массара-Кнайпа для получения оракульных неравенств для таких моделей. По этой причине в данной работе для оценивания функции в модели (1) применяется метод, развитый в [12].

В отличие от упомянутых работ, в статье разрабатывается процедура выбора моделей для адаптивного оценивания функции, основанная на взвешенных улучшенных оценках наименьших квадратов со специально подобранными коэффициентами. Применение метода улучшенного оценивания, известного как феномен Стейна, для параметрических моделей регрессии в непрерывном времени стало возможно благодаря работам [13, 14], а для непараметрических моделей - работам [15, 16], в которых предложены соответствующие модификации известной процедуры Джеймса - Стейна для регрессионных моделей с шумами, содержащими импульсные компоненты. В данной работе этот метод применен к процедуре выбора моделей с заменой классических оценок наименьших квадратов на их улучшенные версии. Это позволяет улучшить среднеквадратическую точность оценивания. Процедура выбора моделей дает адаптивное правило выбора лучшей оценки (в смысле точного неасимптотического оракульного неравенства) в определен-

ном семействе проекционных оценок. Точное оракульное неравенство означает оценивание сверху неасимптотического риска минимальным риском по выбранному семейству оценок, умноженным на коэффициент, стремящийся к единице с ростом отношения сигнал/шум. Такие неравенства позволяют доказывать эффективность процедур без знания регулярности оцениваемой функции, т.е. в адаптивной постановке [17].

Статья состоит из следующих разделов. В разделе 2 предлагаются улучшенные взвешенные оценки наименьших квадратов. Доказывается, что такие оценки превосходят классические оценки МНК по среднеквадратической точности. В разделе 3 строится адаптивная процедура выбора моделей для оценивания функции, основанная на взвешенных улучшенных оценках наименьших квадратов. Получено точное неасимптотическое оракульное неравенство для риска процедуры. Раздел 4 содержит результаты численного сравнения эмпирических рисков данной адаптивной улучшенной процедуры с процедурой, предложенной в [12]. Доказательства основных результатов приводятся в приложении.

2. Улучшенные взвешенные оценки МНК

Для оценивания неизвестной функции Б в модели (1) воспользуемся ее разложением в ряд Фурье по тригонометрическому базису ф ] (х) ;>1 в пространстве

^[0,4 :

Б (X) = £0; ф; (х), (3)

л/2соб(2л[ ] /2]х), для

где ф! = 1, ф(х) =

четных ],

л/2 5И1(271 [] / 2]х), для нечетных ], [а] - целая часть числа а и коэффициенты Фурье

0 ] = (Б, ф ] )п = 1 ¿Б (х, )ф ] (х,) п г=1

- эмпирическое скалярное произведение функций Б и ф] на сетке (х}- )1й]<п . Поскольку они зависят от неизвестной функции Б, то также являются неизвестными и подлежат оцениванию. Если п является нечетным, то ф] (х)]а - ортонормиро-

ванный базис относительно введенного эмпирического скалярного произведения, т.е. для всех 1 < ] < п

1п

(фг, ф ] )п = - ¿фг(хг)ф ](хг) = 8],

п г=1

где 8г] - символы Кронекера. Используя этот факт, получаем, что оценки МНК коэффициентов Фурье определяются формулой

0 ],п = (Г, ф ] )п.

Здесь У = (>!,...,уп)' и штрих обозначает транспонирование. Из (1) следует, что оценки МНК удовлетворяют следующему уравнению:

;,п =0; + п * у-п, *п =~г £ Ь Ф ; (X). (4)

п <п I =1

Теперь, как и в [12], определим класс взвешенных оценок МНК функции следующим образом:

4 (X) = £ Х(; )0 ;,п Ф ; (X), (5)

;=1

где х е [0,1]; вектор весовых коэффициентов X = (Х1,...,Xп) принадлежит некоторому конечному множеству Л с [0,1]п для п > 3 . Пусть V =| Л | - мощность множества Л,

= max VX(j), Uj n = max sup

j = ' ^еЛ 1<l <n

£х(; )(ф2 (хг) -1).

1=1

Предположим, что существует целое число ё = ё(п) < п , такое, что Х(;) = 1 для ; = 1, ё . Учитывая такой вид весовых коэффициентов, для оценивания неизвестной функции 5 в (1) вместо взвешенных оценок МНК предлагается использовать оценки вида

5*(х) = £Х(;)0*,пф; (х), 0*,п = (1 - я(;))0;,п, (6)

j=1

где g (j) = ЩТ1{1< j<d ^ II® = £® in

II0 A\d j=1

d

^2

IA - индикатор множества A и

(d - 1)ст;

2

n(rn Wdст2 /n)

Здесь rn - положительный параметр, такой, что lim rn =ж и для любого 5 > 0

n

n^x

Г

Ит-^т = 0.

п^ад п

Далее обозначим разность эмпирических среднеквадратических рисков предложенной оценки (6) и оценки МНК (5) как

Дп(5) = Е5||5Х -51|2 -Е5 || -5||2, (7)

где Е5 - математическое ожидание относительно распределения наблюдений У = (у1,..., уп)' при фиксированной функции 5 и

II s || 2=1 ±S 2( xi).

l=1

Cn =

Предложенная оценка (6) обладает следующим свойством.

Теорема 1. Пусть в модели (1) коэффициенты волатильности (ст^ )1й^<п удовлетворяют неравенствам (2). Тогда для всех ХеА оценка (6) превосходит по среднеквадратической точности взвешенную оценку МНК (5). При этом разность среднеквадратических рисков (7) удовлетворяет следующему неравенству:

Ап (Я) <-¿2. (8)

Замечание 1. Теорема 1 утверждает, что оценка (6) обладает более высокой среднеквадратической точностью по сравнению с оценкой МНК (5), причем минимальный выигрыш в точности равен сП.

3. Выбор модели. Оракульное неравенство

В данном разделе предлагается правило выбора из введенного класса оценок (6) наилучшей оценки в смысле точного оракульного неравенства. Такой метод позволяет решить задачу в адаптивной постановке, т.е. в случае, когда неизвестна степень гладкости функции Я в (1). Для построения адаптивной процедуры выбора модели определим множество Л. С этой целью зададим сетку

А = {1,...к}х {^...^ },

где t: = ie и m =

_1_

Le2 j

. Считаем, что параметры k > 1 и 0 <e<l - функции от n .

т.е. k = kn и e = en, такие, что

k

lim kn = +œ, lim —— = 0,

n^œ n^œ ln n (9)

lim en = 0, lim n5en = +œ,

для любого 5 > 0 . Например, можно взять для n > 3

en =T^, kn = k +^/ïn«,

ln n

где k - некоторая неотрицательная постоянная. Для любого а = (ß, t) e A положим, что весовой вектор Ха = (Ха (1),..., Ха (n)) с компонентами

^а ( j) = 1{1* jäj} + (1 - (j / ®а )ß )1{1ä j}. (10)

Здесь d = d (n) = [юа /ln n],

юа =та + (Aßtn)1/(2ß+1), Aß = (ß + 1)(2ß + 1)/(n2ßß)

и та - некоторая неотрицательная постоянная. Отметим, что в этом случае V = mk .

Замечание 2. Весовые коэффициенты вида (10) были введены Пинскером [18] и Нюссбаумом [19] для доказательства асимптотической эффективности оценок гауссовских сигналов. Для негауссовской гетероскедастичной модели весовые коэффициенты (10) использовались в работах [12, 17].

Для того чтобы выбрать вектор весовых коэффициентов ХеЛ в (6), необходимо минимизировать эмпирическую квадратическую ошибку вида

Еггп (X) = Iк * - 5|2 = - £ (5х* (х,) - 5(х, ))2 II 11п п

(5Х (х1) - 5 (х1 /2

I=1

которую в силу равенств (6) и (3) можно переписать, как

2

Еггп(X) =1 £Р£(Х(;)0*,п-0;)Ф;(х,)1 . (11)

п;=1VI=1 У

Затем, учитывая, что п-1 £" ф2 (х1) = 1, перепишем (11) следующим образом:

Еггп(X) = £X2(;)0;.2п -2£Х(1)0;,п0; ,

2 ^ 4 0*2 1=1 ' 1=1

Так как в этом равенстве коэффициенты 0. неизвестны, необходимо величины 0* п0- заменить некоторыми оценками. В качестве таких оценок предлагаются

01,п =0*,п01,п - п Сп,

где с; п - некоторая оценка интегрированной дисперсии шума

1 п 2 ?п =-£ст2. п ,=1

При осуществлении этой замены в эмпирической ошибке нужно заплатить «штраф». Определим платежную функцию как

(X) = £X2(1)0*.2п -2£X(j■ )0;.,п +р/п(X), (12)

1=1 1=1

где 0 <р < 1 - некоторый положительный коэффициент, который будет определен ниже. Пенализационное слагаемое

Рп (X) =1^, 1X12 =£ X 2(1). (13)

п 1=1

Отметим, что если последовательность (ст 1 )1< ■ <п известна, то

1 П< 1 <п

IX12

Рп (X)

п

Теперь, полагая

X = argmin Jn (X),

ЯеЛ

определим процедуру выбора модели равенством

5 * = 5;.. (14)

Заметим, что X существует, поскольку множество Л конечно. В случае, когда X* не единственное, берем любое из них. Далее получим неасимптотическую верхнюю границу для среднеквадратического риска оценки (14).

Теорема 2. Пусть наблюдения описываются уравнением (1). Тогда для любого 0 <р< 1/3 среднеквадратический риск предложенной процедуры выбора модели (14) для функции Я удовлетворяет следующему оракульному неравенству:

Я( Я *, Я )<-1--р- Ш1и Л(Я*, Я) + — Т п

1 - 2р ХеЛ пр

(15)

где

R(ЯX, Я) = ЕЯ ЯХ - Я

=3

(8Сп + 64ст + уст) ) + 2п- + ст(01, п + ип )^СГп ) + «п Ея - п

и

4. Численное моделирование

В этом разделе проиллюстрируем теоретически установленный результат в теореме 1 с помощью численного моделирования в среде МаНаЪ. В качестве функции Я в модели (1) выберем

Я (х) = х зш(2лх) + х2(1 - х) соб(4лх), ст2 = 2 + Я (х}-), )1й;<п - последовательность н.о.р. N(0,1) с.в. Для вычисления весовых коэффициентов (Ха )аеА положим в (10)

1

к* = 100 + е = —, т = [1п2 п], р =-1-, юа =100 + (Ав/п)2р+1.

1п п 3 + 1п2 п

В таблице приведены результаты моделирования эмпирических среднеквадрати-ческих рисков по N = 1000 реализациям процедур выбора модели (14), построенным на основе предложенных улучшенных оценок (6) и на основе оценок МНК (5):

1 N

Я(Я*,Я) = NI IIЯт-Я\\п,

т=1

где Ят* - оценка, полученная по т-й реализации выборки.

Эмпирические квадратические риски

п 101 401 1001

Я( Я *, Я) 0.2779 0.0596 0.0196

Щ Я, я ) 0.9276 0.1297 0.1011

Аи (Я) -0.6497 -0.0701 -0.0815

Из таблицы видно, что эмпирический риск предложенной процедуры (6) меньше, чем для процедуры выбора модели Я, построенной на основе оценок МНК (5).

Далее на рис. 1 представлены графики истинной функции 5 (сплошная линия) и ее оценок 5* (штрихованная линия) и 5 (пунктирная линия) при п = 401.

-1

V\ А VS^

v

0.2

0.4

0.6

0.8

Рис. 1. Графики функции регрессии и ее оценок при n = 401 Fig. 1. Plots of the regression function and its estimates at n = 401

5. Приложение

Доказательство теоремы 1. Рассмотрим среднеквадратический риск оценки (6)

..2 1 n

E № -S = -(S*(xl)-S(xt))2 =

i=1

( d

= -EX X Q*i,n4>j (xi) + X ^(У)0у,пФу (xi) - S(xi)

i=1

V j=1

j=d+1

где g (j) = Cn / 0 J . Так как

S(xt) - S(xi) = X (Xk0M -0^ )фк (xi) k=1

и (Фк )k >1 - ортонормированная система функций, то

n ( n

k>k >1

( d \

2E

V j=1

n

n

j,n

Sx -S, Xg(j)0лпФj —EXIX(Xk0k,n -0k)Фк(xi) I = 2CnEX(0j,n -0j )■

j=1 ll"n

i=1 V k=1

E

X g ( j )0 j,n Ф j j=1

2

= c2.

Отсюда

j,n

Дn(n) = Cn2 -2CnEX(0j,n -0j)

j=1 \\"n

2

1

0

0

x

и

n

Далее, вычисляя здесь математическое ожидание, как показано в доказательстве теоремы 2.1 в [13], получаем неравенство

2 № - 1)СТ2

Ап (п) < Сп2 - 2Сп

n(rn + >/ст^ /n) Минимизируя правую часть относительно cn , имеем

A n (n) ¿-Cn2.

Теорема 1 доказана.

Доказательство теоремы 2. Представим эмпирическую квадратическую ошибку Errn (X) следующим образом:

Errn (X) = Jn (X) + 2¿ X(j)(Q -j0 j) + | SI in -pPn (X), (16)

j=1

где Jn (X) определена в (12). Используя (4) и (6), перепишем (16) в виде

Errn (X)=Jn (X)+2¿ X( j)0 %n X X( j) g (j)0 j,n +1 SI n -PP„ (X)+2 X X (j)q ^.

j=1 Vj j

Положим

1 n 22 2 ? j,n = -Хст2Ф2 (xl X ^ j,n = j j,n = j + j ,

n г=1

где

j =1Xстг2Ф2(x,)(^2 -1), j = 2¿ т^, т= nф,(X¡ )¿ст,ф, (x,.

n l=1 г=2 n k=1

Определим функции

M (X) = -L ¿ X( j )0 j I j ,n, A(X) =1X X (j)(q -q n), N '(X) = ¿ X (j) j, Vn j= n j=j j=

Ж"(X) = -=L XXX(,ni{?n>0}, 5,,n(X) =-L¿X(j)g(j)0;,n%n, Vnín i =1 i =1

где X( j) = X j / . Тогда

Errn (X) = Jn (X) + 2M(X) + 2A(X) + 2N'(X) + 2N"(X) - 2Д,n (X) +1|S||2 - pPn (X). (17) Теперь для некоторого фиксированного X0 е Л и X* е Л рассмотрим разность

Errn (X*) - Errn (Xo) ¿ 2M(x) - Bl n (X*) + B^ (xo ) + 2A(x) + + 2 n '(x) + 4^ Pn (X*) N "(X*) - 4^ Pn (Xo) N "(Xo) - pp, (X*) + pp, (X o),

где х = X* - Х0 е Л1, Л1 = Л \{Х0}. Далее оценим каждое слагаемое в правой части этого неравенства. Рассмотрим

А(Х) =1I Х(/)(д;,п - <;п + ?п - ?п) =1IХ(/)(д;,п - дп) +1IX(/п - ^п).

п / =1 ' п / =1 ' п / =1

Тогда

8ирЕ|N'(х)| < ст(и! п + и)£.

ЯеЛ Ып

Используя неравенство

(18) (19)

2\аЬ\ <еа2 + -

(20)

имеем для любого е > 0

" (X) <еРп (X) + «т2 .

(21)

Заметим, что

8ир Е(N"(X))2 < —.

XеKn п

Из неравенства Коши-Буняковского и неравенства (20) следует, что

IX

23,п^=2^£x(1)я(1 )01,пЬ1,п < *п 1=1

(

< Рп (X) +

Учитывая равенство

\ 1/2

£^2^ <еРп (X) + £x2■. V 1=1 У е^п 1=1

£x2(JЖhn -?1,п -?п) = £x2(;■)(ц; ,п ) '(X2)+N "(X2),

1=1 1=1

(22)

получаем

2В1 п (X) < еРп (X) + '(X2) + N"(X2)

еЕп

г

2ЕВщ (X) <еРп (X) +

ест

2СТ

—+ ст(и1, п +ип^

пп

Л

Заметим, что

Р (X) = —Еп + Еп) <Рп(X)+Еп1 < Рп(X)+—Еп

При е = р /4 имеем

Еггп(X*) < Еггп(X) + (2 + 2р)°п 1Еп Еп\ + 2М(х) +

п

+^ (('(Ь^) + N "(X 02)) + ^ (N '(X*2) + N "(X*2)) + 2 N'(х) + РЕ / РЕ пУ '

+ + Рп+ ЭрРп

р р 2 2

и

2

и

Теперь оценим третье слагаемое в правой части. Заметим, что для любого е > 0

2М (х)|<е||5х|12 +—, 2 = еир—(23)

пе хеЛ1 И п

г * пМ 2( х)

х\\п +

где 5х =£ п=1 х( 1)01 ф 1 . Поскольку

СТ п ||5 II2

ЕМ2(х) <-£х2(1 )02 , (24)

п 1 =1 п

пМ 2(х) _

то

Е7 * < £ <vСT.

хеЛ

1 15

2

х11п

Рассмотрим далее

5 - 5*012 = £ (х( 1) + р( 1 ))2 02,п > 151[ + 2£ х( 1 )Р( 1 ))01,п, (25)

п 1=1 1=1

где Р( 1) = Xo (1 )я(1XX) - X())я(1XX). Оценим разность

115х| 12 -5 -5Xo II! < РхЦ-1|5х|12 -2£х(1)Р(1 ))02,п <

1=1

п2 < -2М (х) - 2£ х(])Р(]))0 п0 --=Ф(х).

1=1 '

Здесь Мг (х) = £ х2 (])01Ь1 п, Ф(х) = £ х( 1)Р(у)0; пЬ] п.

>/п 1=1 1=1

Принимая во внимание, что |х(у) < 1 для любого х еЛ1, получаем

2

21 М,( х)| <еЦ 5^1 п + 7* = 8ир пМ1( х)

^ ' хеЛ1 ||5Лп '

Заметим, что Е7* < vСT

и для любого 0 <е < 1

7 * и? п 2

1|5х|1п <е|5х||2 + ^ +5* -5*0 п -2£хЦ)Ю)0;,п0 - -пФх).

пе "п 1=1 -у/п

Так как £ Р^/^п < — (26)

1=1 еп

и принимая во внимание, что ¡х^) < 1 и выполняется неравенство (20), получаем для любого е > 0

£ хО)РО)0;,п 0 =1

о 4с

<е1Ы £ + -

Используя неравенства Коши-Буняковского и (26), имеем

|Ф(Х)| <ер (Х)+— £ Х <ер (Х) + с-(,(Х '>ст+N '(Г'''.

л/п едп '=1 псте

Тогда

|Ф(x)| < -Pn (X*) + -Pn (Xo) + (Xo2) + N"(Xo2) + N '(X*2) + N " (X*2)).

ИСТР v '

Применяя неравенство (23) для М1 (х) в (25), получаем верхнюю границу

для11Ях|12, т.е.

||Ях||2п < Я* -ЯХ0||2 + ^ + еР„(Х*) + &„(Х0) + ^ 1 +

1 - 2е^" 0 |1п пе еп )

+ - Cn

—(( (Xo2) + N"(X o2) + N' (X*2) + N" (X*2)).

?ire '

(1 - 2 е) псте

Учитывая это неравенство и ¡Я* - ЯХ II < 2(Еггп (Х)- Еггп (Х0)) в (23), находим

2M(x)| < Í2((Errn(X) + Errn (Xo)) + — + — + — (X*) + -Pn(Xo) + 1 - 2- í n- -n

c - -A 7 *

(n"(Xo2) + N'(X*2) + N'(Xo2) + N"(X*2) I +—. пст- ) n-

Из неравенств (2o) - (25) следует, что

Errn(X*) < Errn (Xo) + (2 + 2p)°n lqn nl + ísl(((X*2) + N"(X*2)) +

n pqnv '

+—í N '(Xo2) + N "(Xo2)Pn (X*)+2 pPn (Xo)) + 2 N'(x) + +pXÍ + pq,n í 2 2 ) p

++ . (2(Errn (l) + Err, (Xo))+£+ÍCn+

p 1 - 2- n- -n

+N" (Xo2) + N' (X*2) + N' (Xo2) + N" (X*2) + -Pn (X*) + -Pn (X o)) +

7*

Используя Лемму 1 (приведенную ниже), делая необходимые преобразования при е = р /2, получаем неравенство

R ((**, S )< min R (S*, S ) + — Y n.

^ ' 1 - 2p леЛ V X' f np "

[- 2р леЛ ^ ' пр

Теорема 2 доказана.

Лемма 1. Для всех п > 3, ХеЛ и е> 0

Pn (X) < ^ + --1--. (27)

1 -- -(1 --)

Доказательство. По определению Errn (X) имеем

EErrn(X) = X(X;0*,n -0;)2 = X(X;(0*,n -0;) + (X; -1)0;)2 > j=1 j=1

>XX2(0*,n-0j)2+X(Xj(Xj -1)0j(0*,n-0j).

j=1 j=1

Взяв математическое ожидание и принимая во внимание, что второе слагаемое равно нулю, получаем

ЕЕггп (X) > £ X?. Е(0*.п-01 )2 = £ X 2 Е(0 ;,п-0-Р(X)0 )2 = 1=1 1=1

= Pn (X) - 2EX X2р j (X)0 j,n (0 j,n - 0 j) + EX XyPy (X)02,n > (1 - в)Pn (X) -

1=1 1=1

Следовательно,

Pn(X) s ^ +. c

Лемма 1 доказана.

1 -e e(1 -в)

ЛИТЕРАТУРА

1. Akritas M.G., VanKeilegom I. ANCOVA methods for heteroscedastic nonparametric regression models // J. Amer. Statist. Assoc. 2001. No. 96. P. 220-232. DOI: https://doi.org/10. 1198/016214501750332802

2. Goldfeld S.M., Quandt R.E. Nonlinear Methods in Econometrics. London: North-Holland, 1972.

3. Cai T., Wang L. Adaptive variance function estimation in heteroscedastic nonparametric regression // Annals of Statistics. 2008. V. 36. No. 5. P. 2025-2054.

4. Galtchouk L., Pergamenshchikov S. Nonparametric sequential estimation of the drift in diffusion processes // Mathematical Methods of Statistics. 2004. V. 13. No. 1. P. 25-49.

5. Galtchouk L., Pergamenshchikov S. Asymptotic efficient sequential kernel estimates of the drift coefficient in ergodic diffusion processes // Statistical Inference for Stochastic Process. 2006. V. 9. No. 1. P. 1-16.

6. Galtchouk L., Pergamenshchikov S. Adaptive sequential estimation for ergodic diffusion processes in quadratic metric // Journal of Nonparametric Statistics. 2011. V. 23. No. 2. P. 255285. DOI: https://doi.org/10.1080/10485252.2010.544307.

7. Akaike H. A new look at the statistical model identification // IEEE Trans. on Automatic Control. 1974. V. 19. No. 7. P. 716-723.

8. Mallows C. Some comments on Cp // Technometrics. 1973. V. 15. P. 661-675.

9. Barron A., Birge L., Massart P. Risk bounds for model selection via penalization // Probab. Theory Relat. Fields. 1999. V. 113. P. 301-415

10. Massart P. A non-asymptotic theory for model selection // European Congress of Mathematics. Zurich: Eur. Math. Soc. 2005.

11. Kneip A. Ordered linear smoothers // Annals of Statistics. 1994. V. 22. P. 835-866.

12. Galtchouk L., Pergamenshchikov S. Sharp non-asymptotic oracle inequalities for non-parametric heteroscedastic regression models // J. Nonparametric Statistics. 2009. V. 21. No. 1. P. 1-16. DOI: https://doi.org/10.1080/10485250802504096.

13. Pchelintsev E. Improved estimation in a non-Gaussian parametric regression // Statistical Inference for Stochastic Processes. 2013. V. 16. No. 1. P. 15-28. DOI: https://doi.org/10.1007/ s11203-013-9075-0.

14. Конев В.В., Пергаменщиков С.М., Пчелинцев Е.А. Оценивание регрессии с шумами импульсного типа по дискретным наблюдениям // Теория вероятностей и ее применения. 2013. Т. 58. № 3. С. 454-471. DOI: https://doi.org/10.4213/tvp4520.

15. Pchelintsev E., Pchelintsev V., Pergamenshchikov S. Non asymptotic sharp oracle inequality for the improved model selection procedures for the adaptive nonparametric signal estimation problem // Communications - Scientific Letters of the University of Zilina. 2018. V. 20. No. 1. P. 72-76.

16. Pchelintsev E., Pergamenshchikov S. Oracle inequalities for the stochastic differential equations // Statistical Inference for Stochastic Processes. 2018. V. 21. No. 2. P. 469-483. DOI: https://doi.org/10.1007/s11203-018-9180-1.

17. Galtchouk L., Pergamenshchikov S. Adaptive asymptotically efficient estimation in hetero-scedastic nonparametric regression // J. Korean Statistical Society. 2009. V. 38. No. 4. P. 305-322.

18. Pinsker M.S. Optimal filtration of square integrable signals in Gaussian white noise // Problems Transimis. information. 1981. No. 17. P. 120-133.

19. Nussbaum M. Spline smoothing in regression models and asymptotic efficiency in L2 // Ann. Statist. 1985. No. 13. P. 984-997.

Статья поступила 20.10.2018 г.

Pchelintsev E.A., Perelevskiy S.S. (2019) ADAPTIVE ESTIMATION IN A HETEROSCEDA-STIC NONPARAMETRIC REGRESSION. Vestnik Tomskogo gosudarstvennogo universiteta. Matematika i mekhanika [Tomsk State University Journal of Mathematics and Mechanics]. 57. pp. 39-53

DOI 10.17223/19988621/57/3

Keywords: heteroscedastic regression, improved nonparametric estimation, model selection procedure, oracle inequality.

The paper considers the problem of estimating the unknown function of heteroscedastic regression. An adaptive model selection procedure based on improved weighted estimates of least squares with specially selected weight coefficients is proposed. It is established that the procedure has a higher mean-square accuracy than the procedure based on classical weighted least-squares estimates. For the mean square risk of the proposed procedure, a non-asymptotic oracle inequality is proved that determines the exact upper bound for it in all possible estimates. The results of numerical simulation are given.

AMS Mathematical Subject Classification: 62G05, 62G08

Financial support. This work was done under the Ministry of Science and Higher Education of the Russian Federation in theframework of the research Project No. 2.3208.2017/4.6 and by RFBR Grant No.16-01-00121.

PCHELINTSEV Evgenii Anatol'evich (Tomsk State University, Tomsk, Russian Federation). E-mail: [email protected]

PERELEVSKY Svyatoslav Sergeevich (Tomsk State University, Tomsk, Russian Federation). E-mail: [email protected]

REFERENCES

1. Akritas M.G., VanKeilegom I. (2001) ANCOVA methods for heteroscedastic nonparametric regression models. J. Amer. Statist. Assoc. 96. pp. 220-232. DOI: https://doi.org/10.1198/ 016214501750332802.

2. Goldfeld S.M., Quandt R.E. (1972) Nonlinear Methods in Econometrics. London: North-Holland.

3. Cai T., Wang L. (2008) Adaptive variance function estimation in heteroscedastic nonparametric regression. Annals of Statistics. 36(5). pp. 2025-2054.

4. Galtchouk L., Pergamenshchikov S. ( 2004) Nonparametric sequential estimation of the drift in diffusion processes. Mathematical Methods of Statistics. 13(1). pp. 25-49.

5. Galtchouk L., Pergamenshchikov S. (2006) Asymptotic efficient sequential kernel estimates of the drift coefficient in ergodic diffusion processes. Statistical Inference for Stochastic Process. 9(1). pp. 1-16.

6. Galtchouk L., Pergamenshchikov S. (2011) Adaptive sequential estimation for ergodic diffusion processes in quadratic metric. Journal of Nonparametric Statistics. 23(2). pp. 255-285. DOI: https://doi.org/10.1080/10485252.2010.544307

7. Akaike H. (1974) A new look at the statistical model identification. IEEE Trans. on Automatic Control. 19(7). pp. 716-723.

8. Mallows C. (1973) Some comments on Cp. Technometrics. 15. pp. 661-675.

9. Barron A., Birge L., Massart P. (1999) Risk bounds for model selection via penalization. Probab. Theory Relat. Fields. 113. pp. 301-415

10. Massart P. (2005) A non asymptotic theory for model selection. Proceedings of the 4th European Congress of Mathematicians (Ed. Ari Laptev). European Mathematical Society. pp. 309-323.

11. Kneip A. (1994) Ordered linear smoothers. Annals of Statistics. 22. pp. 835-866.

12. Galtchouk L., Pergamenshchikov S. (2009) Sharp non-asymptotic oracle inequalities for nonparametric heteroscedastic regression models. Journal of Nonparametric Statistics. 21(1). pp. 1-16. DOI: https://doi.org/10.1080/10485250802504096.

13. Pchelintsev E. (2013) Improved estimation in a non-Gaussian parametric regression // Statistical Inference for Stochastic Processes. 16(1). pp. 15-28. DOI: https://doi.org/10.1007/ s11203-013-9075-0

14. Konev V.V., Pergamenshchikov S.M., Pchelintsev E.A. Estimation of a Regression with the Pulse Type Noise from Discrete Data. Theory Probab. Appl. 58(3). pp. 442-457. DOI: https://doi.org/10.1137/S0040585X9798662X.

15. Pchelintsev E., Pchelintsev V., Pergamenshchikov S. (2018) Non asymptotic sharp oracle inequality for the improved model selection procedures for the adaptive nonparametric signal estimation problem. Communications - Scientific Letters of the University of Zilina. 20(1). pp. 72-76.

16. Pchelintsev E., Pergamenshchikov S. (2018) Oracle inequalities for the stochastic differential equations. Statistical Inference for Stochastic Processes. 21(2). pp. 469-483. DOI: https://doi.org/10.1007/s11203-018-9180-1

17. Galtchouk L., Pergamenshchikov S. (2009) Adaptive asymptotically efficient estimation in heteroscedastic nonparametric regression. Journal of the Korean Statistical Society. 38(4). pp. 305-322.

18. Pinsker M.S. (1981) Optimal filtration of square integrable signals in Gaussian white noise. Problems Transimis. information. 17. pp. 120-133.

19. Nussbaum M. (1985) Spline smoothing in regression models and asymptotic efficiency in L2. Ann. Statist. 13. pp. 984-997.

Received: October 20, 2018