CC BY
31
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013 Управление, вычислительная техника и информатика № 4(25)
УДК 519.8
В.И. Рюмкин
ПРОЦЕДУРА НЕПАРАМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ ФУНКЦИОНАЛОВ ОТ РАСПРЕДЕЛЕНИЙ СТАЦИОНАРНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ И ЕЕ ПРИМЕНЕНИЕ В ЭКОНОМИЧЕСКИХ И ТЕХНИЧЕСКИХ ПРИЛОЖЕНИЯХ
Построена процедура синтеза сходящихся в среднеквадратичном непараметрических ядерных оценок функционалов от неизвестных распределений по стационарным выборкам слабозависимых случайных величин в условиях равномерно сильного перемешивания. Получены достаточные условия сходимости полученных оценок в среднеквадратичном. Показана асимптотическая нормальность полученных оценок. Рассмотрена возможность применения предложенной процедуры в экономических и технических приложениях.
Ключевые слова: непараметрическое оценивание, ядерные функции, стационарные выборки, функционал.
Для решения многих задач прикладной статистики в условиях отсутствия априорных сведений о функции распределения (ф.р.) Ь(х) наблюдаемых многомерных случайных величин требуется оценивание функционалов, представимых в виде [1, 2]
Н(Ь(х),Ь(а1)(х),...,F(а)(х)), хеКт, (1)
где Н: К^1 ^ К1 - заданная функция, в качестве аргументов которой выступают
), ч да“Ь(х)
частные производные Ь д (х) =—а---------------------------------------а- порядка а = ад1 +... + адт,
дх1“д1 дх°д2...дхтдт
д = 1,5, функции распределения Ь(х) в точке х е Кт . Мультииндекс
ад = (а д1,..., а дт) здесь и далее представляет собой целочисленный вектор с неотрицательными составляющими.
К функционалам типа (1) относится функция интенсивности
Х( х) = Ь (1)( х)/(1 - Ь (х))
(теория надежности и массовое обслуживание [3, 4]), логарифмическая производная плотности
У( х) = Ь (2)( х)/ Ь (1)( х)
(проверка близких гипотез [5, 6], непараметрическая нелинейная фильтрация марковских процессов [7], оценивание кривой регрессии [8]), функционал потенциала экономической системы [9]. Естественный и наиболее распространенный метод
оценивания состоит в подстановке вместо производных Ь('а'4)(х) их состоятельных оценок Ь('ад)(х), д = 0,5 . Однако прямое использование этого метода не всегда гарантирует получение оценок нужного качества, если, например, функция
H (•) в (1) имеет некоторые особенности (неограниченность, недифференцируемость и др.). В результате некорректной подстановки может получиться оценка, не имеющая дисперсии или даже математического ожидания.
В данной работе предложена универсальная процедура получения сходящихся в среднеквадратичном оценок функционалов (1) на основе использования непараметрических оценок ф.р. F(х) и ее производных Fq)(х) ядерного типа и операции усечения больших значений статистик H (F (х), F (ai)( х),..., F(а *)(х)), получаемых по методу прямой подстановки этих оценок в H (•).
1. Обозначения и определения
Пусть {х(j) е Rm} - стационарная в узком смысле последовательность случайных величин, заданных на пространстве {X, BX, р }; F(х) = р (х(j) < х) - ф.р. элементов последовательности {х( j)}. Будем говорить, что {х( j)} удовлетворяет условию равномерно сильного перемешивания (РСП), если ее коэффициент перемешивания ф х (т) [10] удовлетворяет условию
Фх (т) = sup J Рх (AB) Рх (B): A еЗ<„ B еЗ>т, Px (A) Ф о|-^ 0. (2)
A,B J Рх(A) J
Здесь 3<k, 3>k - алгебры, порожденные соответственно семействами {х(т): т < k}, {х(т): т > k}.
При построении состоятельных оценок Fq)(х) неизвестных F('аq)(х), определяющих значение функционала (1), будем использовать оценки ядерного типа. Для каждой оцениваемой величины F('аq)(х) рассмотрим да-мерное ядро
m
Kq (u)
= П Kqi (ui), представляющее собой произведение заданных одномерных
i=1
ядерных вещественных функций Kqi (ui): R1 ^ R1.
В качестве состоятельных оценок F('aq)(х) величин F('aq)(х) рассмотрим оценки ядерного типа
F(аq)(х) = F(aq)(х) = -1-£ Kq nhqq j=1 q
( , .Л
х - х (j )
hq
(3)
где K(‘q)
х - х( j)
к .
m ^aqi
-n^r-Kqi i=1 ar“qi
( I -<\
x - x(j)
hq .
есть произведение производных
одномерных ядерных функций; Ид - параметр размытости. Оценки строятся на основе выборки = (х(1),...,х(п)) объема п из генеральной совокупности всех последовательностей {х(у')}. В (3) и везде далее: д = 0,5 ; а = (а1,а2,...,ат);
а = а1 +а2 + ... + ат ; если х е Кт и а е Кт, то тогда ха = х^1 хО2 ... х'тт ; если
x є R1 и a є Rm, то тогда xa = xa1+a2+-+am ; 0 = (0,0,...,0); 1 = (і,і,...,і);
x > y » xi > yi, i = і, m ; ф(п) Х у (n) » ф(п) < у (n) Vn > N ;
sgn(x) = (sgn(x ), sgn(x2 ),..., sgn(xm )) , где Sgn(x.-) =
і, xj >0,
0, xj = 0,
-і, xj <0.
Определение 1. Последовательность h = h(n) положительных вещественных чисел h е Hk, h е Hk e, если она удовлетворяет соответственно условиям
lim \ h +-—-—— | = 0, lim | h +—------1----— | = 0.
«^“V nh -sgn(k)) «^“V «h -sgn(k) )
Определение 2. Функция / е (х), если /(х) абсолютно непрерывна на
Rm и имеет непрерывную производную
/ (а)( х) =--------------
cXf1 сХ^2 ..cxmm
порядка а в точке х ; / е N+ (х), если / е Na (х) и sup | /(v) (х) |<“, 0 < v <a .
Записи / е Na (Rm) и / е N,+ (Rm) означают, что /(х) удовлетворяет соответственно условиям / е Na (х) и / е Na+ (х) при любых х е Rm .
Определение 3. Ядро K(u) е L1, если оно измеримо по Борелю, причем 11K(u) | du <“; K(u) е L+ , если K(u) е L1 и, кроме того, sup | K(u) |< “.
K(u) е Ц , если Ki (ui) е L1, i = 0, m ; K(u) е L+, если K (ui) е L+, i = 0, m . Определение 4. K (u) е Zsv, если
JK(u)ujdu ■
0, j = 0,5 - і, j Ф v, (-1)Vv!, j = v,
ro5,v * 0, j = 5
К (и) е Zs,v, если Кг (иг) е ,у,, г = 0, т .
Определение 5. Ядро К (и) е В, если К (и) абсолютно непрерывно на К1,
К (и) = К (-и), | К (и )йи = 1, К (и) е ^; К? (и) е В , если Кд (иг) е В, г = 1, т ;
в+ = К П А ; в+ = в П Ц.
При написании данной работы везде далее рассматриваются стационарные последовательности с.в. из класса ^едр , коэффициент РСП ф(х) которых с ростом
т убывает не медленнее степенной функции (см. определение 6 и Замечание 1). Определение 6. Последовательность РСП с.в. {х(])} е $едр, р > 0, если
^(1 -т/п)фх(т))1/р =0(1) .
т=1
Замечание 1 . Если фх(т) = с1т (1+е), е > 0 , то {х(у)} е Бвдр , где р е (0, 1 + е).
п
Действительно, в этом случае -т/п)(т)-(1+е)/р = 0()1-(1+е)/р)0(1) = 0(1),
т=1
если 0 < р < 1 + е .
Подтверждением того, насколько широкое распространение находят последовательности РСП с.в. класса в практических приложениях, служит сле-
дующий пример. Рассмотрим последовательность с.в. {х(у)}, где х(у) представляет собой номер исхода в у-м испытании для однородной цепи Маркова с конечным числом состояний. Как показано ([10, с. 466-467]), «при достаточно широких условиях» последовательность {х( у)} стационарна и удовлетворяет условию РСП
с коэффициентом перемешивания ф х (т) < К рт, р< 1. Следовательно,
{х(у)} е $едр. Отметим, что марковские процессы широко используются в различных практических приложениях: радиофизике, автоматике, телемеханике, ядерной физике [11,12], экономике [13] и др.
Рассмотрим последовательность с. в.
:(а) = К(а) (х^хШ) - ЕК(а) ( х - х(УУ . и J I и
порождаемую выборкой Хп.
Введем неограниченно возрастающую числовую последовательность йп с помощью равенства
1 5 1
_ = У______1_______ (5)
йп % пИ?‘-ёП^ '
^(а^ = К(а) | | - ЕК(а) | | (4)
В соответствии с (4) и (5) положим
Ра = Цт -т^оо °
п“ад п и ёп(а)
1 I / \ 2 п-1
= Пт
(
и=
V у=1 )
в
у=1 )
гад -цш {Е () )2+2| 0/ п ) (&)
й
СТа = 11т Ра‘ ”
' п^ад а пи2а-5ёп(а)'
Обозначим ю = [(и)ц аК(1)(и)йи ——— .
ц’а ■> (^ -1)!
2. Усеченные оценки функционалов
Рассмотрим функционал Н(т(х)), где т(х) = (—(0)(х), —(а1)(х),..., —(а^)(х)). Положим
*п (х) = (10п (х), ., (х)) , Чп (х) = —<па‘)(х) ,
Тп (х) = Шп (х) , тгп (х) = Е—(па‘)(х) .
Без ограничения общности везде далее
т т
>ХаУ , если 1 Ф 5 .
у=1 у=1
В некоторых случаях корректное использование прямого метода подстановки при оценивании Н (т( х)) дает неудовлетворительный результат, так как наличие
особенностей функции Н(•) приводит к «выбросам» и несостоятельности получаемых таким способом оценок Н (^п).
Для избежания нежелательных эффектов такого сорта введем операцию усечения больших значений Н (^п):
0(1 п) = 1Н(*п ^ 1Н(*п) < Сйп, (6)
{с 81ёп( Н (#п ))<, | н (#п )|> Сй\.
Здесь С, у - положительные константы.
Определенная таким образом процедура усечения (6) задает класс РС у (Н) зависящих от п функционалов, которые сходятся в среднеквадратичном к Н (т(х)) при п “ад. Следующая теорема дает условия, при которых усеченная оценка О(#п) е РС 0(Н) сходится в среднеквадратичном к Н(т(х)) при п “ад .
Теорема 1. Пусть элементы выборки Хп взяты из последовательности слабозависимых случайных величин {х(у)} е , р > 1, причем — е Ы+(х),
цк > агк +1, I = 0,5; к = 1, т .
Пусть, кроме того,
1. йо є Я0; є Яа.*, 5; =------------------------------—- , і > 1;
у! 1 (2- -1)(- - ^ і — 1))
2. ііш К0 (и) = 0 , ііш (и-—акі-■/к0/) (и)) = 0 , у = ї^а
и^—сп іиі^го ' '
ы -1, к = 1,5 ; / = 1, т;
и“-ад |и|“ад 4 ~'кг 7
К«(«) е В ; К«(И) е Zц-аq,0 ;
3. Н (г) = Н (20, г1,..., 2^,) - вещественная функция, которая в некоторой окрестности точки т непрерывна и имеет непрерывные первые и вторые производные по аргументам 2 у е Я1, причем ад > Н6, (т) > 0;
4. О(гп) е Рс,е (Н), где
С = шах Ьир
у=0.Д и
К )(и)
()
-- 1 (8)
2(ц-ws)
Тогда усеченная оценка О(#п) е Рсе (Н) сходится к Н5 (т) при п “ад в сред
неквадратичном. При этом оптимальные последовательности параметров размы тости {Иу} имеют вид
И0 = Лгётт и (О(гп)) и о I
ц-^
( 1 )ц (2ц-1)
V п
И* = Л^тти (О(гп)) =
^5 - Г)ц!ст^ (х) 1 2(ц - ws )к,2—(ц)(х) п
ц+WJ -1 2ц—1
Л
(2wJ■ - 1)(ц - ws -1)!Н^ (т)к V ^5 - 1)(ц - w] -1)!Ну (т)ку )
а оптимальная СКО и (О(*п)) равна
5 / 5
_1___
Ц+W; -1
у =1, 5.
гтп)) - Е((#п) - н(т))2
2(ц- Ws )
(9)
_ (ц-Ч) 2(2ws-1) 2(2и5-1)
-/(х) | ^ • Яц^-(а?ж )2ц-1 -(к,ГЩ-Г • Н2(т)-(СЧ*)) 2ц-1 ,(10)
где
Я.. =
2ц-1
((ц-1)!)
2 2ws -1 ) 2ц—1
^ V2(ц^)) V"' ' ' 2(ц^)
не зависящая от ядерных функций константа.
к5 =1 (И)Ц-7К(а)(и)йи ; ст^ =| \и))и
2 . 1а
+ -
/ (х)
В (9) и (10) ц = Хц , ^ =Ха5! .
1 = 1 1 = 1
Следующая теорема устанавливает асимптотическую нормальность оценок усеченного типа.
Теорема 2. В условиях теоремы 1
4^п (О ((х),., )(х)) - О (—(0) (х),., —(а5)(х))) (^ N1 (Хп; р),
где
ц- Ws о
; р= Н5 (т)ста. (х) .
Теорема 1 является конструктивной и дает способ построения оценок
О (#п) е Рсе (Н) функционала Н (т), сходящихся в среднеквадратичном к его истинному значению. Как следует из (10), асимптотическая СКО и2(О(#п)) таких оценок мажорируется степенной функцией, которая при увеличении параметра гладкости ц ф.р. — (х) неограниченно сближается с функцией 1/ п :
и (О(^)) ^ С • Яц^ (п) 2ц 1 .
Здесь С не зависит от ц и 5.
Известно, что скорость сходимости СКО и 1/ п имеет место в параметрической постановке задачи оценивания [1, 5]. Тот факт, что скорость сходимости
СКО предлагаемых усеченных непараметрических оценок при соблюдении некоторых условий регулярности (условия 2 и 3 теоремы 1) неограниченно сближается с нижней границей сходимости СКО в параметрической постановке, говорит о перспективности процедуры усечения (6).
3. Применение «усеченной» процедуры непараметрического оценивания
функционалов от распределений стационарных последовательностей в экономических и технических приложениях
Предложенная в разделе 2 процедура усеченного непараметрического оценивания терминальных функционалов может быть реализована при решении различных задач экономики и техники. Одной из таких задач является задача распознавания пространственно распределенных объектов. Задачи распознавания пространственно распределенных объектов возникают в многих приложениях экономики, техники, метеорологии (лесных пожаров, посевных площадей, объектов загрязнения, затопления, тайфунов, ледниковых полей и т.д.). Описанная выше процедура оценивания в сочетании с процедурой функционального шкалирования [14] может быть использована для решения подобных задач.
Пусть каждому объекту 5 е £ из множества £ однозначно соответствует вектор количественных дискрипторов х5 еЗсЯп ; причем для любого хе3 существует вероятность РА (х) его принадлежности к классу А и вероятность Рв (х) = 1 - РА (х) принадлежности к классу В .
Пусть Е = {ег е £, г = 1, п} с £ - выборочное множество объектов, совокупность дескрипторов х(г) = {ху (г), у = 1, т} которых образует обучающую выборку
{х(п) е Ят} слабозависимых случайных величин с неизвестной функцией распределения —(х); о каждом из объектов ег е Е сообщается, к какому классу он принадлежит. Требуется восстановить функцию достоверности РА (х).
Рассмотрим функцию
которая в точке х равна 1 с вероятностью РА (х) и 0 - с вероятностью Рв (х). Ее математическое ожидание равно РА (х), т.е. той функции, которую надо восстановить. Пусть О(у, 2) = у - 2 - «опорная» функция двух вещественных переменных, которая вместе с I (х) определяет на исходном множестве £ матричную структуру Q =|| дгк ||тхт , элементы которой определяются следующим образом:
Предположим, что I (х) есть информация о значениях РА (х), сообщаемая с помехой |(х), математическое ожидание которой равно нулю:
Аппроксимируем искомую функцию РА (х) некоторой неизвестной параметризо-
1, х є Л, 0 х є В,
%к = °(I(х(0), I(х(к))) = I(х(і)) — I(х(к)).
I (х) = Рл (х) + 5( х), Е[ I (х)] = Рл (х).
ванной функцией-шкалой ф(х, Ь) из заданного класса вещественных функций Ф = {ф(х,Ь)} :
Г2 = ф(х, Ь), 0 <2 <1,
РА (х) = | 0, 2 < 0,
(А 2 > 1.
Здесь Ь е Яр - неизвестный векторный параметр.
Точность шкалы ф(х, Ь) определяется некоторым терминальным функционалом [14]
3(ф(х, Ь)) = 3(ф(х, Ь), — (х), Q, Б(Ра (х)),
ставящим в соответствие каждой шкале число, отражающее степень близости заданной структуры Q и матричной структуры 0(РА (х)) =|| ||тхт, порожденной
шкалой ф(х,Ь). Элементы матрицы 0(РА (х)) равны = РА (х(г)) - РА (х(к)).
Искомая функция достоверности при этом будет определяться оптимальной шкалой ф*(х) = ф(х, Ь*), для которой значения функционала 3(ф(х, Ь)) минимально, а искомые значения параметров шкалы при этом будут являться функционалами, зависящими от неизвестного распределения — (х):
ь* = °г (—(х)) = А£тт{./ (ф(х, Ь* )|| Ь,), —(х), Q, В(Ра (х))}, ! = 1, р .
Ь
Здесь (Ь*||Ь,.) = (Ь*, Ь*,..., Ьг*-1, Ь, Ь*+1,..., Ь*).
В качестве базовой оценки —п (х) плотности распределения — (х) выборки Хп рассмотрим непараметрическую оценку ядерного типа (3)
Теорема 3. Пусть элементы выборки Хп взяты из последовательности слабозависимых случайных величин {х(у)}е £едр , р > 1, причем — е Ы+ (х),
цк > агк +1, г = 0,5; к = 1, т . Пусть, кроме того, справедливы условия 1-3 теоремы 1. Тогда оценки Ьгп = О, (—п (х)) е РСу (—) функционала О, (—(х)) асимптотически нормальны и сходятся в среднеквадратичном при п “да, причем для среднеквадратичной ошибки справедливо
/ 1 \201-1)/2|1 ____________
Е (Ь* - О, (—п (х)))2 = О J , п “да, г = 1, р .
Утверждение теоремы означает, что при определенных условиях регулярности, накладываемых на — (х), скорость сходимости среднеквадратичного отклонения искомых параметров шкалы может быть как угодно близкой к 1/ п , где п - объем выборки Хп , что в итоге гарантирует хорошее качество распознавания.
Заключение
Предложена процедура, реализующая двухшаговую схему непараметрического оценивания функционалов от распределений стационарных последовательностей. На первом шаге с помощью операции усечения (6) исходному функционалу
(1) ставится в соответствие функционал О(—(х), — (а1)(х),..., —(а5)(х)) из класса «усеченных» функционалов О(#п) е РСу (Н); на втором - производится подстановка многомерной статистики ^п = (—п (х), —п(“1)(х),..., —(а5)(х)) на место т в функционал О(т). Получены достаточные условия сходимости полученных оценок в среднеквадратичном. Показана их асимптотическая нормальность.
Наиболее важной характеристикой предложенной процедуры оценивания является ее универсальность, поскольку она не зависит от конкретного вида отображения Н: “ Л1 и распределения исходной выборки.
Рассмотрена возможность применения предложенной процедуры в экономических и технических приложениях. Предложена процедура распознавания пространственно распределенных стохастических объектов на основе функционального шкалирования [14] и непараметрического оценивания плотности распределения выборки дескрипторов наблюдаемых объектов [15]. Предполагается, что на исходном допустимом множестве объектов существует парное качественное отношение, определяющее его структуру как множества, состоящего из двух подмножеств-классов. В предлагаемой процедуре распознавания заданное внешнее качественное отношение аппроксимируется количественным, на основе которого производится построение оптимальной шкалы - интегрального агрегирующего показателя распознаваемых объектов, определяющей в итоге искомую процедуру распознавания.
ЛИТЕРАТУРА
1. Васильев В.А., Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений случайных последовательностей. М.: Наука, 2004. 508 с.
2. Рюмкин В.И. Непараметрическое оценивание одного класса функционалов // Обозрение прикл. и промышл. матем. 2003. Т.10. Вып. 3. С. 735.
3. Вопросы математической теории надежности / под ред. Б.В. Гнеденко. М.: Радио и связь, 1983. 376 с.
4. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1987. 336 с.
5. БоровковА.А. Математическая статистика. М.: Наука, 1984. 472 с.
6. Кушнир А. Ф. Асимптотически оптимальные критерии для регрессионной задачи проверки гипотез // Теория вероятностей и ее применения. 1968. Т. 13. Вып. 4. С. 682-700.
7. Добровидов А.В. Асимптотически е-оптимальная непараметрическая процедура нелинейной фильтрации стационарных последовательностей с неизвестными статистическими характеристиками // Автоматика и телемеханика. 1984. № 12. С. 40-49.
8. Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбилисского университета, 1983. 192 с.
9. Беленький В.З. О понятии потенциала экономической системы // ЭНСР. 2006. № 1(32). С. 17-28.
10. Ибрагимов И.А., Линник Ю.В. Независимые и стационарно связанные величины. М.: Наука, 1965. 524 с.
11. Кошкин Г.М., Рюмкин В.И. Оптимальные непараметрические алгоритмы выделения сигналов на фоне стационарной слабозависимой помехи // Математическое и программное обеспечение анализа данных. Минск, 1990. С. 114.
12. ТихоновВ.И., МироновМ.А. Марковские процессы. М.: Советское радио, 1977. 488 с.
13. Дынкин Е.Б., Юшкевич А.А. Управляемые марковские процессы и их приложения. М.: Наука, 1977. 172 с.
14. Авен П.О., Мучник И.Б., Ослон А.А. Функциональное шкалирование. М.: Наука, 1988. 182 с.
15. Рюмкин В.И. Процедура функционального шкалирования пространственно распределенных объектов // Обозрение прикл. и промышл. матем. 2004. Т. 11. Вып. 4. C. 91б-917.
Рюмкин Валерий Иванович
Томский государственный университет
E-mail: [email protected] Поступила в редакцию 12 мая 2012 г.
Rjumkin Valeriy I. (Tomsk state university). Procedure of a nonparametric estimation of terminal type functionals and its application in economic and engineering applications.
Keywords: nonparametric estimation, kernel functions, stationary samplings, functional.
The problem of an estimation of functionals of terminal type H(т(x)) = H(F(0)(x),
F (Г()( x),..., F(r)(x)) on samples of stationary random quantities is considered. Here
H : Rs+( “ R1 is a known function, and x є Rm - is fixed, on stationary sampling weekly dependent random quantities with an unknown distribution function F(x).
The procedure implementing the two-step plan of a nonparametric estimation of the given functional is proposed. On the first step by means of truncation operation to an initial functional
G(F(0)( x), F (r()(x),., F(rs)(x)) puts in correspondence a functional from a class of "sectional" functionals G(tn) є PC Y(H); on second - statistics substitution tn = (F(<0)(x),F(r()(x),...
...,F)(x)) into place т in a functional G(t) is produced. Convergence in mean square of estimates is proved. Velocity of convergence СКО of proposed sectional nonparametric estimates at observance of some regularity conditions superimposed on H : Rs+( “ R1 and F(x), beyond all bounds approaches with lower bound of convergence СКО in parametric setting.
The most important performance of the proposed procedure of an estimation is its scalability as it does not depend on a specific view of mapping and allocation of initial sampling. The given procedure can be used for the solution of various practical problems of economy and technics.
As an example the recognition problem spatially distributed stochastic objects on the basis of functional scaling and a nonparametric estimation of a density function of sampling of descriptors of observable objects is considered.
