CC BY
32
УДК 519.2
Вестник СибГАУ Т. 16, № 3. С. 566-571
НЕКОТОРЫЕ ОБОБЩЕНИЯ МЕТОДА МОМЕНТОВ ПРИ ОЦЕНИВАНИИ ПЛОТНОСТИ ВЕРОЯТНОСТИ В ВИДЕ ОРТОГОНАЛЬНОГО РЯДА
В. В. Браништи
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнёва Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Рассматривается задача оценивания функции плотности вероятности непрерывной случайной величины. Обсуждается актуальность данной задачи для науки и техники, в том числе для аэрокосмической отрасли. Рассматривается построение оценки функции плотности вероятности в виде ряда ортонормированных функций. Исследуется применение метода моментов для статистического оценивания коэффициентов ряда, а также предлагается его обобщение. В рамках применения метода моментов используются последовательные начальные моменты случайной величины. В этом случае расчёт оценок коэффициентов ряда сводится к решению системы линейных уравнений. Приводится доказательство теоремы о том, что при определённых условиях выбора ортонормированной системы функций предлагаемое обобщение метода моментов включает, как частные случаи, классический метод моментов, а также более распространённый метод оценивания коэффициентов в виде выборочных средних от ортонормированных функций. Показано, что при использовании ортонормированной системы Лежандра рассмотренные методы тождественны. Исследованы свойства построенных оценок, найдены их математические ожидания и ковариационная матрица. Показано, что в некоторых случаях оценки коэффициентов ряда являются смещёнными. Рассчитанные предложенным подходом оценки коэффициентов ряда были использованы для построения оценки функции плотности вероятности. Приводятся результаты численных расчётов значения функционала качества для построенных оценок функции плотности вероятности. Расчёты выполнены для случайной величины, подчинённой равномерному закону распределения. Произведено сравнение с известным методом оценивания коэффициентов при использовании чебышёвской и тригонометрической ортонормированных систем. Показано, что на малых выборках обобщённый метод моментов даёт существенно лучший результат.
Ключевые слова: непараметрическая неопределённость, функция плотности вероятности, статистическое оценивание, ортогональные функции, метод моментов, матричный анализ.
Vestnik SibGAU Vol. 16, No. 3, P. 566-571
SOME GENERALIZATIONS OF METHOD OF MOMENTS IN PROBABILITY DENSITY ESTIMATION BY ORTHOGONAL SERIES
V. V. Branishti
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
A problem of probability density function estimation for continuous random variable is considered in the paper. Actuality of this problem for science and technology including aerospace branch is discussed. Building of the probability density functions estimation by orthonormal series is considered. Applying of the method of moments to statistical estimating series coefficients is investigated, and some generalizations are suggested. Within the scope of method of moments the author uses consecutive ordinary moments of random variable. In this case the calculation of series coefficients estimations is reduced to solving system of linear equations.
The paper has the proof of the theorem that in specified conditions of orthonormal system choice, suggested generalization of the method of moments includes the ordinary method of moments and also more widespread estimating coefficients method by sample means of orthonormal functions as particular cases. The paper shows that in the case of using Legendre's orthonormal system the considered methods are identical. The properties of built estimations are researched, mathematical expectations and covariance matrix are founded. The paper shows that in particular cases the estimations of series coefficients are biased. The estimations of series coefficients, which are calculated by suggested
method, were used for building estimation of probability density function. The paper has results of numerical calculations of quality functional values for built estimations of probability density function. The calculations are carried out for uniformly distributed random value. The author compares the suggested method with the widespread estimating method with using Chebyshev's and trigonometric orthonormal systems. Research shows that generalized method of moments gives substantially better result on small samples.
Keywords: nonparametric indeterminacy, probability density function, statistical estimation, orthogonal functions, method of moments, matrix analysis
Введение. Задача оценивания неизвестной функции плотности вероятности уже долгое время является важной научно-технической задачей [1]. От качества получаемых оценок плотности вероятности зависит качество основанных на ней алгоритмов классификации, распознавания образов, восстановления зависимостей и др. Кроме того, различные подходы к оцениванию плотности вероятности применяются при решении задач диагностики, часто встречающихся в аэрокосмической технике. Классический подход к оцениванию состоит в том, что подбирается модельный закон, который наилучшим образом описывает данную выборочную совокупность [2]. Однако в этом случае качество оценок существенно ухудшается при сложной структуре закона распределения случайной величины, например, если функция плотности многоэкстремальна, разрывна и т. п.
При отсутствии априорной информации о виде закона распределения используются непараметрические оценки функции плотности вероятности. Наиболее распространены ядерные оценки, основанные на работах Розенблатта [3] и Парзена [4], а также оценки в виде ряда ортонормированных функций, называемые проекционными оценками [5]. В последнем случае предполагается, что истинная плотность Ах) принадлежит функциональному гильбертову пространству Ь2 [6]. Предположим сверх этого, что значения исследуемой случайной величины £ с вероятностью 1 заключены в некотором отрезке. Не умаляя общности, будем считать, что £е [-1; 1].
Проекционная оценка плотности вероятности имеет вид
/м (x) = а0Фо(x) + ••• + aNФN (x),
(1)
где (фу }™=0 - полная система ортонормированных
функций пространства £2; ау - коэффициенты, оцениваемые по выборке случайной величины £; N - параметр, характеризующий длину ряда ортонормирован-ных функций, также подлежащий настройке. Как показывают численные расчёты, как коэффициенты ау, так и параметр N существенно влияют на качество оценки (1).
Так как оптимальными коэффициентами для оценки (1) являются коэффициенты Фурье
а j = j Фу' (x) f (x)dx = M{(Pj (I)},
j = 0,
, N,
(2)
то часто оценки ау коэффициентов строятся в виде выборочных средних значений функций фу(х):
= - £ Ф; (x ), j = 0, ..., N ,
(3)
i=1
где х1, ..., хп - независимая выборка случайной величины £ [7]. В [8] показано, что при использовании оценок (3) существует конечное оптимальное значение параметра N.
Кроме рассмотренного подхода к построению оценок ау возможно применение метода моментов [9]. В настоящей работе используются начальные моменты случайной величины £. Так, приравняем оценки начальных моментов, рассчитанные по выборке, к их теоретическим значениям, рассчитанным с использованием оценки ^ (х) в качестве функции плотности вероятности:
j /n (x) dx = 1,
—ад
j xfN (x) dx = -y x, n 7=1
—ад i = 1
+ад - n
j xNfN (x) dx = 1 £ xN •
J it ^^
Подставляя вместо оценки ^ (х) её выражение (1), получим систему из ^ + 1) линейных уравнений с ^ + 1) неизвестными:
а0 (^ Фо )+ а1 (^ ф )+ ... + % (^ФN )= 1
1 n
а0 ( Ф0 ) + а1 ( Ф1)+ ••• + aN ( Ф N )=-£
i=1
(4)
а0 ((, Ф0 )+ а1 ((, Ф1)+ ••• + aN ((, Фм )= - £xN
где
-|-ии
(x1, фj ) = j x1 фj (x) dx
скалярное произведение
в пространстве Введя матричные обозначения \N
В =
{(x, Ф j)}
i, j =0
а = (а0, ам)T , V = (1, Vn)T ,
систему (4) можно переписать в виде
Ва = v •
(4а)
Эта система имеет единственное решение, если матрица В не вырождена [10]. В работе теоретически показано, что если используется система многочленов Лежандра, ортонормированная на отрезке [-1; 1], то матрица В не вырождена при любых конечных N > 0.
i=1
—ix)
i=1
Численно проверено, что для стстшы Чебышёва [11] Теорема. Пусть система {фг }вд=0 удовлетворяет сле-и тригонометрической системы [12] матрица В не вырождена по крайней мере при N < 40. Тогда решение системы (4а) может быть записано в виде
дующему условию:
(
а = В V .
(5)
Иш
N ^вд
В- шах II 11вд 0<к<N
N
хк , фг )фг (X)
1=0
при х е (-1;1),
= 0
(7)
Данное решение, полученное методом моментов, может быть использовано для построения оценки
функции плотности вероятности в виде выражения (1). где || • ||вд - матричная норма, индуцированная вектор-Обобщение метода моментов. Данный подход ной /„-нормой [13]. Тогда при неограниченном увели-допускает следующее обобщение. Возьмём произ- чении N ' и фиксированном N оценка (6) сходится
вольное целое N' > N и рассчитаем матрицу
по вероятности к оценке (3):
В^ = {(^ , Ф; )}
N'
', 1 =0
(( Ф0 ) - (( Ф^ )
(, Ф0 ) (, Флг )
Уе> 0 Иш Р<
N '^вд
,(N)
1
—Еф 1(х)
¿=1
>е!> = 0,
где 0 < 1 < N .
(8)
/аг' , 1\ /аг' , 1\ ^ - Доказательство. Докажем более сильное утвер-
размерности ( + 1)x(N +1). Обратную к ней мат- ждение:
рицу обозначим через В^. Выделив в ней подматри-
цу В, содержащую первые (Ы + 1) её строк, и умножив её на вектор из N + 1) первых начальных вы- где борочных моментов V , получим вектор
Уе> 0 Иш Р { В^ V-V. > е> = 0 , (9)
N ' ^вд III Ивд )
а г )=В-1
и - nN,N у ,
(6)
Ф =
( 1 п 1 п
-ЕФ0(Хг X ...^ SфN (Х )
V" ¿=1
¿=1 У
значения которого наряду со значениями (3) и (5) мо- Для этого заметим, что гут использоваться в качестве оценок коэффициентов для (1). Более того, справедлива следующая теорема.
V -ВNФ =
(1 1 п
1ЕХ-
1п
- ЕХТ
Vп 1=1 У
В1 V -V ф||вд Вы1. (V^ ф|вд <| В-| [IV ^^
В свою очередь,
1п
-Еф0( X)
( (1,Ф0) (1,Ф1) (1,Ф^) ^
( Ф0 ) ( Ф1) (, Ф^ )
(, Ф0 ) ((, Ф1) ••• (( ф^)
п ¿=
=1
1п
-Еф1( X)
п,=1
1п
-Еф^ (X)
Тогда
(1 п ( N ч\ ^
- Е 1 -Е(1, Ф1 ) (х)
¿=1 V 1=0
1 п ( N
пЕ х--Е(х,Ф1 )(х-)
¿=1 V 1=0
п Е [ хг-Е ((, Ф 1 )Ф 1 (х-)
¿=1V 1=0
( N
1п
= 1 Е
1 -Е(1, ф 1 )Ф 1 (х-)
1=0 N'
х -Е(X, Ф1 )ф 1(х)
1=0
хг-Е ((, ф 1 )Ф 1 (х-)
1=0
V -BN, V ф = шах
II Ч'Нвд 0<к < N'
( N
-=1 V 1=0
1=0
пЕхк-Е(,Ф1 ) (х-) <пЕ л.^-Е(,Ф1 ) (х-)
У '=1
N'
хк -Е(хк, ф 1 )ф 1 (х)
< шах шах
1<-<п 0<к<N
1=0
р{в-1 vи >е}<р\\\в^\\ шах шах
т||вд ) II 11вд 1<-<п 0<к<N
N'
хк -Е(хк, Ф1 )Ф1 (х)
1=0
>е>.
(10)
Возьмём теперь произвольное е > 0. В силу условия (7) с возрастанием N' выражение
B-J max max
II Ню i<;<„ Q<k<N'
N
4 -|((, ф j )<p j (x)
j=Q
может быть сделано меньшим е, лишь только все х^ е (-1;1). Однако для любой непрерывной случайной величины, распределённой на отрезке [-1;1], включение всех х^ е (-1;1) выполнено с вероятностью 1. Таким образом,
lim P < B-1 max max
n—ю II 11ю i<i<n Q<k<N'
N'
xk -|(xk,Фj)фj(x)
j=Q
<e!> = 1
или
lim P < B^J max max
n—ю ¡11 Ню 1<i<n Q<k<N'
N'
xk -|(xk, Фj )Фj (X )
j=Q
>e!> = Q.
lim P
N' —ю
,( N')
1 n
—|ф j(xi)
> e> <
i=Q
i=Q
k = Q, 1, 2, ...:
LS- max
II 11ю Q<k<N
xk -|(xk,Pi)Pi(x)
i=Q
Далее в статье предполагается, что система орто-нормированных функций выбрана таким образом, что условие (7) выполнено.
Свойства оценок. Найдём математические ожидания оценок (6):
M {a(N')} = M {SnN V} = Bn\n.M {V} .
Так как
M {V } = (M {Vq }, M ft}, ..., M {V N'})r =
'm 11 1 xQ}, m { И i *}.....m 11 1 4'
= (1, M {£}, ..., M { n'}) = V,
• = B-1Nv .
Теперь, переходя к пределу в неравенстве (10), получим формулу (9).
Неравенство ||в^ V -Vф|| >е означает, что каждая компонента вектора ВN V -Vф больше е. Отсюда следует, в частности, выполнение этого неравенства для первых (N +1) компонент. Таким образом,
то получаем окончательно
M{а(N')}:
При N' ^да получаем, что оценка является несмещённой:
lim M {а(N) }= M {а(да) } =
= M ■
1 n 1 n
- |pQ(xi ), ...,-|Ф N (xi )
< lim P {{ v -v ф|| >e} = 0, 0 < j < N.
N' ^Ю III ф11к> )
Теорема доказана.
Из доказанного следует, что при условии (7) рассматриваемое обобщение метода моментов включает метод (3) как частный случай при N' ^да . Поэтому для оценок (3) вводится обозначение а(да). С другой стороны, очевидно, что при N' = N метод совпадает с обычным методом моментов. Для оценок функции плотности вероятности с коэффициентами (6) и (3)
вводятся, соответственно, обозначения fNN )(x) и /Т( x).
Можно показать, что для систем Лежандра, Че-бышёва и тригонометрической системы выполняется условие (7). Причём для системы Лежандра выражение под пределом в (7) равно 0 при любом N > 0. Действительно, для системы Лежандра имеем k k Х =S Ci Фг (x) = X(, Фг ) (x) при X 6 С-1^
= (М(ф0(£)}, ...,m(фN(е)}) = а. При конечных N оценка (6), в общем случае, смещена.
Рассчитаем ковариационную матрицу оценок:
} = Е{в^ v} = Вы\,Е{У) =
П ъ у '
где - ковариационная матрица степеней случайной величины £:
(0 0 ••• 0 ^ я© ••• осу {, е ^ }
Q
Q cov { , £} ••• D { }
Переходя к пределу при N ^ да, получим ковариационную матрицу оценок (6):
lim s{a(N,)} = E{a(ю)} =1
N' —^ю I > У > п
= -£ ,
N'—ю ^ > ^ > n Ф
где Еф - ковариационная матрица функций {pQ( x), ..., pN ' (x)} от случайной величины
( D{Pq} cov{pQ, Ф1} cov{pQ, Pn }л
cov{p1, Pq} D{P1} cov{p1, Pn }
= B^,-^ max \xk — xk\ = B^,-^ -0 = 0^
II Над 0<k<nI I II Над
Поэтому при использовании системы Лежандра оценки, полученные по обобщённому методу моментов при любом N', совпадают с оценками (3)^
2ф =
cov{pn, pq} cov{p n' , Ф1} D{p N }
N' f J
Отсюда видно, что при неограниченном увеличении объёма выборки п дисперсии оценок стремятся
к 0. Тогда из теоремы Чебышёва [9] оценки а(вд) являются состоятельными.
Применение оценок. Несмотря на отсутствие при конечных N для оценок а(N -1 таких свойств, как несмещённость и состоятельность, в некоторых случаях, особенно на малых выборках, оценка плотности вероятности ^ (х) всё же оказывается лучше, чем
оценка /(вд)'1 (х). Близость оценки ^ (х) к истинной плотности /(х) характеризуется усреднённым квадратичным критерием [14]:
е {} }=м {{> - /|2}.
После преобразований получаем следующее выражение [8]:
е {} }=|| / - /N112 +
N , , чч2 N ч (11)
+Е ( - м 1}) +е® 1},
1=0 1=0
где ^ (х) - оценка плотности вероятности с оптимальными коэффициентами:
^(х) = аф0(х) +... + аNФN(х). (12)
Выражение (11) позволяет значительно ускорить процесс вычисления значения критерия е для данной ортонормированной системы {ф,} и данной плотности вероятности /(х).
Обобщённый метод моментов был применён при восстановлении различных законов распределения вероятностей. Графики зависимости разности между
значением критерия (11) для оценки (х) и оценки
Чх) при оптимальном N представлены на рис. 1 и 2. Рассматривалась задача восстановления равномерного закона распределения на отрезке [0; 0,5]. Результаты получены при малом объёме выборки п = 20.
Из графиков видно, что на малых объёмах выборки обобщённый метод моментов при оптимально настроенных конечных N в широком диапазоне значений N даёт существенное улучшение качества оценки функции плотности вероятности.
Рис 1. Сравнение качества аппроксимации при восстановлении плотности вероятности методами (3) и (6) с использованием ортонормированной системы Чебышёва
У
Рис 2. Сравнение качества аппроксимации при восстановлении плотности вероятности методами (3) и (6) с использованием ортонормированной тригонометрической системы
Заключение. В ходе исследования было разработано обобщение метода моментов для оценивания коэффициентов проекционной оценки (1) функции плотности вероятности, для которого методы оценивания (3) и (5) являются частными случаями. В некоторых случаях, особенно при малых объёмах выборки исследуемой случайной величины, удалось добиться улучшения оценки плотности вероятности по сравнению с наиболее часто используемым методом (3), несмотря на отсутствие у оценок коэффициентов таких свойств, как несмещённость и состоятельность. Здесь уместно замечание известного советского математика
B. Н. Вапника: «Ниоткуда не следует, что в классе несмещённых оценок плотности имеются достаточно хорошие оценки. Ведь, как уже отмечалось, само свойство несмещенности оценки не имеет никакой самостоятельной ценности и вводится исключительно в целях ограничения класса оценок» [15].
Библиографические ссылки
1. Акимов С. С. Методы решения задачи восстановления плотности вероятности по выборке из генеральной совокупности // Естественные и математические науки в современном мире. 2014. № 1 (13).
C. 29-35.
2. Кобзарь А. И. Прикладная математическая статистика: для инженеров и научных работников. М. : Физматлит, 2006. 816 с.
3. Rosenblatt M. Remarks on some nonparametric estimates of a density function // The Annals of Mathematical Statistics. 1956. Vol. 27, № 3. P. 832-837.
4. Parzen E. On estimation of a probability density function and mode // The Annals of Mathematical Statistics. 1962. Vol. 35, № 3. Pp. 1065-1076.
5. Ченцов Н. Н. Статистические решающие правила и оптимальные выводы. М. : Физматлит, 1972. 520 с.
6. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. 6-е изд., испр. М. : Наука, 1989. 624 с.
7. Ченцов Н. Н. Оценка неизвестной плотности распределения по наблюдениям // ДАН СССР. 1962. Т. 147, № 1. С. 45-48.
8. Новосёлов А. А. Об оптимальном выборе структуры функции плотности вероятности и регрессии : препринт. Красноярск : ВЦ СО АН СССР, 1979. 31 с.
9. Крамер Г. Математические методы статистики : пер. с англ. 2-е изд., стер. М. : Мир, 1975. 648 с.
10. Мальцев А. И. Основы линейной алгебры. 3-е изд. М. : Наука, 1970. 400 с.
11. Никифоров А. Ф., Уваров В. Б. Специальные функции математической физики. 2-е изд., перераб. и доп. М. : Наука, 1984. 344 с.
12. Фихтенгольц Г. М. Курс дифференциального и интегрального исчисления. 8-е изд. М. : Физматлит, 2003. Т. 3. 728 с.
13. Хорн Р., Джонсон Ч. Матричный анализ : пер. с англ. М. : Мир, 1989. 655 с.
14. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и её применения. 1969. Т. 14, № 1. С. 156-162.
15. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М. : Наука, 1979. 448 с.
References
1. Akimov S. S. [Methods of probability density function recovering with sample of the entire assembly]. Estestvennye i matematicheskie nauki v sovremennom mire. 2014, Vol. 1 (13), P. 29-35 (In Russ.).
2. Kobzar A. I. Prikladnaya matematicheskaya sta-tistika: dlya inzhenerov i nauchnykh rabotnikov [Applied mathematical statistics: for engineers and scientists]. Moscow, Fizmatlit Publ., 2006, 816 p.
3. Rosenblatt M. [Remarks on some nonparametric estimates of a density function]. The Annals of Mathematical Statistics, 1956, Vol. 27, 3, P. 832-837.
4. Parzen E. On estimation of a probability density function and mode. The Annals of Mathematical Statistics, 1962, Vol. 35, No. 3, P. 1065-1076.
5. Chentsov N. N. Statisticheskie reshayushchie pra-vila i optimal'nye vyvody [Statistical decision rules and optimal conclusions]. Moscow, Fizmatlit Publ., 1972, 520 p.
6. Kolmogorov A. N., Fomin S. V. Elementy teorii funktsiy i funktsional'nogo analiza [Elements of function theory and function analysis]. 6th edition. Moscow, Nauka Publ., 1989, 624 p.
7. Chentsov N. N. [Estimation of unknown probability density function on observations]. Doklady Akademii nauk SSSR, 1962, Vol. 147, No. 1, P. 45-48 (In Russ.).
8. Novoselov A. A. Ob optimal'nom vybore struktury funktsii plotnosti veroyatnosti i regressii: preprint [On optimal choice of probability density function and regression structure: preprint]. Krasnoyarsk, Computational Centre of Siberian Department Academy of Science USSR Publ., 1979, 31 p.
9. Cramer H. Mathematical methods of statistics. Princeton University Press, 1946, 575 p.
10. Maltsev A. I. Osnovy lineynoy algebry [Basics of linear algebra], 3rd ed. Moscow, Nauka Publ., 1970, 400 p.
11. Nikiforov A. F., Uvarov V. B. Spetsial'nye funktsii matematicheskoy fiziki [Special functions of mathematical physics], 2nd ed. Moscow, Nauka Publ., 1984, 344 p.
12. Fikhtengol'ts G. M. Kurs differentsial'nogo i integral'nogo ischisleniya [Course of differential and integral calculus]. 8th ed. Moscow, Fizmatlit Bubl., 2003, Vol. 3, 728 p.
13. Horn R., Johnson C. Matrix analysis. Cambridge University Press, 1990, 561p.
14. Epanechnikov V. A. [Nonparametric estimation of a multidimensional probability density]. Teoriya veroyatnostey i ee prilozheniya, 1969, Vol. 14, No. 1, P. 156-162 (In Russ.).
15. Vapnik V. N. Vosstanovleniye zavisimostey po empiricheskim dannym [Dependences recovery from empirical data]. Moscow, Nauka Publ., 1979, 448 p.
© Браништи В. В., 2015
