CC BY
149
Научный журнал КубГАУ, №101(07), 2014 года
1
УДК 519.2:303.732.4
ТЕОРЕТИЧЕСКИЕ ИНСТРУМЕНТЫ СТАТИСТИЧЕСКИХ МЕТОДОВ
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail. ru
Рассмотрены основные математические инструменты (теоремы, методы), постоянно используемые при обосновании новых результатов в области статистических методов: законы больших чисел, центральные предельные теоремы, необходимые и достаточные условия наследования сходимости, метод линеаризации, принцип инвариантности
Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, ЗАКОНЫ БОЛЬШИХ ЧИСЕЛ, ЦЕНТРАЛЬНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ, НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ, НАСЛЕДОВАНИЕ СХОДИМОСТИ, МЕТОД ЛИНЕАРИЗАЦИИ, ПРИНЦИП ИНВАРИАНТНОСТИ
UDC 519.2:303.732.4
THEORETICAL TOOLS OF STATISTICAL METHODS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
We have considered the basic mathematical tools (theorems, methods) which are used regularly in the justification of new results in the field of statistical methods: rules of large numbers, central limit theorems, the necessary and sufficient conditions for the inheritance of convergence, the linearization method, the invariance principle
Keywords: STATISTICAL METHODS, MATHEMATICAL STATISTICS, APPLIED STATISTICS, LAWS OF LARGE NUMBERS, CENTRAL LIMIT THEOREMS, NECESSARY AND SUFFICIENT CONDITIONS, INHERITANCE OF CONVERGENCE, LINEARIZATION METHOD, INVARIANCE PRINCIPLE
1. Введение
Набор широко применяемых исследователями теоретических инструментов прикладной математической статистики и статистических методов в целом достаточно ограничен. В настоящей статье собраны основные математические инструменты (теоремы, методы), постоянно используемые при обосновании новых результатов в области статистических методов. Эти инструменты отнюдь не всегда легко найти в литературе по теории вероятностей и математической статистике. Например, такие рассматриваемые далее теоремы и методы, как многомерная центральная предельная теорема, теоремы о наследовании сходимости и метод линеаризации, даже не включены в энциклопедию «Вероятность и математическая статистика» [1] - наиболее полный, по мнению составителей энциклопедии, свод знаний по заявленной тематике. Последний факт наглядно демонстрирует разрыв между математической
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 2
дисциплиной «теория вероятностей и математическая статистика» и потребностями прикладной статистики и других статистических методов.
2. Законы больших чисел
Законы больших чисел позволяют описать поведение сумм случайных величин. Примером является следующий результат, доказанный русским математиком П.Л. Чебышёвым (1821-1894) в 1867 г. Пусть сначала вероятностное пространство состоит из конечного числа элементов.
Теорема Чебышёва. Пусть случайные величины Хь Х2,..., Xk попарно независимы и существует число С такое, что D(Xi)<C при всех i = 1, 2, ..., к. Тогда для любого положительного е выполнено неравенство
P
X, + X2 +... + Xk MX) + M (X 2) +... + M(Xk )
к
к
Ч< Ч (1)
Частным случаем теоремы Чебышева является теорема Бернулли -первый в истории вариант закона больших чисел. Известный математики Якоб Бернулли (1654-1705), живший в городе Базель в Швейцарии, в самом конце XVII века доказал это утверждение в рамках математической модели (опубликовано доказательство было лишь после его смерти, в 1713 году). Современная формулировка теоремы Бернулли такова.
Теорема Бернулли. Пусть m - число наступлений события А в к независимых (попарно) испытаниях, и р есть вероятность наступления события А в каждом из испытаний. Тогда при любом е> 0 справедливо неравенство
P
m
к
- Р
>£> <
рЫр1. (2)
Ясно, что при росте к выражения в правых частях формул (1) и (2) стремятся к 0. Таким образом, среднее арифметическое попарно
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 3
независимых случайных величин сближается со средним арифметическим их математических ожиданий.
Выше шла речь лишь о пространствах элементарных событий из конечного числа элементов. Однако приведенные теоремы верны и в общем случае, для произвольных пространств элементарных событий. Однако в список условий закона больших чисел необходимо добавить требование существования дисперсий. Легко видеть, что если существуют дисперсии, то существуют и математические ожидания. Закон больших чисел в форме Чебышёва приобретает следующий вид.
Теорема Чебышёва [2, с. 147]. Если Хь Х2,..., Хк,... -последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной,
С точки зрения прикладных статистических исследований ограниченность дисперсий вполне естественна. Она вытекает, например, из ограниченности диапазона изменения практически всех величин, используемых при реальных расчетах.
В 1923 г. А.Я. Хинчин показал, что если случайные величины не только независимы, но и одинаково распределены, то существование у них математического ожидания является необходимым и достаточным условием для применимости закона больших чисел [2, с. 150]. Найдены и более экзотические варианты закона больших чисел. Например, такой.
Теорема [2, с. 150-151]. Для того чтобы для последовательности Х\, Х2,..., Хк,...(как угодно зависимых) случайных величин при любом положительном е выполнялось соотношение (3), необходимо и достаточно, чтобы при n ^ да
D(X1)<C, D(X2)<C,. D(X)<C,... то, каково бы ни было постоянное е > 0,
(3)
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
4
M-
( k Л2
Z (X - Ш,)
V1=
n2 +
( k Л2
Z (X - MX1)
® 0.
V j=> J
Законы больших чисел для случайных величин служат основой для аналогичных утверждений для случайных элементов в пространствах более сложной природы, в частности, в пространствах произвольной природы [3, 4]. Однако здесь мы ограничимся классическими
формулировками, служащими основой для современных статистических методов.
Смысл классических законов больших чисел состоит в том, что выборочное среднее арифметическое независимых одинаково распределенных случайных величин приближается (сходится) к математическому ожиданию этих величин. Другими словами, выборочные средние сходятся к теоретическому среднему.
Это утверждение справедливо и для других видов средних. Например, выборочная медиана сходится к теоретической медиане. Это утверждение - тоже закон больших чисел, но не классический.
Существенным продвижением в теории вероятностей во второй половине ХХ в. явилось введение средних величин в пространствах произвольной природы и получение для них законов больших чисел, т.е. утверждений, состоящих в том, что эмпирические (т.е. выборочные) средние сходятся к теоретическим средним [3, 4].
3. Центральные предельные теоремы
Простейший вариант Центральной предельной теоремы (ЦПТ) теории вероятностей таков.
Центральная предельная теорема (для одинаково
распределенных слагаемых). Пусть Хь Х2,..., Xn, ...- независимые
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
5
одинаково распределенные случайные величины с математическими ожиданиями М(Х) = m и дисперсиями D(Xi) = a2, i = 1, 2,..., n,... Тогда для любого действительного числа х существует предел
lim P
X) + X 2 +... + X n — nm
\
< x
а n
F( x),
J
где Ф(х) - функция стандартного нормального распределения.
Эту теорему иногда называют теоремой Линдеберга - Леви [5, с.
122].
В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.
Теорема Ляпунова - Центральная предельная теорема (для разнораспределенных слагаемых). Пусть Х\, Х2,..., Xn, ...- независимые случайные величины с математическими ожиданиями M(X) = mi и дисперсиями D(X) = а2 ф 0, i = 1, 2,., n,... Пусть при некотором 5 > 0 у всех рассматриваемых случайных величин существуют центральные моменты порядка 2+5 и безгранично убывает «дробь Ляпунова»:
1 n
^ Z Mix — «kts = 0
Bn k=1
где
k f k \
B; = Zaf = d[zx, .
i=1 v i=1 J
Тогда для любого действительного числа х существует предел
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
6
lim P
Xi + X2 +... + Xn - mx - m2 -... - mn B.
\
< x
Ф( x), (4)
J
где Ф(х) - функция стандартного нормального распределения.
В случае одинаково распределенных случайных слагаемых
m1 = m2
m = m,
, Bn = D(Xi + X2 +... + Xn) = Sn
и теорема Ляпунова переходит в теорему Линдеберга - Леви.
История получения центральных предельных теорем для числовых случайных величин растянулась на два века - от первых работ Муавра в 30-х гг. XVIII в. для необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х гг. XX в.
Теорема Линдеберга - Феллера. Пусть Хь Х2,..., Xn, ...независимые случайные величины с математическими ожиданиями M(X) = m, и дисперсиями D(X) = S * 0, i = 1, 2,., n,... Предельное соотношение (4), т.е. Центральная предельная теорема, выполнено тогда и только тогда, когда при любом т > 0
1 n
n®!в* 2 j(x -mk)2dFk(x0 = 0,
Bn k=1 \x-mk\>TBn
где Fk(x) обозначает функцию распределения случайной величины Xk.
Доказательства перечисленных в настоящем разделе центральных предельных теорем для случайных величин можно найти в классическом курсе теории вероятностей [2].
Для обоснования многих статистических методов большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.
Необходимое и достаточное условие многомерной сходимости [5, с. 124]. Пусть Fn обозначает совместную функцию распределения k-мерного случайного вектора (Xni},...,Xnk)), n = 1, 2, ..., и Fxn - функция распределения линейной комбинации IX^1 +... + 1лX^). Необходимое и
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 7
достаточное условие для сходимости Fn к некоторой к-мерной функции распределения F состоит в том, что F\n имеет предел для любого вектора X.
Приведенная теорема ценна тем, что с ее помощью сходимость распределений случайных векторов сводится к сходимости распределений линейных комбинаций их координат, т.е. к сходимости обычных (числовых) случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.
Теорема о многомерной сходимости [5]. Пусть Fn и Fxn - те же, что в предыдущей теореме. Пусть F - совместная функция распределения к-мерного случайного вектора (X1v.., Хк). Если функция распределения F\n сходится при росте объема выборки к функции распределения F\ для любого вектора X, где F\ - функция распределения линейной комбинации Л1Х1 +... + ЛкХк, то Fn сходится к F.
Здесь сходимость Fn к F означает, что для любого к-мерного вектора (х1,..., хк) такого, что функция распределения F непрерывна в (x1,..., хк), числовая последовательность Fn (х1,..., хк) сходится при росте n к числу F (х1,..., хк). Другими словами, сходимость функций распределения
понимается точно так же, как при обсуждении предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.
Многомерная центральная предельная теорема [5]. Рассмотрим независимые одинаково распределенные к-мерные случайные вектора
ип = (иin,...,Uiinх П = Х^..,
где штрих обозначает операцию транспонирования вектора. Предположим, что случайные вектора Un имеют моменты первого и второго порядка, т.е.
M(Un) = м, D(Un) = S,
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 8
где - вектор математических ожиданий координат случайного вектора, £ - его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:
- - ----- ------------- 1 п
Un = (U in ,...,Ukn), п = 1,2,..., Uin =— '^Uii.
п1=1 1
Тогда случайный вектор 4п(Un -m) имеет асимптотическое k-мерное нормальное распределение Nk (0,S), т.е. он асимптотически распределен так же, как k-мерная нормальная величина с нулевым математическим ожиданием, ковариационной £ и плотностью
Nk(и | 0,S) = (2p)-k/2 | S |-1/2 expj-1 и'S-1u
Здесь |£| - определитель матрицы £. Другими словами, распределение случайного вектора 4n(Un -m) сходится к k-мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей £.
Напомним, что многомерным нормальным распределением с математическим ожиданием ^ и ковариационной матрицей £ называется распределение, имеющее плотность
Nk (u I m, S)=(2p)-k'21S г'/2 expj- 2[(и - m)' S-1 (и - m)]}.
Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные вектора. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 9
вытекает, что многомерный случай ничем принципиально не отличается от одномерного.
Пример. Пусть X1, ... Xn ,...- независимые одинаково
распределенные случайные величины. Рассмотрим k-мерные независимые одинаково распределенные случайные вектора
Un = (Xn, X2, X3,...,
Xkn ), n = 1,2,...
Их математическое ожидание - вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда Un - вектор выборочных центральных моментов. Многомерная центральная предельная теорема утверждает, что Un имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения Un можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные моменты, то аналогичное утверждение верно и для них.
4. Теоремы о наследовании сходимости
Суть проблемы наследования сходимости. Пусть распределения случайных величин Xn при n ^ да стремятся к распределению случайной величины Х. При каких функциях f можно утверждать, что распределения случайных величин f(Xn) сходятся к распределению f(X), т.е. наследуется сходимость?
Хорошо известно, что для непрерывных функций f сходимость наследуется [5]. Однако в статистических методах используются различные обобщения этого утверждения. Необходимость обобщений связана с тремя обстоятельствами.
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
10
1) Статистические данные могут моделироваться не только случайными величинами, но и случайными векторами, случайными множествами, случайными элементами произвольной природы (т.е. функциями на вероятностном пространстве со значениями в произвольном множестве) [6, 7].
2) Переход к пределу должен рассматриваться не только для случая безграничного возрастания объема выборки, но и в более общих случаях. Например, если в постановке статистической задачи участвуют несколько выборок объемов n(1), n(2), ... , n(k), то вполне обычным является предположение о безграничном росте всех этих объемов (что можно описать и как min {n(1), n(2), ... , n(k)} ^ да).
3) Функция f не обязательно является непрерывной. Она может иметь разрывы. Кроме того, она может зависеть от параметров, по которым происходит переход к пределу. Например, может зависеть от объемов выборок. Например, в [8, гл. 5] понадобилось рассмотреть функциюf=f(n(1), n(2), ... , n(k)).
Расстояние Прохорова и сходимость по направленному множеству. Введем необходимые для дальнейшего изложения понятия.
Расстояние (метрика) Прохорова. Пусть С - некоторое пространство, А - его подмножество, d - метрика в С. Назовем е-окрестностью множества А в метрике d следующее множество:
S(A,e) = {хе С: d(A,x) < е}.
Таким образом, е-окрестность множества А - это совокупность всех точек пространства С, отстоящих от А не более чем на положительное число е. При этом расстояние от точки х до множества А - это точная нижняя грань расстояний от х до точек множества А, т.е.
d(A,x) = inf{d(x,y): ye A}.
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
11
Пусть Р1 и Р2 - две вероятностные меры на С (т.е. распределения двух случайных элементов со значениями в С). Пусть D12 - множество чисел s > 0 таких, что
P1(A) < P2(S(A,s)+s
для любого замкнутого подмножества А пространства С. Пусть D21 -множество чисел s > 0 таких, что
P2(A) < P1(S(A,s)+s
для любого замкнутого подмножества А пространства С. Расстояние Прохорова L(P1P2) между вероятностными мерами (его можно рассматривать и как расстояние между случайными элементами с распределениями P1 и P2 соответственно) вводится формулой
L(P1,P2) = max (inf D12, inf D21).
С помощью метрики Прохорова формализуется понятие сходимости распределений случайных элементов в произвольном пространстве.
Расстояние L(P1,P2) введено академиком РАН Юрием Васильевичем Прохоровым в середине ХХ в. [9] и широко используется в современной теории вероятностей.
Сходимость по направленному множеству [10, с. 95-96]. Бинарное отношение > (упорядочение), заданное на множестве В, называется направлением на нем, если В не пусто и
(а) если m, n и p - такие элементы множества В, что m > n и n > p, то
m > p;
(б) m > m для любого m из B;
(в) если m и n принадлежат B, то найдется элемент p из B такой, что p > m иp > n.
Направленное множество - это пара (В, >), где > - направление на множестве В. Направленностью (или «последовательностью по направленному множеству») называется пара (f, >), где f - функция, > -направление на ее области определения. Пусть f B ^ Y, где Y -
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 12
топологическое пространство. Направленность (f, >) сходится в топологическом пространстве Y к точке y0, если для любой окрестности U точки у0 найдется p из B такое, что f(q)e U при любом q > p. В таком случае говорят также о сходимости по направленному множеству.
Пусть В = {(n(1), n(2), ... , n(k))} - совокупность векторов, каждый из которых составлен из объемов k выборок. Пусть
(n(1), n(2), ... , n(k)) > (n 1(1), n1(2), ... , щ(к)) тогда и только тогда, когда n(i) > n1(i) при всех i = 1, 2, ..., k. Тогда (В, >) -направленное множество, сходимость по которому эквивалентна сходимости при min {n(1), n(2), ... , n(k)} ^ да.
Чтобы охватить различные частные случаи, целесообразно предельные теоремы формулировать в терминах сходимости по направленному множеству. Будем писать B = {а}. Пусть запись а^-да обозначает переход к пределу по направленному множеству.
Формулировка проблемы наследования сходимости. Пусть случайные элементы Ха со значениями в пространстве С сходятся при а^да к случайному элементу Х, где через а^-да обозначен переход к пределу по направленному множеству. Сходимость случайных элементов означает, что Ь(Ха, X) ^ 0 при а^да, где L - метрика Прохорова в пространстве С.
Пусть ftt: C ^ Y - некоторые функции. Какие условия надо на них наложить, чтобы из L(Xa, X) ^ 0 вытекало, что LfX), ftt(X)) ^ 0 при а^да, где L1 - метрика Прохорова в пространстве Y? Другими словами, какие условия на функции ftt: C ^ Y гарантируют наследование сходимости?
В работах [11, 12] найдены необходимые и достаточные условия на функции ftt: C ^ Y, гарантирующие наследование сходимости. Описанию этих условий посвящена оставшаяся часть подраздела.
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
13
Приведем для полноты изложения строгие формулировки математических предположений.
Математические предположения. Пусть С и У - полные сепарабельные метрические пространства [10]. Пусть выполнены обычные предположения измеримости: Ха и Х - случайные элементы С, fa(Xa) и fa(X) - случайные элементы в У, рассматриваемые ниже подмножества пространств С и У лежат в соответствующих о-алгебрах измеримых подмножеств, и т.д.
Понадобятся некоторые определения. Разбиение Тп = {C1n, C2n, ... , Cnn} пространства С - это такой набор подмножеств Cj, j = 1, 2, ... , п, этого пространства, что пересечение любых двух из них пусто, а объединение совпадает с С. Диаметром diam(A) подмножества А множества С называется точная верхняя грань расстояний между элементами А, т.е.
diam(A) = sup {d(x,y), xe A, ye A},
где d(x,y) - метрика в пространстве С. Обозначим дА границу множества А, т.е. совокупность точек х таких, что любая их окрестность U(x) имеет непустое пересечение как с А, так и с С\А. Колебанием Sf, B) функции f на множестве B называется Sf, B) = sup {fx) -f(y)|, xe B, ye B}.
Достаточное условие для наследования сходимости. Пусть L(XaX) ^ 0 при a ^ да. Пусть существует последовательность Тп разбиений пространства С такая, что Р(Хе дА) = 0 для любого А из Тп и, основное условие, для любого е > 0
me(a,п) = ^P(Xe A) ® 0 (5)
при п ^да и а^да, где сумма берется по всем тем А из Тп, для которых колебание функции fa на А больше е, т.е. Sfa, А) > е. Тогда LfXa), fa(X)) ^ 0 при a^-да.
Необходимое условие для наследования сходимости. Пусть У -конечномерное линейное пространство, У = Rk. Пусть случайные элементы fa(X) асимптотически ограничены по вероятности при a^-да, т.е. для
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 14
любого s > 0 существуют число S(s) и элемент направленного множества a(s) такие, что P(\\fa(X)\\> S(s))<s при a > a(s), где ||/a(X)|| - норма (длина) вектора fa(X). Пусть существует последовательность Тп разбиений пространства С такая, что
lim max{diam(Cn), Cjn е Tn} = 0,
т.е. последовательность Тп является безгранично измельчающейся. Самое существенное - пусть условие (5) не выполнено для последовательности Тп. Тогда существует последовательность случайных элементов Xa такая, что L(Xa,X) ^ 0 при a ^ да, но L1(fa(Xa),fa(X)) не сходится к 0 при a ^ да.
Несколько огрубляя, можно сказать, что условие (5) является необходимым и достаточным для наследования сходимости.
Пример 1. Пусть С и У - конечномерные линейные пространства, функции fa не зависят от a, т.е. fa = /, причем функция/ограничена. Тогда условие (5) эквивалентно требованию интегрируемости по Риману -Стилтьесу функции f по мере G(A) = P(Xe A). В частности, условие (5) выполнено для непрерывной функции f.
В конечномерных пространствах С вместо сходимости L(XaX) ^ 0 при a ^ да можно говорить о слабой сходимости функций распределения случайных векторов Xa к функции распределения случайного вектора X. Речь идет о «сходимости по распределению», т.е. о сходимости во всех точках непрерывности функции распределения случайного вектора X. В этом случае разбиения могут состоять из многомерных параллелепипедов [12, гл. 2].
Пример 2. Полученные выше результаты дают обоснование для рассуждений типа следующего (ср., например, утверждения в [8, гл. 5] выше). Пусть по двум независимым выборкам объемов тип соответственно построены статистики Xm и Yn. Пусть известно, что распределения этих статистик сходятся при безграничном росте объемов выборок к стандартным нормальным распределениям с математическим
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 15
ожиданием 0 и дисперсией 1. Пусть a(m, n) и b(m, n) - некоторые коэффициенты. Тогда согласно результатам примера 1 распределение случайной величины Z(m, n) = a(m, n)Xm + b(m, n)Yn сближается с распределением нормально распределенной случайной величины с математическим ожиданием 0 и дисперсией a2(m, n) + b2(m, n). Если же a (m, n) + b (m, n) = 1, например,
a(m, n)
m
m + n
b(m, n)
n
m + n ’
то распределение Z(m, n) сходится при безграничном росте объемов выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1.
5. Метод линеаризации
При разработке статистических методов часто возникает следующая задача (см., например, [5, с. 338]). Имеется последовательность k-мерных случайных векторов Xn = (X1n, X2n, ... , Xkn), n = 1, 2, ... , такая, что Xn ^ a = (a1, a2, ... , ak) при n ^ да, и последовательность функций fn: R ^ R1. Требуется найти распределение случайной величины fn(Xn).
Основная идея - рассмотреть главный линейный член функции fn в окрестности точки а. Из математического анализа известно, что
fn (X„) - fn (a) = t Щт1 (X,„ - a)+O„ (||X, - a ||2),
j= dX]
где остаточный член является бесконечно малой величиной более высокого порядка малости, чем линейный член. Таким образом, произвольная функция может быть заменена на линейную функцию от координат случайного вектора. Эта замена проводится с точностью до бесконечно малых более высокого порядка. Конечно, должны быть выполнены некоторые математические условия регулярности. Например,
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года 16
функции fn должны быть дважды непрерывно дифференцируемы в окрестности точки а.
Если вектор Xn является асимптотически нормальным с математическим ожиданием а и ковариационной матрицей X/n, где X = ||Oj||, причем огу = nM(Xi - ai)(Xj- - aj), то линейная функция от его координат также асимптотически нормальна. Следовательно, при очевидных условиях регулярности fn(Xn) - асимптотически нормальная случайная величина с математическим ожиданием fn(a) и дисперсией
1 'V'V ^fn (a) f (a) s
n£t j=1 dxt dXj j
Для практического использования асимптотической нормальности fn(Xn) остается заменить неизвестные моменты а и X на их оценки. Например, если Xn - это среднее арифметическое независимых одинаково распределенных случайных векторов, то а можно заменить на Xn, а X - на выборочную ковариационную матрицу.
Пример. Пусть Y1, Y2, ... , Yn - независимые одинаково распределенные случайные величины с математическим ожиданием а и дисперсией о . В качестве Xn (при к = 1) рассмотрим выборочное среднее арифметическое
_ y + Y + + Y
Y — 1 n
n
Как известно, в силу закона больших чисел Y ^ а = М(У). Следовательно, для получения распределений функций от выборочного среднего
арифметического можно использовать метод линеаризации. В качестве
2
примера рассмотрим fn(y) = f(y) = y . Тогда
(Y )2 - a2 — fat (Y - a)+ o(y - a )2)— 2a(Y - a)+ o((Y - a )2).
Из этого соотношения следует, что с точностью до бесконечно малых более высокого порядка
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
17
(у) = a2 + 2a(Y - a).
Поскольку в соответствии с Центральной Предельной Теоремой выборочное среднее арифметическое является асимптотически нормальной случайной величиной с математическим ожиданием а и дисперсией о2/п, то квадрат этой статистики является асимптотически нормальной случайной величиной с математическим ожиданием а2 и дисперсией 4а о /п. Для практического использования может оказаться полезной замена параметров (асимптотического нормального
распределения) на их оценки, а именно, математического ожидания - на
(у), а дисперсии - на 4(y ) s2 /п, где s2 - выборочная дисперсия.
Большое внимание (целая глава!) уделено методу линеаризации в классическом учебнике Е.С. Вентцель [13].
6. Принцип инвариантности
Пусть Y1, У2, ... , Yn - независимые одинаково распределенные случайные величины с непрерывной функцией распределения F(x). Многие используемые в статистических методах функции от результатов наблюдений выражаются через эмпирическую функцию распределения Fn(x). К ним относятся, в частности, статистики Колмогорова, Смирнова, омега-квадрат [14]. Отметим, что и другие статистики выражаются через эмпирическую функцию распределения, например:
Y = J xdFn (x).
Полезным является преобразование Н.В. Смирнова t = F(x). Тогда независимые случайные величины Zj = F(Yj), j = 1, 2, ... , п, имеют равномерное распределение на отрезке [0; 1]. Рассмотрим построенную по ним эмпирическую функцию распределения Fn(t), 0 < t < 1. Эмпирическим процессом называется случайный процесс
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
18
X,t () = Л (F„ (t) -t).
Рассмотрим критерии проверки согласия функции распределения выборки с фиксированной функцией распределения F(x). Статистика критерия Колмогорова записывается в виде
Kn = sup Ix (tH
0<?<1
статистика критерия Смирнова - это
Sn = SUPX (t),
0<t<1
а статистика критерия омега-квадрат (Крамера-Мизеса-Смирнова) имеет вид
1
w2 = fx2(t)dt.
0
Случайный процесс £,n(t) имеет нулевое математическое ожидание и ковариационную функцию M^n(s)Ln(t) = min (s,t) - st. Рассмотрим гауссовский случайный процесс £,(t) с такимb же математическим ожиданием и ковариационной функцией. Он называется броуновским мостом. (Напомним, что гауссовским процесс именуется потому, что вектор (^(t1), £,(t2), ... , £,(tk)) имеет многомерное нормальное распределение при любых наборах моментов времени t1, t2, ... , tk)
Пусть f - функционал, определенный на множестве возможных траекторий случайных процессов. Принцип инвариантности [1] состоит в том, что последовательность распределений случайных величин f(£,n) сходится при n ^ да к распределению случайной величины _/(£,). Сходимость по распределению обозначим символом =>. Тогда принцип инвариантности кратко записывается так: f(^n) => _/(£,). В частности, согласно принципу инвариантности статистика Колмогорова и статистика омега-квадрат сходятся по распределению к распределениям
соответствующих функционалов от случайного процесса £,:
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
19
K
n
sup I (t)| -> suplx(t^ w2
0<t<1 0<t<1
1 1
Jfi(t)dt -> ff-(t)dt.
0 0
Таким образом, от проблем прикладной статистики сделан переход к теории случайных процессов. Методами этой теории найдены распределения случайных величин
suP|X(t)1, Ь)dt.
(л<г-+<г-л *
0
Принцип инвариантности - инструмент получения предельных распределений функций от результатов наблюдений, используемых в прикладной статистике.
Обоснование принципу инвариантности может быть дано на основе теории сходимости вероятностных мер в функциональных пространствах [9, 15]. Более простой подход, позволяющий к тому же получать необходимые и достаточные условия в предельной теории статистик интегрального типа (принцип инвариантности к ним нельзя применить), рассмотрен в [16].
Почему «принцип инвариантности» так назван? Обратим внимание, что предельные распределения рассматриваемых статистик не зависят от их функции распределения F(x). Другими словами, предельное распределение инвариантно относительно выбора F(x).
В более широком смысле термин «принцип инвариантности» применяют тогда, когда предельное распределение не зависит от тех или иных характеристик исходных распределений [1]. В этом смысле наиболее известный «принцип инвариантности» - это Центральная предельная теорема, поскольку предельное стандартное нормальное распределение -одно и то же для всех возможных распределений независимых одинаково распределенных слагаемых (лишь бы слагаемые имели конечные математическое ожидание и дисперсию).
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
20
Литература
1. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. - М.: Большая Российская энциклопедия, 1999. - 910с.
2. Гнеденко Б.В. Курс теории вероятностей: Учебник. 7-е изд., исправл. -М.: Эдиториал УРСС, 2001. - 320 с.
3. Орлов А.И. Средние величины и законы больших чисел в пространствах
произвольной природы / А. И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №05(089). С. 556 - 586. - IDA [article ID]: 0891305038. - Режим доступа:
http://ei.kubagro.ru/2013/05/pdf/38.pdf
4. Орлов А. И. О средних величинах // Управление большими системами. Выпуск 46. М.: ИПУ РАН, 2013. С.88-117.
5. Рао С.Р. Линейные статистические методы и их применения. - М.: Наука, 1968. - 548 с.
6. Орлов А.И. Системная нечеткая интервальная математика (СНИМ) -перспективное направление теоретической и вычислительной математики / А. И. Орлов, Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №07(091). С. 255 - 308. - IDA [article ID]: 0911307015. - Режим доступа: http://ei.kubagro.ru/2013/07/pdf/15.pdf
7. Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 273 - 309. - IDA [article ID]: 0931309019. - Режим доступа: http://ei.kubagro.ru/2013/09/pdf/19.pdf
8. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.
9. Прохоров Ю. В. Сходимость случайных процессов и предельные теоремы теории вероятностей // Теория вероятностей и ее применения. 1956. Т. 1, № 2. С. 177238.
10. Келли Дж. Общая топология. - М.: Наука, 1968. - 384 с.
11. Орлов А. И. Асимптотическое поведение статистик интегрального типа // Доклады АН СССР. 1974. Т.219. № 4. С. 808-811.
12. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
13. Вентцель Е.С. Теория вероятностей. - М.: Наука, 1964.- 576 с.
14. Орлов А. И. Непараметрические критерии согласия Колмогорова,
Смирнова, Омега-квадрат и ошибки при их применении / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 647 - 675. - IDA [article ID]: 0971403047. - Режим доступа: http://ei.kubagro.ru/2014/03/pdf/47.pdf
15. Биллингсли П. Сходимость вероятностных мер. - М.: Наука, 1977. - 352 с.
16. Орлов А.И. Предельная теория непараметрических статистик /
А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
21
ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 226 - 244. - IDA [article ID]: 1001406011. - Режим доступа: http://ej .kubagro.ru/2014/06/pdf/11 .pdf
References
1. Verojatnost' i matematicheskaja statistika: Jenciklopedija / Gl. red. Ju.V. Prohorov. - M.: Bol'shaja Rossijskaja jenciklopedija, 1999. - 910s.
2. Gnedenko B.V. Kurs teorii verojatnostej: Uchebnik. 7-e izd., ispravl. - M.: Jeditorial URSS, 2001. - 320 s.
3. Orlov A.I. Srednie velichiny i zakony bol'shih chisel v prostranstvah proizvol'noj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №05(089). S. 556 - 586. - IDA [article ID]: 0891305038. - Rezhim dostupa: http://ej.kubagro.ru/2013/05/pdf/38.pdf
4. Orlov A. I. O srednih velichinah // Upravlenie bol'shimi sistemami. Vypusk 46. M.: IPU RAN, 2013. S.88-117.
5. Rao S.R. Linejnye statisticheskie metody i ih primenenija. - M.: Nauka, 1968.
- 548 s.
6. Orlov A.I. Sistemnaja nechetkaja interval'naja matematika (SNIM) -perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki / A.I. Orlov, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
- Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - IDA [article ID]: 0911307015. -Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf
7. Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 273 - 309. - IDA [article ID]: 0931309019. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/19.pdf
8. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.3. Statisticheskie metody analiza dannyh. - M.: Izd-vo MGTU im. N.Je. Baumana, 2012. - 624 s.
9. Prohorov Ju. V. Shodimost' sluchajnyh processov i predel'nye teoremy teorii verojatnostej // Teorija verojatnostej i ee ppimenenija. 1956. T. 1, № 2. S. 177-238.
10. Kelli Dzh. Obshhaja topologija. - M.: Nauka, 1968. - 384 s.
11. Orlov A.I. Asimptoticheskoe povedenie statistik integral'nogo tipa // Doklady AN SSSR. 1974. T.219. № 4. S. 808-811.
12. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - M.: Nauka, 1979. - 296 s.
13. Ventcel' E.S. Teorija verojatnostej. - M.: Nauka, 1964.- 576 s.
14. Orlov A.I. Neparametricheskie kriterii soglasija Kolmogorova, Smirnova, Omega-kvadrat i oshibki pri ih primenenii / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. -№03(097). S. 647 - 675. - IDA [article ID]: 0971403047. - Rezhim dostupa: http://ej.kubagro.ru/2014/03/pdf/47.pdf
15. Billingsli P. Shodimost' verojatnostnyh mer. - M.: Nauka, 1977. - 352 s.
16. Orlov A.I. Predel'naja teorija neparametricheskih statistik / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar:
http://ej.kubagro.ru/2014/07/pdf/14.pdf
Научный журнал КубГАУ, №101(07), 2014 года
22
KubGAU, 2014. - №06(100). S. 226 - 244. - IDA [article ID]: 1001406011. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/11.pdf
http://ej.kubagro.ru/2014/07/pdf/14.pdf
