CC BY
4
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2021 Управление, вычислительная техника и информатика № 55
УДК 519.24
DOI: 10.17223/19988605/55/11
В.П. Шуленин
АСИМТОТИЧЕСКИЕ СВОЙСТВА И РОБАСТНОСТЬ ОЦЕНОК УРЕЗАННЫХ ВАРИАНТОВ СТАНДАРТНОГО ОТКЛОНЕНИЯ И СРЕДНЕГО АБСОЛЮТНЫХ ОТКЛОНЕНИЙ
Изучаются свойства робастных оценок масштабного параметра, который характеризует «разброс» случайной величины. Предложенные оценки асимтотически нормально распределены, имеют ограниченные функции влияния и, следовательно, в отличие от оценки стандартного отклонения, «защищены» от наличия выбросов в выборке. Рассматриваемые оценки вычисляются на основе упорядоченной статистики, из которой предварительно удаляется часть наблюдений. Предложен адаптивный вариант оценок, основанный на использовании выборочных оценок функционалов, характеризующих степень «затянутости хвостов» распределений. Приводятся результаты сравнения оценок масштабного параметра в условиях различных моделей наблюдений, в частности в рамках гауссовской модели с масштабным засорением.
Ключевые слова: масштабный параметр; робастные оценки; выбросы; функция влияния; адаптивные оценки.
При обработке результатов измерений Х1,...,Хп, полученных в эксперименте путем наблюдений за признаком X изучаемого объекта, традиционно вычисляются по статистическим данным Х1,...,Хп оценки математического ожидания М(Х) и дисперсии О(Х) (или стандартного отклонения
[ В (X )]1/2) и коэффициента корреляции, что вполне оправдано для гауссовской модели наблюдений. Однако оценки этих числовых характеристик изучаемой случайной величины X подвержены сильному влиянию грубых ошибок (выбросов), которые обычно присутствуют в реальных данных Х1,..., Хп эксперимента [1-5]. Для больших совокупностей данных, особенно при их автоматизированной обработке на ЭВМ, тщательный анализ данных с целью обнаружения «выпадающих» наблюдений и их корректировки трудно осуществим. В таких ситуациях используются робастные процедуры [5-8], которые, с одной стороны, оказываются нечувствительными к наличию умеренного засорения данных грубыми ошибками, а с другой стороны, ведут себя «достаточно хорошо» при идеальных условиях нормальности или какого-либо другого предположения о типе распределения данных.
В настоящее время разработано большое количество робастных оценок параметра положения в качестве альтернативы оценке математического ожидания, которые имеют ограниченные функции влияния и «защищены» от наличия выбросов в выборке. Многие из этих оценок принадлежат к общим классам M-, L-, R- и MD-оценок, которые хорошо изучены и описаны в литературе (см., напр.: [6-12].
Менее изученными являются робастные оценки масштабного параметра, который используется в качестве «меры», характеризующей степень разброса случайной величины, и определяется в виде функционала S(F от функции распределения F наблюдений. Общие требования, предъявляемые к таким функционалам, сформулированы в работах [2, 4].
Традиционно используемые на практике оценки масштабного параметра, такие как оценка 5 (0) стандартного отклонения и оценка 52 (0) среднего абсолютных отклонений S2(F), имеют
неограниченные функции влияния, и они очень чувствительны к наличию выбросов в выборке (см., напр.: [6-8]). В данной работе предложены урезанные варианты этих оценок «(а) и 52(а), 0 < а < 1/2, которые вычисляются не по исходной выборкеХ1,...,Хп, а на основе упорядоченной статистики Х(1),...,Х(И), из которой предварительно удаляются [ап] наименьших и наибольших поряд-
ковых статистик. Получены асимптотические формулы для вычисления характеристик качества оценок, основанные на «стадартизованных диспериях» оценок. Показано, что эти характеристики существенно зависят от параметра а . На практике это приводит к дополнительным усилиям по выбору данного параметра. По этой причине в работе предложены адаптивные варианты оценок, для которых параметр а( X1v.., Xn) доопределяется на основе информации, содержащейся в исходной выборке. Приводятся результаты сравнения оценок масштабного параметра в условиях различных моделей наблюдений.
Полученные результаты, приводят к следующему выводу. Предложенная адаптивная оценка Sx (а) стандартного отклонения имеет ограниченную функцию влияния, она «защищена» от наличия выбросов в выборке, имеет высокую эффективность в условиях гауссовской модели и может быть рекомендована к использованию на практике для оценивания масштабного параметра при умеренных объемах выборки и при возможных отклонениях от модели, вызванных наличием выбросов в выборке.
1. Общий подход к построению оценок масштабного параметра
Введем необходимые понятия и обозначения. Пусть X - изучаемая случайная величина с функцией распределения (ф.р.) F(x), x е R1, которая абсолютно непрерывна, имеет плотность fx), x е R1, и симметрична относительно точки 9x, т.е. F е 3S|0 , где 3S|0 = {F: F(x) = 1 -F(20x -x), Vx е R1}. Везде
ниже обратную (квантильную) функцию для ф.р. F(x) будем обозначать через F 1 (t) = inf{x: F(x) > t}, 0 < t < 1. Масштабный параметр функции распределения F используется в качестве меры, характеризующей степень разброса случайной величины (с.в.) X с ф.р. F. Рассмотрим такие меры, которые могут быть представлены в виде функционала S(F), F еЗ, заданного на множестве допустимых распределений 3 в условиях эксперимента, связанного с изучением с.в. X по статистическим данным Xl,...,Xn, полученным в серии n независимых и повторных наблюдений над с.в. X. Выборочная
оценка S(Xj,...,Xn) функционала S(F), F еЗ, построенная методом подстановки, записывается в виде: S(Xj,...,Xn) = S(Fn), где Fn(x) - эмпирическая функция распределения, построенная по выборке Xl,...,Xn . Везде ниже порядковые статистики исходной выборки Xl,...,Xn будем обозначать через X(1),...,X(n) . Общие требования, которым должен удовлетворять функционал S(F), описывающий разброс случайной величины X, сформулированы в работах [2, 4]. Для формулировки этих требований отметим, что о случайных величинах Xi и X2 с функциями распределений Fi и F2 говорят, что с.в. X2 стохастически больше чем с.в. Xi (при этом используют обозначение в виде F1 <St F2), если выполняется неравенство P(X1 > x) < P(X2 > x), Vx е R1. Отметим также, что F1 <St F2 ^ F1(x) > F2(x), Vx е R1 и F{~ 1(t) < F2- 1(t), 0 < t < 1. Далее, разброс с.в. X относительно 0x (масштабный параметр с.в. X) определяют в терминах «расстояния» X от 0Х, т.е. с помощью величины | X — 0 |, при этом говорят, что с.в. Xi имеет больший разброс относительно 0 , чем с.в. X относительно 0Х, если с.в. | X — 9^ I
стохастически больше с.в. | X — 0x |. Функционал S(F) определяет масштабный параметр ф.р. F, если он удовлетворяет следующим условиям.
Условие 1. Монотонность функционала S(F) относительно стохастического возрастания
распределений, т. е. выполняется выражение S(F1) < S(F2) для F1<StF2, где Fi и F2 - функции распределения вероятностей случайных величин | X1 —0x | и | X2 —0x |.
Условие 2. Оценка S (X1,..., Xn) = S (Fn) функционала S (F) является эквивариантной относительно линейных преобразований наблюдений X1,...,Xn, т.е. для нее выполняется равенство S(aX + 6,...,aXn + 6) =|a|S(X1,...,Xn) .
В литературе описаны различные подходы к построению «мер», характеризующих масштабный параметр (см., напр.: [6, 7]). Мы рассмотрим такие функционалы 5(Р), которые построены с помощью отклонений каждого члена генеральной совокупности от некоторого «центрального» (типичного значения) с.в. X с ф.р. Е. Обычно в качестве такого значения используется параметр
положения, определенный функционалом Т(Р) , либо в виде среднего Т (Р) — | (х) — М(X), либо
в виде медианы Т (Р) — Р 1 (1/2) — МЕБ(X). Обозначим через ф.р. случайной величины | X - Т(Р) |. Рассмотрим функционалы вида
5(Р) — Ц^гЧОГ , (1)
где V(г) - некоторая функция распределения на [0,1] и у > 0 . Например, если в (1) в качестве параметра положения выбрать среднее значение Т1 (Р), и положить V(г) — г, 0 < г < 1, то при у — 1 получим среднее абсолютных отклонений 52(Р) — М{| X-М(Х)|}, оценка которого запишется в виде: 52(0) — | Х1 - X |. При у — 2 будем иметь стандартное отклонение 51(Р) — {М(X -М(X))2}1/2, оценка которого запишется в виде: 51 (0) — X; — X)2}1/2. Если же положить V(г) — г /(1 — а), 0 < г < 1 - а, 0 < а < 1/2, то получим а-урезанные варианты 5г (Р, а) , г — 1,2, 0 < а < 1/2, указанных мер масштабного параметра, оценки которых вычисляются на основе порядковых статистик
X(1),•••,X(n) (см. ниже).
Отметим еще раз, что для выбранного функционала 5(Р), Р еЗ, описывающего масштабный параметр с.в. X с ф.р. Е, его оценка строится методом подстановки и записывается в виде 5(X,•••,X,,) — 5(Р). Асимптотическая нормальность таких оценок масштабного параметра изучается методом Мизеса [9, 10] с использованием теоремы Слуцкого, центральной предельной теоремы и разложения вида:
1 п
5(Р) — 5(Р) + -£ Ш;Р,5) + (и-1/2). (2)
Использование разложения (2) позволяет доказать асимптотическую нормальность оценки 5 — 5 (Р),
где Ш (х; Р, 5) - функция влияния Хампеля оценки 5 — 5 (Рп) функционала 5 (Р), Р еЗ (см., напр.: [6, 13-15]). Функция влияния Хампеля определяется в виде:
ШЪ;Р,5) — Шл 5[(1 -ХР + ХАх]-5(Р>, 0<Х< 1, хе* , (3)
X
для тех х е *, при которых предел существует. Здесь Ах обозначает «вырожденную функцию
распределения» в точке х е *, которая определяется в точке х е * через единичную функцию
[1, У ^ х, !
Хевисайда С(у - х) = <! в виде: Ех (у) — С(у - х), (у, х) е * . Асимптотическая дисперсия
[0, у < х
у[п5 -оценки обозначается через а2 (Р, 5?) и вычисляется по формуле
ад
'(Р, 5?) — { 2(х; Р, 5)ёР(х). (4)
а2'
Для сравнения различных оценок масштабного параметра при заданной ф.р. Е будем использовать понятие асимптотической относительной эффективности, определенное через обратное отношение
стандартизованных асимптотических дисперсий. Асимптотическую эффективность оценки
относительно 52 при заданной ф.р. Е обозначим через АОЭР («1 : «?2) и, следуя работам [3, 7], определим в виде:
= (5) а
где ст2 (F, S) - стандартизованная дисперсия \J~nS -оценки, равная отношению асимптотической дисперсии к квадрату оцениваемого функционала, т.е.
ст2 (F, S) = а2 (F, S)/ S2 (F). (6)
2. Урезанные варианты стандартного отклонения и среднего абсолютных отклонений
Пусть имеется последовательность X1,...,Xn н.о.р. случайных величин с непрерывной симметричной ф.р. F(x), x е R1, т.е. F е35|0, и везде ниже, согласно второму условию эквивариантности оценок, полагаем без потери общности точку симметрии 0 = M (X) = 0 . Обозначим ф.р. случайной величины Y =| Xj | через G(x), а ф.р. случайной величины Z = X2 обозначим через H(x) . Определим оценку а-урезанного стандартного отклонения в виде:
[л n —[ an ] 1 1/2
w=1^ § z<«I • 0<a<1/2• (7)
где Z(f) - i -я порядковая статистика для преобразованной выборки Z1,...,Zn, Zi = X2, i = 1,...,n . Функционал, соответствующий этой оценке, может быть определен, либо через ф.р. H (x) в виде:
S (H, а) = либо через исходную ф.р. F в виде:
, 1 1/2 H (1—а)
- f zdH(z)
1 — а {
, 1/2
F (1—а/2)
0 <а< 1/2, (8)
а) = ■!— | x2dF(х) I , 0<а<1/2 . (9)
[ а F-1(а/2) ]
При а = 0 оценка (7) превращается в обычную оценку стандартного отклонения
Г и 1 1/2
8(0) = |^'¿х21 . (10)
Оценку а-урезанного среднего абсолютных отклонений определим в виде:
1 п—[ ап ]
4(а)= ——- X Г(1) , 0<а< 1/2, (11)
п — [ап ]
где У,) - , -я порядковая статистика для преобразованной выборки У1,...,Уп, У, =| Х1 |, / = 1,...,п. Функционал, соответствующий этой оценке, имеет вид:
1 1—а
82(в,а) =- Г 0 , 0<а< 1/2. (12)
1 — а Г0
При а = 0 оценка (11) превращается в обычную оценку среднего абсолютных отклонений
п
4(0) = п-^Х, |. (13)
1=1
3. Асимптотические свойства оценок
Асимптотическая нормальность оценок (7) и (11) масштабного параметра изучается методом Мизеса [9, 10] с использованием теоремы Слуцкого, центральной предельной теоремы и теории
и-статистик на основе разложения (2) (см.: [8, 11, 16-19], где доказывалась асимптотическая нормальность оценок функционалов, построенных методом подстановки). Для сравнения рассмотренных оценок масштабного параметра, определенных функционалами (9) и (12) с использованием формулы (5) следует прежде всего вычислить их функции влияния (3), асимптотические дисперсии (4) и стандартизованные дисперсии, определенные в (6). Для удобства записи введем следующие обозначения:
1-(а/2) 1-(а/2) 1-(а/2)
/0(Г,а) = 2 | ^)dt, 11(F,а) = | ^^, !2(F,а) = | ,
0 а/2 а/2
где ЪЦг) = F ~\г), 0 < t < 1. (14)
Можно убедиться, что функция влияния 1Г(ы;H, 51 (а)), 0 < ы , для 51(а) -оценки вида (7) записывается в виде:
1 Г ы — Ь(а), 0 <ы <Н1(1 -а)
1Г(ы; Н, 5 (а)) =-Г к и У ,
2(1 — а^Н, а) [Н~*(1 — а) — Ь(а), Н~*(1 — а) < ы
Н _1(1—а)
Ь(а) = | zdH(г) + аН_1(1 — а). (15)
0
Используя приведенную формулу (15) и формулы (4) и (6) получаем, с учетом (14), выражение для вычисления стандартизованной дисперсии (а) -оценки в виде:
й2 ^ (а)) = {/2 а) - /2 а) - 2а^2 (1 - а / 2)1Х а) + а(1 - а)^4(1 - а / 2)} / 4/2 а). (16) Далее, функция влияния Ш(у; С,52 (а)), 0 < у для 52 (а) -оценки вида (11) записывается в виде:
1 Г у — с(а), 0 < у < в \1 — а) .
/Г(у; С, 52(а)) = --- Гу ( ), У ( ) , с(а) = [ ydG(y) + аС"1(1 — а). (17)
(1 — а) [с~1(1 — а) — с(а), 0 \1 — а) <у I
Используя приведенную формулу (17) и формулы (4) и (6) получаем, с учетом (14), выражение для
вычисления стандартизованной дисперсии у[п§2 (а) -оценки в виде:
ст2 52 (а)) = а) - /2 а) - 2а^2 (1 - а / 2)/0 а) + а(1 - а)^4(1 - а / 2)} / /2 а). (18)
Отметим, что при а = 0 имеем выражения для стандартизованных дисперсий ТП51(0) - и ТП52(0) -оценок в виде
Гх4^(х) - ( Гх2^(х))2 Гх2^(х) - ( [| х| й^(х))2
а2 (^Д(О)М--—^——д2(^,4(0)) = --1 и ;
4(|х2^(Х)) (||Х|^(Х))
Замечание 1. Отметим, что приведенные функции влияния > (а) -оценки и 52 (а) -оценки (см. формулы (15) и (17)) являются ограниченными функциями при 0<а< 1/2, следовательно, эти оценки «защищены» от наличия выбросов в выборке. Отметим также, что при изучении 5 (а) - и 52 (а) -оценок мы рассмотрели случай симметричных распределений при условии, что точка симметрии 9 известна. Если она неизвестна, то для построения оценок масштабного параметра следует использовать оценки точки симметрии. Отметим, что при достаточно общих условиях асимптотические свойства
>5 (а) - и 52 (а) -оценок не зависят от типа используемой оценки 9 (см., напр.: [2, 3]).
Пример 1. Рассмотрим нормальную модель с засорением в виде: Зе т (Ф) = {Г: Г (х) = Фе т (х)},
где фт(х) = (1 — е)Ф(х) + еФ(х/т), 0<8< 1, т>1. Обозначим через х* квантиль уровня 1 — (а/2)
для ф.р. Фе т(х), т.е. х* = Ф~ 1т(1 — а/2) . С учетом этих обозначений выражения для 10, 11, 12 из (14)
для Г е Зе т(Ф) записываются в виде:
/0 = (1 -е)[л/2Т%-2ф(х*)] + ет[727%-2ф(х* /т)], 11 = (1 -е)[2Ф(х*)-1 -2х*ф(х*)] + ет 2[2Ф(х* /т)-1 -2ф(х* /т)х* /т], 12 = (1 - ,)[3{2Ф( х * ) -1 - 2 х * ф(х * )} - 2( х * )3 ф( х * )] +
+ ет 4 [3{2Ф(х* / т) -1 - 2ф(х* / т)х* / т} - 2ф(х* / т)(х*)3 / т] , где Ф и ф обозначают соответственно функцию распределения и плотность стандартного нормального распределения и х* =Ф-^(1 -а /2) - квантиль уровня 1 - (а /2) для ф.р. Фет (х). Используя приведенные формулы, получаем выражения для стандартизованных дисперсий оценок ^ (а) и 52 (а) в виде:
ст2(Ф6Т Д(а)) = {/2 -/2-2а{хУ1х +а(1-а)(х*)4}/4/2, (19)
а2(Ф8Д Д(а)) = {/2 -/2 -2а(х )2/0 +а(1-а)(х )2}//02. (20)
В частности, при а^ 0 получаем 10 = V2/ %[1 + е(т -1)], /х = 1 + е(т2 -1), /2 = 3[1 + е(т: -1)].
Отметим, что для нормального распределения (при е = 0, или при т = 1) имеем: /0 = V2 / % , /1 = 1, /2 = 3 и, следовательно,
Т2 — Т2
= 0,500, о2(фД(0))= ' 2 ° =--1 = 0,571.
/0 2
Таким образом, асимптотическая относительная эффективность Б2 (0) -оценки по отношению
к 5(0) для нормального распределения равна АОЭф(5>2(0): «(0)) = 0,500/0,572 = 0,876 , т.е. Б2(0) -
оценка среднего абсолютных отклонений проигрывает 5 (0) -оценке стандартного отклонения по эффективности при нормальном распределении примерно 12%.
С учетом приведенных выражений стандартизованные дисперсии стандартного отклонения
5 (0) и среднего абсолютных отклонений 5>2 (0) для модели с засорением, т.е. для Г = Фет, вычисляются по формулам
3[1 + в(т4 -1)] - [1 + е(т2 -1)]
1 ГI - /2^ 12 /1 1 Г 3 -11
: 12 ^ 11 =: 1 1J
сИ(<1> Д(0))=-
4[1 + е(т2 -1)]2
о2(ф^,4(О))=л[1+8(т^1)]"2[11;8(т"1)]2. (21)
2[1 + в(т-1)]
Согласно формулам (21), асимптотическая относительная эффективность Б2 (0) -оценки по отношению к 51 (0) для супермодели 3, т (Ф) вычисляется по формуле
АОЭр (4(0): ад) = + *4 -- + е<т2 - ^Ц^-1''! , Г е3„ (Ф). (22) 2{%[1 + ,(т2 -1)] - 2[1 + ,(т -1)]2}[1 + ,(т2 -1)]2 ,
Из этой формулы также следует при е = 0, что АОЭФ (52 (0): « (0)) = 1 / (% - 2) = 0,876 .
Приведем вычисленные по формуле (22) численные значения асимптотической относительной эффективности <52(0) -оценки, 0<а< 1/2, по отношению к 51(0) для супермодели Зет(Ф) (табл. 1).
Отметим, что значения эффективности АОЭФ (52(0): 51(0)), соответствующие большим значениям параметра т и малым значениям е, являются неожиданно высокими. По всей вероятности, это является следствием того факта, что функция влияния оценки 5 (0) не является ограниченной (см. также: [3]). Отметим также, что среднее абсолютных отклонений 5>2 (0), проигрывая лишь « 12% в эффективности стандартному отклонению 5 (0) при нормальном распределении, становится более эффективной при т = 3 уже для , = 0,002.
Таблица 1
Значения АОЭр (£2(0): 51(0)) для супермодели 3ЕТ (Ф)
£ \ т 3 5 7 10 20
0,001 0,95 1,53 3,31 9,46 55,0
0,002 1,02 2,07 4,95 31,1 55,8
0,005 1,20 3,20 7,29 14,7 22,8
0,007 1,30 3,67 7,75 13,5 16,0
0,01 1,44 4,10 7,78 11,6 10,6
0,02 1,75 4,40 6,41 7,08 4,60
0,05 2,04 3,39 3,52 3,00 1,75
0,07 2,02 2,81 2,68 2,20 1,33
0,10 1,90 2,24 2,00 1,62 1,04
0,20 1,51 1,41 1,21 1,02 0,76
При умеренных значениях параметра т (т< 10) и небольших значениях е (а < 0,2) среднее абсолютных отклонений Б2 (0) предпочтительнее стандартного отклонения Б (0).
Замечание 2. Заметим, что Эддингтон и Фишер придерживались противоположной точки зрения относительно преимуществ оценок Б(0) и Б2(0) (см.: [7. С. 10]). Отметим, что Б(0) и Б2(0) оценивают разные функционалы: Б (?) = {М(Х - М(Х))2}1/2 и Б2(р) = М{| X - М(Х)|} . И в условиях, например, нормальной модели наблюдений N(0, ст2) оценка Б (0) сходится к о, а оценка Б2 (0) сходится к сту/2/ к ~ 0,80ст . По этой причине, согласно [3, 7], при сравнении различных оценок масштаба используется не асимптотическая дисперсия, а стандартизованная дисперсия вида (6), и асимптотическая относительная эффективность определяется в виде (5).
Численные значения АОЭР (52 (а): £ (а)), для Р = ФЕ , вычисленные по формулам (19) и (20),
приведены в табл. (2).
Таблица 2
Значения АОЭр(£2(а):51(а)), для Г = ФЕТ при различных значениях параметра а
е т \ а а = 0,05 а = 0,10 а = 0,20 а = 0,30
е = 3 0,928 0,892 0,876 0,872
е = 0,05 е = 5 0,988 0,911 0,882 0,875
е = 10 1,089 0,929 0,885 0,887
е = 3 1,032 0,930 0,890 0,879
е = 0,10 е = 5 1,513 0,994 0,906 0,887
е = 10 3,401 1,104 0,920 0,907
Из приведенных данных следует, что при малых значениях параметра а<0,10, Б2 (а) -оценка предпочтительнее Б (а) -оценки лишь для распределений с «очень тяжелыми хвостами», в частности при (т = 5,10). В других случаях картина обратная, т.е. в рамках супермодели 3Е (Ф) урезанный вариант стандартного отклонения предпочтительнее.
4. Адаптивные оценки
Для построения Б (а) - и Б2 (а) -оценок на практике требуется задавать значения параметра а, 0<а< 1/2, при изменении которого свойства этих оценок существенно меняются. Например, в условиях семейства распределений Стьюдента с числом степеней свободы г = 5 при а = 0,10 имеем АОЭр(£(0,10):£(0)) = 2,35 , а при а = 0,20, АОЭР(£(0,20): £(0)) = 2,11. Следуя работам [20, 21], выбор параметра а можно связать с поведением функционала Q(р; V ;ц), характеризующего степень «тяжести хвостов» распределений, который определяется в виде:
(1/ V){ | Е-'(*^ -} Е- 1(t^ }
Q(Е;v, ц) =-^-;-, 0 ^<ц< 0,5. (23)
(1/ ц){ | Е^)dt -| Е- 1(t^ }
1-ц 0
Оценка Q(Еп) функционала Q(F;V,ц), построенная по выборке Х1,...,Хп методом подстановки, записывается в виде:
т
Q (Еп; V, ц) = -к
п к \ ( п
I Хо -IХ(0 / I Хо -IХ(<
(0 (0
\г=п-к+1 ;=1 )
(о (о
V/=п-т+1 ;=1 J
к = [ V п], т = [ ц п ],
(24)
где 0< V< ц< 0,5 и Х(1),...,Х(п) - порядковые статистики выборки Х1,...,Хп . Следуя работе [20],
р
везде ниже полагаем V = 0,2 и ц = 0,5 . Отметим, что Q(Еи) ^Q(Е; V, ц) при п ^ да . Адаптивный параметр а (Х1,..., Хп ) определим в виде:
а!, Q(Еn)<Q1,
а ( х1,..., хп ) =
-{Q(Еn) -Ql} + а1, Ql < Q(Еn) < Q2,
(25)
Q2 - 01
а2, Q(Еn) > Q2,
где параметры а, а2, ^ и ^ задаются в соответствии с рассматриваемым типом супермодели, а выборочная оценка Q(Еп) функционала Q(Е; V ;ц) определена в (24). В данной работе параметр а(Х1,...,Хп) вычисляется по формуле (25) при следующих значениях параметров: а1 = 0,05, а2 = 0,50, ^ = 1,75, Q2 = 2,50 .
Для такого адаптивного выбора параметра а(Х1,...,Хп) сравним адаптивные оценки 51 (а) и 52 (а) с другими оценками, для которых параметр а фиксирован. Сравнение проведено в условиях супермодели 3Е т(Ф). Результаты приведены в табл. 3 в виде отношения стандартизованной дисперсии оценки при заданном распределении к минимальной стандартизованной дисперсии среди сравниваемых оценок.
Таблица 3
Отношения стандартизованных дисперсий оценок к минимальной среди сравниваемых оценок
СХ^ СХ|
е т 51(0) ¿1(0,1) й(а) ¿2(0) ¿2(0,1) ¿2(С)
3 2,25 1,02 1,00 1,20 1,15 1,12
0,05 5 6,48 1,00 1,01 1,91 1,10 1,10
10 13,5 1,00 1,09 4,49 1,08 1,17
3 2,37 1.00 1,00 1,25 1,08 1,06
0,10 5 4,49 1,05 1,00 2,00 1,05 1,09
10 6,07 1,13 1,00 3,74 1,02 1,10
3 1.67 1,05 1,00 1,11 1,00 1,01
0,20 5 2,22 2,07 1,00 1,58 1,37 1,03
10 2,30 7,26 1,00 2,26 3,15 1,00
3 1,26 1,25 1,03 1,00 1,08 1,06
0,30 5 1,23 2,15 1,05 1,11 1,45 1,00
10 1,26 3,55 1,00 1,48 2,70 1,03
Данные табл. 3 показывают, что в раках супермодели Зе,т (Ф) среди сравниваемых 5?1(а) - и
(а) -оценок, предпочтение следует отдать адаптивному стандартному отклонению ^ (а), для которого параметр С(Х1,...,Хп) вычисляется по формуле (25) при следующих значениях параметров: а = 0,05, а2 = 0,50, ^ = 1,75, ^ = 2,50 . Отметим, что при сравнении оценок использовались зна-
чения асимптотических стандартизованных дисперсий оценок, которые, как показали результаты моделирования для различных супермоделей, являются вполне удовлетворительной аппроксимацией стандартизованных дисперсий оценок при конечных объемах выборки n > 40. Исключением являются лишь некоторые распределения с очень «тяжелыми хвостами». Таким образом, адаптивная оценка S (а) стандартного отклонения может быть рекомендована к использованию на практике для оценивания масштабного параметра при умеренных объемах выборки и при возможных отклонениях от гауссовской модели наблюдений, вызванных наличием выбросов в выборке.
5. Результаты сравнения оценок при конечных объемах выборки
Приведем результаты сравнения оценок масштабного параметра при конечных объемах выборки, полученные методом статистических испытаний. В эксперимент были включены оценка Sj (0) стандартного отклонения, оценка S2 (0) среднего абсолютных отклонений, средняя разность Джини
J n n
An = — X^j Xi — X, | и медиана абсолютных разностей S4 = med{\ X —X 1 < i < j < n} [5, 8].
n 1=1 j=1 j
В эксперименте вычислялись выборочные значения средних и дисперсий оценок и значения их стандартизованных дисперсий при различных объемах выборки n и различных статистических моделях исходного распределения. В качестве модели было взято гауссовское распределение с масштабным засорением, т.е. F еЗ (Ф) . Получение псевдовыборки X15...,Xn для этой модели осуществлялось
следующим образом. Датчиком случайных чисел N(0, 1) генерировалась выборка объема (n — к) , оставшиеся к элементов выборки генерировались датчиком N(0, т2), при этом число к задавалось в соответствии с пропорцией засорения е. В проведенных экспериментах объем выборки n менялся от 5 до 40, число экспериментов M изменялось от 1 000 до 10 000. В табл. 4 приведены значения стандартизованных дисперсий оценок при n = 20 и M = 1000 для супермодели З (Ф) при различных
значениях т и к. Отметим, что первая строка таблицы (n ^ да ) содержит значения асимптотических стандартизованных дисперсий оценок. В строке (n = да / n = 20) приведены отношения асимптотических значений к значениям, полученным экспериментально при n = 20 .
Таблица 4
Стандартизованные дисперсии оценок при n = 20 и M = 1 000 для супермодели ЗЕ т (Ф)
Ф.р. ФЕ,т к Si(0) S2(0) A n S4
n ^ да 0,500 0,571 0,511 0,579
F = Ф к = 0 0,508 0,586 0,520 0,630
п = да / п = 20 0,984 0,974 0,982 0,919
т = 3 1 1 II к к 1,168 1,169 0,742 0,805 0,797 0,888 0,719 0,814
т = 5 1 1 II к к 2,295 1,795 1,113 1,171 1,254 1,289 0,723 0,851
т = 10 к = 2 3,859 2,279 2,202 0,722
к = 4 2,331 1,947 1,839 0,851
Из табл. 4 видно (см. строку п = / п = 20), что асимптотика является вполне приемлемой аппроксимацией для объема выборки п > 20. Медиана абсолютных разностей Б4 обладает преимуществом перед другими оценками при масштабном засорении. Ее стандартизованная дисперсия меняется лишь незначительно, в отличие от других оценок, при увеличении параметра т. Это объясняется ограниченной функцией влияния оценки 54 (см.: [5]). Для распределений, «близких по затянутости хвостов» к нормальному распределению, преимуществом обладает среднее абсолютных отклонений 52 (0).
Заключение
В работе изучены различные оценки масштабного параметра, характеризующего «разброс» случайной величины. Показано, что традиционно используемые на практике оценки масштабного
параметра, такие как оценка 51(0) стандартного отклонения S1(F) и оценка S2(0) среднего абсолютных отклонений S2 (F) , имеют неограниченные функции влияния и очень чувствительны к наличию выбросов в выборке. В работе предложены урезанные варианты этих оценок Sj (а) и S2 (а), 0 <а< 1/2, которые вычисляются не по исходной выборке X1,..., Xn, а на основе упорядоченной статистики X(1),...,Х(и), из которой предварительно удаляются [an] наименьших и наибольших порядковых статистик. Эти оценки «защищены» от наличия выбросов в выборке, они имеют ограниченные функции влияния, и их характеристики существенно зависят от параметра а, что на практике приводит к дополнительным усилиям по выбору этого параметра. Для устранения этой трудности в работе предложены адаптивные варианты оценок, для которых параметр a (X1,..., Xn) определяется на основе исходной выборке X1,...,Xn . Получены асимптотические формулы для вычисления характеристик качества предложенных оценок масштабного параметра. Приведены результаты сравнения оценок в условиях гауссовской модели с масштабным засорением.
Полученные результаты приводят к следующему выводу. В тех случаях, когда нет уверенности, что исходное распределение гауссовское, либо выборка может содержать грубые ошибки (выбросы), для оценки масштабного параметра целесообразнее использовать адаптивное стандартное отклонение Sj (a) либо оценку S4 медианы абсолютных разностей. Эти оценки имеют ограниченные функции влияния и, следовательно, «защищены» от наличия выбросов в выборке, и они предпочтительнее по эффективности перед другими рассмотренными оценками в условиях различных моделей наблюдений.
литература
1. Bickel P.J., Lehmann E.L. Measures of location and scale // Proc. Prague Symp. Asymptotic Statist. 1973. Prague Charles Univ.
1974. V. 1. P. 25-36.
2. Bickel P.J., Lehmann E.L. Descriptive Statistics for nonparametric models. I. Introduction. II. Location // Ann. Statist. 1975. V. 3.
P. 1038-1044; 1045-1069.
3. Bickel P.J., Lehmann E.L. Descriptive statistics for nonparametric models. III. Dispersion // Ann. Statist. 1976. V. 4. № 6.
P. 1139-1158.
4. Bickel P.J., Lehmann E.L. Descriptive statistics for nonparametric models. IV. Spread // Contributions to Statistics. Hajek Memo-
rial Volume / ed. by J. Jureckova. Prague : Academia, 1979. P. 33-40.
5. Шуленин В.П. Робастные альтернативы стандартному отклонению при обработке данных физических экспериментов //
Известия вузов. Физика. 2016. Т. 59, № 6. С. 62-69.
6. Хампель Ф., Рончетти Э., Рауссей П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. М. : Мир,
1989. 512 с.
7. Хьюбер П. Робастность в статистке. М. : Мир. 1984. 304 с.
8. Шуленин В.П. Робастные методы математической статистики. Томск : Изд-во НТЛ, 2016. 260 с.
9. Serfling R.J. Approximation Theorems of Mathematical Statistics. New York : Wiley, 1980. 371 p.
10. Serfling R.J. Generalized L-M-R-statistics // Ann. Statist. 1984. V. 12. P. 76-86.
11. Tarasenko F.P., Shulenin V.P. Connection of MD-estimates with classes of robust estimates of location parameter // 12th Prague Conf. Inf. Theory, Stat. Decision Functions, Random Processes. Prague,1994. P. 220-223.
12. Jureckova J. M-L-R-estimators // Handbook of Statistics / eds. P.R. Krishnaiah, P. Sen. Elsevier Science Publishers, 1984. V. 4. P. 463-485.
13. Hampel F.R. The influence curve and its role in robust estimation // J. Amer. Statist. Assoc. 1974. V. 69, № 346. P. 383-393.
14. Hampel F.R. Contribution to the theory of robust estimation : Ph. D. diss. Berkeley : Univ. California, 1968. 103 p.
15. Hampel F.R. A general qualitative definition of robustness // Ann. Math. Statist. 1971. V. 42. P. 1887-1896.
16. Janssen P., Serfling R., Veraverbeke M. Asymptotic normality for a general class of statistical functions and applications to measures of spread // Ann. Statist. 1984. V. 12, № 4. P. 1369-1379.
17. Janssen P., Serfling R., Veraverbeke M. Asymptotic normality of U-statistics based on trimmed samples // J. Statist. Planning and Inference. 1987. V. 16. P. 63-74.
18. Шуленин В.П. Асимптотические свойства GL и U- статистик // Вестник Томского государственного университета. 2004. Приложение № 9 (11). С. 184-190.
19. Shulenin V.P. Asymptotic Properties of the Trimmed GL-and U-Statistics // PRAGUE STOCHATICS'98 : Abstracts 6th Prague Symposium on Asymptotic Statistics, Prague, 1998, August 23-28. P. 84.
20. Hogg R.V. Adaptive robust procedures: a partial review and some suggestions for future applications an theory // J. Amer. Statist. Assoc. 1974. V. 69. P. 909-923.
21. Шуленин В.П. Свойства адаптивных оценок Ходжеса-Лемана в асимптотике и при конечных объемах выборки // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2010. № 2 (11). С. 96-112.
Поступила в редакцию 5 июня 2020 г.
Shulenin V.P. (2021) ASYMPTOTIC PROPERTIES AND ROBUSTNESS OF TRIMMED VERSIONS ESTIMATES OF STANDARD DEVIATION AND MEAN ABSOLUTE DEVIATIONS. Vestnik Tomskogo gosudarstvennogo universiteta. Uprav-lenie, vychislitelnaya tehnika i informatika. [Tomsk State University Journal of Control and Computer Science]. 55. pp. 91-102
DOI: 10.17223/19988605/55/11
In the work, various estimates of the scale parameter characterizing the "spread" of a random variable are studied. It is shown that traditionally used in practice estimates of the scale parameter, such as a sample estimate of the standard deviation, and an estimate of the average absolute deviations, have unlimited influence functions, and they are very sensitive to the presence of outliers in the sample. The paper proposes truncated versions of these estimates and, which are calculated not from the initial sample, but based on ordered statistics, from which the smallest and largest ordinal statistics are previously removed. These estimates are "protected" from the presence of outliers in the sample, they have limited influence functions and their characteristics depend significantly on the parameter a, which in practice leads to additional efforts to select this parameter. In the work, adaptive versions of these estimates are proposed, for which the parameter is determined based on the initial sample. The results of comparing estimates under the conditions of various observation models, in particular, under the conditions of the Gaussian model with large-scale contaminating, are presented. The results obtained lead to the following conclusion. In cases where there is no certainty that the initial distribution is Gaussian, or the sample may contain gross errors (outliers), it is more advisable to use the adaptive standard deviation or the estimate in the form of an estimate of the median of the absolute differences. These estimates have limited influence functions and, therefore, are "protected" from the presence of outliers in the sample, and they are preferable in terms of efficiency over the other estimates considered under the conditions of various observation models.
Keywords: scale parameter; robust estimates; outliers; influence function; adaptive estimates.
SHULENIN Valery Petrovich (Candidate of Technical Sciences, National Research Tomsk State University, Tomsk, Russian Federation).
E-mail: [email protected]
REFERENCES
1. Bickel, P.J. & Lehmann, E.L. (1974) Measures of location and scale. In: Proc. Prague Symp. Asymptotic Statist. 1973. Vol. 1.
Prague: Charles Univ. pp. 25-36.
2. Bickel, P.J. & Lehmann, E.L. (1975) Descriptive Statistics for nonparametric models. I. Introduction. II. Location. Ann. Statist. 3,
pp. 1038-1044; pp. 1045-1069.
3. Bickel, P.J. & Lehmann, E.L. (1976) Descriptive statistics for nonparametric models. III. Dispersion. Ann. Statist. 4(6). pp. 1139-
1158.
4. Bickel, P.J. & Lehmann, E.L. (1979) Descriptive statistics for nonparametric models. IV. Spread. In: Jureckova, J. (ed.) Contribu-
tions to Statistics. HajekMemorial Volume. Prague: Academia. pp. 33-40.
5. Shulenin, V.P. (2016) Robust alternatives to standard deviation in physical data processing experiments. Izvestiya vuzov. Fizika -
Russian Physics Journal. 59(6). pp. 62-69.
6. Hampel, F., Ronchetti, E., Raussey, P. & Stael, V. (1989) Robastnost' v statistike. Podkhod na osnove funktsiy vliyaniya [Robust-
ness in statistics. Function-based approach influence]. Translated from English. Moscow: Mir.
7. Huber, P. (1984) Robastnost' v statistke [Robustness in Statistics]. Translated from English. Moscow: Mir.
8. Shulenin, V.P. (2016) Robastnye metody matematicheskoy statistiki [Robust Methods of Mathematical Statistics]. Tomsk: NTL.
9. Serfling, R.J. (1980) Approximation Theorems of Mathematical Statistics. New York: Wiley.
10. Serfling, R.J. (1984) Generalized L-M-R-statistics. Ann. Statist. 12. pp. 76-86.
11. Tarasenko, F.P. & Shulenin, V.P. (1994) Connection of MD-estimates with classes of robust estimates of location parameter. 12th Prague Conf. Inf. Theory, Stat. Decision Functions, Random Processes. Prague. pp. 220-223.
12. Jureckova, J. (1984) M-L-R-estimators. In: Krishnaiah, P.R. & Sen, P. (eds) Handbook of Statistics. Vol. 4. Elsevier Science Publishers. pp. 463-485.
13. Hampel, F.R. (1974) The influence curve and its role in robust estimation. Journal of American Statist. Association. 69(346). pp. 383-393.
14. Hampel, F.R. (1968) Contribution to the Theory of Robust Estimation. Ph. D. Diss. Berkeley, Univ. California.
15. Hampel, F.R. (1971) A general qualitative definition of robustness. Annals of Mathematical Statistics. 42. pp. 1887-1896. DOI: 10.1214/aoms/1177693054
16. Janssen, P., Serfling, R. & Veraverbeke, M. (1984) Asymptotic normality for a general class of statistical functions and applications to measures of spread. Annals of Statistics. 12(4). pp. 1369-1379. DOI: 10.1214/aos/1176346797
17. Janssen, P., Serfling, R. & Veraverbeke, M. (1987) Asymptotic normality of U-statistics based on trimmed samples. Journal of Statist. Planning and Inference. 16. pp. 63-74. DOI: 10.1016/0378-3758(87)90056-5
18. Shulenin, V.P. (2004) Asymptotic properties of GL and U-statistics. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 9(11). Application. pp. 184-190.
19. Shulenin, V.P. (1998) Asymptotic Properties of the Trimmed GL-and U-Statistics. 6th Prague Symposium on Asymptotic Statistics. Prague. August 23-28. "Prague Stochatics'98". Abstracts. p. 84.
20. Hogg, R.V. (1974) Adaptive robust procedures: A partial review and some suggestions for future applications an theory. Journal of American Statist. Association. 69. pp. 909-923.
21. Shulenin, V.P. (2010) Asymptotic and nonasymptotic properties of Hodges - Lehmann adaptive estimators. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitel'naya tekhnika i informatika - Tomsk State University Journal of Control and Computer Science. 2(11). pp. 96-112.
