CC BY
11Научный вестник НГТУ. - 2012. - № 1(46). - С. 53-66.
УДК 519.2
Свойства и мощность некоторых критериев случайности и отсутствия тренда*
Б.Ю. ЛЕМЕШКО, А.С. КОМИССАРОВА, А.Е. ЩЕГЛОВ
Исследуются распределения статистик ряда параметрических и непараметрических критериев проверки гипотез о случайности и отсутствии тренда. Проводится сравнительный анализ мощности критериев по отношению к ряду альтернатив.
Ключевые слова: критерий обнаружения тренда, критерии обнаружения изменения дисперсии, мощность критерия, критерий Хсу, критерий инверсий, критерий числа серий Вальда-Волфовитца
1. ВВЕДЕНИЕ
Под временным рядом понимается упорядоченная последовательность {у1, / = 1, п} результатов измерений значений некоторой переменной, произведенных, например, через равные промежутки времени. С анализом временных рядов сталкиваются при обработке измерений в технических областях, в экономике, сельском хозяйстве, метеорологии.
Временные ряды могут отражать наличие: тренда или систематической составляющей; сезонной составляющей; случайной составляющей (шума).
Существует множество критериев, предназначенных для проверки гипотез об отсутствии тренда или о случайности расположения выборочных данных. Параметрические статистические критерии зачастую опираются на предположение о нормальном законе распределения шума, а непараметрические - на асимптотические свойства распределений статистик. На практике же исследователь имеет дело с ограниченными объемами наблюдений, а гипотеза о нормальности шума оказывается справедливой далеко не всегда. Применение стандартных процедур анализа в случае нарушения классических предпосылок может приводить к ошибочным выводам.
Исследователя может интересовать наличие или отсутствие тренда в математическом ожидании [1]. При проверке отсутствия тренда в математическом ожидании (при проверке случайности) предполагается, что наблюдается временной ряд у,...,уп значений взаимно независимых случайных величин с математическими ожиданиями ¡.1п и одинаковыми (но неизвестными) дисперсиями. Проверяется нулевая гипотеза Н0 : //( = и . / = 1.//. о том, что все выборочные значения принадлежат к одной генеральной совокупности со средним /л, против альтернативы о наличии тренда Н] : |//( | //(| > 0. / = 1. (// -1). В качестве конкурирующей гипотезы может рассматриваться наличие регрессионной зависимости для параметра сдвига [2].
Статья получена 03 мая 2011 г. Работа выполнена при поддержке РФФИ (проект № 09-01-00056а), АВЦП «Развитие научного потенциала высшей школы» (проект № 2.1.2/11855) и ФЦП Минобрнауки РФ «Научные и научно-педагогические кадры инновационной России»
Исследователя может интересовать наличие или отсутствие изменений в характеристиках рассеяния [1]. При проверке отсутствия изменения в дисперсии (в характеристиках рассеяния, изменения параметра масштаба) предполагается, что наблюдаемая последовательность измерений у1,...,уп имеет одно и то же среднее //.
Проверяется гипотеза Н0 : of =... = of = of (of неизвестно) против, например, конкурирующей гипотезы Hl: of = of =... = erf = of: of , = of , =... = of = of + г) (¿> > 0), утверждающей, что значение дисперсии меняется в некоторой неизвестной точке \<к <п-\ (к неизвестно). Конкурирующие гипотезы могут быть связаны с наличием любых изменений в характеристиках рассеяния, в том числе с наличием регрессии в параметре масштаба [2].
В работах [3 -7] проведены исследования некоторых критериев, предназначенных для проверки гипотез отсутствия тренда в математическом ожидании и дисперсии, а также отсутствия изменения в дисперсии. Результаты, приводимые в настоящей статье, дополняют работу [3].
Исследования мощности проводились с использованием развиваемой методики компьютерного моделирования [8] при различных объемах выборок n. Влияние нарушения стандартных предположений о принадлежности случайных величин нормальному закону на распределения статистик параметрических критериев исследовалась на выборках псевдослучайных величин, подчиняющихся семейству распределений с плотностью
^ 20^(1! Л) еХР|
>~0оР
I 4 J
(1)
при значениях параметра формы /¡, = 0.2, /¡, = 0.5, Л = 1 (распределение Лапласа), Л = 1.5, Л = 2 (нормальное распределение), Л = 4 и Л = 8. Объем выборок моделируемых распределений статистик составлял величину от 104 до 106 в зависимости от требуемой точности. Проверка согласия полученных эмпирических распределений с теоретическими осуществлялась в соответствии с [9-12].
2. КРИТЕРИИ ОБНАРУЖЕНИЯ СДВИГА ДИСПЕРСИИ
Статистика критерия Хсу, предназначенного для обнаружения изменения дисперсии в неизвестной точке, имеет вид [13]
п
Н = —-, 0<Я<1,
п 7 7
(и-1)£( У1-туУ
1=1
где т - выборочная медиана ряда.
Как правило, критерий Хсу используется в стандартизированной форме
Я*=4=Н, (2)
п + 1
где !)\ II | =-. При справедливости проверяемой гипотезы Н0, которая
6(п -1)(« + 2)
заключается в отсутствии изменения дисперсии (изменения параметра масштаба) в
наблюдаемом ряду, статистика Н * подчиняется стандартному нормальному закону [13]. Гипотеза Н0 отклоняется при |Н*| > 2, где иу - у -квантиль стандартного нормального закона.
Распределения статистики (2) в зависимости от объема выборки и характеристик случайных составляющих подробно исследованы в работах [3, 5]. Исследования показали, что в случае нормального распределения шума уже при п > 30 распределение статистики (2) критерия Хсу хорошо согласуется со стандартным нормальным законом. В то же время распределения статистики данного критерия при справедливости Н0 сильно зависят от закона распределения шума (см. рис. 1).
1,00 о.эо 0.80 0.70 0.Б0 0.50 0.40 0.30 0.20 0.10 0.00
О(Н*\Н0)
\ л =
\ ; ^^гА/ /
Л = 1 - д = 0 2
\
;
/Ж
л =0.5
....... У///^ ЛГ(0.1)
—^
н*
6.00 -4,80 3.60 -2,40 1.20 0.00 1,20 2.40 З.БО 4.80 Б.00
Рис. 1. Распределения статистики (2) в случае принадлежности наблюдений законам семейства (1) при различных значениях параметра формы, п = 30
Ранговые критерии обнаружения изменения параметра масштаба в неизвестной точке базируются на семействе ранговых статистик [14]
п /=1
где Л, - ранги выборочных значений в упорядоченном ряду наблюдений.
Критерии различаются используемыми метками ал. Их вид и определяет название критерия. Часто используются:
- метки Клотца а1п (/') = и1(п+п, где £/„ - у -квантиль стандартного нормального закона;
- метки Сэеиджа _ ,
При справедливости проверяемой гипотезы Н0 критерии со статистиками
SRj='^iaJl¡(Rj), / = 1.2 свободны от распределения и симметричны относительно
;=1
11+1 "
] =-. Обычно используются нормализованные критерии со
2 ,-=1
статистиками вида
(3)
где
£ ,=1 ^
12 м7
При справедливости нулевой гипотезы статистики . приближенно подчиняются стандартному нормальному закону [14]. Гипотеза Н0 отклоняется при ^ > и1_а/2.
Распределения статистик (3) (как с метками Клотца, так и с метками Сэвиджа) не зависят от закона распределения шума. Характер сходимости распределений статистик (3) к нормальному закону показан в [3]. При справедливости проверяемой гипотезы Н0 отклонениями дискретных распределений статистик (3) от стандартного нормального закона можно пренебречь уже при п > 20. Однако при небольших объемах выборок, например, при п = 5 наблюдается значительная "ступенчатость" функций распределения статистик вида (3).
В данной статье проведен сравнительный анализ мощности перечисленных выше критериев, ориентированных [1] на обнаружение скачкообразного изменения дисперсии (параметра масштаба) в неизвестной точке.
Знание распределений статистики ) при проверке гипотезы Н0 для ситуаций
справедливости Н0 и справедливости конкурирующей гипотезы Н позволяет при заданной вероятности ошибки первого рода а определить мощность критерия 1—¡3 относительно конкурирующей гипотезы Н1, где ¡3 - вероятность ошибки 2-го рода. Мощность определяет способность критерия различать эти гипотезы. Распределения статистик ) при справедливости конкурирующей гипотезы Н, как правило, не
известны и могут быть получены только методами статистического моделирования [8].
Для критериев обнаружения изменения дисперсии в неизвестной точке значения мощности были рассчитаны при различных объемах выборок п и при нормальном распределении случайных величин. В качестве конкурирующих рассмотрены следующие близкие к Н0 гипотезы, когда в некоторый момент стандартное отклонение увеличивалось на 5, 10, 15%:
Нг :оу =... = ст2к = 1; ст2к+1 =... = ст2п= 1.1025 ,
Н2: =... = сг^ = 1; а2к+1= ... = а2п = 1.21,
Нъ о* = 1; а2к+1 =... = ст2п = 1.3225 ,
где к = п/2. Полученные оценки мощности при вероятностях ошибок первого рода а = 0.1, 0.05, 0.01 относительно конкурирующих гипотез Н1, II . II-, для ряда объемов выборок приведены в таблицах 1-3.
Таблица 1. Мощность критерия Хсу
Конкурирующая гипотеза а п=10 п=20 п=30 п=40 п=50
Н1 0.1 0.112 0.119 0.124 0.135 0.138
0.05 0.056 0.064 0.068 0.070 0.076
0.01 0.011 0.013 0.015 0.015 0.017
Н 2 0.1 0.123 0.141 0.156 0.172 0.183
0.05 0.062 0.076 0.086 0.094 0.106
0.01 0.013 0.017 0.020 0.021 0.025
Н 3 0.1 0.132 0.164 0.190 0.218 0.236
0.05 0.068 0.093 0.107 0.123 0.141
0.01 0.014 0.021 0.025 0.030 0.038
Таблица 2. Мощность рангового критерия с метками Клотца
Конкурирующая гипотеза а п=10 п=20 п=30 п=40 п=50
Н1 0.1 0.111 0.120 0.127 0.132 0.136
0.05 0.056 0.061 0.065 0.071 0.073
0.01 0.012 0.012 0.013 0.014 0.017
Н 2 0.1 0.121 0.140 0.155 0.164 0.178
0.05 0.062 0.073 0.082 0.092 0.100
0.01 0.013 0.016 0.018 0.021 0.025
Н 3 0.1 0.132 0.161 0.184 0.208 0.225
0.05 0.068 0.085 0.103 0.118 0.128
0.01 0.014 0.020 0.022 0.028 0.036
Как видим, способность критериев при малых объемах выборок отличать от Н0 такие близкие конкурирующие гипотезы достаточно невысока. Например, для того, чтобы различать гипотезы Н0 и Нъ с заданной вероятностью ошибки 1-го рода а = 0.1 и с вероятностью ошибки 2-го рода /3 < 0.1 в случае критерия Хсу требуются объемы выборок п > 900, а для различения в таких же условиях Н0 и Н1 объемы выборок должны быть ещё больше ( п> 6000).
Таблица 3. Мощность рангового критерия с метками Сэвиджа
Конкурирующая гипотеза а п=10 п=20 п=30 п=40 п=50
Н1 0.1 0.102 0.106 0.109 0.110 0.113
0.05 0.051 0.054 0.056 0.058 0.060
0.01 0.010 0.011 0.011 0.012 0.012
Н 2 0.1 0.105 0.112 0.115 0.121 0.126
0.05 0.052 0.058 0.060 0.066 0.068
0.01 0.010 0.011 0.012 0.013 0.013
Н 3 0.1 0.108 0.119 0.122 0.130 0.139
0.05 0.052 0.061 0.066 0.074 0.076
0.01 0.010 0.011 0.014 0.015 0.015
В случае принадлежности случайных величин нормальному закону критерии обнаружения изменения дисперсии (параметра масштаба) в неизвестной точке можно по мощности упорядочить следующим образом: критерий Хсу (Н *) ь критерий с метками Клотца (^^) ь критерий с метками Сэвиджа (2).
Критерий с метками Клотца является локально наиболее мощным ранговым критерием в случае принадлежности выборок нормальному закону [2]. Как видим, относительно очень близких конкурирующих гипотез и малых объемах выборок практически не уступает в мощности параметрическому критерию Хсу. Однако с удалением конкурирующих гипотез и возрастанием объемов выборок преимущества критерия Хсу становятся очевидными. Например, в таблице 4 приведены оценки мощности критериев относительно конкурирующей гипотезы Н4:о>=... = о>= 1; а2м=... = а2„= 4.
Таблица 4. Мощность критериев относительно конкурирующей гипотезы Н4
п а Критерий Хсу Метки Клотца Метки Сэвиджа
10 0.1 0.265 0.240 0.100
0.05 0.168 0.140 0.050
0.01 0.038 0.034 0.010
20 0.1 0.644 0.580 0.143
0.05 0.486 0.423 0.067
0.01 0.226 0.168 0.012
50 0.1 0.991 0.974 0.284
0.05 0.970 0.940 0.171
0.01 0.859 0.783 0.049
100 0.1 1.000 0.999 0.538
0.05 1.000 0.999 0.373
0.01 0.999 0.995 0.174
Мощность всех рассматриваемых критериев обнаружения изменения в дисперсии относительно тех же конкурирующих гипотез повышается с "облегчением" по сравнению с нормальным законом хвостов распределений наблюдаемых случайных величин и понижается в противном случае. В качестве примера в таблице 5 приведены оценки мощности критериев относительно конкурирующей гипотезы Н в случае принадлежности случайных величин распределениям семейства (1) при различных значениях параметра формы. При Л = 1 мы имеем распределение Лапласа с более «тяжелыми» чем у нормального закона хвостами, а при Л = 4 - закон, более плосковершинный и с более «легкими» хвостами.
Мощность критерия с метками Сэвиджа во всех рассмотренных выше случаях оказывается существенно ниже. В [2] говорится о пригодности критерия Сэвиджа только для законов с плотностями положительными на полупрямой 0 < х < со. В частности утверждается, что в случае принадлежности случайных величин экспоненциальному
закону /(х) = — ехр{-х/6>} критерий является локально наиболее мощным ранговым
в
критерием против конкурирующей гипотезы, связанной с увеличением параметра масштаба. В таблице 6 приведены оценки мощности критериев относительно конкурирующих гипотез Н, Н, Н, Н в случае принадлежности случайных величин экспоненциальному закону распределении при объемах выборок п =50, которые
подтверждают определенные преимущества критерия Сэвиджа в данной ситуации и, в то же время, показывают относительно низкую мощность критерия с метками Клотца.
Таблица 5. Мощность критериев при законе (1) с параметром формы 1 и 4
Я а Критерий Хсу Метки Клотца Метки Сэвиджа
п=10 п=30 п=10 п=30 п=10 п=30
1 0.1 0.124 0.154 0.124 0.159 0.107 0.116
0.05 0.062 0.084 0.064 0.086 0.052 0.061
0.01 0.014 0.019 0.013 0.019 0.010 0.012
4 0.1 0.135 0.211 0.141 0.215 0.109 0.129
0.05 0.073 0.127 0.073 0.124 0.053 0.070
0.01 0.014 0.027 0.015 0.026 0.010 0.014
Таблица 6. Мощность критериев при экспоненциальном законе
Конкурирующая гипотеза а Критерий Хсу Метки Клотца Метки Сэвиджа
И, 0.1 0.123 0.112 0.128
0.05 0.062 0.058 0.069
0.01 0.012 0.012 0.013
И 2 0.1 0.147 0.122 0.158
0.05 0.074 0.063 0.090
0.01 0.016 0.013 0.018
И 3 0.1 0.170 0.131 0.188
0.05 0.091 0.069 0.111
0.01 0.020 0.015 0.024
И 4 0.1 0.583 0.229 0.740
0.05 0.394 0.121 0.607
0.01 0.140 0.033 0.295
В таблице 7 представлены оценки мощности относительно конкурирующей гипотезы И4 в случае принадлежности случайных величин распределению Вейбулла
/О) = ——-ехр<^-1—^-1 > с параметром формы 0и = 4 . сдвига 0-, = 0 при
объемах выборок п =50. Экспоненциальный закон является частным случаем этого распределения при 60 = 1. В данном случае обращаем внимание на возрастание мощности критериев Хсу и с метками Сэвиджа, а также на смещенность критерия с метками Клотца. Как правило, при справедливости некоторой конкурирующей гипотезы распределения статистик 0{Б*^ \И1) сдвигаются с ростом объемов выборок
относительно |И0) влево или вправо в зависимости от вида И1. За счет
увеличения п при таком поведении . |И;) критерий всегда способен с заданными вероятностями ошибок различать И0 и И1. В данном же случае критерий с метками Клотца не способен различать И0 и И4, что иллюстрирует рис. 2, на котором приведены распределения 0(Б*К1 |И0) и 0(Б*К1 |И4) при п =50 и п =100.
Таблица 7. Мощность критериев при распределении Вейбулла
Конкурирующая гипотеза а Критерий Хсу Метки Клотца Метки Сэвиджа
0.1 0.889 0.0448 1
Н 4 0.05 0.815 0.0135 1
0.01 0.560 0.0014 1
ОС^Я,)
2.50 -2.00 -1.50 -1,00 -0,50 0,00 0,50 1,00 1.50 2.00 2,50
Рис. 2. Распределения статистики критерия Клотца в случае принадлежности наблюдений закону
Вейбулла
3. СЕРИАЛЬНЫЕ КРИТЕРИИ
Под серией понимается последовательность элементов одной из нескольких выборок в упорядоченной по возрастанию объединенной выборке, ограниченная с обеих сторон элементами другой выборки (на границах последовательности - с одной стороны) [1].
В работе [3] нами исследованы распределения статистики критерия Вальда-Волфовитца, базирующегося на коэффициенте сериальной корреляции [15], и непараметрического аналога этого критерия, предложенного в [16]. В настоящей статье исследуется критерий числа серий.
Критерий числа серий Вальда-Волфовитца. Пусть значения у. > ту обозначаются
символом а, а значения у. < т г - символом Ъ . Статистикой критерия является общее число N полученных серий элементов а и Ь . Критические значения для статистики критерия представлены в [17]. Если иа и и4 - соответственно количества элементов а и Ъ в последовательности, то при па, пь > 20 распределение статистики
дг*__^-(2,га,гь/(,га+,гь) + 1)
^2папь(2папь-па-пь)/((па +пь)\па +пь -1))
при справедливости проверяемой гипотезы об отсутствии тренда аппроксимируется стандартным нормальным законом [1]. Проверяемая гипотеза Я0 отклоняется с
вероятностью а , если Ж* > II] 2.
Рис. 3. Распределения статистики критерия числа серий Вальда-Волфовитца
Критерий числа серий знаков первых разностей. Для выборки ууп вычисляются «-1 значений
г,- =
ум <у: +'• ум >у: У,+1=У,-
Статистикой критерия является количество серий 2 в ряду . Таблица критических значений для статистики 2 доступна в [1]. Там же утверждается, что при «>30 распределение статистики 2 удовлетворительно аппроксимируется нормальным распределением с математическим ожиданием Е[2] = 2« -1 / 3 и дисперсией
Б[2]= 16«-29 /90. Тогда проверяемая гипотеза Н0 отклоняется при
2 I '- ~и 1-И/2 .
4Щ]
Рис. 4. Распределения статистики критерия числа серий знаков первых разностей
Данные критерии являются непараметрическими, и распределения случайных составляющих не влияют на распределения статистик этих критериев. В то же время, исследование распределений статистик в зависимости от объемов выборок п показало, что даже при достаточно больших п (« = 100) дискретные распределения нормализованных статистик существенно отличаются от стандартного нормального закона (см. рис. 3 и 4). Поэтому использование стандартного нормального закона для определения достигнутого уровня значимости может приводить к ошибкам, особенно при небольших объемах выборок.
4. КРИТЕРИИ ИНВЕРСИИ
Если для ряда у,. _у2_____уп выполняется у( > у;. где ;' + 1< / < п . то имеет место
инверсия. Статистикой критерия является общее число инверсий I. Статистика I распределена приблизительно нормально с математическим ожиданием Е[/] = п(п -1) / 4
, о 1,1 11-Е[1]\
и дисперсией £>[/] = (2/г+3/г-5«)/72 [18]. При / I = -1—. > 1\ г/ 2 гипотеза о случайности отклоняется с заданным уровнем значимости а .
Критерий инверсий является непараметрическим, и распределение случайных составляющих не влияет на распределение его статистики. О(Г\Н0)
1.00 о.эо 0.80 0.70 0.Б0 0.50 0.40 0.30 0.20
0.00
ЛГ( ОД)
при п = 30
при — 10
2.50 2.00 1.50 1.00 0.50 0,00 0.50 1.00 1,50 2,00 2,50
Рис. 5. Распределения статистики критерия инверсий
Распределение статистики критерия инверсий является дискретным, но при объемах выборок п > 30 дискретностью распределения статистики практически можно пренебречь (см. рис. 5). Таким образом, использование стандартного нормального закона в качестве распределения статистики I* является обоснованным при п > 30 .
5. СРАВНИТЕЛЬНЫЙ анализ мощности критериев
Сравнительный анализ мощности критериев сериальных и инверсий с другими проводился для ситуации принадлежности наблюдаемых случайных величин нормальному закону. Проверяемой гипотезе Н соответствует выполнение предположения о независимости наблюдаемых случайных величин (отсутствие тренда). В качестве конкурирующих гипотез рассматривалось наличие различного тренда в средних. Рассматривались модели линейного, периодического и смешанного тренда.
При линейном тренде случайные величины моделировались в соответствии с соотношением
У, =<>•* + £,, (4)
где ^ представляют собой независимые случайные величины, распределённые в соответствии со стандартным нормальным законом, / е 0,1 . Справедливой проверяемой гипотезе Н0 соответствует значение параметра а = 0.
Величины у1 в (4) вычислялись в соответствии с выражением у( = а • /' -1 А/ + , где шаг А/ определялся как Л/ = \/п в зависимости от объема выборки п. Псевдослучайные величины ^ генерировались в соответствии со стандартным нормальным
законом. Мощность критериев исследовалась относительно конкурирующих гипотез с линейным трендом, задаваемым параметром а = 0.5 и а = 4 . Далее соответствующие конкурирующие гипотезы обозначены, как Я5 и Я6.
Для задания периодического тренда случайные величины моделировались в соответствии с соотношением х, = а ■ чтИтг!) + а в случае смешанного - в соответствии с х1. = а • / + а ■ чтИя!) + . Далее конкурирующая гипотеза с периодическим трендом, задаваемым параметром а = 0.5, обозначена как Н7, а конкурирующая гипотеза со смешанным трендом, также задаваемым параметром а = 0.5 , обозначена как Я8.
В таблицах 8-11 приведены значения мощности критерия инверсий, а также ряда критериев, рассмотренных в работах [3, 5]: Фостера-Стюарта [19], Кокса-Стюарта [20], Бартелса [21], ранговый критерий сериальной корреляции Вальда-Волфовитца.
Рассматриваемые критерии проверки гипотез об отсутствии тренда в средних можно упорядочить по мощности (относительно линейного, периодического и смешанного трендов) следующим образом: критерий инверсий ь Кокса-Стюарта ь ранговый критерий сериальной корреляции Вальда-Волфовитца ь Бартелса ь критерий числа серий Вальда-Волфовитца ь Фостера-Стюарта.
Исследования показали, что критерий числа серий знаков первых разностей не отличает от Н0 рассматриваемые конкурирующие гипотезы при а = 0.5. 4. Лишь при а >10 (при более далеких конкурирующих гипотезах) мощность критерия становится заметной.
Таблица 8. Мощность критериев относительно линейного тренда
n а Критерий инверсий Фостера-Стюарта Кокса-Стюарта
H 5 H 6 H 5 H 6 H 5 H 6
10 0.1 0.102 0.884 0.080 0.492 0.114 0.515
0.05 0.068 0.822 0.030 0.302 0.058 0.190
0.01 0.010 0.379 0.003 0.063 0.013 0.004
25 0.1 0.176 1.000 0.104 0.679 0.154 0.984
0.05 0.106 1.000 0.049 0.531 0.084 0.953
0.01 0.023 0.992 0.007 0.271 0.020 0.812
50 0.1 0.252 1.000 0.113 0.757 0.206 1.000
0.05 0.159 1.000 0.056 0.636 0.124 1.000
0.01 0.049 1.000 0.012 0.402 0.039 0.997
100 0.1 0.407 1.000 0.118 0.799 0.308 1.000
0.05 0.284 1.000 0.060 0.700 0.211 1.000
0.01 0.105 1.000 0.013 0.481 0.077 1.000
Таблица 9. Мощность критериев относительно линейного тренда
n а Вальда-Волфовитца (числа серий) Вальда-Волфовитца (ранговый) Бартелса
H 5 H 6 H 5 H 6 H5 H 6
10 0.1 0.104 0.349 0.105 0.532 0.105 0.610
0.05 0.053 0.238 0.052 0.397 0.055 0.500
0.01 0.011 0.090 0.011 0.130 0.013 0.266
25 0.1 0.110 0.687 0.104 0.914 0.107 0.932
0.05 0.056 0.566 0.058 0.857 0.058 0.887
0.01 0.012 0.321 0.012 0.682 0.012 0.732
50 0.1 0.107 0.927 0.111 0.998 0.111 0.998
0.05 0.054 0.873 0.059 0.992 0.058 0.995
0.01 0.010 0.688 0.012 0.970 0.013 0.976
100 0.1 0.110 0.998 0.115 1.000 0.113 1.000
0.05 0.055 0.994 0.059 1.000 0.060 1.000
0.01 0.011 0.965 0.012 1.000 0.011 1.000
Таблица 10. Мощность критериев относительно периодического и смешанного тренда
n а Критерий инверсий Фостера-Стюарта Кокса-Стюарта
H 7 н8 H 7 н8 H 7 н8
10 0.1 0.188 0.109 0.069 0.066 0.156 0.109
0.05 0.136 0.075 0.024 0.022 0.085 0.055
0.01 0.037 0.016 0.001 0.001 0.024 0.012
25 0.1 0.356 0.157 0.094 0.090 0.284 0.139
0.05 0.233 0.087 0.041 0.039 0.188 0.082
0.01 0.082 0.022 0.005 0.005 0.063 0.024
50 0.1 0.573 0.220 0.102 0.095 0.442 0.184
0.05 0.428 0.127 0.047 0.044 0.323 0.107
0.01 0.206 0.040 0.009 0.007 0.125 0.025
100 0.1 0.845 0.354 0.109 0.106 0.686 0.280
0.05 0.744 0.229 0.053 0.053 0.562 0.178
0.01 0.535 0.096 0.010 0.010 0.306 0.053
Таблица 11. Мощность критериев относительно периодического и смешанного тренда
n а Вальда-Волфовитца (числа серий) Вальда-Волфовитца (ранговый) Бартелса
H 7 Hs H 7 Hs H 7 Hs
10 0.1 0.134 0.113 0.145 0.109 0.137 0.108
0.05 0.073 0.059 0.084 0.058 0.079 0.057
0.01 0.018 0.012 0.022 0.014 0.019 0.013
25 0.1 0.150 0.121 0.175 0.124 0.173 0.126
0.05 0.084 0.063 0.106 0.068 0.103 0.070
0.01 0.023 0.015 0.036 0.020 0.033 0.019
50 0.1 0.170 0.127 0.231 0.148 0.224 0.145
0.05 0.101 0.067 0.149 0.087 0.147 0.085
0.01 0.030 0.017 0.056 0.025 0.054 0.026
100 0.1 0.210 0.134 0.313 0.176 0.308 0.173
0.05 0.126 0.073 0.214 0.103 0.214 0.105
0.01 0.041 0.018 0.090 0.033 0.085 0.031
6. ЗАКЛЮЧЕНИЕ
По результатам исследований можно сделать следующие выводы.
Параметрические критерии обнаружения изменения дисперсии (параметра масштаба) в неизвестной точке (критерий Хсу) мощнее непараметрических, но очень чувствительны к нарушению предположения о нормальном распределении случайных величин. Применение на практике ранговых критериев в значительной степени обусловлено тем, что при справедливости проверяемой гипотезы распределения их статистик не зависят от закона распределения случайных величин, в общем случае неизвестного экспериментатору. Однако от этих законов зависят распределения статистик критериев при справедливости конкурирующих гипотез, и, следовательно, зависит мощность критериев. При одной и той же паре конкурирующих гипотез в случае принадлежности выборок некоторого объема одному виду закона критерий может обладать высокой мощностью, в случае принадлежности другому закону - мощностью существенно ниже. Можно столкнуться с ситуацией, когда при некотором законе критерий принципиально не может различать заданную пару конкурирующих гипотез (например, критерий с метками Клотца при законе Вейбулла).
Закон распределения случайных величин не влияет на распределения статистик непараметрических сериальных критериев и критерия инверсий. Однако распределения статистик этих критериев различным образом сходятся к асимптотическому нормальному закону. В случае сериальных критериев - крайне медленно, и дискретность распределения статистики сохраняется даже при достаточно больших объемах выборок. В случае критерия инверсий - достаточно быстро, и уже при малых объемах выборок дискретностью практически можно пренебречь.
Полученные оценки мощности дают представление о способности критериев обнаруживать наличие линейного и нелинейного тренда в среднем, а также наличие скачкообразного изменения величины дисперсии.
Работа выполнена при поддержке РФФИ (проект № 09-01-00056а), АВЦП «Развитие научного потенциала высшей школы» (проект № 2.1.2/11855) и ФЦП Минобрнауки РФ «Научные и научно-педагогические кадры инновационной России».
СПИСОК ЛИТЕРАТУРЫ
[1] Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ. 2006. - 816 с.
[2] Гаек Я., Шидак З. Теория ранговых критериев. - М.: Главная редакция физико-математической литературы. 1971. - 376 с.
[3] Лемешко Б.Ю., Комиссарова А.С., Щеглов А.Е. Применение некоторых критериев проверки гипотез случайности и отсутствия тренда // Метрология. 2010. № 12. - С. 3-25.
[4] Лемешко С.Б. Критерий независимости Аббе при нарушении предположений нормальности // Измерительная техника. 2006. № 10. - С.9-14.
[5] Беркович А.С., Лемешко Б.Ю., Щеглов А.Е. Исследование распределений статистик критериев тренда и случайности // Материалы X международной конференции "Актуальные проблемы электронного приборостроения" АПЭП-2010. Новосибирск, 2010. - Т.6. - С.13-17.
[6] Комиссарова А.С., Лемешко Б.Ю. Сравнительный анализ мощности критериев проверки случайности и отсутствия тренда // Материалы Российской НТК "Информатика и проблемы телекоммуникаций", Новосибирск. 2011. - Т.1. - С.72-75.
[7] Щеглов А.Е., Лемешко Б.Ю. Исследование свойств критериев тренда и случайности методами статистического моделирования // Материалы Российской НТК "Информатика и проблемы телекоммуникаций", Новосибирск. 2011. - Т.1. - С.132-134.
[8] Лемешко Б.Ю., Постовалов С.Н. Компьютерные технологии анализа данных и исследования статистических закономерностей: Учеб. пособие. - Новосибирск: Изд-во НГТУ. 2004. - 120 с.
[9] Денисов В.И., Лемешко Б.Ю., Постовалов С.Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть I. Критерии типа %2. - Новосибирск: Изд-во НГТУ. 1998. - С. 126.
[10] Р 50.1.033-2001. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа хи-квадрат. -М.: Изд-во стандартов. 2002. - 87 с.
[11] Лемешко Б.Ю., Постовалов С.Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть 2. Непараметрические критерии. - Новосибирск: Изд-во НГТУ. 1999. - 85 с.
[12] Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. - М.: Изд-во стандартов. 2002. - 64 с.
[13] Hsu D.A. Test for variance shift at an unknown time point // Appl. Statist., 1977. - V.26, № 3. - P.279-284.
[14] Hsieh H.K. Nonparametric tests for scale shift at a unknown time point // Commun. Stat. -Theor. Meth. 1984. - V.13. № 11. - P.1335-1355.
[15] Wald A., Wolfowitz J. An exact test for randomness in the non-parametric case based on serial correlation // AMS, 1943. - V.14. - P.378-388.
[16] Dufour J.-M., Roy R. Some robust exact results on sample autocorrelations and tests of randomness // J. of Econometrics, 1985. - V.29. - P.257-273.
[17] Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. -416 с.
[18] Химмельбау Д. Анализ процессов статистическими методами. - М.: Мир, 1973. - 957 с.
[19] Foster F.G., Stuart A. Distribution-free tests in time series dated on the breaking of records // JRSS. 1954. - V. B16, №1. - P.1-22.
[20] Cox D.R., Stuart A. Quick sign tests for trend in location and dispersion // Biometrica. 1955. -V.42. - P.80-95.
[21] Bartels R. The rank version of von Neumann's ratio test for randomness // JASA. 1982. V. 77, №377. P. 40-46.
Лемешко Борис Юрьевич, доктор технических наук, профессор, декан факультета прикладной математики и информатики НГТУ. Основное направление научных исследований - компьютерные методы исследования вероятностных закономерностей, методы прикладной математической статистики. Имеет более 300 публикаций, в том числе 9 монографий.
Комиссарова Александра Семеновна, магистр прикладной математики и информатики. Направление научных исследований - компьютерные методы исследования свойств статистических критериев. Имеет 3 публикации.
Щеглов Алексей Евгеньевич, аспирант кафедры прикладной математики. Основное направление научных исследований - компьютерные методы исследования свойств методов и критериев, связанных с анализом временных рядов. Имеет 8 публикаций.
B.Yu. Lemeshko, A.S. Komissarova, A.E. Seheglov
Properties and power of tests for trend detection and checking for randomness.
An analysis of asymptotic distributions of various parametric and nonparametric tests for trend detection is conducted. The results of a comparative test power analysis against a range of competing hypotheses are presented.
Keywords: test for trend detection, test for shift in the scale parameter, test power, Hsu test, inversion test, Wald-Wolfowitz runs test
