CC BY
97
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2014 Управление, вычислительная техника и информатика № 1 (26)
УДК 519.2
В.М. Волкова
ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЙ СТАТИСТИК КРИТЕРИЯ ОБНАРУЖЕНИЯ СДВИГА СРЕДНИХ КОХРАНА
Работа выполнена при поддержке Минобрнауки РФ в рамках госзадания (проект № 8.1274.2011) и ФЦП «Научные и научно-педагогические кадры инновационной России» (соглашение № 14.В37.21.0860).
Исследованы распределения статистик критерия Кохрана при различных вероятностных законах. Показана устойчивость распределений статистик к нарушению предположений нормальности. Оценена мощность критерия относительно различных альтернатив.
Ключевые слова: критерий Кохрана обнаружения сдвига средних; исследования в условиях нарушения предположений нормальности и гомоскедастичности; мощность критериев.
Одна из часто встречающихся проблем при анализе временных рядов в большом числе прикладных задач (в частности в рамках проблемы автоматизации технологического процесса предприятия) заключается в формулировке критерия, позволяющего адекватно отслеживать динамику среднего показателя данных. При этом речь идет как о выявлении трендов, так и об обнаружении скачков среднего в потоке непрерывно поступающих данных.
На сегодняшний день известны критерии, предназначенные либо для проверки гипотез об отсутствии какого-либо тренда [1-3], либо для проверки равенства средних значений двух выборок [1, 4-5]. В данной статье приведены результаты исследования возможности применения критерия Кохрана в качестве универсального в ситуациях, когда возникает необходимость в проверке гипотез такого вида. В ходе решения основной задачи проводилось также исследование устойчивости критерия к нарушению предположения нормальности и определялся характер влияния ограниченности объема выборки на свойства критерия в ситуации и справедливой нулевой гипотезы и справедливой альтернативы. Сравнение мощности проводилось как с критерием проверки отсутствия тренда (критерий Аббе), так и с критерием проверки однородности средних (с F-критерием сравнения выборок по средним).
В качестве аппарата исследования была выбрана методика компьютерного моделирования, детали которой описаны в [1. С. 487-595].
1. Вид исследуемого критерия
Подход, примененный Кохраном при разработке критерия, предложенного в статье [6], был использован автором данной работы при формулировании модифицированного критерия, который далее в работе обозначается как модифицированный или просто критерий Кохрана для обнаружения сдвига в средних. Рассматриваемый критерий предназначен для проверки гипотез вида Н0 : Е[хх] = Е[х2] =... = Е[хп], т.е. для проверки того, что все наблюдаемые, записанные в порядке их появления величины х1, х2,..., хп в выборке объема п имеют одинаковые математические ожидания. Конкурирующая гипотеза (альтернатива) заключается в изменении среднего статистического ряда скачком после первых щ наблюдений (п1 + п2 = п). Подразумевается, что при использовании критерия проводится серия проверок нулевой гипотезы с разбиением исходной выборки на две с разным количеством наблюдений в каждой.
Статистики критерия Кохрана (получаемые при различных подразбиениях) имеют вид
K = njn2 . (xl - xr )2
n 1 Д ( )2 ^
—гЕ(x- x) n - 1 г=1
_ 1 n1 _1 n _ 1 n
xl =—Еx , xr =— Е x , x = — Еx .
n1 i=1 n2 i=« +1 n i=1
Распределение данной статистики аппроксимируется распределением Хи-квадрат с одной степенью свободы. То есть если K > х2а(1), то изменение среднего скачком после первых n наблюдений признается значимым с достоверностью а, где %2а(1) - а -квантиль распределения %2(1) с f = 1 степенью свободы при выполнении предположения нормальности случайных величин xl, x2, ..., xn .
2. Результаты исследования критерия Кохрана при справедливости нулевой гипотезы
Во всех приведенных ниже результатах численных экспериментов количество моделируемых значений статистик составляло N = 20 000 в выборке. О согласии эмпирической функции распределения с теоретическим распределением %2 при выполнении предположений нормальности можно судить по данным, представленным в табл. 1. В ней приведен усредненный достигнутый уровень значимости при проверке гипотезы о согласии по следующим критериям: отношения правдоподобия, Хи-квадрат Пирсона, Колмогорова, омега малое квадрат Мизеса, омега большое квадрат Мизеса. Из
таблицы видно, что согласие эмпирического распределения статистики с распределением %2(1) начи-
нается с n = 60, поскольку только с n =30, n2 = 30 достигнутый уровень значимости при проверке гипотезы о согласии превышает ошибку первого рода а = 0,05.
Т а б л и ц а 1
Результаты проверки согласия эмпирического распределения статистики Кохрана (при xt ~ Norm) и распределения х2(1)
Объем выборки «1 = 15, n2= 15 « = 20, n2 = 20 « = 25, n2= 25 n = 30, n2= 30 n = 35, n2= 35 n! = 40, n2 = 40 «i = 50, n2= 50
Достигнутый уровень значимости 0 0,004 0,012 0,18 0,702 0,256 0,62
На самом деле не будет большой ошибки в статистических выводах при проверке гипотезы, если использовать распределение х2(1) уже с n = 30. Это видно из рис. 1: при любых а < 0,1 (т.е. в зоне принятия решения по принятию или отклонению нулевой гипотезы при использовании критерия Кохрана) расхождение эмпирического распределения и распределения х2(1) не превышает 0,005.
Не было определено влияние способа разбиения на две подвыборки (равные или в различной степени неравные по объему) на распределение статистики критерия.
В процессе исследования распределений статистик при справедливой проверяемой гипотезе, помимо случая принадлежности наблюдаемой выборки нормальному закону распределения, рассматривались ситуации принадлежности наблюдений множеству различных симметричных и несимметричных распределений. В частности, исследовались распределения статистики Кохрана в случае принадлежности наблюдений семейству с плотностью
De(X) = f (x, Я, 02,0!) = (я/ (2л/202Г(1 / Я))) exp j- (| x - 0 ,\j ( ^ ) j
и параметрами формы X = 0,2, 0,5, 1, 1,5, 2, 4, 8, 10. В частности, при X = 2 получаем нормальный закон распределения. На рис. 2 представлены полученные в результате моделирования распределения статистики (1) в случае принадлежности наблюдений законам распределения семейства De(X) при различных параметрах формы: вид закона De(X) менялся от близкого к распределению Коши до распределения, близкого к равномерному.
Рис. 1. Распределение %2(1) и эмпирическое распределения статистики критерия Кохрана при нормальном законе распределения, n = 30
В случае принадлежности xi достаточно широкому кругу законов распределение статистики критерия Кохрана существенно не отличается от распределения, имеющего место в случае принадлежности наблюдений нормальному закону (см. рис. 2). Если закон, которому принадлежат наблюдаемые величины, симметричен и не имеет слишком тяжелых хвостов, то и увеличение и уменьшение эксцесса распределения наблюдений по сравнению с нормальным законом не приводит к значимому отклонению распределения статистики от «классического».
Только при законе из семейства De(X) с X = 0,2 распределение статистики (1) действительно существенно отличается от «классического», соответствующего принадлежности наблюдений нормальному закону.
На рис. 2 приведено распределение статистики (1) также и для случая принадлежности xl, x2,...,xn показательному (экспоненциальному) закону при « = n2 = 25. Видно, что даже при такой
сильной асимметричности закона распределения наблюдаемых случайных величин распределение статистики (1) не становится отличным от %2(1). То же наблюдается в случае принадлежности наблюдений асимметричным законам - распределениям экстремальных значений (минимального или максимального). Очевидно, что асимметричность закона не оказывает практически никакого влияния на распределение статистики Кохрана.
Поведение распределения статистики критерия Кохрана было также исследовано для случаев, когда наблюдаемый закон представляет собой симметричную смесь законов распределения. Например, когда закон распределения x1, x2,..., xn представляет собой смесь 2 нормальных законов вида
f (x) = (0,5/02V2tc)xp|-(x -0j - k02 )2j'20I j + (0,5/02\/2л)exp |-(x -0j + k02 )/202 j.
Построенные на основании результатов моделирования распределения статистики критерия Кохрана, соответствующие случаям принадлежности xx, x2,...,xn таким смесям со сдвигом компонент смеси ±102, ±202 и +302 относительно 0j, буквально накладываются одно на другое и на распределение статистики при нормальном законе. Отсюда можно сделать вывод, что критерий Кохрана не чувствителен к двумодальности закона распределения наблюдаемых величин при условии его симметричности и отсутствии тяжелых хвостов.
Рис. 2. Распределения статистики критерия Кохрана при различных параметрах формы распределения семейства Бе(Х) и при распределении наблюдений по показательному закону, п = 50
Также было исследовано влияние неоднородности в дисперсиях двух подвыборок (на которые мы разбиваем исходную выборку) на распределение статистики критерия Кохрана. Не было выявлено отклонений распределений статистики от распределения %2(1) даже при ситуации, когда одна дисперсия превышала другую в сотни раз, что говорит о несомненной устойчивости критерия к гетеро-скедастичности данных.
3. Исследование мощности критерия Кохрана при сравнении с классическими критериями однородности средних
Если рассматривать ^ как среднее первых п1 наблюдений, а ц2 - как среднее последующих п2 наблюдений, то альтернативные гипотезы могут быть записаны в том же виде, как они формировались для классических критериев однородности средних двух выборок. Для исследуемого в работе критерия Кохрана мощность проанализирована относительно следующих альтернатив:
Н1: ц2 = ^ + 0,1с, Н2 : ц2 = ^ + 0,2с, Н3: ц2 = ^ + 0,5с, Н4 : ц2 = ^ +с,
при одинаковых дисперсиях выборок и при распределении наблюдений по нормальному закону.
Вычисленные на основании результатов моделирования оценки мощности критерия сравнения средних Кохрана представлены в табл. 2. По мощности критерий оказался эквивалентен параметрическому ^-критерию Фишера сравнения средних (мощность последнего бралась в соответствии с [1. С. 388-396]).
Т а б л и ц а 2
Мощность критериев Кохрана и Фишера при справедливости различных альтернатив, а = 0,1
П1 = П2 Критерий Ні Н2 Н3 Н4
20 Кохрана 0,12 0,17 0,47 0,93
Фишера 0,12 0,17 0,46 0,93
30 Кохрана 0,13 0,12 0,61 0,99
Фишера 0,13 0,2 0,61 0,99
50 Кохрана 0,15 0,26 0,8 1
Фишера 0,14 0,26 0,8 1
100 Кохрана 0,18 0,41 0,97 1
Фишера 0,18 0,41 0,96 1
4. Исследование мощности критерия Кохрана при наличии линейного и нелинейного тренда
В дальнейшем в качестве конкурирующих гипотез рассматривались различные ситуации наличия тренда в последовательности данных, а именно: в случае линейного тренда моделировались случайные величины
= Ъг + х,
относительно которых проверялась гипотеза Н0 . Наблюдения представляли собой независимые случайные величины, распределённые по стандартному нормальному закону, г е[0...1]. Исследовалась мощность критерия относительно альтернатив с линейным трендом, задаваемым параметром Ъ = 0,5; 1; 2; 3; 4. Соответствующие альтернативы обозначены в дальнейшем как Н5, Н6, Н7, Н8, Н9.
Чтобы иметь возможность сравнить значения мощностей различных критериев, технология моделирования ситуации линейного и нелинейного тренда использовалась такая же, как и в работе [1. С. 440447]. Из этой же работы брались и приводимые для сравнения значения мощности критерия Аббе.
Значения мощности критерия Кохрана и критерия Аббе относительно альтернатив Н5, Н6, Н7, Н8, Н9 с линейным трендом в зависимости от общего объема выборки наблюдений п при уровне значимости а = 0,1 приведены в табл. 3. Проведя сравнительный анализ с критерием Аббе, можно констатировать, что критерий Кохрана более эффективен, чем критерий Аббе. Поэтому применение его более предпочтительно.
Т а б л и ц а 3
Мощность критериев Кохрана и Аббе при линейном тренде, а = 0,1
п Критерий Н5 Нб Н7 Н8 Н9
25 Кохрана 0,16 0,34 0,76 0,97 1,00
Аббе 0,125 0,206 0,514 0,840 0,978
50 Кохрана 0,23 0,54 0,96 1 1,0
Аббе 0,13 0,25 0,69 0,97 1,0
100 Кохрана 0,34 0,8 0,999 1,0 1,0
Аббе 0,14 0,31 0,89 0,999 1,0
Аналогичные исследования распределений статистики критерия Кохрана и его мощности были проведены относительно альтернатив с нелинейным трендом вида
^г- = Ъ 8т(2л:г) + х1.,
Исследовалась мощность относительно альтернатив с нелинейным трендом, задаваемым параметром Ъ = 0,1; 0,25; 0,5; 1; 1,5. Соответствующие альтернативы обозначены в дальнейшем как Н\0,
Н11, Н12, Н13, Н14. Полученные значения мощностей критерия Кохрана относительно альтернатив Н10, Ни, Н\2, Н\3, Нм, в зависимости от объема выборки п при уровне значимости а = 0,1, а также приведенные для сравнения мощности критерия Аббе представлены в табл. 4.
Исследована мощность критерия относительно альтернатив с трендом вида
^г- = Ъг + Ъ 8т(2лг) + х1.
Были рассмотрены альтернативы Н15, Н\6, Н\7, Нк, Н\9, задаваемые параметром Ъ = 0,25; 0,5; 1; 1,5; 2 соответственно. Полученные на основании результатов моделирования оценки мощности относительно альтернатив Н\5, Н16, Н17, Н18, Н19 со смешанным трендом в зависимости от объема выборки п при уровне значимости а = 0,1, а также приведенные для сравнения мощности критерия Аббе представлены в табл. 5.
Т а б л и ц а 4
Мощность критериев Кохрана и Аббе при нелинейном тренде, а = 0,1
п Критерий Ню Нц Н12 Н13 Н14
25 Кохрана 0,12 0,20 0,44 0,91 1,00
Аббе 0,103 0,135 0,249 0,676 0,953
50 Кохрана 0,14 0,3 0,71 0,996 0,998
Аббе 0,11 0,15 0,33 0,87 0,998
100 Кохрана 0,17 0,48 0,93 1,0 1,0
Аббе 0,11 0,17 0,45 0,98 1,0
Т а б л и ц а 5
Мощность критериев Кохрана и Аббе при смешанном тренде, а = 0,1
п Критерий Н15 Н16 Н17 Н18 Н19
25 Кохрана 0,14 0,23 0,55 0,80 0,95
Аббе 0,117 0,172 0,415 0,734 0,937
50 Кохрана 0,18 0,37 0,82 0,98 1,00
Аббе 0,124 0,215 0,580 0,919 0,996
100 Кохрана 0,25 0,60 0,98 1,00 1,00
Аббе 0,133 0,266 0,790 0,989 1
По итогам данных табл. 3-5 можно заключить, что при рассмотренных альтернативах критерий Кохрана более эффективен, чем критерий Аббе.
Однако до этого момента рассматривалась ситуация, когда выборка для критерия Кохрана разбивалась на равные (или почти равные для п = 25) подвыборки. Однако представим, что данный критерий применяется к некоторому «окну наблюдений», фиксированному по размеру, непрерывно смещающемуся за счет удаления более старых наблюдений (из начала последовательности) и добавления вновь поступающих наблюдений (в конец последовательности). В таких ситуациях обычно есть возможность рассматривать выборки довольно большого объема, скажем п = 100, но остро стоит вопрос о своевременном выявлении нарушений. Последнее в случае нашего критерия может быть обеспечено за счет разбиения выборки на существенно неравные части: чтобы первая часть, содержащая уже накопленную в предыдущие моменты времени информацию (в которой по результатам предыдущих тестов не было выявлено отклонений), содержала значительно больше наблюдений, чем вторая, представляющая вновь поступившие данные. Поэтому закономерно встает вопрос: насколько сильно неравномерность в разбиении выборки может сказаться на мощности? Для получения ответа было проведено исследование мощности (табл. 6) при различных пропорциях объемов первой и второй подвыборок для ряда альтернатив тренда рассмотренных выше типов. Конкретные альтернативы для рассмотрения выбирались из тех соображений, чтобы мощность критерия Кохрана при п1 = 50, п2 = 50 была достаточно высока, но не единична.
Т а б л и ц а 6
Мощность критерия Кохрана при различных трендах и способах подразбиения на выборки, а = 0,1
Вид альтернативы п1 = 50, п2 = 50 п1 = 60, п2 = 40 п1 = 70, п2 = 30 п1 = 80, п2 = 20 п1 = 90, п2 = 10
Н6, Ъ = 1, линейный 0,8 0,78 0,73 0,62 0,42
Н12, Ъ = 0,5, синусоидальный 0,93 0,90 0,73 0,38 0,13
Н16, Ъ = 0,5, смешанный 0,60 0,52 0,31 0,12 0,10
Из вышесказанного можно сделать следующие выводы. Если мы имеем ситуацию линейного тренда, то мощность критерия Кохрана уменьшается более или менее равномерно. Достаточно резкий скачок вниз происходит только когда соотношение объемов подвыборок становится 9:1. И даже в этом случае мощность критерия Кохрана выше, чем мощность критерия Аббе для данной альтернативы. Это дает основание утверждать, что при наличии линейного тренда в данных критерий Кохрана будет выявлять его (линейный тренд) лучше, чем критерий Аббе при любом (в рамках рассмотренных пропорций) разбиении выборки на две части.
Несколько иная ситуация при нелинейных трендах. При соотношении объемов подвыборок 4:1 критерий Кохрана начинает уступать по мощности критерию Аббе. И вообще при этой альтернативе мощность критерия Кохрана при увеличении отношения объемов подвыборок падает гораздо стремительнее, чем в случае с линейным трендом. Резкое падение начинается с момента, когда объем второй подвыборки составляет примерно треть от общего объема наблюдений. Для смешанного тренда ситуация такая же, как и для синусоидального тренда, даже более выраженная в очерченных тенденциях.
Таким образом, на основании анализа, проведенного для ситуации с n = 100, можно заключить, что если мы хотим выявить тренд произвольного вида, то подразбиение на выборки для критерия Кохрана должно быть таким, чтобы объем меньшей из подвыборок был не менее трети от объема всей выборки. Иначе потери в мощности будут столь велики, что «скрадут» преимущества от «оперативности» реагирования на ситуацию.
Заключение
На основании проведенных исследований можно констатировать, что применение критерия Кохрана будет корректным и в тех случаях, когда мы имеем дело с законом, существенно отличающимся от нормального. Однако закон не должен иметь «тяжелых» хвостов. Закон может быть двумодальным, описываться симметричной смесью законов. Также не сказывается на распределении статистики и неоднородность по дисперсиям (даже весьма существенная) подвыборок наблюдений. В этом его преимущество по сравнению с F-критерием сравнения выборок по средним, с которым критерий Кохрана оказался практически идентичным по мощности. И в то же время критерий Кохрана оказался мощнее при рассмотрении альтернатив наличия тренда в данных, чем специализированный критерий выявления трендов - критерий Аббе (при условии, что объем меньшей подвыборки не составляет менее трети от общего объема наблюдений).
Таким образом, критерий Кохрана показал себя как универсальный, мощный и устойчивый к нарушению исходных предположений инструмент по выявлению различных типов «неоднородности в средних» в последовательности данных и может быть рекомендован (особенно учитывая простоту вычисления его статистики) к широкому внедрению в практику статистического анализа данных.
ЛИТЕРАТУРА
1. Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н., Чимитова Е.В. Статистический анализ данных, моделирование и
исследование вероятностных закономерностей. Компьютерный подход. Новосибирск : Изд-во НГТУ, 2011. 888 с.
2. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики : учеб. для вузов. М. : ЮНИТИ, 1998.
1022 с.
3. Strunov V.I. Applying the Abbe test to the independence of measurement series with distributions deviating from normal //
Measurement Technique. 2008. V. 49, No. 8. P. 962-969.
4. МиттагХ.-Й., РиннеХ. Статистические методы обеспечения качества. М. : Машиностроение, 1995. 600 с.
5. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка
данных. М. : Финансы и статистика, 1983. 471 с.
6. Cochran W.G. Some methods for strengthening the common chi-square tests // Biometrics. 1954. No. 10. P. 417-451.
Волкова Виктория Михайловна. E-mail: vik-ky@yandex.ru
Новосибирский государственный технический университет Поступила в редакцию 3 мая 2012 г.
Volkova Victoria M. (Novosibirsk State Technical University, Russian Federation).
The investigation of statistic distributions of the Cochran test for the means shift detection.
Keywords: Cochran test for the means shift detection; infringement of the normality and homoscedasticity; power of tests.
The statistic distributions of the modified Cochran test for the means shift detection have been investigated by methods of statistical simulation at the different distributions of observations. The considered test is destined for testing the hypothesis H0 : E[x1 ] = E[x2] =... = E[xn], i.e., for checking that all observations x1, x2,...,xn , recorded in order to their appearance, have the same expectations.
A competing hypothesis (alternative) is the mean shift change by a jump after the first nj observations (nj + n2 = n). Note that a series of tests for the null hypothesis is carried out with the partition of the original sample into two parts of unequal sizes. The Cochran test statistics, obtained for different partitions, have the form
n1n2 (xl - xr )2
K = —
1 n _
—1 I (^ - *)2
n -1 ,=1
_ 1 n1 _ 1 n _ 1 n
xL =— Z xi , xR =— Z xi , x =— Z xi .
n1 i=1 n2 i= n1 +1 n i=1
The distribution of the test statistics is approximated by the chi-square distribution with one degree of freedom when the assumption of the normal distribution of random values x1, x2,..., xn is true. The convergence rate of the statistic distribution to the %2(1) distribution has been estimated: the goodness-of-fit of the %2 (1) distribution with empirical distributions of considered statistic begins from the sample size n = 60.
The simulations of Cochran statistic distributions have confirmed their high stability to the deviation of the observed distribution from the normal law. It has been shown, that if the distribution of observed random values is symmetrical, then change of its kurtosis does not lead to significant deviation of the statistic distribution from the %2 (1) distribution. Exceptions are in the cases of distributions with the too heavy tails. Moreover, bimodal or asymmetrical distributions of observations practically do not influence on the distribution of the Cochran statistic. The investigations have confirmed high stability of the Cochran statistic distributions to the het-eroscedasticity.
A comparative analysis of the power of the Cochran test with the power of the Fisher test has been performed. It has been shown, that the Fisher test for homogeneity of means which is less stable to the heteroscedasticity than considered Cochran test, is practically identical with the latter by power.
The Abbe test has been compared by power with the Cochran test for the different alternatives and different ways of sample division into two subsamples.
It has been shown that the closer the ratio of subsamples sizes to 1:1, the higher power of Cochran’s test. If there is a linear trend in data, power of the Cochran test is higher than the power of the Abbe test even when the subsamples sizes are at a ratio of nine to one. In the case of nonlinear sinusoidal trend, the Cochran test begins to concede to the Abbe test in power for the subsamples sizes ratio of four to one. The investigations have shown that abrupt decrease in power of the Cochran test begins from the subsamples sizes ratio of about 7:3. The case of a mixed trend (the sum of sinusoidal and linear trends) has been also considered. Note that the regularities obtained for the case of sinusoidal trend are generally the same for the case of mixed trend.
Thus, it is shown that if one wants to identify the trend of arbitrary form, then the division of the sample for the Cochran test should be such that the less size of the subsamples would be at least a third of the size of the entire sample.
The following conclusion based on the analysis of the properties of the modified Cochran test has been made: application of this test to practical problems of detecting shift of means, expressed as jump or as a trend, in sequences of observations is expedient.
REFERENCES
1. Lemeshko B.Yu., Lemeshko S.B., Postovalov S.N., Chimitova E.V. Statisticheskiy analiz dannykh, modelirovanie i issledovanie veroyatnostnykh zakonomernostey. Komp'yuternyy podkhod. Novosibirsk : Izd-vo NGTU, 2011. 888 p. [Lemeshko B.Yu., Lemeshko S.B., Postavalov S.N., Chimitova E.V. Statistical data analysis, simulation and study of probability regularities. Computer approach: monograph. Novosibirsk: NSTU Publisher. (2011).]
2. Ayvazyan S.A., Mkhitaryan V.S. Prikladnaya statistika i osnovy ekonometriki : ucheb. dlya vuzov. M. : YuNITI, 1998.
1022 p. [Aivazian S.A., Mkhitarian V.S. Applied statistics and essentials of econometrics. Moskow: Book-Publishing Association UNITY. (1998).]
3. Strunov V.I. Applying the Abbe test to the independence of measurement series with distributions deviating from normal. Measurement Technique. V. 49, No. 8. P. 962-969. (2008).
4. Mittag Kh.-Y., Rinne Kh. Statisticheskie metody obespecheniya kachestva. M. : Mashinostroenie, 1995. 600 p. [Mittag H.-J.,
Rinne H. Statistical methods of quality assurance. Chapman & Hall. New York, (1993).]
5. Ayvazyan S.A., Enyukov I.S., Meshalkin L.D. Prikladnaya statistika: Osnovy modelirovaniya i pervichnaya obrabotka
dannykh. M. : Finansy i statistika, 1983. 471 p. [Aivazyan S.A., Yenyukov I.D., Meshalkin L.D. Applied Statistics: Essentials of modeling and preprocessing of data. Moscow: Finansy i statistika. (1983).]
6. Cochran W.G. Some methods for strengthening the common chi-square tests. Biometrics V. 10. P. 417-451. (1954).
