CC BY
40
ГЕРМЕНЕВТИКА НЕПАРАМЕТРИЧЕСКОГО КРИТЕРИЯ АНСАРИ-БРЭДЛИ СРЕДСТВАМИ MATHCAD
УДК 681.5(075.8)
Аркадий Николаевич Порунов,
к.э.н.,доц., Самарский государственный технический университет (СамГТУ) Эл. почта: [email protected]
Любовь Ивановна Судакова,
ст. преподаватель, Самарский государственный технический университет (СамГТУ)
Показана герменевтика непараметрического критерия Ансари-Брэдли средствами Mathcad. Герменевтическая процедура построена на разборе типичных методических ошибок исчисления критерия. Подобная техника проникновения в суть статистического критерия в равной степени полезна как для начинающих, так и для более опытных исследователей.
Ключевые слова: герменевтика, критерий Ансари-Брэдли, методическая ошибка, mathcad-функция, статистические программы.
Arkadij N. Porunov,
PhD in Economics, Associate Professor, Samara State Technical University (SamSTU)
E-mail: [email protected] Ljubov I. Sudakova,
Senior lecturer, Samara State Technical University (SamSTU)
HERMENEUTICS OF ANSARI-BRADLEY'S NON-PARAMETRIC TEST BY THE TOOLS OF MATHCAD
Hermeneutics of Ansari-Bradley's non-parametric test by the tools of Mathcad is shown. Hermeneutics procedure is built on the analysis of typical methodical errors of calculation of criteria. The similar technique of penetration in essence of statistical criteria is useful in an equal degree as for beginners as for more experience researchers.
Keywords: hermeneutics, Ansari-Bradley Test, methodical error, mathcad-function, statistical programs.
1. Введение
Сегодня, перефразируя Кевина Аэрна [1], в эпоху «карнавала» статистических пакетов, от пользователя требуется наличие профессиональных навыков и высокой квалификации, широкого первоначального статистического образования. Эти неотъемлемые условия получения корректных, надежных статистических оценок в любом исследовании предполагают глубокое проникновение в суть статистических методов. В прежние времена, «глубокое проникновение» достигалось с помощью обычного учебника, ручки и листа бумаги. Появление мощных математических пакетов, позволяющих не только решать статистические задачи, но и детально изучать, «препарировать» методы ее решения привело к резкому повышению качества и эффективности образовательного процесса. В области статистики сегодня они определяют «дидактический мейнстрим». Речь идет, прежде всего, о таких программных продуктах, как Maple, Mathcad, Mathematica, MATLAB. Каждый их них по своему хорош, но, практика показывает, что для образовательных и самообразовательных целей в области статистики наибольшее распространение получил Mathcad, поскольку обладает двумя весьма ценными с точки зрения освоения статистических методов характеристиками, - универсальностью и большей наглядностью. Как отмечают многие специалисты главное преимущество Mathcad в отличие от аналогичных программных средств, состоит в том, что здесь математические выражения представляются в общепринятой математической нотации. Запись на языке, очень близком к стандартному языку математических расчетов, упрощает постановку и решение многих задач и делает этот продукт наиболее востребованным в самых различных сферах деятельности [2].
Представленная статья иллюстрирует герменевтику непараметрического критерия Ансари-Брэдли (AB) средствами Mathcad. Герменевтическая процедура построена на разборе типичных методических ошибок исчисления критерия. Представляется, что подобная техника проникновения в суть статистического критерия в равной степени полезна как для начинающих исследователей так и для более опытных, но еще не знающих, в отличие от А. Лимера, «обратную сторону» эконометрических оценок.
2. Постановка задачи в общем виде
Пусть имеются (здесь и далее автор придерживается синтаксиса принятого в среде Mathcad) две независимые случайные выборки:
Х„X2, ...,Xm е F(t) и Y„ У2, ..., Y„ e F(t/A)
Решаемые задачи: проверка гипотезы о том, что
H0 : Д = 1 (дисперсии выборок равны);
H : Д < 1 (дисперсия второй выборки больше чем первой);
H2 : Д > 1 (дисперсия первой выборки больше чем второй);
H3 : Д Ф 1 (дисперсии не равны).
Предположения:
1) выборки X и Y должны быть независимы;
2) распределение F(t) - непрерывное, параметры распределения неизвестны;
3) медианы выборок должны быть равны, т.е. Дь = median(X) = median(Y), если д Ф д2 следует рассмотреть новые выборкиXи Yтакие что:
X ,Y :=
X-ц
Y-ц 2
3. Типичные методические ошибки на основных этапах расчета
Оставаясь в среде Mathcad, рассмотрим на конкретном примере методику и типичные методические ошибки расчета АВ-критерия.
В качестве входных данных примера используются результаты исследований компании, оценивающей релевантность показателей отечественных информационно поисковых систем (ИПС). В частности, сравнивались значения двадцати
Таблица 1. Значения показателя F-мера выборок «Rambler» и «Yandex»
i Rambler, F. Yandex, F. i Rambler, F. Yandex, F.
1 0.854 0.808 11 0.777 0.877
2 0.823 0.792 12 0.738 0.877
3 0.769 0.846 13 0.746 0.869
4 0.762 0.808 14 0.785 0.831
5 0.785 0.8 15 0.823 0.815
6 0.815 0.769 16 0.869 0.877
7 0.838 0.738 17 0.892 0.869
8 0.831 0.831 18 0.869 0.831
9 0.8 0.792 19 0.846 0.815
10 0.762 0.8 20 0.754 0.762
Ramble q О-О-О
Yande x; ♦-♦-♦ ' _
_ 0.077j
® \
Ь-.^г'' \ / H- >. /
V V-e'
0
Л
last(Yandex)
Рис.
max(RY)
1. Распределения F-меры в исходных выборках Rambler и Yandex
20 k
last(RY)
пар измерений F-меры (меры Ван Ризбергена) двух ИПС Rambler и Yandex в случайно выбранные дни марта 2012 года. Эти показатели были получены на основе анализа запроса на слово «cat» и по тому, как много релевантных ссылок выдаёт поисковик на 100 первых ответов [3].
Основная и альтернативная гипотезы формулировались следующим образом:
И0: дисперсии F-меры одинаковы (Д = 1), И{: дисперсии F-меры не равны (Д Ф 1). Таким образом, имеем две выборки значений F-меры, одну выборку назовем «Rambler», другую «Yandex» Данные 40 испытаний по оценке релевантности поисковых систем приведены в табл. 1.
В векторном виде: Rambler1 := (0.854 0.823 0.769 0.762 0.785 0.815 0.838 0.831 0.80 .762 0.777 0.738 0.746 0.785 0.823 0.869 0.892 0.869 0.846 0.754)
Вектор Rambler, состоит из n: = rows(Rambler) = 20 наблюдений, с номерами i: = 0... last(Rambler) YandexT := (0.808 0.792 0.846 0.808 0.8 0.769 0.738 0.831 0.792 0.8 0.877 0.877 0.869 0.831 0.815 0.877 0.869 0.831 0.815 0.762)
Вектор Yandex, состоит из m: = rows(Yandex) = 20 наблюдений, с номерами j: = 0... last(Yandex)
Медианы выборок Rambler и Yandex соответственно равны:
Дь = mediam(Rambler) = 0.807 и д2: = mediam(Yandex) = 0.815
3.1. Игнорирование требования равенства медиан выборок Первая ошибка чаще всего связана с игнорированием требования к медианам выборок. Равенство медиан является необходимым условием AB-критерия это известно еще со времен Л.Э.Мозеса [4], показавшего насколько требовательны ранговые критерии к равенству медиан или знанию их величин. Тем не менее, даже в учебной литературе, иногда встречаются попытки принизить значимость этого требования [5].
Поскольку в нашем случае медианы не равны, воспользуемся приемом, который был предложен А.Р.Ансари и Р. А.Брэдли несколько позже того как они представили миру одноименный критерий: переопределим выборки:
Rambler:= Rambel - median(Rambler) (1)
и
Yandex:= Yandex - median(Yandex) (2)
Рис. 2. Распределение F-меры в объединенной выборке
RY
Графики распределения преобразованных наблюдений в выборках показаны на рис. 1.
Для проверки основной (нулевой) гипотезы H0 необходимо:
3.2. Трудности перевода и неверное распределение рангов
Следующий этап расчета - объединение выборок, ранжирование и присвоение рангов наблюдениям объединенной выборки.
С этой целью определим вектор RY суть которого - объединенные и сортированные элементы векторов Rambler и Yandex (рис. 2):
RY := sort(stack(submatrix(Rambler,0,last(Rambler),0,0),Yandex)) (3)
Присвоение рангов наблюдениям выборки RY производится с концов совокупности по направлению к её медиане так, что образуется симметричный ряд вида:
N-1 N +1 N-1
0,1,2,.
или
2
2
2
...,2,1,0 если N нечетно,
N N
0,1,2,...,—,—,...,2,1,0 если N четно. 2 2
(4)
(5)
Казалось бы очевидный алгоритм, тем не менее, и на этом этапе нередки ошибки. Связаны они, по-видимому, с «трудностями перевода» статистической литературы. Например, в одной из самых авторитетных и наиболее часто цитируемых работ, находим: «Наименьшему и наибольшему из наблюдений в объединенной выборке присвоить ранг 1, следующим среди наименьших и наибольших присвоить ранг 2 и продолжать ранжирование тем же способом» [6, с. 102]. Такая, не самая удачная версия перевода создает у начинающего исследователя иллюзию симметричности распределения рангов. Возникает соблазн использовать (зеркально отразить) ранги наблюдений левой, от медианы, половины объединенной выборки, для построения рангов её правой половины или наоборот. Как следствие, - неверное распределение рангов. Между тем, как и в первом [7] так и во втором [8] оригинальных изданиях этой книги речь идет о незави-
0
10
15
0
k
- 0.05
- 0.077
- 0.1
0
0
Таблица 2. Переопределенные значения и средние ранги элементов вектора Rambler
i Rambler. i rr(Rambler) i Rambler. i rr(Rambler)
0 0.046 9 10 -0.03 10
1 0.015 17.5 11 -0.07 2
2 -0.038 9 12 -0.062 3
3 -0.045 7.5 13 -0.022 13.5
4 -0.022 13.5 14 0.015 17.5
5 0.007 19 15 0.062 5.5
6 0.03 12 16 0.085 1
7 0.023 13 17 0.062 5.5
8 -0.007 17 18 0.038 10
9 -0.045 7.5 19 -0.054 4
RY1 := submatrix
RY, floor
last( RY )
2
,0,0
RY2 := submatrix
RY, ceil
(last (RY)
2
last (RY ),0,0
(6)
(7)
rr(h) :=
for e e 0..last(RY2)
d ^ Rank(-RY2)e if h = RY2e for e e 0..last(RY1)
d ^ Rank(RYl)e ifh = RYle
(8)
last ( Rambler)
Wab := ^ rr(Rambler) = 197
i=0
(9)
M(W) 4
m ■ (m + n +1)
D(W) 4
Wab - M (W)
4 ■ (m + n) m ■ n ■ (m + n +1) ■ [з + (m + n)2 ]
otherwise
M(W) 4
48 ■ (m + n)2 if mod(N,2) Ф 0
(10)
D(W) ^
Wab - M(W)
m ■ (m + n + 2) 4
m ■ n ■ (m + n + 2) ■ (m + n + 2)
48 ■ (m + n-1)2
4DW)
симом присвоении рангов наблюдениям правой и левой половинам вариационного ряда.
Требования второго этапа в Mathcad можно реализовать следующим образом:
а) разделить вектор RY на две составляющие RY1 и RY2 (равные, если N чётно):
б) введем новую ранжированную переменную h:= RY0..RYhs,(RY) и, в программном модуле (8), используя mathcad-функцию Rank(v), определим симметричную (относительно медианы вектора RY) функцию средних рангов rr(h). Значения этой функции, аргументами которой являются элементы переопределенного вектора Rambler, приведены в табл. 2.
Статистика AB-критерия, - сумма средних рангов элементов вектора Rambler, равна:
где: Ы(Ж) и Б(Ж) - соответственно, математическое ожидание и дисперсия ^¿-статистики.
Одна из часто встречающихся ошибок на данном этапе расчета АВ-критерия, - не учёт поправки на связанные ранги к дисперсии D(W). Подобная практика отчасти объясняется тем, что выходящие сегодня в «свет» отечественные учебники и справочники по прикладной математической статистике, например [9], часто не дают на сей счёт никаких разъяснений. Между тем в данном случае, функция гг(р.атЫег) (табл. 1) имеет дробные значения рангов, что говорит о необходимости расчета дисперсии ^¿-статистики с учетом поправки на связи.
3.4. Ошибки определения связей и числа ранговых групп
Типичная ошибка для этого этапа, - неправильное определение числа ранговых групп наблюдений в ранжированной объединенной выборке. Ошибка возникает по причине того, что в состав ранговых групп включают только группы связанных рангов, группы же несвязанных рангов остаются без внимания. Используя определенную нами ранее (8) функцию гг(И), возвращающую усредненное положение каждого элемента в объединенной выборке-векторе RY, определим число ранговых групп g среди N = 40 наблюдений, объём tg g-й ранговой группы и средний ранг наблюдений rg в g-й группе с помощью программы:
а ^ 0
g ^ 0
^ ^ 0
О i е 0..Ш(ЯУ)
а ^ а +1 if i > 0 л гг(Яу) = гг(ЯУ1-1) if i > 0 л гг(ЯУ1) Ф гг(Яу-1)
V
3.3. Не учёт поправки на связанные ранги к дисперсии
Поскольку таблицы квантилей распределения Wa¿-ста-тистики доступны только для случаев, когда т,п < 10, то при больших выборках (как в нашем случае), с целью приближения распределения ^¿-статистики к стандартному, нормальному распределению обычно производят операции её трансформации (центрирования и нормирования) по известной схеме:
tg ^ a +1 g ^ g +1 a ^ 0
tg ^ a +1 rg ^ rr(RYi)
(11)
f \ g
t
v r J
t
v r J
Таблица 3. Значения основных характеристик ранговых групп
Ранговая группа, g Средний ранг наблюдений, rg r2 s Объём группы, tg
0 1 1 1
1 2 4 1
2 3 9 1
3 4 16 1
4 5 25 1
5 6 36 1
6 7.5 56.25 2
7 9 81 1
8 10 100 1
9 11.5 132.25 2
10 13.5 182.25 2
11 15.5 240.25 2
12 17 289 1
13 18.5 342.25 2
14 20 400 2
15 19 361 1
16 17.5 306.25 2
17 15 225 3
18 13 169 1
19 12 144 1
20 11 121 1
21 10 100 1
22 9 81 1
23 7.5 56.25 2
24 5.5 30.25 2
25 3 9 3
26 1 1 1
D(W)
m • n 16 ■ (m + n) -^T \j ■ (Tj )2 ]-(m + n j=0 + 1)4
16 ■ (m + n)2 ■ (m + n -1)
m • n ■ 16\j ■ (Tj)2]-(m + n)■ (m + n + 2)2
j=0
16 ■ (m + n) ■ (m + n -1)
if mod(N,2) * 0
otherwise
(12)
С учетом (17) преобразованная к стандартному, нормальному распределению АВ-статистика Wabn равна:
Wabn '
M(W) ^
m ■ (m + n +1)
Wab - M(W)
4dw)
otherwise M(W) ^
4 ■ (m + n)
if mod(X,2) Ф 0
(13)
m ■ (m + n + 2)
4
Wab - M(W)
JüiWj
В итоге имеем Wabn = -0.706
В рассматриваемом случае, для двустороннего критерия
Н0 против альтернативы вида Д Ф 1 на уровне значимости
а = 0.05 надо принять Н0, если:
а а
дпогт(—,0,1) < ЖаЬп < дпогт(1 -—,0,1) (14)
где qnorm(—,0,1)
qnorm(l - -—,0,1) mathcad-функции
В данном случае число ранговых групп составило g + 1 = 27 (с учетом того, что отсчёт ведется от 0, а не от 1). Значения векторов объема / и среднего ранга наблюдений г в каждой g-й ранговой группе показаны в табл. 3. Среди значений вектора t можно видеть присутствие 1 (единиц), - признаков наличия несвязанных ранговых групп.
3.5. О формулировке итога статистического исследования На последнем этапе производится преобразование ^¿-статистики с учетом связанных рангов. При наличии связанных рангов дисперсия АВ-статистики рассчитывается по формуле:
граничных квантилеи стандартного нормального распределения уровней значимости соответственно а и 1 - а .
Условие (14) выполняется т.к. -1.96 < -0.706 < 1.96 из чего следует, что данные из объединенной выборки не противоречат гипотезе H0 на уровне доверия 0.95, иными словами поисковые системы Rambler и Yandex на момент исследования имели равную релевантность. Формулировка итога статистического исследования в таком виде сегодня встречается не так часто. Для абсолютного большинства работ, характерно более безапелляционное, вроде: «...следует принять гипотезу H0» [10-12]. Между тем, как известно, «поставка» ещё одного нового статистического наблюдения может в корне перевернуть сложившееся представление (в данном случае о паритете поисковых систем).
4. Заключение
Удивляет легкость, с которой некоторые сегодняшние «профи» от статистики раздают советы по овладению премудростями обсуждаемой здесь науки. Вот только один из примеров: «Вообще, подход к статистическим критериям в анализе данных должен быть прагматическим и не отягощен лишними теоретическими рассуждениями. Имея в своем распоряжении компьютер с системой «STATISTICA», вы легко примените к своим данным несколько критериев. Зная о некоторых подводных камнях методов, вы путем экспериментирования выберете верное решение» [13]. Вот так, немного поэкспериментировал и нашел верное решение?
Нам же представляется, что только внедрение, новых, в том числе герменевтических технологий в образовательный процесс позволит увеличить интенсивность и качество усвоения статистических знаний, даст возможность специалистам грамотно применять статистический инструментарий и выбирать верное решение, не прибегая к слепому экспериментированию.
Литература
1. Kevin Ahern's Professional Page. http://www.davincipress. com/professional.html
2. Бородина А.И., Крошинская Л.И., Сапун О.Л. Специализированные пакеты для математической обработки
и
данных. Минск, НО ООО «-С». 2003. http://bip-ip.com/ spetsializirovannyie-paketyi-dlya-matem/
3. Показатели качества информационно-поисковых систем. Полнота и точность выдачи. http://koriolan404.narod. ru/tipis/27.htm
4. Moses L. E. (1963). Rank tests of dispersion. — Ann. Main. Statist. 34. 973-9B3.
5. Сорокин О.Д. Прикладная статистика на компьютере. 2-е изд. Краснообск, ГУП РПО СО РАСХН, 2009, 222 с.
6. Холлендер М., Вульф Д.А. Непараметрические методы статистики. М., Финансы и статистика. 1983. 520 с.
7. Hollander M., Wolfe D.A., Non-parametric Statistical Methods, New York: John Wiley & Sons, 1973. p.503
8. Hollander M., Wolfe D.A., Non-parametric Statistical Methods, 2nd edition,Wiley, NewYork, 1999, p. 515.
9. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2006. - 816с. - ISBN5 -9221-0707-0.
10. BaseGroup Labs. Методы отбора переменных в регрессионные модели. http://www.basegroup.ru/library/analysis/ regression/feature_selection/
11. Александрова О.П. Инструменты MATHCAD используемые в задачах математической статистики. Конспект лекций. http://aleksol.ru/index.htm
12. Алгоритмика, Статистика и Теория Вероятностей. Критерий Колмогорова-Смирнова. http://matstats.ru/smirnov.html
13. Боровиков В. STATISTICA - искусство анализа данных на компьютере. http://www.statosphere.ru/books-arch/ bor-kat/50--13--.html
References
1. Kevin Ahern's Professional Page. http://www.davincipress. com/professional.html
2. Borodino А.И., Kroshinskaja L.I., Sapun O.L.specialized packages for mathematical data processing. Minsk, BUT Open Company «-with». 2003. <http://bip-ip.com/spetsializirovannyie-paketyi-dlya-matem/>
3. Parameters of quality of information retrieval systems. Completeness and accuracy of delivery. http://koriolan404. narod.ru/tipis/27.htm
4. Moses L. E. (1963.) Rank tests of dispersion. - Ann. Main. Statist. 34. 973-9B3.
5. Sorokin O.D.applied statistics on a computer. 2 изд. Krasnoobsk, State Unitary Enterprise RPO FROM Russian Academy of Agrarian Sciences, 2009, 222 with.
6. Холлендер, Woolf D.A.nonparametric methods of statistics., the Finance and statistics. 1983.520 with.
7. Hollander M., Wolfe D.A., Non-parametric Statistical Methods, New York: John Wiley and Sons, 1973. p.503
8. Hollander M., Wolfe D.A., Non-parametric Statistical Methods, 2nd edition, Wiley, NewYork, 1999, p.515.
9. Kobsar A.I. Prikladnaja mathematical statistics. For engineers and science officers.-М.: FISMATLIT, 2006.-816с.-ISBN5--9221-0707-0.
10. BaseGroup Labs. Methods of selection of variables in регрессионные models. http://www.basegroup.ru/library/ analysis/regression/feature_selection/
11. Aleksandrova O.P. Instruventy MATHCAD used in problems of mathematical statistics. The abstract of lectures. <http: // aleksol.ru/index.htm>
12. Algoritmics, statistics and Probability theory. Kolmogorov-Smirnovs criterion. <http: // matstats.ru/smirnov. html>
13. Borovikov V. STATISTICA - art of the analysis of data on a computer. http://www.statosphere.ru/books-arch/bor-kat/50--13--.html
