Синтез робастных процедур проверки статистических гипотез на основе пермутационных критериев Текст научной статьи по специальности «Математика»

УДК 621.396

СИНТЕЗ РОБАСТНЫХ ПРОЦЕДУР ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ НА ОСНОВЕ ПЕРМУТАЦИОННЫХ КРИТЕРИЕВ

КОЛЯДИН В.Л.____________________________

Предлагается общий подход к построению робастных непараметрических процедур проверки широкого класса статистических гипотез. Подход основан на применении множества пер мутационных критериев и статистически адекватном агрегировании полученных результатов (p-значений) к одному результирующему значению. Агрегирование осуществляется также на основе пермутационных критериев. При этом существенно повышается робастность результирующего решения.

Введение

В условиях, характерных для большинства практических задач статистического анализа реальных данных, на первое место выступает требование робастности используемой статистической процедуры [1,2]. Под робастностью в широком смысле понимается способность процедуры обеспечивать приемлемое качество (точность оценки, вероятность правильного решения и т.д.) для любого распределения из достаточно широкого множества возможных распределений. Хотя неробастные процедуры и могут обеспечить более высокое качество на отдельных распределениях по сравнению с робастными, они обычно существенно уступают последним на других распределениях. Поскольку для реальных задач характерна высокая априорная неопределенность относительно истинного закона распределения, то на практике предпочитают использовать робастные процедуры [3].

Достаточно общим подходом к синтезу робастных решающих процедур является адаптивный выбор из некоторого множества первичных процедур. В работе [4] предложен такой подход к синтезу робастных процедур оценивания параметров, основанный на применении неклассической статистической техники бутстреп. В этой статье данная идея адаптивного выбора применена к задаче синтеза робастных процедур проверки статистических гипотез. В основу подхода положена другая неклассическая техника, известная как пермутационные критерии.

Пермутационные критерии (“критерии перестановок”, англ. “permutation tests”) обеспечивают статистически корректную проверку широкого класса статистических гипотез при полном незнании закона распределения [5,6]. Несмотря на долгую историю (первый пермутационный критерий был предложен Р.Фишером еще в 1934 году), этот класс процедур статистического анализа стал реальным практическим инструментом лишь с наступлением компьютерной эры. Это связано со значительными

вычислительными затратами, необходимыми для реализации пермутационных критериев. К настоящему времени все большая часть специалистов приходит к пониманию того, что пермутационные критерии - это не узкий класс статистических методов, ориентированных на небольшой круг специфических задач, а универсальный подход к синтезу непараметрических критериев вообще, обладающих беспрецедентной для классической статистики общностью и простотой синтеза [6,7].

Общая техника пермутационных критериев позволяет легко синтезировать множество критериев для проверки одной и той же статистической гипотезы [8]. При этом каждый из критериев можно ориентировать на некоторый класс из множества возможных распределений, т.е. обеспечить максимальную мощность именно для этого класса распределений. В силу легкости синтеза множества критериев для одной и той же гипотезы пермутационные критерии идеально подходят на роль первичных, из которых на основе некоторой адаптивной процедуры затем выбирается один. Однако при этом возникает принципиальная трудность. Простой выбор наиболее значимого результата — наименьшего из p-значений, полученных для каждого первичного критерия, дает статистически некорректный результат (заниженное p-значение). Необходим более корректный способ агрегирования множества p-значений к одному результирующему p-значению.

В этой статье предложен общий подход, позволяющий статистически корректно агрегировать p-значения, найденные в результате применения множества пермутационных критериев, к единому p-значению. Этот подход основан на рекурсивном применении общей схемы пермутационных критериев.

1. Общая схема пермутационных критериев

Пермутационные критерии применимы к широкому кругу задач проверки статистических гипотез, которые можно разбить на два класса - анализ одной выборки и сравнение двух (или нескольких выборок). В обоих случаях базовая идея любого пермутационного теста достаточно проста и укладывается в одну общую схему (хотя вычислительные затраты на практическую реализацию критерия обычно существенно выше, чем для традиционных статистических критериев).

В случае двух или нескольких выборок исходными данными являются M > 2 неупорядоченных множеств (выборок):

Xm _ {xm1’---’XmNm }, m _ 1,...,M ,

где Nm — размер m -й выборки. Предполагается, что элементы {xmi} каждой из выборок извлечены случайно и независимо из некоторой генеральной совокупности. При этом природа элементов значения не имеет — они могут быть скалярами, векторами, матрицами, строками символов, изображениями и т.д. Единственное требование — элементы всех M выборок должны быть однотипными.

РИ, 2002, № 4

13

Подлежащая проверке нулевая гипотеза предполагает, что все M выборок извлечены из одной генеральной совокупности. В случае, например, числовой природы элементов это означает, что все элементы всех M выборок являются независимыми одинаково распределенными случайными величинами. Основная степень свободы при построении пермутационного критерия состоит в возможности ориентации критерия на конкретный тип альтернативной гипотезы. Для этого выбирается некоторая статистика (функция от данных) t(X1;...,Xm), чувствительная к ожидаемой альтернативной гипотезе. Под чувствительностью здесь понимается то,

что статистика t(-) при истинной альтернативной гипотезе в среднем чаще принимает большие значения, чем при истинной нулевой гипотезе. Например, если имеется две выборки (M = 2) и интерес представляет сравнение центрального положения распределений (т.е. альтернативная гипотеза предполагает различие центров распределения), то в

качестве t(-) можно выбрать одну из функций общего вида:

Иными словами, значение T(X; t(-)) — это доля тех перестановок ж объединенной выборки X, для которых значение t(rc(X)) первичной статистики t(-) для результата rc(X) перестановки не меньше значения t(X) первичной статистики t для исходной выборки.

Результирующая статистика T, определяемая выражением (2), при истинной нулевой гипотезе обладает следующим уникальным свойством:

Prob [ T(X;t(-)) < а ] < а, Уае[0, 1], (3)

где Prob[A] — вероятность события A . Выполнение условия (3) означает, что принятие решения из простого правила

Ht(X)

Ho, еслиT(X;t(-)) > а, Hi, если T(X;t(-)) < а

(4)

гарантирует, что вероятность ошибки 1-го рода не превышает а :

Prob[H = H1 | H0] <а . (5)

t(Xi,X2) =|C(Xi) - C (X2)|, (1)

где C (X) — некоторая оценка центра распределения, например, выборочное среднее или медиана. Если интерес представляет сравнение дисперсии, то

в качестве C можно использовать некоторую оценку дисперсии выборки, например, выборочную дисперсию, средний модуль уклонения от медианы, разность 75 и 25% точек распределения выборки и т.д. Уже из этого простейшего примера

видно, что выбор первичной статистики t(-) осуществляется достаточно просто, исходя из практических соображений и специфики задачи.

Пусть X = Xi u...u Xm — объединенная выборка из N = Ni +.. .+N м элементов. Для упрощения записи будем считать, что элементы в объединенной выборке X расположены в том же порядке, что исходные выборк, т.е. первые Ni элементов X являются элементами Xi , следующие N2 элементов — элементами X2 и т.д. Тогда первичную статистику t(Xb..,XM) можно формально рассматривать как функцию одного векторного аргумента - объединенной выборки X .

Пермутационные критерии предполагают вычисление следующей величины, играющей роль результирующей статистики критерия:

T(X;t(-)) = £ I(t(rc(X)) > t(X)). (2)

N!лєП v '

Здесь П — множество всех N! перестановок ж элементов объединенной выборки X размера N ; ! — знак факториала; I() — индикаторная функция:

fi, если А истинно,

I(A) =\0 А

[0,если А ложно.

Здесь Ho и Hi — нулевая и альтернативная гипотезы, соответственно. Доказательство свойств (3),(5) приведено в [8].

Поскольку условия (3),(5) выполняются для любой первичной статистики t(-) и любого закона распределения генеральной совокупности, то пермутационные критерии являются общим подходом к синтезу непараметрических (или “свободных от распределения”) критериев. Процедура синтеза нового критерия сводится к выбору первичной статистики t(-), а описанный выше общий алгоритм (2),(4) автоматически гарантирует решение наиболее сложной задачи классической непараметрической статистики — нахождения инвариантной статистики T(). Под инвариантностью статистики здесь понимается независимость ее выборочного распределения при истинной нулевой гипотезе от закона распределения генеральной совокупности.

В силу (3) выборочное распределение результирующей статистики T(X;t(-)) при нулевой гипотезе помимо инвариантности обладает и другим уникальным свойством - оно практически совпадает с равномерным на интервале [0, i] распределением. Это означает, что само значение T(X;t(-)) уже является результирующим p -значением для имеющихся данных X . Это свойство делает ненужным применение таблиц или расчет p -значения путем численного обращения выборочного интегрального распределения.

2. Задачи, связанные с анализом одной выборки

Другую категорию задач проверки статистических гипотез, к которым применимы пермутационные критерии, составляют задачи анализа одной выборки . Большинство таких задач связано с обнаруже -нием различных видов статистической связи.

14

РИ, 2002, № 4

Имеется случайная выборка

A = {(x1,yi),...,(xN,yN)} , элементы которой являются упорядоченными парами (х; ,у;). При этом природа элементов пар может быть произвольной и различаться для первого (х) и второго (у) элемента пары. (Например, х; — изображения различных участков местности в ИК диапазоне, у; — изображения в радиодиапазоне.) Нулевая гипотеза предполагает, что элементы х; и у; статистически независимы; альтернативная гипотеза предполагает наличие некоторой статистической связи между х и у .

Пусть X = (хь...,х^ и Y = (уь...,у^ - упорядоченные множества (последовательности) элементов х и у. В качестве первичной статистики t(-) в большинстве случаев целесообразно выбрать некоторую меру t(X,Y) статистической связи между х и у. Заметим, что даже для простейшего случая скалярных величин х и у, наряду с общеизвестной мерой линейной связи (коэффициентом корреляции Пирсона), известно множество различных мер связи [9]. Для простоты будем считать, что большие

значения t(X,Y) соответствуют более сильной связи.

Общая схема пермутационных критериев в этом случае отличается от описанной выше лишь способом вычисления результирующей статистики:

T(X,Y;t( )) = £I(t(rc(X),Y) > t(X,Y)). (6)

N!лєП v 7

Основное отличие выражения (6) от (2) заключается в том, что перестановке подвергается одно из

упорядоченных множеств исходных данных — X или Y . При истинной нулевой гипотезе (т.е. статистической независимости х и у) статистика (6) обладает свойствами (3),(5) для любых законов распределения элементов х и у и для любой первичной статистики t(X, Y). Полное доказательство приведено в работе [8].

3. Практическая реализация пермутационных критериев

Точное вычисление результирующей статистики T пермутационных критериев из выражений (2) или (6) практически не реализуемо даже при умеренном суммарном размере N выборок—порядка нескольких десятков. Это связано с необходимостью формирования N! перестановок rc(X) объединенной выборки X и вычисления для каждой из них значения t(rc(X)) первичной статистики t(-). Поэтому значение результирующей статистики T(X,t(-)) на практике обычно рассчитывают приближенно методами Монте-Карло [6,7]. Общая схема пермутационного критерия в этом случае выглядит следующим образом.

Шаг 1. Вычислить наблюдаемое значение to = t(X) первичной статистики t(-), т.е. ее значение для исходной объединенной выборки X.

Шаг 2. Выбрать случайным образом одну перестановку ж из множества П всех N! возможных перестановок выборки X и вычислить для нее

значение t(tc(X)) первичной статистики t(-). (Для этого обычно используют известные алгоритмы случайной перестановки элементов массива.)

Шаг 3. Повторить шаг 2 достаточно большое число (м) раз и определить количество Mi реализаций шага 2, на которых выполнилось условие t(^(X)) > t(X) .

Шаг 4. Приближенное значение T (оценка) искомого значения T(X;t(-)) определяется из выражения

T = Mill м +1 .

Полученное значение T используется непосредственно в качестве результирующего p -значения или же для принятия решения на основе правила

(4).

Количество M анализируемых случайных перестановок выбирается из соображений точности оценки T, достаточной для сравнения с заданным уровнем а значимости критерия (допустимой вероятности ошибки 1-го рода) на основе правила (4).

4. Множественные пермутационные критерии

В отличие от классических непараметрических критериев пермутационные предоставляют практически неограниченную свободу благодаря отсутствию каких-либо ограничений на выбор первичной статистики t(-), которая собственно и определяет мощность пермутационного критерия для конкретных альтернативных гипотез. Напомним, что мощность критерия количественно выражается через вероятность правильного решения об отклонении от истинной нулевой гипотезы. Известно, что в подавляющем большинстве практически интересных задач не существует критерия, наиболее мощного для всех представляющих интерес альтернативных гипотез [10]. В такой ситуации общая схема пермутационных критериев позволяет легко построить множество критериев, каждый из которых ориентирован на конкретный класс альтернатив — обладает большей мощностью в отношении данного класса альтернатив, чем остальные критерии.

Проиллюстрируем на примере задачи анализа двух случайных выборок Xi = {хп,...,хШі} и X2 = {х2і,...,х2^} размера N1 и N2 соответственно, элементы которых являются вещественными скалярными величинами. Подлежащая проверке нулевая гипотеза предполагает, что обе выборки

РИ, 2002, № 4

15

извлечены случайно и независимо из одной генеральной совокупности, Т.е. xjj и Х2І являются независимыми и одинаково распределенными случайными величинами. Практический интерес представляет общая альтернативная гипотеза о том, что центральное положение распределений различается для х1; и x2i.

В качестве первичных статистик t(-) будем использовать простейшие статистики общего вида (1), т.е. абсолютное значение разности некоторой оценки центрального положения для первой и второй выборки. Ограничимся следующими тремя простейшими оценками центрального положения:

C i(X)

_ min(xb...; ,xn) + max(x1,...,xN) , (7)

2

1N

C 2(X) = (8)

C 3(X) = median(x1,...,xN). (9)

Сначала исследуем поведение полученных трех пермутационных критериев при нулевой гипотезе. Для тестового распределения формируем две случайные независимые выборки Xi и X2 размера N1 и N2. Применяем к такой паре выборок общую схему приближенных пермутационных критериев, описанную в разделе 3 для каждой из трех первичных статистик tk(-),k = 1,2,3 . В результате получаем значения Tk(X),k = 1,2,3 результирующих статистик для трех синтезированных пермутационных критериев. Эту процедуру повторяем многократно (для других пар случайных выборок) и для каждого из трех критериев отдельно подсчитываем долю Р0Ш1(а) тех выборок, для которых нулевая гипотеза (ошибочно) отвергается на основании правила (4) для некоторого заданного уровня значимости а . Если критерий является точным, то вероятность такой ошибки (ошибки 1-го рода) должна совпадать с а , а полученная нами оценка Р0шДа) этой вероятности должна быть достаточно близка к а .

Здесь median(-) — медиана выборки; min(-) и max(-) — минимальный и максимальный элементы выборки.

В качестве тестовых законов распределения выберем нормальное, с более легким хвостом и с более тяжелым хвостом.

В качестве тестового распределения с легким хвостом будем использовать симметричную смесь двух стандартных нормальных распределений вида

pl(x; е) = |pn(x-0)+|pn(x+е). (10)

Здесь pn(x) — плотность стандартного нормального распределения. При достаточно большом значении параметра 0 распределения с плотностью вида (10) являются бимодальными (“двугорбыми”) и значение эксцесса (меры тяжести хвоста относительно нормального распределения) для них отрицательно.

В качестве тестового распределения с тяжелым хвостом используем распределение с плотностью следующего вида:

Ph(x; В,5) = (1 -в)Pn(x) + 81Pn(x/5),. (11)

о

Распределение с плотностью вида (11) представляет собой смесь двух нормальных распределений с отличающимся в 5 раз стандартным отклонением и вероятностным весом более широкого распределения в . Такого рода распределения являются одной из наиболее часто используемых моделей аномальных ошибок измерений [1,2].

Три первичные статистики tk(-),k = 1,2,3 формируем подстановкой выражений (7)-(9) в (1). Значения Tk(X; tk(-)) результирующей статистики рассчитываем согласно общей схеме пермутационных критериев для M = 1000 случайных перестановок объединенной выборки X.

Такое исследование было проведено отдельно для каждого из трех тестовых распределений при размере первой и второй выборки N1 = N2 = 50 . Исследовались одно распределение с легким хвостом — Pl(x; 0 = 3), нормальное распределение и одно с тяжелым хвостом — Ph(x; в = 0,2, 5 = 10). Анализировались 1000 пар выборок из каждого распределения (нулевая гипотеза) и 1000 пар после внесения смещения d в одну из выборок в каждой паре (альтернативная гипотеза). Результаты приве -

Таблица 1. Вероятность ошибки 1-го рода

Распределение

Первичная с легким нормаль- с тяжелым

статистика хвостом ное хвостом

Уровень значимости а = 0,.

60 0,095 0,104 0,111

t2() 0,104 0,108 0,115

t3(-) 0,103 0,098 0,102

min(P1,P2,P3) 0,206 0,206 0,235

Уровень значимости а = 0,05

60 0,049 0,047 0,047

t2() 0,051 0,062 0,058

t3(') 0,046 0,054 0,055

min(P1,P2,P3) 0,104 0,113 0,126

Таблица 2. Вероятность обнаружения различия

Распределение

Первичная с легким нормаль- с тяжелым

статистика хвостом ное хвостом

d=1,5 d=0,75 d=1,0

Уровень значимости а = 0,.

90 0,963 0,605 0,110

t2() 0,756 0,981 0,322

ts(-) 0,294 0,940 0,951

Уровень значимости а = 0,05

90 0,931 0,517 0,051

t2() 0,645 0,959 0,228

ts(-) 0,238 0,903 0,923

16

РИ, 2002, № 4

дены в табл. 1 и 2 для нулевой и альтернативной гипотез, соответственно, в виде вероятности отвержения нулевой гипотезы для двух уровней значимости а = 0,1 и а = 0,05 . В общем алгоритме приближенных пермутационных критериев (см. раздел 3) использовались M = 1000 случайных перестановок.

Из табл. 1 видно, что вероятность отвержения истинной нулевой гипотезы (ошибки 1-го рода) для каждого из трех критериев в пределах точности оценивания значения этой вероятности по 1000 выборкам совпадает с уровнем значимости а для всех трех тестовых распределений и обоих исследуемых значений а .

Из табл.2 видно, что мощность критерия (вероятность правильного отвержения нулевой гипотезы) существенно зависит от выбора первичной статистики. При этом для каждого из распределений существенно более мощным является один из критериев: для распределения с легким хвостом — 1-й критерий, для нормального — 2-й, для распределения с тяжелым хвостом — 3-й. Такая ситуация иллюстрирует отсутствие равномерно наиболее мощного критерия.

5. Проблема агрегирования результатов множественных критериев

В условиях априорной неопределенности относительно вида закона распределения, типичной для большинства реальных задач, вряд ли можно рассчитывать на то, что единственный критерий будет обладать достаточно высокой мощностью для всех возможных распределений. Поскольку пермутаци-онные критерии легко синтезируются, то целесообразно применить к тем же данным несколько критериев, ориентированных на конкретные типы альтернатив и классы распределений. (В описанном выше примере мы специально синтезировали три критерия, каждый из которых ориентирован на одно из трех тестовых распределений).

Однако здесь мы сталкиваемся с проблемой корректной статистической интерпретации результатов применения таких множественных критериев. Желательно иметь некоторый способ агрегирования нескольких полученных p-значнеий (результирующих статистик Tk) к единому p-значению таким образом, чтобы мощность результирующего критерия для каждого из возможных распределений была близка к мощности первичного критерия, наиболее мощного для данного распределения.

6. Рекурсивное применение общей схемы пермутационных критериев

Простым интуитивным подходом к агрегированию результатов применения множества критериев к одним и тем же данным является выбор наименьшего p-значения в качестве результирующего. При таком подходе мы можем рассчитывать на то, что если хотя бы один из используемых критериев достаточно надежно обнаруживает отклонение от нулевой гипотезы, то и вероятность правильного конечного решения будет достаточно высокой.

РИ, 2002, № 4

Фактически речь идет об адаптивном выборе критерия. Однако такой подход статистически не корректен - истинная нулевая гипотеза будет отвергаться с вероятностью, большей заданного уровня значимости а . Иными словами, неравенство (5) выполняться уже не будет. (См. строки табл.1, соответствующие статистике критерия вида min(pi, Р2, Рз)). Для решения этой проблемы агрегирования результатов нескольких критериев предлагается следующий подход, основанный на рекурсивном применении общей схемы пермутационных критериев.

Пусть {Tk(X),k = 1,...,K} — значения результирующих статистик K пермутационных критериев для анализируемых данных. В силу специфики данных критериев (свойство (3)) значения этих статистик просто совпадают с результирующими p-значениями исходных K критериев. Редуцируем K результирующих статистик к одному (агрегированному) значению:

t(2)(X) = t(2)(Ti(X),...,Tc(X)), (12)

например, следующим образом:

t(2)(X) = min{Tk(X),k = 1,...,K} . (13)

Использование агрегирующей функции вида (13) соответствует выбору того из критериев первого уровня, который дает наиболее весомое свидетельство против нулевой гипотезы, т.е. минимальное p-значение. В ситуации, подобной представленной в табл. 2 — когда один из критериев может обладать существенно большей мощностью, чем остальные, — такой способ агрегирования наиболее полно отвечает общей идее адаптивного выбора критерия и позволяет рассчитывать на заметное повышение робастности.

Даже если t(2)(X) агрегирующей функции (12) имеет смысл p-значения, как, например, в агрегирующей функции вида (13), непосредственное применение этой величины в качестве результирующего p-значения, как отмечалось выше, статистически некорректно. Поэтому величину t(2)(X) будем рассматривать как значение новой первичной статистики — в данном случае первичной статистики второго уровня. Поскольку общая схема пермутационных критериев корректна в отношении любой первичной статистики, применим ее к новой статистике (12). При этом следует учесть, что против нулевой гипотезы свидетельствуют меньшие значения t(2), т.е. следует изменить знак в неравенстве, входящем в выражение (2). Полученное в результате применения общей схемы

значение T(2)(X;t(2)(-)) новой результирующей статистики можно уже использовать в качестве результирующего p-значения нового критерия (критерия 2-го уровня).

Количество уровней рекурсии может быть и больше двух. Поскольку в общем случае не существует универсально оптимальных рекомендаций по выбору агрегирующей функции (12), то практически

17

целесообразно использовать одновременно несколько (K(2)) таких функций. В результате мы получим

значения {Tk(2)(X;t(2)(-)), k = 1,...,K(2)} нескольких результирующих статистик второго уровня. Для статистически корректного агрегирования этих K(2) значений к одному p-значению мы рассматриваем T|k2) просто как некоторые первичные статистики tk3) следующего (третьего) уровня. Затем выбираем агрегирующую функцию, например (13), и применяем снова схему пермутацион-ных критериев. В результате получаем значение

результирующей статистики T(3)(X) третьего уровня, которое используем в качестве результирующего p-значения. Очевидно, что на последнем уровне такого рекурсивного применения общей схемы мы должны ограничиться единственной агрегирующей функцией, например (13).

Общая схема пермутационных критериев гарантирует, что результирующие статистики T() для всех уровней рекурсии, включая последний, будут обладать свойствами (3)-(5) независимо от закона распределения используемых первичных статистик tk(X) и агрегирующих функций (12) на каждом уровне рекурсии. При этом мощность критерия определяется выбором первичных статистик tk (•) первого уровня и агрегирующих функций (12) -первичных статистик второго (и следующих) уровня.

7. Практическая реализация рекурсивных пермутационных критериев

Хотя описанный выше подход и корректен статистически, т.е. гарантирует выполнение условий (3)-(5), его практическая реализация затруднена следующим обстоятельством. Если использовать непосредственно общую схему приближенных пермутационных критериев из раздела 3, то следует M раз вычислить значение первичной статистики второго уровня (12). Но каждое значение статистики t(2)() вычисляется согласно (12) на основе K значений результирующих статистик Tk исходных пермутационных критериев, каждое из которых, в свою очередь, определяется на основе M -кратного вычисления первичной статистики tk . Таким образом, для двух уровней рекурсии общее число исследуемых случайных перестановок составит M2, а кратность вычисления первичных статистик — KM . Для трех уровней рекурсии эти величины составят M3 и KK(2)M3, соответственно. В нашем примере, рассмотренном в разделе 4 (при M = 10 ), количество формируемых и анализируемых перестановок составило бы 106 для двух уровней и 109 —для трех. Такая вычислительная сложность практической реализации неприемлемо высока для подавляющего числа практических задач.

Ниже предлагается подход, позволяющий ограничить сложность алгоритма анализом M , а не ML

перестановок, где L — количество уровней рекурсивного применения общей схемы.

Абстрагируемся от вычислительной сложности и допустим, что на каждом уровне рекурсии используется общая схема точных пермутационных критериев, описанная в разделе 1. Тогда на всех уровнях рекурсии анализируются все возможные перестановки объединенной выборки X. Хотя вычислительная сложность такого алгоритма может быть неприемлемо высока, она зависит от количества анализируемых перестановок M линейно при любом количестве уровней рекурсии. Если теперь применить к задаче нахождения результирующей статистики приближенные методы (Монте-Карло), то мы приходим к следующему общему алгоритму.

Шаг 1. Вычисляем значения tk0, k = 1,...,K(1) выбранных K ; первичных статистик tk(-) для объединенной выборки X - исходных данных. (Здесь и далее верхний индекс относится к номеру уровня рекурсии.)

Шаг 2. Формируем M случайных перестановок X* = rc(X) объединенной выборки X и вычисляем для них значения первичных статистик

tkm = tk(X*m), k = 1,...,K(1),m = 1,...,M .

Шаг 3. Для каждого k (каждой первичной статистики 1-го уровня) отдельно объединяем результаты шагов 1 и 2 в одну последовательность (вектор) из M +1 значения:

t (1) -lk

- (t(1) t(1) “ (tk0’tk1’

,t(kM), k = 1,...,KW. (14)

Здесь нулевое значение второго нижнего индекса соответствует исходной объединенной выборке X (данным), остальные M значений — случайным перестановкам X* = n(X) элементов исходной выборки X .

Ш)

Шаг 4. Для каждой из последовательностей (14) заменяем значения обратными рангами, т.е. максимальное значение последовательности имеет ранг 1, второе максимальное — ранг 2, минимальное значение — ранг M + 1. Нормировав полученные значения делением на (M +1), получаем для каждой первичной статистики tk(-) вектор

(1) _ (r(1) r(1) k _(rk0’rk1’

r(1)) k _ і K

KMl’ K _ E---;*'-

(1)

(15)

Первый элемент (40) вектора ?k является результирующей статистикой Tk(X) для приближенного пермутационного критерия, основанного на первичной статистике tk (•) — полученной методом Монте-Карло оценкой значения Tk(X) результирующей статистики точного пермутационного критерия, определяемого общим выражением (2).

Шаг 5. Вычисляем значения

{ t(2) _ t(2)( { Lkm - Lk (

r(1) r(1)

1m ’•••’ Km

) ,

m = 0,...M}

18

РИ, 2002, № 4

выбранных K(2) агрегирующих функций — первичных статистик второго уровня, например, гео-

метрические средние первых k минимальных значений:

tkm =<

‘k^--(n'ijS!))1'k;k = i..k(2) , (16)

~(1)

где ijm — упорядоченные в порядке возрастания значений элементы {rkm, k = 1,...K(1)} .

Шаг 6. Применяем к полученным на шаге 5 значениям {tkm; k = 1,...,K2, m = 0,...,M} шаги 35 алгоритма.

Следующие уровни рекурсивного применения общей схемы выполняются аналогично шагу 6. При этом на L -м уровне рекурсии, агрегирующие функции tkL)(0, и их количество K(L) могут выбираться произвольно. Для последнего уровня рекурсии используется только одна агрегирующая функция, например, минимальное значение. Полученное для нее значение гш — первый элемент в векторе (15) - является значением T результирующей статистики и совпадает с результирующим p-значением рекурсивного критерия.

8. Результаты моделирования рекурсивных пермутационных критериев

Описанный в разделе 7 подход к реализации рекурсивной схемы пермутационных критериев был исследован методами статистического моделирования для тестовой задачи, рассмотренной в разделе 3, для тех же параметров модели, тестовых распределений и первичных статистик критерия. Использовались те же пары выборок и наборы случайных перестановок, что позволяет сравнение с результатами моделирования трех первичных пермутационных критериев в табл. 1 и 2. Оценки вероятностей отвержения нулевой гипотезы формировались по 1000 пар исходных выборок. Результаты моделирования для нулевой гипотезы представлены в табл.3. Из нее видно, что для всех критериев частота ошибок 1-го рода находится в согласии с заданным уровнем значимости.

Таблица 3. Вероятность ошибки 1-го рода

Распределение

Первичная с легким нормаль- с тяжелым

статистика хвостом ное хвостом

Уровень значимости а = 0,1

t(2)o 0,095 0,099 0,103

t22)o 0,091 0,098 0,110

t32)o 0,102 0,099 0,114

t(3)o 0,103 0,101 0,111

Уровень значимости а = 0,05

t(2)o 0,049 0,053 0,046

t22)o 0,048 0,057 0,047

t32)o 0,050 0,060 0,048

t(3)o 0,050 0,059 0,048

Таблица 4. Вероятность обнаружения различия

Распределение

Первичная с легким нормаль- с тяжелым

статистика хвостом ное хвостом

d=0,75 d=1,5 d=1,0

Уровень значимости а = 0,1

t(2)o 0,956 0,967 0,914

42)о 0,945 0,970 0,868

t32)() 0,937 0,972 0,834

t(3)o 0,943 0,968 0,908

Уровень значимости а = 0,05

t(2)() 0,918 0,940 0,872

42)о 0,893 0,940 0,752

t32)() 0,869 0,951 0,683

t(3)o 0,907 0,942 0,843

Результаты моделирования для альтернативной гипотезы (для различающихся центров распределений) приведены в табл. 4.

Моделирование проводилось для случая трех уровней рекурсии. В качестве первичных статистик

{t(,2),k = 1,2,3} второго уровня рекурсии использовались 3 агрегирующие функции вида (16) от p-значений, полученных для трех первичных критериев, т.е. минимальное значение, геометрическое среднее двух минимальных p-значений и геометрическое среднее всех трех p-значений. В качестве

первичной статистики t(3) 3-го уровня рекурсии использовалось минимальное из 3-х p-значений, полученных на 2-м уровне рекурсии.

В целях анализа мощности критериев результаты из табл .2 и 4 представлены на рисунке в виде частоты ошибок 2-го рода (т.е. в виде значений 1 - q , где q — значение из табл. 2,4). На рисунке тестовые распределения обозначены следующим образом: ЛХ — с легким хвостом, Н — нормальное, ТХ — с тяжелым хвостом. Уровню рекурсии первичных статистик t соответствует число “штрихов”.

ТХ

статистика критерия

Вероятность ошибки 2-го рода

Для пермутационных критериев первого уровня

рекурсии (первичных статистик t1', t2', t3' критерия) отчетливо наблюдается отсутствие робастности - мощность каждого из трех критериев радикаль-

РИ, 2002, № 4

19

но различается для разных тестовых распределений. Для критериев второго уровня рекурсии (первичных статистик t1'', t2'', t3'') робастность существенно выше - максимальная вероятность ошибки (на множестве распределений) значительно ниже. В данном случае максимальную мощность и робастность имеет критерий на основе первичной статистики t1'', т.е. минимального из p-значений, полученных для критериев первого уровня. Критерий третьего (в данном случае — последнего) уровня, основанный на статистике t''', также имеет высокую робастность, сопоставимую с робастностью наилучшего из критериев второго уровня (t1’’). Общая закономерность — повышение робастности результирующего критерия путем применения рекурсивной схемы. Однако мощность критериев более высокого уровня рекурсии несколько ниже мощности наилучшего (для данного распределения) критерия предыдущего уровня рекурсии. Такое снижение мощности критерия является платой за достижение более высокой робастности.

Выводы

1. Пермутационные критерии представляют общую методологию синтеза непараметрических критериев, которая позволяет легко синтезировать новые критерии, максимально учитывающие специфику конкретной задачи.

2. Общая схема синтеза пермутационных критериев позволяет легко синтезировать множество критериев для проверки одной гипотезы, каждый из которых обладает максимальной мощностью для одного из возможных классов распределений. При этом возникает проблема корректного агрегирования по -лученных p-значений к единому p-значению.

3. Предложен общий подход к синтезу робастных критериев, основанный на применении множества

УДК 621.373.826 "

ИССЛЕДОВАНИЕ ОТРАЖАТЕЛЬНЫХ СВОЙСТВ ЧИРПИНГОВЫХ ЗЕРКАЛ N- ГО ПОРЯДКА

ЛЫСАК В.В., СУХОИВАНОВ И.А._____________

С помощью метода матрицы переноса исследуются отражательные свойства и проводится оптимизация чирпинговых зеркал различного порядка для получения структуры с минимальным значением дисперсии групповой задержки. Показывается, что наиболее оптимальным решением является использование структур с порядком чирпинга, равным 4.

Введение

Использование импульсных лазеров с шириной импульса в единицы фемтосекунд (и 10 _15c) открывает новые возможности для исследований сверхбыстрых процессов в области физики, технологий, химии, биологии и медицины.

критериев к исходным данным и статистически корректном агрегировании результатов к единому p-значению. Подход основан на рекурсивном применении общей схемы пермутационных критериев. При этом мощность результирующего критерия для любого распределения сравнима с мощностью наилучшего (для данного распределения) первичного критерия.

Литература: 1. Хьюбер П. Робастность в статистике. М.: Мир, 1984. 304 с. 2. Устойчивые статистические методы оценки данных /Под ред. РЛ.Лонера, Г.Н. Уилкинсона. М.: Машиностроение, 1984. 232 с. 3. Корнильев Э.А., Прокопенко И.Г., Чуприн В.М. Устойчивые алгоритмы в автоматизированных системах обработки информации. К.: Техника, 1989. 224 с. 4. Колядин В.Л. Синтез адаптивных робастных оценок на основе техники бут-стреп // Радиоэлектроника и информатика. 2001. №4. С. 18-22. 5. КоксД, Хинкли Д. Теоретическая статистика. М.: Мир, 1978. 560с. 6. Davison A. C., Hinkley D. V. Bootstrap methods and their application. Cambridge: Cambridge University Press, 1997. 582 p. 7. GoodP.I. Permutation tests. New York: Springer Verlag, 1994. 286 p. 8. Колядин В.Л. Пермутационные критерии как универсальный непараметрический подход к проверке статистических гипотез // Радиоэлектроника и информатика. 2002. № 3. С. 7-14. 9. Елисеева И.И., Рукавишников В. О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связей). М.: Статистика. 1977. 144 с. 10. Леман Э. Проверка статистических гипотез. М.: Наука, 1979. 408с.

Поступила в редколлегию 08.05.2002

Рецензент: д-р техн. наук, проф. Костенко П.Ю.

Колядин Владимир Леонидович, канд. техн. наук, докторант кафедры авиационно-космических радиотехнических систем Национального аэрокосмического университета “ХАИ”. Научные интересы: неклассические методы анализа данных, включая обработку сигналов и изображений. Увлечения и хобби: история и методология науки, теннис. Адрес: Украина, 61129, Харьков, пр. Тракторостроителей, 162-Г, кв. 128, тел.14-81-44.

Генерация ультракоротких импульсов достигла такого уровня, когда стандартные зеркала Брэгга ограничивают ширину импульса лазеров [1]. Для формирования ультракоротких импульсов используют модуляторы с синхронизацией мод на ячейке Керра и полупроводниковые насыщающиеся затворы (SESAM от англ. semiconductor saturable absorber mirrors) [2], а для уменьшения ширины импульса -несимметричные зеркала Брэгга, в которых толщина слоев с высоким показателем преломления изменяется по определенному закону от слоя к слою, или чирпинговые зеркала (CM — chirping mirrors).

В работе [2] для генерации импульсов менее 10 фс использовались зеркала чирпингом 2-го порядка (DCM — double chirping mirrors). Последующее уменьшение импульса возможно за счет уменьшения оптического пути зеркал Брэгга. В работах [3, 4] представлена теория и аналитическая конструкция DCM, однако в них изменялась толщина только области с высоким показателем преломления.

20

РИ, 2002, № 4