Проверка гипотез о матрице коэффициентов многомерной линейной регрессии Текст научной статьи по специальности «Математика»

СПИСОК ЛИТЕРАТУРЫ

1. Владимиров B.C., Волович И.В. Суперанализ. 1: Дифференциальное исчисление // Теор. и матем. физ. 1984. 59, № 1. 3-27.

2. Rogers A. A global theory of supermanifolds // J. Math. Phys. 1980. 21. 1352-1365.

3. Коноплева Н.П., Попов B.H. Калибровочные поля. М.: Атомиздат, 1980.

4. Березин Ф.А. Введение в алгебру и анализ с антикоммутирующими переменными. М.: Изд-во МГУ, 1983.

5. Смоляное О.Г. Анализ на топологических линейных пространствах и его приложения. М.: Изд-во МГУ, 1979.

6. Смоляное О.Г., Шаегулидзе Е.Т. Континуальные интегралы. М.: Изд-во МГУ, 1990.

7. Гедепштейп Л.Э., Криее И.В. Суперсимметрия в квантовой механике // Успехи физ. наук. 1985. 146, вып. 4. 555-590.

8. Kupsch J., Smolyanov О.С. Hilbert norms for graded algebras // Proc. AMS. 1999. 128, N 6. 1647-1653.

9. Kupsch J., Smolyanov O.G. Functional representations for Fock superalgebras // Infinite Dim. Analys., Quantum Probab., and Rel. Topics. 1998. 1, N 2. 285-324.

10. Urinovskii A.N., Shamarov N.N. Inner products compatible with an algebra structure // Russ. J. Math. Phys. 2002. 9, N 3. 351-370.

Поступила в редакцию 03.07.2003 После доработки 05.10.2005

УДК 519.237.3

ПРОВЕРКА ГИПОТЕЗ О МАТРИЦЕ КОЭФФИЦИЕНТОВ МНОГОМЕРНОЙ

ЛИНЕЙНОЙ РЕГРЕССИИ

Д. А. Бусарова

Для проверки гипотезы о равенстве нулю регрессионных коэффициентов в модели многомерной линейной регрессии предложена новая аффинно-инвариантная асимптотически свободная от распределений данных тестовая статистика. Изучены ее асимптотические распределения как при нулевой гипотезе, так и при близких к ней альтернативах и найдена асимптотическая эффективность по Питману соответствующего критерия.

1. Рассмотрим модель многомерной линейной регрессии

Уг = ВдХг+ег, 1 = 1,2, ...,П,

где Уг — наблюдаемый (д х 1)-вектор отклика, Х^ — наблюдаемый (р х 1)-вектор фактора и е^ — (д х 1)-вектор случайных ошибок. Мы будем предполагать, что как фактор Х^, так и отклик являются случайными. Наша задача — по п наблюдениям проверить гипотезу Но : Во = 0 о равенстве нулю неизвестной (р х д)-матрицы регрессионных коэффициентов.

Идея построения тестовой статистики, представленной в статье, основана на медианной оценке Тэйла [1] параметра наклона для модели простой линейной регрессии. Пусть

Уг = bol + b02Xí +£i, Í = 1, Медианная оценка Тэйла параметра наклона 6q2 есть

,п.

¡32n = med

Ytl , 1 < h < г2 < n, Xh ф X,

X%2 Xi^

г2

т.е. (32n = argmin/32eRC72n(/?2)) где

и2пШ =

E

У — У

P2 ~ X - X

Поскольку Ьо2, то ПРИ гипотвзв Но '■ Ьо2 = 0 минимум функции f/2n(/?2) с вероятностью 1

достигается в точке, сколь угодно близкой к нулю, для всех достаточно больших п, т.е. значение Vf/2n(0) (где V обозначает градиент) должно быть близким к нулевому. Грубо говоря, при больших значениях величины Vf/2n(0) гипотезу Hq следует отвергнуть в пользу альтернативы Нд : &02 ф 0. Согласно вышесказанному, в качестве тестовой статистики для проверки гипотезы Hq : 602 = 0 можно рассмотреть величину

т2п = Vf/2„(0) = sgn

Y — Y

Заметим, что при X^ ф Xi2 величина -у^2-есть вторая координата вектора

( Yj 1 — Yj2 \

Xi-^

Y — Y

V Xi2 — Xix J

Обобщая вышеупомянутый подход, для проверки гипотезы Hq : (601, ¿>02) = (0, 0) можно рассмотреть величину Тп = V£/ra(0), где Un((3) есть целевая функция для медианы Оя [2] совокупности векторов {b(h,i2)}--

ип{]3) = &ve{V (I3,b(i1,i2),b(i3,i4))}.

Здесь V(b\,b2,bs) обозначает площадь треугольника с вершинами в точках 61,62,^3 и среднее берется по всем возможным парам векторов {b(i\, ¿2), b(is, ¿4)}) 1 ^ Ч < ¿2 ^ п, 1 < ¿3 < ¿4 < п.

Перейдем теперь к многомерной многофакторной модели. Введем понятия элементарных множеств и элементарных регрессий. Каждое элементарное множество есть подмножество I = {г 1,12, ■■■, %>} размера р исходных наблюдений. Далее, пусть Y(I) есть (р х д)-матрица (Y^, Yi2,..., Yip)T и X(I) — (р х р)-матрпца (Х^, Xi2,..., Xip)T. Если rank(X(/)) = р, то элементарная регрессия определяется как В{1) = X(I)~lY(I). Если же rank(X(/)) < р, то элементарная регрессия не определена и мы будем называть ее вырожденной.

Для построения тестовой статистики векторизуем сначала каждую невырожденную элементарную регрессию с помощью операции vec: b(I) = vec(В(I)). Операция vec преобразует (р х д)-матрицу в (pq х 1)-вектор, помещая последовательно столбцы матрицы друг на друга:

vec (В) = vec ((Б^ • • • Bq)) = ... B^f .

Из свойств операции vec отметим следующее: vec (ABC) = (Ст <g> A) vec(B), где <g> — кронекеровское произведение матриц. Таким образом, векторизованная невырожденная элементарная регрессия есть Ъ(1) = (/ <g> X(I)~l)vec(Y(I)).

Обозначим (Зо = vec(Bo). Тогда нулевая гипотеза примет вид Но : (Зо = 0. Проверка этой гипотезы будет основана на тестовой статистике Тп, являющейся вектором частных производных в точке нуль модифицированной целевой функции для медианы Оя совокупности всех невырожденных элементарных регрессий {&(/)}.

2. Введем обозначения. Пусть Jk = {ji,j2, ■ ■ ■ ,jk} — множество из к различных индексов. Обозначим через Tp(Jk) множество всех подмножеств мощности р множества Jk\

Tp(Jk) = {I = {«1, г2, • • •, гр}, is G Jfc, s = l,...,p}. Мощность множества Tp(Jk) равна ( J. Далее, обозначим

через Tppq^Jfc) множество всех подмножеств мощности pq множества Tp(Jk), таких, что все входящие в их состав p2q индексов различны:

Тр,рЯШ = {{h,h, • • •, Ipq}, h е Tp(Jk),s = 1 ,...,pq, hnl2...nlpq = 0}.

Мощность Tpipq(jk) равна {pq)[{p[yq{k_p2q)r

Обозначим Tpipq(n) = Tp>pq({l,2,... ,п}) и везде далее будем считать, что f(x)I(x G А) = 0 при I(x G А) = 0 вне зависимости от значения f(x). Определим теперь функцию Un((3).

Y — Y

Xi2 Xi-,

b(h,i2) =

'1X4\ (Yn

IX,

»2 ,

.Yi

»2 ,

Определение 1. Пусть У(Ь\,..., обозначает объем рд-мерного симплекса, вершинами которого

являются рд + 1 точка Ъ\,..., в Кр<?, т.е.

v(bi,...,bpq+i) 1

п ,11... 1

det I , , ,

01 02 • • • Opg+l

срд)\

Тогда функция ип((3) есть

ипф) = ауетр,рд(га) Ь(1\),..., Ь(1рд))1((1е1 Х{1\) 0)... 1((1е1 Х(1рд) ф

Определение 2. Тестовой статистикой Тп является величина Тп = У£/га(0). Заметим, что

1

(рд)\

(1 1 ... 1 det [l3b(h)...b(Ipq)

/(detX(Ii) ф 0)... I(detX(Ipq) ф 0) =

= \do(h, ... , Ipq) + dT(Il, . . . , Ipq)(3\,

где

d(h, ■ ■ ■ , Ipq) = (dl(Il, ■ ■ ■ , Ipq), ■ ■ ■ , dpq(Il, . . . , Ipq)) ]

<18(11,...,1рд)=С8(11,...,1рд)1^Х(11)ф0)...1^Х(1рд)ф0), S = 0,...,^

Co(/i,..., Ipq), ■ ■ ■, Cpq(I\,..., Ipq), умноженные на (pg)\, суть алгебраические дополнения к первому столбцу в вышеприведенной матрице. Следовательно,

{ Sgn(do(/l, . . . , Ipq))d{h,. ..,Ipq)}.

Пусть, далее, Zi = (Хгт, и Ik = ((к — 1 )р + 1 ,...,кр), к = 1 ,...,рд. Определим векторную

функцию

T{f3) = Ео ( Sgn(do(/l, ...,Ipq)+ dT{h, ..., Ipq)p)d(h, ..., Ipq)) ,

случайный вектор

A(Zi) = Eo^sgn(do(/i,... ,Ipq))d{I\,... ,Ipq)\Zi

и матрицу Г = Eo(A(Zi)A(Zi)T). Асимптотическое

распределение статистики Тп при нулевой гипотезе находится из следующей теоремы.

Теорема 1. Пусть выполнены условия:

(a) £\, £2, ■ ■ ■, £п ~ н.о.р.с.в., £\ = —£i;X\,X2,...,Xn — н.о.р.с.в.; совокупности {Xi\™=l и {е»}^ независимы;

(b) £|ы|2<оо;

(c) e(^\\X(I)~1 ||2/(detХ(1) ф < 00, где || • || — евклидова матричная норма.

Тогда при нулевой гипотезе Но : /Зо = 0 выполнено л/пТп —>■ NPq(0,p4g2T) при п сю. Доказательство. Применяя несколько раз неравенство Минковского и условия (а)-(с) теоремы, получим

Е0 (ds(h,.. .,Ipq)f < Const < 00 Vs = 0,... ,pg. (1)

Заметим, что Тп есть U-статистика относительно Z\,..., Zn\ Тп = avej 2 |t(Zj1,..., с симметрич-

ным ядром

t{Zh,. . . , Zjp2q) = aveTp,pq(Jp2q) { Sgn(do(Il, Ipq))d{h, ...,Ipq)},

где средние берутся по всем возможным подмножествам Jp2q = {ji,j2, ■ ■ ■ ,jp2q} множества {1,2,... ,п} и по всем {I\, I2, ■ ■ ■, Ipq} G Tpipq(jp2q) соответственно.

Рассмотрим вектор Т(0). Заменим е% на —£%, г = 1,... ,р2д (обозначим это е% —£%)■ Тогда в невырожденном случае

b(h) -b(h), k = l,...,pq;

C0(/l, ...,Ipg)^ {-l)PqC0{h, ...,Ipq)]

ck(h,...,Ipq) <-»■ (-l)pq~lck(h,...,Ipq), к = 1,2,...,pq.

Значит,

sgn(do(/b ..., Ipq))d(Ii,. ..,Ipq) - sgn(do(/b ..., Ipq))d(Ii,..., Ipq). Отсюда и условия (а) следует, что

Т( 0) = 0. (2)

Рассмотрим проекцию U-статистики Тп:

п 2 п

fn = j2 Ео(вд) = (3)

fc=i fc=i

В силу (1) ЕЦ^^,..., ^ 2?)Н < поэтому [3, п. 5.3.2]

у/й(Тп-Тп)=ор(1). (4)

Согласно (3), Тп есть сумма независимых одинаково распределенных случайных векторов. Применяя центральную предельную теорему и учитывая (2), имеем

^ТпЛмрд(0,р4д2Г). (5)

Отсюда и из (4) получаем утверждение теоремы.

Из теоремы 1 следует, что предельное распределение тестовой статистики Тп зависит от распределений факторов и случайных ошибок. Чтобы построить непараметрический критерий, мы найдем сначала оценку ковариационной матрицы Г.

Введем обозначения. Пусть I = {1\,..., 1Рд}- Для двух элементов II = {1\,..., 1рд} и 12 = {1Рд-ц, • • •, 12рд} определим

II П 12 = и (4 П 1рд+1). 1

Обозначим через ТРгРЯг2^ь) множество всех подмножеств мощности 2 множества Тргрд(,1к), таких, что элементы 1\ и 12 имеют единственный общий индекс:

Тр,рд,2^к) = {{II, 12}, 1ь 12 е Трт(<]к), |X1 Ш2| = 1}.

Обозначим Трт>2(п) = Трт>2 ({1, 2,... , п}).

Определение 3. Оценка Гга матрицы Г есть

Гга = ауе 2

\ - sgn(do(/l, • • •, 1рд)) $%п{(10{1рд+1,..., 12рд)) X

, 1рд)(1 [1рд+1, • • • , 12рд) + (1(1рд+\, . . . , 12рд)(1 (1\, . . . , 1рд) I

Теорема 2. Пусть выполнены условия теоремы 1. Тогда при нулевой гипотезе Гга Г при п —оо. Доказательство. Обозначим

С(1ь12) = ^ . . . , 1рд)) Sgn(do(Ipq+l, 12рд)) X

, 1рд)Л [1рд+1, • • • , 12рд) + (1{1рд+\, . . . , 12рд)(1 (1\, . . . , /рд) I .

Тогда Гга = ауеур рд2(п) {с(1ъ12)}- Заметим, что Гга является 11-статистикой относительно 22)..., 2п\

Гп = аvej2p2?_i (7(^1 > • • •, ^-2p29-i

с ядром

7(^1 , • • • , = {с(1Ь12)} ,

где средние берутся по всем возможным подмножествам = {л> • • • > j2p2q-l} множества {1,2,..., п}

и по всем {11,12} € 7р,рд,2(^2р2д-1) соответственно.

В силу (1) имеем Е0Ц7(Zj1,..., Zj 2 )|| < оо, где || • || — евклидова матричная норма. Применяя

2р q—l

покоординатно закон больших чисел для 11-статистик, получаем Гга Г при п —оо, что и требовалось доказать.

Определение 4. Тестовая статистика фп есть фп := Как следствие теорем 1, 2 получаем следующий результат.

Теорема 3. Пусть выполнены условия теоремы 1 и матрица Г невырождена. Тогда при нулевой гипотезе Но : /Зо = 0 предельное распределение статистики фп — центральное %2 -распределение с рд степенями свободы.

Отметим еще одно важное свойство статистики фп.

Определение 5. Пусть фп(Х,У) обозначает тестовую статистику, вычисленную по матрице факторов X и матрице откликов У. Статистика фп(Х, У) Х-аффинно-инвариантна, если фп(ХУ, У) = фп(Х, У), и К-аффинно-инвариантна, если фп(Х, У\¥) = фп(Х,У) для любых невырожденных (р х р)-матрицы V и (д х д)-матрицы \¥ соответственно.

Нетрудно показать, что верна следующая лемма.

Лемма 1. Тестовая статистика фп Х-аффинно- и У-аффинно-инвариантна.

Заметим, что на основе тестовой статистики фп нетрудно построить асимптотическую доверительную область для неизвестного истинного значения матрицы регрессионных коэффициентов. Пусть ¿¡1_а обозначает квантиль распределения Хрд уровня (1 — ск), а фп(Х, У) — тестовую статистику фп, вычисленную по матрице факторов X и матрице откликов У.

Определение 6. Доверительная область 1п(1 — а) имеет вид 1п(1 — а) = {В : фп(Х,У — ХВ) < ¿¡1_а}. В условиях теоремы 3 уровень доверия области 1п( 1 — а) сходится к 1 — а при п —оо. Найдем теперь предельное распределение статистики фп при близких альтернативах Нп : (Зо = -4=,5 ф 0 и вычислим эффективность по Питману соответствующего критерия.

V га

Докажем следующую теорему.

Теорема 4. Пусть выполнены условия теоремы 1, а также следующие условия: (с1) в окрестности нуля верно 'разложение Т((3) = Т(0) + А(3 + о(||/3||), где А — некоторая (рд х рд)-матрица;

(е) при {11,..., 1Рд} £ ТРгРд(п) равна нулю вероятность события

{с!е1 (&(/!),.. .,Ь(1ря)) = 0} П {¿еЬХУг)...¿е1Х(1рд) ф 0}.

Тогда при альтернативе Нп : ¡Зо = предельное распределение статистики л/пТп есть Мря(—А5, р4д2Т).

Доказательство. Поскольку выполнены условия теоремы 1, мы можем использовать результаты, полученные в процессе ее доказательства.

По определению Тп = УС/п(0). Заметим, что при альтернативе Нп : ¡Зо = статистика Тп равна

величине У[/га(—при нулевой гипотезе:

Т

-1- га.

/30 = ^ - V«

=ус/„(-4=)

13 0=0

Далее везде в доказательстве будем считать, что (Зо = 0, т.е. верна нулевая гипотеза.

Лемма 2. Для каждого (3 € 11р<г рассмотрим случайную функцию Кп([3) = V17п((3) — УС/п(0) +Т(0) — Т((3). Пусть последовательность [Зп € 11р<г такова, что [Зп 0 при п —оо. Тогда \/пКп((Зп) 0 при п —оо.

Доказательство. Пусть {1\,..., 1рд} £ Тр>рд(п). Для каждого (3 £ 11р<г рассмотрим векторную функцию

к((3,11,...,1Рд) =

= (¿бс/о::: ъы)) -Сег С ад::: ^

xc(/i,..., Ipq) I (det X (I\) ф 0)... /(det X(Ipq) ф 0).

По условию (е) функция к((3,1\,..., Ipq) непрерывна по (3 в окрестности нуля с вероятностью 1. Фиксируем т = 1,... ,pq и рассмотрим т-ю компоненту к(/3,1\,..., Ipq)m. Имеем к(/3,1\,..., Ipq)m 0 при ¡3 0. В силу (1)

Е (к2(/3, h,..., Ipq)m) < Const < ОО. Отсюда и из мажорируемой сходимости следует, что

Var к(/3, h, ■ ■ ■, Ipq)m 0 при (3 0. (6)

Согласно определениям Un и Кп, при фиксированном (3 G Rp<? величина Кп((3)т является U-статистикой с ядром

Zjx , ■ ■ ■ , ^jp2q)m = aveTPiPq(Jp2q

где среднее берется по всем {1\,..., Ipq} G Tpypq(jp2q). Отсюда, используя оценку дисперсии U-статистики через дисперсию ее ядра [3, п. 5.2.1, лемма А], получим для любого а > О

Т1

Р{МКп{Йга\ > а) < -2 Хш(Кп((3)т) <

сг

2 2 л 'р q — р q

< -^—yaY{k{(3,Zjl,...,Zjp2ti)m) < —2- Var (&(/?, h,... ,Ipq)m), (7)

где правая часть не зависит от п. В силу (6) и (7) для любого 7 > 0 существует 5 > 0, такое, что для всех /3, ||/?|| <5 и достаточно больших п имеем Р(\/п\Кп((3)т\ > а) < 7. Следовательно, при п —оо

Р{МКпШт\ > О) < Р{МКпШт\ > а, Ш\ <5) + Р(Ш\ > 5) < 7 + о(1). Таким образом,

У m = l,...,pq л/пКп{(Зп)т^ 0 => л/пКп((Зп) Л 0.

Лемма доказана.

По условию (d) имеем Т([3) — Т(0) = А(3 + о(||/?||). Кроме того, л/п(Тп — Тп) Д 0 в силу (4). Отсюда и из леммы 2 получаем

^ (w- i-Ш=+*** +^ (г -т(о)) =

= у/пТп-А6 + ор(1).

Отсюда и из (5) имеем

^(УС7„(—5=)) Л ДГр^-^/^Г) при и 0. л/п

Теорема 4 доказана.

Как следствие теорем 2, 4 получаем следующий результат.

Теорема 5. Пусть выполнены условия теоремы 4 и матрица Г невырождена. Тогда при близких альтернативах Нп : (Зо = -т= предельное распределение статистики фп есть нецентральное

V«-

X2-распределение с pq степенями свободы и параметром нецентральности АГ~1 А5.

Из теоремы 5 и теоремы Ханнана [4] получаем следующее утверждение.

Теорема 6. В условиях теоремы 5 асимптотическая эффективность по Питману критерия на основе статистики фп есть

_ 6ТАТ~1А6 р^26т 1(0)6'

где 1(0) — информационная матрица Фишера (определенная при существовании плотности /(е) распределения вектора Е\), равная 1(0) = Ео (Ь(2\)Ь(21)Т^, где = 1)) ® Х\.

Замечание. Условие (с) теорем сильно ограничивает множество удовлетворяющих ему законов распределения. Поэтому тестовую статистику фп целесообразно применять для статистических выводов в условиях активного эксперимента (когда исследователь сам выбирает план эксперимента). Как известно из теории оптимального планирования [5], в условиях активного эксперимента оптимальными являются планы с конечным числом значений, а такие планы (т.е. распределения Х\) удовлетворяют условию (с).

Автор выражает глубокую благодарность Ю.Н. Тюрину, под руководством которого выполнена эта работа, а также М.В. Болдину и В.Н. Тутубалину за ценные замечания и советы.

СПИСОК ЛИТЕРАТУРЫ

1. Theil Н. A rank-invariant method of linear and polynomial regression analysis // Ned. Akad. Wetensch. Proc. Ser. A. 1950. 53. 386-392.

2. Oja H. Descriptive statistics for multivariate distributions // Stat, and Probab. Lett. 1983. 1. 327-332.

3. Serjiing R.J. Approximation Theorems of Mathematical Statistics. N.Y.: John Wiley, 1980.

4. Hannan E.G. The asymptotic power of tests based upon multiple correlation //J. Roy. Statist. Soc. Ser. B. 1956. 18. 227-233.

5. Ермаков C.M., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1982.

Поступила в редакцию 29.04.2005

УДК 517.53

ОБ ОДНОМ УСЛОВИИ НА МНОГОЧЛЕН, ДОСТАТОЧНОМ ДЛЯ МИНИМАЛЬНОСТИ ЕГО НОРМЫ НА ЗАДАННОМ КОМПАКТЕ

П. А. Бородин

Пусть К — бесконечный компакт в комплексной плоскости С. Среди всех многочленов Р(г) = хп + ап-+ ... + ао заданной степени п со старшим коэффициентом 1 существует и единствен многочлен Тп(г) с минимальной нормой на этом компакте:

\\Тп\\ = mm{\\P\\ : P(z) = zJ

+ ап-izn~l +

+ ао} = minmax|P(z)| =: тп(К).

p zeK

(1)

Многочлен Тп(г) = Тп(г,К) называется многочленом Чебышева степени п для компакта К [1, 2].

Справедлив следующий критерий А. Н. Колмогорова [3]: многочлен Т(г) = хп + ... является многочленом Чебышева степени п для компакта К тогда и только тогда, когда для любого многочлена С,) (г) степени не выше п — 1 найдется такая точка ( из множества М(Т) = {( £ К : |Т(£)| = ||Т||}, что Я,е ((¡)(()Т(()) > 0. У этого критерия имеется более удобная формулировка, принадлежащая Е.Я. Ремезу [4, 5]: многочлен Т(г) = гп + ... является многочленом Чебышева степени п для компакта К тогда и только тогда, когда существуют такие точки ... £ М(Т) и такие положительные числа 5\,..., 5м, что для любого многочлена С,) (г) степени не выше п — 1 справедливо равенство

N

= о.

(2)

k= 1

Число N точек (к может быть выбрано в пределах между п +1 и 2п +1 [6]. Доказательство достаточности указанного условия довольно просто: если выполнено (2), то в одной из точек (д. имеем

ReQ(Cfc)T(Cfc) >0

п (k)

r+Qii^ir(a) + Q(a)i = №)i

i +

Q(Ck)

i +

T«k) Q(Ck)

> i

П (k)

> \T«k)I = ||T||,