Полиномиальные инварианты для моделей с латентными переменными Текст научной статьи по специальности «Математика»

Труды Карельского научного центра РАН № 3. 2010. С. 83-86

УДК 519.2

ПОЛИНОМИАЛЬНЫЕ ИНВАРИАНТЫ

ДЛЯ МОДЕЛЕЙ С ЛАТЕНТНЫМИ ПЕРЕМЕННЫМИ

С. В. Стафеев

Институт прикладных математических исследований Карельского научного центра РАН

В статье рассматривается модель факторного анализа с зависимыми остатками. Стандартный подход к получению статистических выводов с помощью этой модели основан на параметрическом представлении и на методе максимального правдоподобия. К сожалению, такой подход не всегда применим. Например, данная ситуация возникает тогда, когда выборочная матрица ковариаций вырождена. Один из подходов для преодоления данных трудностей состоит в использовании полиномиальных инвариантов, представляющих из себя полиномы, которые зависят от элементов матрицы ковариаций наблюдаемых случайных величин. В статье разработан метод получения таких инвариантов для произвольного числа латентных переменных.

Ключевые слова : факторный анализ, латентные переменные, полиномиальные инварианты.

S. V. Stafeev. POLYNOMIAL INVARIANTS FOR MODELS WITH LATENT VARIABLES

Statistical inference in factor analysis models is usually based on parametric representation and on maximum likelihood estimates. However , such approach is not always applicable. For example, the case when a sample covariance matrix is singular the likelihood ratio test cannot be used. One of the approaches for overcoming these difficulties consists in using model invariants, that is, polynomial equality relations that the model imposes on the entries of the covariance matrix of the observed variables. In this paper a simple method for finding model invariants for any number of latent variables is developed.

Key words: factor analysis, latent variables, polynomial invariants.

Постановка задачи

Рассмотрим следующую модель факторного

анализа:

к

X. = У а,Н< + 7, / = 1,..., и, (1)

I УЗ I* 5 5 5

]=1

где X = {Х1,..., Хи} - вектор наблюдаемых случайных величин с матрицей ковариаций 2 = (а.); H = {Н1,...,Нк} - множество независимых в совокупности нормально распределенных латентных (ненаблюдаемых) случайных

величин (факторов), причем MHi = 0, DHi = 1, i = 1,...,к ; A = (а.) - матрица факторных нагрузок. Вектор остатков Y = {Yj,...,Yk} имеет невырожденное нормальное распределение с нулевым вектором математических ожиданий и матрицей ковариаций 0 = (в.). Векторы Y и H

являются независимыми. Взаимосвязь компонент вектора Y представляется ковариационной графовой моделью [Стафеев, 2005] со структурой G = (V,E) , где V = {1,...,п} , а

E = {(i, j)| i * j,ev * 0}.

Стандартный подход к получению статистических выводов с помощью этой модели основан на параметрическом представлении модели и на методе максимального правдоподобия [Harman, 1976]. К сожалению, такой подход не всегда применим. Например, данная ситуация возникает тогда, когда выборочная матрица ковариаций вырождена. Заметим, что когда число наблюдений меньше числа переменных, это всегда так. Один из подходов для преодоления данных трудностей состоит в использовании полиномиальных инвариантов модели. Инвариант модели (1) представляет из себя полином, который зависит от элементов матрицы ковариаций наблюдаемых случайных величин. Заметим, что проблема нахождения инвариантов модели (1) связана с проблемой параметрической идентифицируемости модели (1) [Стафеев, 2006, 2009]. Основная проблема данного подхода состоит в том, что нахождение инвариантов для к > 2 очень трудно с вычислительной точки зрения [Drton et al., 2007]. В статье разработан простой метод получения таких инвариантов для произвольного числа латентных переменных.

Полиномиальные инварианты

Легко видеть, что матрица ковариаций наблюдаемых случайных величин X допускает следующее представление: X = AA + 0. (2)

Пусть PG - множество всех положительно

определенных матриц, допускающих разложение (2), и пусть f (X) - полином, зависящий от элементов <jj. матрицы X. Полином f (X)

называется полиномиальным инвариантом модели (1), если f (X) = 0 для всех матриц

X е PG . Легко видеть, что множество всех инвариантов модели (1) образует идеал 1^п кольца многочленов R[^j, i < j, (i, j) £ E]. Заметим,

что согласно известной теореме Гильберта, любой идеал имеет конечный базис.

Пусть Мк n с R*, i < j] - идеал, который

генерируется всеми (к +1) X (к +1) минорами симметричной матрицы X. (Другими словами, базис идеала Мк n состоит из всех

(к +1) X (к +1) миноров матрицы X .) В работе [Drton, Sullivant, 2007] показано, что Ік,п = Мк,п n R[*, i < jL где Ik n - идеал lGn, в котором граф G не содержит ребер. Аналогичным образом, можно показать:

iGn = hn. n R* i < j, (i, j) e E ] = Mkn П R* i < j,(i, j) e E ].

В работе [Loera et al., 1995] найден базис идеала Ik n. Он состоит из полиномов вида

*j*lm -*lP3m, i * j * l * m . (3)

Полиномы вида (3) называются тетрадами. Заметим, что простейшими инвариантами, принадлежащими 1к n, являются не содержащие диагональных элементов (к +1) X (к +1) миноры матрицы X. Примером нетривиального инварианта для к = 2 и n = 5 является пентада [Harman, 1976], имеющая вид:

*12*24*35*34*15 + *12 *24*13 *45 *35 +

*12*24*13*45*35 — *12*24*13*45*35 —

*13 *24 *35 *14 *25

+ *13*25*34*24*15

+

*15 *23*13 *24 *45 + *15 *24 *23*14 *35 .

Определим основной объект данной работы. Пусть О = (V, Е) - дополнительный для G граф. Определим граф G = (V, E), где

V = { = (*!,...,4),1 < ¿1 < ¿2 < ... < .к < ^,

E = {(1, j) 11 = (¿1,...,¿к), j = Ц,..., jk),

(¿*, j^ ) 6 Е, 5,1 = 1,..., к}.

Заметим, что граф G был впервые определен в работе [Stafeev, 2007] в контексте проблемы параметрической идентифицируемости модели (1).

Обозначим через | Х1 j | детерминант матрицы 2и=к,jl)т,1=1. Пусть с=(Ус,есь где

VC = а, I = 1,...,т}, а

Ес = {(а,а+1),.=1,. .,т -1, (а,а,,)}, - четный

простой цикл. Определим следующий полином:

*12*23*34*45*51

*12*23*35*14*45

*14 *23 *13 *45 *25 *14 *25 *23 *45 *15

/(Г) = п^.,|- Пі,

(і, І)єЕс (і, І)єЕс

где Ес = {(а.+і,а2]+2), і = о,...,т/2-1} и

Е'С = Ес \ Е<С.

Пусть Т = (V, Ет) - граф, состоящий из простого нечетного цикла с множеством ребер Е = {(al,a2),...,(aml-l,aml)}, цепи с

множеством ребер

Е2 = {(аЧ,аЧ+1),...,(ат2 -1,ат2)} и простого нечетного цикла с множеством ребер

Е3 = {(ат2,ат2+1), . ,(ат-1,ат),(атОпрЗДе-

лим следующий полином:

Гт (Г) = ПіГ, І ПіГчі2 -

(і,І)єЕ:гП(Е1^Ез) (і,і)єЕт ПЕ2

ПіГ«І Пі,

(і,.І)єЕт П(Е1^Ез) (і,і)єЕт ПЕ

где Ет = {аі+а+2), і = 0-...,[т/2] -1}-Е'т = Ет \ Ет.

Следующая теорема описывает большой класс полиномиальных инвариантов.

Теорема 1. Пусть C(G) - множество всех четных простых циклов графа G, а -

множество всех подграфов графа G, состоящих из двух нечетных простых циклов, соединенных простой цепью. Тогда

{/с (Г), /т (Г), с є ад), Т є T(G)} с II. Доказательство. Рассмотрим случай к = 1. Модель (1) в этом случае имеет вид:

X = ар + У -где А = {а1,...,ап} . Используя независимость Н и Y , получаем для (і, і) £ Е

і М( X ,Х}) =

М[( а, Н + Г, )(ар + У.)] = а іа].

(4)

Пусть с = (¥с, Ес ) - четный простой цикл графа G, причем Ус = {а,, і = 1,..., т}, а

Ес = {(і і)- і = 1-...-т - 1,(а1,ат )}. Получаем:

/с(Г) = По-,- Пі

(і,і >-Ес (і,і)єЕс

т т

Паа -Паа = 0.

і=1 і=1

Пусть Т = (Ут, Ет) - подграф графа G, состоящий из простого нечетного цикла с множеством ребер Е1 = {(а1,а2),...,(ат1 ч-а^)}- пр°-стой цепи с множеством ребер

Е2 = {(ач,ач+1),...,(ат2 -1,ат2)} и простого нечетного цикла с множеством ребер

Е3 = {(ат2,ат2 +1)-...,(ат-1,ат ),(ат ,ат2)}. По^-

чаем

/Т (Г) V П П О 2 -

(і-] У=ЕТП(Е1иЕз) (і-1 )єЕГПЕ2

П О П °іг =

(і-] )єЕГ П(Е1иЕз) (і-] ~£ЕТПЕ2

т1-1 т2 т

]П ааі ПК )2 П аа -

і=1 і=т1 /=т1+1

т1 -1 т? т

\аа

П ааі П (а а і )2 П аа = 0.

і=1 і=т1 /=т1+1

Таким образом, для к = 1 теорема доказана. Рассмотрим общий случай. Обозначим Xi = {Х,..., X к} }, Yi = {У4,..., УЧ },

ai = {aіl,...,аікУ- аі = К-...-aik}.

Легко видеть, что Хі = Ар + Уі , і є V .

Для непересекающихся і и , получаем Г, = М[ХіХ/] =

М[( АіН + Уі )(Ар + у, )‘] = Аі ( а, У.

Таким образом, Гі, = А, (А,) для непересекающихся і и , . Получаем, что |Г,|=| А, || (А,) |=| Аі || А, |, (і,,) є Е . (5)

Очевидно, что соотношение (5) аналогично соотношению (4). Таким образом, подставляя в полученных полиномиальных инвариантах для случая к = 1 вместо ковариаций соответствующие миноры | Г, |, получаем требуемый результат.

Пусть т = {пі1,...,тк-1} и d = Ц,...,^ти d не пересекаются, ц ф і2 ф і3, {і1,і2,і3} £ т и d, и пусть граф G содержит цикл с множеством ребер

{(< ц,т >,< і2,d >), (< і3,т >,< і2,d >),

(< і3,т >,< і ,d >), (< і2,т >,< і1,d >),

(<і2,т >,<і3,d >), (<і1,т >,<і3,d >)}. Тогда, используя теорему 1, получаем следующий инвариант

1 Г< ^>< ^т> 11 Г< і^>< 4т> 11 Г< і2d><і3m> 1

І Г ІІ Г ІІ Г 1= 0

I < ізd><І2m> И ^<z2ld><¿1 т> И ^< іld><і32 т> I

Например, в случае к = 2 и п = 5 этот инвариант имеет вид:

fr =

*12 *32 *12 *52 *12 *42

1 4 *34 *13 *53 *15 *45

*12 *52 *12 *42 *12 *32

*14 *54 *13 *43 *15 *35

Инвариант /С’ъ является произведением <г12 и пентады.

Пусть 5 - выборочная матрица ковариаций. Для проверки нулевой гипотезы Н/ : /(Е) = 0 можно использовать статистику

/(5) [Бйоп й а1., 2008]. Обозначим через УагЕ (/ (5)) дисперсию / (5 ). Дисперсия УагЕ (/ (5)) является полиномом, который зависит от элементов матрицы Е. Заменяя матрицу Е оценкой 5, получаем оценку для дисперсии статистики Уаг5 (/(5)) . В условиях нулевой гипотезы стандартизованная статистика

/ (5)

JVars (f (S))

асимптотически имеет стандартное нормальное распределение.

Литература

Стафеев С. В. Факторный анализ с зависимыми остатками: проблема идентифицируемости и оценка параметров // Труды ИПМИ КарНЦ РАН. 2005.

Вып. 6. С. 119-130.

Стафеев С. В. О параметрической идентифицируемости модели факторного анализа с зависимыми факторами и остатками // Труды ИПМИ КарНЦ РАН. 2006. Вып. 7. С. 63-80.

Стафеев С. В. О полиномиальных инвариантах для графовых моделей с латентными переменными // Обозрение прикладной и промышленной математики. 2009. Т. 14. Вып. 6. C. 1058-1064.

Drton M., Massam H., Olkin I. Moments of minors of Wishart Matrices // Annals of Statistics. 2008. Vol. 36. P. 2261-2283.

Drton M., Sturmfels B., Sullivant S. Algebraic factor analysis: tetrads, pentads and beyond

// Probability Theory and Related Fields. 2007. Vol. 138. P. 463-493.

Drton M., Sullivant S. Algebraic statistical models // Statistica Sinica. 2007. Vol. 17. P. 1273-1297.

Harman H. Modern Factor Analysis. University of Chicago Press, third edition, 1976. 450 p.

Loera J. A., Sturmfels B., Thomas R. R. Grobner bases and triangulations of the second hypersimplex // Combinatorica. 1995. Vol. 15. P. 409-424.

Stafeev S. V. On factor analysis models with correlated residuals // Extended Abstracts of Russian -Scandinavian Symposium «Probability theory and applied probability». Petrozavodsk, 2006. P. 59-61.

Stafeev S. V. On the parameter estimation of recursive «bow - free» models with latent variables // Proceedings of the Eighth International Minsk Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems. Minsk, 2007. Vol. 1. P. 178-181.

СВЕДЕНИЯ ОБ АВТОРЕ:

Стафеев Сергей Вячеславович

научный сотрудник, к. ф.-м. н.

Институт прикладных математических исследований КарНЦ РАН

ул. Пушкинская, 11, Петрозаводск, Республика Карелия, Россия, 185910

эл. почта: stafeev@krc.kare1ia.ru тел.: (8142) 763370

Stafeev, Sergey

Institute of Applied Mathematical Research, Karelian Research

Centre, Russian Academy of Science

11 Pushkinskaya St., 185910 Petrozavodsk, Karelia, Russia

e-mail: stafeev@krc.karelia.ru

tel.: (8142) 763370