Об условиях глобальной идентифицируемости для моделей факторного анализа Текст научной статьи по специальности «Математика»

Труды Карельского научного центра РАН № 5. 2011. С. 111-114

УДК 519.23

ОБ УСЛОВИЯХ ГЛОБАЛЬНОЙ ИДЕНТИФИЦИРУЕМОСТИ ДЛЯ МОДЕЛЕЙ ФАКТОРНОГО АНАЛИЗА

С. В. Стафеев

Институт прикладных математических исследовании Карельского научного центра РАН

В статье рассматривается модель факторного анализа с зависимыми остатками. Получены условия глобальной идентифицируемости и разработан метод проверки этих условий.

Ключевые слова: факторный анализ, идентифицируемость, инварианты.

S. V. Stafeev. ON GLOBAL IDENTIFIABILITY CONDITIONS OF FACTOR ANALYSIS MODELS

A factor analysis model with dependent residuals is considered. Global identifiability conditions were obtained and a method for testing these conditions was developed.

Key words: factor analysis, identifiability, invariants.

Введение

В статье рассматривается модель факторного анализа с зависимыми остатками [Стафеев, 2007]. В отличие от стандартной модели факторного анализа [Harman, 1976], в данной модели допускаются зависимости между остатками. Одной из основных проблем, возникающих при работе с моделями, содержащими латентные (скрытые) переменные, является проблема параметрической идентифицируемости, состоящей в ответе на вопрос о возможности однозначного восстановления параметров модели по матрице ковариаций наблюдаемых случайных величин. Отсутствие идентифицируемости приводит к невозможности состоятельного оценивания параметров модели. Рассматриваемая модель является частным случаем систем структурных уравнений с латентными переменными. Заметим, что в работе [Drton et al., 2011] были получены условия глобальной идентифицируемости

для систем структурных уравнений, не содержащих латентные переменные. Ранее для различных моделей факторного анализа с зависимыми остатками были получены условия почти всюду (п.в.) локальной и глобальной идентифицируемости [Стафеев, 2005, 2007; Stafeev, 2007]. В данной работе получены достаточные условия глобальной идентифицируемости рассматриваемой модели, и разработан метод проверки этих условий по имеющимся данным.

МОДЕЛЬ ФАКТОРНОГО АНАЛИЗА

Рассмотрим модель факторного анализа:

X = АН + У, (1)

где X = {Х1,..., Хга}* является вектором с матрицей ковариаций £ = (ст^); Н = {Н1, ...,Н} есть множество независимых нормально распределенных латентных (скрытых) случайных величин с М(Hj) = 0 и Var(Hj) = 1,

; = 1,..., к; А = (ац) - матрица факторных нагрузок. Вектор остатков У = {У^..., Уп}г имеет нормальное распределение с нулевым вектором математических ожиданий и матрицей ковариаций ©с = (вц). Векторы У и Н являются независимыми. Взаимосвязь между компонентами вектора У представляется в виде ковариационной графовой модели со структурой С = (У,Я), где V = {1,..,п} и (г,;) </ Е, если вц = 0.

Параметры модели (1) состоят из матрицы факторных нагрузок А и ненулевых элементов матрицы ©с.

Модель (1) называется глобально идентифицируемой, если по матрице £ матрица А определяется с точностью до ортогонального вращения, а элементы матрицы ©с определяются однозначно.

Матрица ковариаций наблюдаемых случайных £ величин допускает следующее представление:

£ = АА* + ©с. (2)

Пусть Рс - множество всех неотрицательно определенных ихи матриц, допускающих разложение (2). Наша задача состоит в нахождении множества РС С Рс ковариационных матриц, которые соответсвуют глобально идентифицируемым моделям. Задача будет решаться путем наложения ограничений на элементы матрицы £ и граф С.

Условия глобальной идентифицируемости

Пусть С = (V, Е) - дополнительный для С граф. Определим граф С = (V, Е), состоящий из множества вершин V = {1 = (*1, ...,%к), 1 ^ г1 < г2 < ... < гк ^ к} и множества ребер

Е = {(1,^)|1 = (*1,...,*к),j = (;1,...,;к),(гз,31) е

Е, 5,1 = 1, ...к}. (Впервые граф С был определен в работе [Стафеев, 2007] в контексте п.в. локальной идентифицируемости. Граф С также играет ключевую роль при нахождении полиномиальных инвариантов модели 1 [Стафе-ев, 2010; Stafeev, 2010].) На рисунке представлен пример графа С для к = 2, п = 5 и некор-релированых остатков.

Каждому ребру графа С сопоставим в со-ответсвие детерминант |£у| матрицы £у = (агт)т, г=1. Данный к х к минор матрицы £ будем называть весом ребра (1,,]).

В следующей теореме получены условия глобальной идентифицируемости модели (1).

Граф G для к = 2 и n = 5

Теорема 1. Модель (1) является глобально идентифицируемой, если граф, полученный из графа G с помощью удаления ребер, соответствующих нулевым весам, содержит компоненту связности G' = (V', E') c нечетным простым циклом и Uiev' i = V.

Доказательство. Введем обозначения: al = {ail,..., aik}t, Al = {au,..., alk} и Ф = AAt.

Очевидно, что Фу = £ц для (i, j) Є E. В работе [Стафеев, 2010] показано, что

£lj = Фу = Al(Aj)t, (І, j) Є E. (3)

Так как граф G' не содержит ребер с нуле-

вым весом, то все матрицы из набора

Фу, (i, j) Є E' (4)

являются обратимыми. Докажем, что, используя множество (4), можно однозначно определить множество матриц

Фу, i, j Є V'. (5)

Предположим, что граф G' содержит простую цепь с множеством вершин {il, І2, Із, І4} и множеством ребер {(il, І2), (І2, Із), (Із, i4)}. Используя (3), получаем

ФІі,І2 (ФІз,І2 )-1Ф1з,І4

= All (Ai2 )t[Alз (Ai2 )t]-lAlз (Ai4 )t = All (Ai4 )t.

Таким образом, получаем, что

Ф1і,І2 (ФІз,І2)-ІФ1з,І4 =Ф1і,І4 . (6)

Теперь предположим, что граф G' содержит простой нечетный цикл с множеством вершин {il, І2, Із} и множеством ребер {(il, І2), (І2, Із), (il, Із)}. Снова используя (3), получаем

ФІУ2 (ФІз^2 Г^ІзЖ

= All (Ai2)t[Alз (Ai2)t]-lAlз (All)t = All (Ail)t.

Отсюда следует, что

Ф1і,І2 (ФІз,І2)-ІФ1з,1і =Ф1і,1і . (7)

Соотношения (6) и (7) допускают следующие обобщения. Пусть граф С' содержит простую цепь с четным числом вершин {Іі, ..., Іі} и множеством ребер {(І1, І2),..., (Іі-і, Іі)}. Получаем:

8=1 — 3

ф11;1г = [ П (ф1а+2)1а+1 . (8)

8=1

Теперь пусть граф С' содержит простой нечетный цикл с множеством вершин {Іі,..., Іі} и множеством ребер

{(І1, І2),..., (Іі, Іі)}. В этом случае получаем:

8=і—2

Ф

і1,і1

[ П Ф1« >1^ + 1 (Фі.+2>і.+і) 1]Ф

11>11 •

(9)

8=1

(10)

Доказательство. Пусть Ус = {І1,..., Іі} и Ес = {(І1, І2),..., (Іі, Іі)}. Используя (4), получаем і-1

П |£1>У = |£, >1=1 П |£1.>і.+і 1

(іу)ЄЕс 8=1

і1

а (Лі. япіа, (Аі.+, )'|

8=1

П і Лі. (Лі. )‘і > 0.

По условиям теоремы граф С' содержит нечетный цикл. Пусть У1 - множество вершин этого цикла и пусть У2 = У' \ У1. Неизвестные матрицы множества (5) будем определять в три этапа. Очевидно, что в графе С' любые две различные вершины І и ^ І, j є У1, (І, j) Є Е', соединены простой цепью с четным числом вершин. Таким образом, используя (8), по набору (4) однозначно определяем множество матриц {Фу, І = j, І, j Є У1}.

Образуем граф С1 = (У', Е1), где Е1 = Е' и {(І, j), І = j, І, j Є У1}. В графе С1 любые две вершины І є У1 и j є У2, (І, j) Є Е1, соединены простой цепью с четным числом вершин. Таким образом, мы однозначно определяем матрицы {Фу, І = j, І Є У1, j Є У2}.

Теперь образуем граф С2 = (У', Е2), где Е2 = Е1 и {(І, j), І = j, ІУ1, j Є У2}. По аналогии с предыдущими случаями, в графе С2 для любых двух различных вершин І и j, І, j Є У2, (І,j) Є Е2 мы определяем Фу.

Образуем граф С3 = (У', Е3), где Е3 = Е2 и {(І, j), І = j, І, j Є У2}. Легко видеть, что граф С3 полный. Теперь, используя (10), однозначно определяем множество матриц {Фіі, І Є

У'}.

Используя набор матриц (4), мы нашли все элементы матриц из набора (5). Ввиду того, что по условию иіє’у'І = V, получаем, что мы однозначно определи все элементы матрицы Ф. Матрица Ф имеет ранг равный к, поэтому матрица А определяется с точностью до ортогонального вращения. Зная матрицу Ф, мы однозначно определяем матрицу 0 = £ — Ф. Теорема доказана.

Верно следующее утверждение.

Утверждение 1. Пусть С = (Ус, Ес) простой цикл графа С. Тогда

8=1

При доказательстве мы воспользовались тем, что матрица А^ (А^ )* является неотрицательно определенной.

Утверждение 1 допускает следующее обобщение. Пусть V' = {11,..., 1^}. Определим элементы Ь х Ь матрицы В следующим образом:

^/т —

«і^п|£і/>1т |, если (І/, Іт) Є Е'; 0,

в противном случае.

Утверждение 2. Для матрицы В найдется такая диагональная (с 1 и -1 на диагонали) матрица и = ^га^{и1, ...,и^} , что матрица

\JD\J

(11)

имеет только неотрицательные элементы.

Утверждение 2 является простым критерием для проверки возможности произвольной матрице быть матрицей ковариаций наблюдаемых случайных величин модели (1).

Проверка условий идентифицируемости

Пусть Б = (зц) - выборочная (подправленная на несмещенность) матрица ковариаций, построенная по N независимым реализациям наблюдаемых случайных величин модели (1). Для проверки условий идентифицируемости нам необходимо проверять гипотезы, имеющие вид: : |£ц| = 0. Для провер-

ки таких гипотез можно использовать статистику |5ц|, которая является асимптотически несмещенной оценкой для |£ц|. Подправленная на несмещенность оценка для |£ц| имеет следующий вид [Бг^оп et а1., 2008]:

=

(Ж — 1)

1

(Ж — к)...(Ж — 2)

!3у|. (12)

(1у)€Ес

Статистика | Б1 ^ | ассимптотически (при N ^ те) имеет нормальное распределение с математическим ожиданием |£ц | и дисперсией Varsij |Б|^ |, которая является полиномом,

113

зависящем от элементов матрицы £ [Drton et al., 2007]. В работе [Drton et al., 200В] получен

точный вид этой дисперсии:

= CI £i,j I2{

(N - І)!

VarSi,j ISi-j I

(N + І)!

(N + І - к)! (N - к - І)!

к—l

+C^цідцЖ (к - m)!(N(++^)?m)!

m=0 -

I

где C =

£lJ

ISi-jI - I£i,jI

VarSij ISi-jI

(13)

соответствующая

(М-к)...(М-1) ' подматрица матрицы (£1цуц)-1, а матрица состоит из всех т х т миноров матрицы £ц£1,,].

Заменяя в дисперсии Varsij |$ц| элементы матрицы £ц соответствующими состоятельными оценками Бу, мы получим состоятельную оценку VarsІJj|5ц| для дисперсии статистики |5ц |. Легко видеть, что

ассимптотически (при N ^ те) имеет стандартное нормальное распределение.

Используя (13), построим приближенный а-доверительный интервал [дО, дО] для |£у|. Гипотеза J будет (на уровне значимости а)

отвергаться, если интервал [дО, дО] содержит 0. Проверка условий идентифицируемости заключается в следующем. Пусть [Е] - число ребер графа С. Задаемся уровнем значимости а. Затем строим а/[Е] - доверительные интервалы [дО, дО]іу для |£ц|, (І, j) Є Е. Если доверительный интервал [дО, дО]у содержит 0, то удаляем соответствующее ребро из графа С. Если после удаления ребер получившийся граф С'' = (У'', Е'') удовлетворяет условиям теоремы 1, то считаем, что гипотеза о том, что модель является глобально идентифицируемой, не отвергается на уровне значимости а.

Выборочный вариант критерия (11) выглядит следующим образом. Вместо графа G', для построения матрицы D используем граф G" = (Vw, E"), полученный при проверке условий идентифицируемости по имеющимся данным:

d Г sign|Sif ,im |, если (if, im) G E//;

fm 1 0, в противном случае.

Если получившаяся матрица не удовлетворяет условиям утверждения 2, то гипотеза о том, что выборка была сгенерирована моделью 1, на уровне значимости а отвергается.

Литература

Стафеев С. В. Факторный анализ с зависимыми остатками: проблема идентифицируемости и оценка параметров // Труды ИПМИ КарНЦ РАН. 2005. Вып. 6. С. 119-130.

Стафеев С. В. О модели факторного анализа с зависимыми остатками // Обозрение прикладной и промышленной математики. 2007. Т. 14, вып. 6. С. 1058-1064.

Стафеев С. В. Полиномиальные инварианты для моделей с латентными переменными // Труды Карельского научного центра Российской академии наук. 2010. № 3. С. 83-86.

Drton M., Sturmfels B., Sullivant S. Algebraic factor analysis: tetrads, pentads and beyond

// Probability Theory and Related Fields. 2007. Vol. 138. P. 463-493.

Drton M., Massam H., Olkin I. Moments of minors of Wishart matrices // Annals of Statistics. 2008. Vol. 36(5). P. 2261-2283.

Drton M., Foygel R., Sullivant S. Global identifiability of linear structural equation models // Annals of Statistics. 2011. Vol. 39(2). P. 865-886.

Harman H. Modern Factor Analysis. University of Chicago Press, third edition, 1976. 450 p.

Stafeev S. On the parameter estimation of recursive "bow-free" models with latent variables // Proceedings of the Eighth International Minsk Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems. Minsk, 2007. Vol. 1. P. 178-181.

Stafeev S. On the method for finding invariants of factor analysis models // Computer Data Analysis and Modeling. Proceedings of the Ninth International Conference. Minsk, 2010. Vol. 1. P. 211-214.

СВЕДЕНИЯ ОБ АВТОРБ:

Стафеев Сергей Вячеславович

научный сотрудник, к. ф.-м. н.

Институт прикладных математических исследований КарНЦ РАН

ул. Пушкинская, 11, Петрозаводск, Республика Карелия, Россия, 185910 эл. почта: [email protected] тел.: (8142) 763370

Stafeev, Sergey

Institute of Applied Mathematical Research, Karelian Research Centre, Russian Academy of Science 11 Pushkinskaya St., 185910 Petrozavodsk, Karelia, Russia

e-mail: [email protected] tel.: (8142) 763370