CC BY
61
ВЫБОР МЕТОДА ОЦЕНКИ ЗНАЧЕНИЙ ОБЩИХ ФАКТОРОВ ДЛЯ ОТДЕЛЬНЫХ ОБЪЕКТОВ В ФАКТОРНОМ АНАЛИЗЕ И ИХ СРАВНЕНИЕ ПРИ НУЛЕВЫХ НАГРУЗКАХ НА НЕКОТОРЫЕ СПЕЦИФИЧЕСКИЕ ФАКТОРЫ
УДК 519.23
Виктор Борисович Турундаевский,
к.э.н., доцент, проф. каф. Прикладной математики Московского государственного университета экономики, статистики и информатики (МЭСИ) Тел.: 8 (495)-442-70-98 Эл. почта: [email protected]
Ирина Владленовна Орлова,
к.э.н., профессор, проф. каф. Системного анализа и моделирования экономических процессов Финансового университета при Правительстве РФ (Финуниверситет) Тел.: 8 (499)-277-21-44 Эл. почта: [email protected]
В статье рассматриваются методы оценки значений общих факторов для отдельных наблюдений, делается выбор между тремя наиболее применяемыми на практике методами оценки значений факторов: регрессионным методом, методом Бартлетта и методом «идеальных параметров» Хармана. Однако этими методами нельзя пользоваться, если дисперсии некоторых специфических факторов равны нулю. Предлагается метод решения задачи в этом случае. Смысл метода состоит в добавлении к исходным переменным искусственно сгенерированных специфических факторов, с тем, чтобы к преобразованным данным можно было применить рассматриваемые методы оценки значений факторов. Предлагаемый метод пригоден к использованию и в случае коллинеарности исходных признаков, что расширяет возможности применения факторного анализа. Подробнее других рассмотрен метод «идеальных параметров» Хармана. Доказаны экстремальные свойства метода.
Ключевые слова: факторный анализ, общие факторы, специфические факторы, матрица нагрузок на факторы, вырожденное распределение, методы оценки значений общих факторов, метод Бартлетта, метод «идеальных параметров» Хармана.
Viktor B. Turundaevsky,
PhD, Associate Pro-fessor, Dept. Applied Mathematics, Moscow State University of Economics, Statistics and Informatics (MESI) Tel.: (495) 442-60-98 E-mail: [email protected]
Irina V. Orlova,
PhD, Professor, Dept. System analysis and modeling of economic processes of the Financial University under the Government of the Russian Federation Tel.: (499) 277-21-44 E-mail: [email protected]
SELECTION A METHOD FOR ESTIMATING THE VALUES OF COMMON FACTORS FOR INDIVIDUAL OBJECTS IN THE FACTORIAL ANALYSIS AND THEIR COMPARISON WITH ZERO LOADS ON SOME SPECIFIC FACTORS
The article considers methods of estimating the values of the common factors for individual observations, make a choice between the three most used methods in practice evaluation of factor values: the regression method, Bartlett method and the method of "ideal settings" Harman. However, these methods cannot be used if the variance of some specific factors equal to zero. A method is proposed for solving the problem in this case. The meaning of the method consists in adding to the original artificially generated variables specific factors, in order to transformed data it was possible to apply the methods of evaluation of factor values. The proposed method is suitable for use in the case of collinearity initial signs that extends the application of factor analysis. More other method considered "ideal settings" Harman. We prove the extreme properties of the method.
Keywords: factor analysis, General factors, specific factors, the matrix of loadings on the factors, degenerate distribution, methods of evaluation values of common factors, the Bartlett method, the method of "ideal settings" Harman.
1. Введение
Пусть X1, Х2, • .., Хр р наблюдаемых признаков, -результаты г-го наблюдения признаков, г = 1, 2, •.., п, Х = Х) - матрица наблюдений (исходных данных).
Факторный анализ внешне связан с анализом главных компонент. В обоих случаях рассматриваются зависимости между т признаками, образующими вектор Х, на основе анализа ковариационной или корреляционной матрицы и расщепления её на составляющие части. Если в компонентном анализе каждый признак Х}- есть линейная комбинация первых к главных компонент плюс (ш-к) последних компонент, то в факторном анализе предполагается, что Х}-является линейной комбинацией к линейно независимых факторов, так называемых «общих факторов» /1, /2, •.., /к, плюс «специфический» для данного признака фактор и, некоррелированный ни с общими факторами, ни с другими специфическими факторами. Однако, если в компонентном анализе значения любых главных компонент для г-го наблюдения признаков являются линейными комбинациями значений признаков и, следовательно, могут быть вычислены на основе матрицы наблюдений признаков Х, то в факторном анализе значения общих факторов являются скрытыми, непосредственно не вычисляемыми значениями. Их можно лишь оценить, приняв то или иное дополнительное допущение относительно их значений. Поэтому существует ряд методов для получения оценок общих факторов.
Модель факторного анализа имеет вид:
= К/ + li 2 / + •••+Lfm + e = £ ijfj + e
(1)
j=1
Будем считать x, центрированными, а факторы - ортогональными:
M(xi) = 0, M(f) = 0, M(u) = 0, of = 1, d2(e1) = v, covf,f) = 0.
Общие факторы fj являются «причиной» корреляций между признаками x,. Эти факторы представляют собой непосредственно не измеряемые, скрытые (латентные) переменные, в той или иной мере связанная с исходными наблюдаемыми переменными. Ковариационная матрица X исходных признаков x, в соответствии с моделью факторного анализа (1), может быть представлена в виде
2= L ■ L' + V,
(2)
где Ь = (4) - матрица нагрузок на общие факторы, г = 1, 2, •.., р, ] = 1, 2, •.., ш, V - диагональная матрица дисперсий специфических факторов V;-. Диагональные элементы матрицы Е+ = Ь ■ Ь представляют собой дисперсии признаков, объясняемые т общими факторами. Эти элементы называются
x
общностями, а сама матрица Х+ -редуцированной корреляционной матрицей.
Для оценки матрицы нагрузок Ь наиболее целесообразно применять метод максимального правдоподобия (детальнее этот вопрос рассмотрен в статье [1], однако он не может применяться в некоторых ситуациях, например, когда дисперсии специфических факторов равны нулю. В этой ситуации в работе [1] предлагается добавить в процесс оценивания преобразование исходных данных, с тем, чтобы к преобразованным данным можно было применить метод максимального правдоподобия. В этой работе не рассматривается вопрос оценки матрицы нагрузок Ь и матрицы дисперсий V. Эти вопросы рассмотрены в работе [1]. Здесь рассмотрены вопросы оценки значений общих факторов для отдельных наблюдений. Стандартные оценки в случае, когда некоторые Vу равны нулю или выборочная ковариационная матрица вырождена, не могут быть применены. Данная работа посвящена вопросу получения оценок значений общих факторов в этой ситуации.
2. Рассматриваемая в работе ситуация, когда некоторые оценки дисперсий Уу = 0, обусловливает специфику в решении задачи оценки значений общих факторов для отдельных наблюдений. Вычисление таких оценок необходимо во многих практических задачах.
Для того, чтобы дисперсии всех специфических факторов сделать отличными от нуля, прибавим к обеим частям модели (2) некоррелированный с / и е вектор и [1]. Тогда модель (2) примет вид
2 = Ь/ + Ш,
где г = х + и, g = е + и.
(3)
Матрицы нагрузок на общие факторы Ь в моделях (2) и (3) совпадают.
Выберем диагональную матрицу Д дисперсий вектора и таким образом, чтобы 5о - выборочная ковариационная матрица вектора г = х + и стала положительно определенной и оценки дисперсий всех специфических факторов модели (3) стали отличными от нуля. Следовательно,
для оценки матрицы нагрузок Ь и диагональной матрицы дисперсий новых специфических факторов У0 модели (3) применим метод максимального правдоподобия [2].
В соответствии с основной моделью факторного анализа (2), наблюдаемый вектор х принадлежит /»-мерному подпространству (т + р)-мерного пространства общих и специфических факторов. Поэтому общие и специфические факторы нельзя непосредственно выразить через х. В качестве значений общих факторов выбираются «наилучшие» в некотором смысле линейные комбинации исходных переменных
Л = в X + Рк 2 *2 +... + Лл (4)
При этом оценки факторных значений / уже не будут некоррелированными между собой, если мы не выберем специальный базис, даваемый каноническим факторным анализом [3]. Оценки факторных значений /к коррелированы не только между собой, но имеют также ненулевую корреляцию с другими факторами/¡(д Ф к).
При оценке значений общих факторов следует вернуться от модели (3) к основной модели факторного анализа (2). В противном случае наложенный на вектор х «шум» и может повлиять на оценки факторных значений.
Обзор методов оценки факторных значений содержится в работе
[3]. Наиболее естественными являются 3 подхода: регрессионный метод, метод Бартлетта и метод «идеальных параметров» Хармана
[4], [5]. Рассмотрим их подробнее.
а) Регрессионный метод.
Если в качестве «наилучшего» приближения общих факторов выбирается такая линейная комбинация исходных переменных ху, которая минимизирует по множеству наблюдений квадрат разности между /к и /к, то мы приходим к регрессионному методу оценки значений факторов [2]
/ = I '5х или, заменяя 5 на ЬЬ' + V,
/ = (I + Ь V-'£)-' Ь VX, где / - вектор-столбец оценок факторов /1, /2, ..., /т. / является оцен-
кой метода наименьших квадратов вектора /
Регрессионный метод приводит к смещенным оценкам значений факторов [3]. Оценка / приводит также к смещенным оценкам коэффициентов уравнения регрессии зависимой переменной у по общим факторам.
Оценкой / нельзя пользоваться в случае, если дисперсии каких-то специфических факторов равны нулю.
Исходные переменные XI, х2, ..., хр должны удовлетворять основным требованиям регрессионного анализа, и, в частности, степень корреляции переменных не должна быть высокой. Последнее ограничение является существенным, ибо для его выполнения необходимо выводить из модели факторного анализа часть переменных. Это ограничение на модель факторного анализа лишает нас одного из преимуществ этого метода в отборе переменных для модели. Поэтому в практических исследованиях возможности регрессионного метода оценки факторов ограниченны.
Ь) Метод Бартлетта.
Если для получения оценок факторных значений минимизируется по множеству наблюдений сумма квадратов нормированных специфи-
ческих факторов
1=1
XI х1 -Х !Л
V,
то приходим к методу минимизации остатков, предложенному Бартлет-том [2].
/ = (1' V-11)-11' VX
(5)
Если какой-то из специфических факторов имеет оценку дисперсии V] = 0, то оценка (5) теряет смысл.
с) Метод «идеальных параметров» Хармана.
Оценка «идеальных параметров» Хармана почти не используется при оценке значений факторов и в уравнениях регрессии на общих факторах, хотя обладает рядом экстремальных свойств.
К этой оценке приходим, если станем минимизировать по множеству наблюдений сумму квадратов специфических факторов
(6)
1=1
Х| X -Х V*:
к=1
2
к=1
№5, 2015
136
Оценка имеет вид [4]: f = (L L)-1 L 'x.
(7)
(L L)-1 = = (в-1 )-1/2(Q ' У0О)-1(в-1 )-
(9)
% = (L'L)-1 L '9-xy
(10)
f\, f>, ..., fm линейных комбинаций вида (4) сумму квадратов
Нетрудно видеть, что оценка (7) минимизирует (6) не только по всей совокупности наблюдений, но и для каждого наблюдения в отдельности.
Для ковариационной матрицы оценки / получаем выражение
Я = I + (Ь 'I)-1 Ь ' УЬ( ЬЬ)-1. (8)
Как известно [6], Ь = = Го1/2О(0-/)1/2, откуда
<Р(f Ы К, -Hhf
j=1 V k=1
где f' = (f, /г,..., fm ) .
Для доказательства рассмотрим соотношения
xi = f) +Y,
(11)
Где /') = (/ > Ъ 2 ' Аш ) - вектор Значений функций /2,...,/ т вида (4) в I-ом наблюдении, / = 1, 2, ..., п + 1, невязка у, определяется соотношением (11).
Из (11) получаем
= Lr}y + rYy.
где в - диагональная матрица т первых собственных чисел матрицы К1'2^ - (р х т) - матрица, столбцы которой являются соответствующими собственными векторами
'0 °0'0
Из (9) вытекает, что обратная матрица (Ь' Ь)- существует и, следовательно, оценкой факторных значений (7) можно пользоваться и в том случае, если некоторые у = 0.
Для построения уравнения регрессии зависимой переменной у по общим факторам необходимо иметь оценки коэффициентов корреляции между у и факторами
А Д /т.
Обозначим через Яу вектор оценок коэффициентов корреляции общих факторов с у, основанных на оценке «идеальных параметров» Хармана, через г]у, гх,, г,, гГу - векторы выборочных коэффициентов ковариации у с /, х, /, у соответственно.
Из (7) получаем
(12)
По свойству метода наименьших квадратов из (12) вытекает,
что mm
in £ t
достигается на векто-
j=i
ре r- определяемом соотношением (10), и, следовательно,
П
(f ) = mmp( f).
откуда
Яу = Ь
где - оценка дисперсии у.
Можно доказать, что оценка (10) минимизирует на множестве
3. Итак, в тех случаях, когда-либо заранее известно, что некоторые дисперсии специфических факторов в основной модели факторного анализа (2) равны нулю, либо в процессе получения оценок матриц Ь и V некоторые оценки оказались равными нулю, либо выборочная ковариационная матрица £ вырождена, метод максимального правдоподобия для оценивания матриц Ь и V неприменим. В этих случаях оценки матриц Ь и V можно получить с помощью предлагаемого в [1] метода. Для вычисления в рассматриваемых ситуациях оценок значений общих факторов для отдельных наблюдений метод Бартлетта неприменим, регрессионный метод также не всегда может быть использован. Оценки метода «идеальных параметров» Хармана можно использовать во всех рассматриваемых ситуациях. В данной работе рассмотрены некоторые свойства оценок Хармана.
Следует отметить, что при практическом использовании предлага-
емого метода нет необходимости накладывать «шум» и на исходную статистическую информацию — достаточно получить выборочные ковариационные матрицы Д и Дхи. Отметим также, что при выборе диагональной ковариационной матрицы Д рекомендуется брать отличными от нуля только те элементы Ду, которым соответствуют оценки Vj = 0. При этом сами элементы Ду не должны быть слишком большими.
Литература
1. Орлова И.В., Турундаевский В.Б. Выбор метода оценки матрицы нагрузок в факторном анализе и алгоритм оценки при нулевых нагрузках на часть на часть специфических факторов // Фундаментальные исследования. - 2015. - №6 (часть 1).
2. Lawley D.N., Maxwell A.E. Factor Analysis as a Statistical Method, 2nd ed. - London: Butterworths, 1971.
3. Lawley D.N. Some new results in maximum likelihood factor analysis // Proceeding of Royal Society of Edinburgh - 1966-1967, v. A67, p. 256-264.
4. Харман Г. Современный факторный анализ. - М.: Статистика, 1972.
5. Окунь Я. Факторный анализ: Пер. с польск. - М.: Статистика, 1974.
References
1. Orlova I. V, Turundaevskiy V B. The choice of assessment method of the matrix of loadings in factor analysis and the estimation algorithm at zero loads on the part of specific factors // Fundamental research. - 2015. - No. 6 (part 1).
2. Lawley D. N., Maxwell, A. E. Factor Analysis as a Statistical Method, 2nd ed. - London: Butterworths, 1971.
3. Lawley D. N. Some new results in maximum likelihood factor analysis. Proceeding of Royal Society of Edinburgh, 1966-1967, v. A67, p. 256-264.
4. Harman H. Modern factor analysis. - M.: Statistics,1972.
5. Okun J. Factor analysis: Trans. with the Polska. - M.: Statistics, 1974.
2
2
