Нелинейные структурные уравнения и квадратичный факторный анализ Текст научной статьи по специальности «Математика»

УДК 519.237.7 DOI: 10.25513/2222-8772.2018.2.51-61

НЕЛИНЕЙНЫЕ СТРУКТУРНЫЕ УРАВНЕНИЯ И КВАДРАТИЧНЫЙ ФАКТОРНЫЙ АНАЛИЗ

В.А. Шовин

научный сотрудник, e-mail: v.shovin@mail.ru

Институт математики им. С.Л. Соболева СО РАН (Омский филиал), Омск, Россия

Аннотация. Роль статьи заключается в разработке нового алгоритма (метода) факторного анализа, включающего в себя продвинутую модель взаимоотношений факторов и исходных переменных, когда в модели учитываются не только линейные слагаемые, но и квадратичные, т.е. разложение до второй степени. Такая модель относится к классу нелинейных структурных моделей. Алгоритм расчёта позволяет строить уточняющую модель, исследовать влияние нелинейной составляющей в факторном влиянии. Также разработана соответствующая программа с графическим интерфейсом пользователя, способная проводить квадратичный факторный анализ новых данных по загрузке новых данных. Данная статья носит как прикладной, так и фундаментальный характер. Программа и соответствующий вычислительный алгоритм протестированы на реальных данных, что позволило сравнить предыдущие расчёты по этим данным для линейного факторного анализа с предлагаемым в статье квадратичным. На базе численных методов нелинейной оптимизации с условиями разработан способ нахождения оценки параметров нелинейных структурных уравнений. В качестве критерия оптимальных параметров структурных уравнений выбрана минимизация невязок структурных уравнений модели. Проведено тестирование данного метода для модели квадратичного факторного анализа артериальной гипертензии начальной стадии с соответствующей программной реализацией.

Ключевые слова: артериальная гипертензия, факторный анализ, структурные уравнения.

Введение

Структурные уравнения являются формой описания зависимостей между измеряемыми и латентными (не измеряемыми) переменными исследуемого объекта. Метод моделирования отношений между несколькими измеренными и латентными переменными оформился в 1970-х гг. в работах статистиков К. Йо-рескога и Д. Сёрбома [1], социологов Г. Блэлока, О. Дункана [2,3], экономет-ристов А. Голдбергера [4] и психометриста П. Бентлера [5]. В общем случае такие зависимости могут иметь нелинейный характер функций модели.

Целью данной работы является поиск способа оценки параметров нелинейных структурных уравнений с дополнительными условиями на параметры структурной модели и построение структурной модели артериальной гипертен-зии.

Задачи данного исследования представлены следующими пунктами:

- представить задачу оценки параметров структурных уравнений как задачу оптимизации с условиями;

- программно реализовать методы оптимизации с условиями и адаптировать функцию критерия оптимизации от варьируемых параметров структурной модели;

- протестировать данный метод оценки параметров структурных уравнений на примере квадратичной факторной модели для данных артериальной гипер-тензии начальной стадии с известной факторной структурой;

- реализовать данный метод оценки факторных структур программно с графическим интерфейсом пользователя.

В качестве экспериментальных данных выступали различные параметры, характеризующие состояние пациентов с артериальной гипертензией. Поскольку экспериментальные данные представлены выборкой значений измеряемых переменных у различных исследуемых объектов, для оценки параметров и значений латентных переменных модели, задаваемой структурными уравнениями, может быть использован критерий минимальных невязок как сумма невязок модели вычисленных для всей выборки различных объектов. Дополнительно на параметры и значения латентных переменных могут быть заданы ограничительные условия. Для решения задачи минимизации невязок модели предлагается использовать методы нелинейной оптимизации с условиями: метод конфигураций (метод Хука-Дживса), метод случайного поиска (метод Монте-Карло). Ограничения, накладываемые на значения параметров и латентных переменных модели, учитываются с помощью метода штрафных функций. Тестирование метода оценки параметров структурных уравнений проводилось на модели квадратичного факторного анализа, как частного нелинейного случая системы структурных уравнений.

Квадратичный факторный анализ является обобщением линейного факторного анализа для учёта нелинейных зависимостей между исходными переменными. Учёт влияния нелинейной факторной составляющей позволяет ограничиться меньшим количеством факторов при той же самой ошибке модели. Иначе говоря, факторы являются нелинейными, чтобы их описать посредством линейных факторов, потребовалось их большее количество. Особенностью нелинейного фактора является его нелинейный характер, который может быть вызван специальным режимом, при котором он функционирует, а не влиянием комбинаций линейных факторов.

Учёт нелинейных зависимостей между исходными переменными в модели квадратичной факторного анализа происходит посредством ввода квадратичных слагаемых равных произведению различных пар факторов. Те слагаемые, которые имеют преимущественное влияние на объяснение вариаций значений исходных переменных, говорят об одновременном влиянии соответствующей

пары факторов. Одновременное воздействие на два таких фактора приводит к синергетическому влиянию на исходные показатели, т. е. влияние не равно сумме влияний отдельных факторов по отдельному их воздействию. Возможна и отрицательная синергия, когда два фактора, влияющих одновременно, приводят к меньшему воздействию на исходные переменные, чем сумма их отдельных влияний.

1. Факторный анализ как частный случай структурных уравнений

В теории структурных уравнений используются следующие типы матриц. Матрица 2 о - матрица значений измеряемых переменных у иссле-

тхп

дуемых объектов или состояний объекта размерности т х п, где т - число измеряемых параметров, п - число объектов или состояний объекта (объём выборки).

Матрица Р о р^ - матрица значений латентных переменных объектов раз-

дхга

мерности д х п, где д - число латентных параметров.

Матрица А о а^ - матрица параметров структурных уравнений размер-

кхв

ности к х в, где к - число структурных уравнений, ^ - число параметров в структурных уравнениях.

Система структурных уравнений задаётся в виде:

Л &12, ¡2 (&21, &22,

,а2з] 'Ри,'Р21,

, РдЬ; , РдЬ ¿И^

, + £и , + £2г

0,

0,

¡к (ак1,ак2,... ,акз;Ри,Р2г,... ,рдг, ... + £ы = 0,

где /1,/2,...,/к - в общем случае нелинейные функции своих переменных, £и,£ы,... ,£ы - невязки модели для t-го объекта или состояния объекта.

На значения параметров и значения латентных переменных могут накладываться дополнительные условия в виде равенств и неравенств.

Оптимальными значениями параметров и латентных переменных считаются те значения, которые минимизируют абсолютные значения невязок модели и удовлетворяют всем дополнительным условиям.

В данной работе рассмотрен частный случай структурной модели — квадратичная факторная модель, описываемая следующими уравнениями [6,7]:

Zlt = апрц + а12Р21 + ... + а1дрд1 + ЬщРиР^ + £и,

= 021РИ + 0,22 Р21 + ... + 012дРд1 + ТУц=1 Ь^цРаРц + ¿21,

= ат1Рц + ат2Р21 + ... + ^тдРдЬ + ^?, = 1 Ьтц РиРц + £т1,

где матрица А о а^ называется матрицей факторной структуры размерности

шх д

т х д весовых коэффициентов; т - число изучаемых параметров, д - число общих факторов; В о Ьщ - матрица квадратичных коэффициентов.

тх(д-д)

На вид факторной структуры А и квадратичные коэффициенты налагаются дополнительные ограничения.

Общности переменных факторной структуры должны быть не больше 1, а также не меньше определённого порога значимости:

\

Е <«1. (2)

к=1

Аналогично для квадратичных коэффициентов:

\

Е ^«1 (3)

гЗ=1

ргз ^ 10. (4)

Ограничение (2) является классическим ограничением линейного факторного анализа, когда норма вектора исходной переменной в факторном пространстве, т. н. общность, является ограниченной. Ограничения (2) и (3) на значения линейных и квадратичных коэффициентов факторной модели задаются в виде нестрогих равенств. Тем самым с факторной модели снимается сильная напряжённость и нагрузка, предоставляется большая гибкость и свобода связи параметров. Заданы лишь рамки факторной модели, чтобы факторная структура не «перекособочивалась» из-за нагрузки и напряжённости в другом месте. Ограничение (4) обосновано тем, что факторы р1 нормированы на их дисперсию Бг, и большая часть значений факторов находится за 3Di, в то время как значение фактора равное 10^ - ещё более маловероятное событие.

Критерий оптимизации задаётся в следующем виде:

п т 1 1

К = £ £ 4 + ^ПАА) + К~АВ)' (5)

где Кп - критерий интерпретируемости, минимизация критерия К и учёт дополнительных условий на вид факторной структуры и квадратичных коэффициентов приводит к оптимальному решению для варьируемых значений элементов факторной структуры а^, квадратичных коэффициентов и факторов р^.

Получение интерпретируемого факторного решения связано с получением минимальной сложности исходных параметров, когда только одна факторная нагрузка переменной близка к 1, тогда как остальные близки к 0. Поэтому предлагается следующий критерий [8], непосредственно учитывающий это свойство:

m g

Kmt (V ) = ^^ ктах1-Ы, (6)

г=1 p=1

где v™ax - максимальная по модулю факторная нагрузка i-ой переменной факторной структуры.

Максимизация данного критерия приводит к тому, что максимальная факторная нагрузка переменной приближается к 1, тогда как остальные к 0.

Возможность взятия обратной величины критерия интерпретируемости в критерии оптимизации для превращения задачи максимизации в задачу минимизации обосновано использованием неградиентных методов оптимизации нулевого порядка.

Вычислительный алгоритм

Алгоритм построения квадратичной факторной модели.

1. Определение числа факторов числом g < m.

2. Определение начальных приближений матрицы А линейной части размерности m х g, матрицы В квадратичной части размерности m х (д • д) и матрицы Р значений факторов размерности д х п случайными числами из диапазона [-1; 1].

3. Минимизация критерия (4) суммы квадратов невязок структурных уравнений (1) и критерия интерпретируемости факторной структуры (5) как функций от независимых переменных матриц линейной А и квадратичной В частей факторной структуры и значений факторов Р с ограничениями (2, 3) методом штрафных функций и методом конфигураций.

2. Методы оптимизации

Оптимизацию суммы квадратов невязок структурных уравнений и критерия интерпретируемости факторной структуры как функций от независимых переменных матрицы факторной структуры и значений факторов с ограничениями предлагается осуществлять методом штрафных функций [9]. В качестве метода безусловной оптимизации метода штрафных функций были выбраны метод конфигураций (метод Хука-Дживса) и метод случайного поиска (метод Монте-Карло) [10]. В методе Монте-Карло использовался генератор случайных чисел из встроенной библиотеки Math и функции random языка программирования Java.

Метод штрафов

Даны дважды непрерывно дифференцируемые целевая функция f (х) = f (х\,...,хп) и функции ограничений gj (х) = 0, j = 1,...,m; gj (х) ^ 0, j = m + 1,... ,р, определяющие множество допустимых решений X.

Требуется найти локальный минимум целевой функции на множестве X, т. е. такую точку х* Е X, что

f (ж*) = min f (ж)

где X = < х

(х) = = 1,... ,т; т < п |

д^ (х) ^ 0,] = т + 1,... ,р ) Идея метода заключается в сведении задачи на условный минимум к решению последовательности задач поиска безусловного минимума вспомогательной функции:

F (х, rk) = f (х) + Р (х, rk) ^ min v ' v ' xeRn

где Р(х,гк) - штрафная функция, гк - параметр штрафа, задаваемый на каждой к-й итерации. Это связано с возможностью применения эффективных и надёжных методов поиска безусловного экстремума.

Штрафные функции конструируются, исходя из условий:

Р (x,rk)

!

0, when — constraints — are — executed

> 0, at — non — fulfillment — of — restrictions

причём при невыполнении ограничений и гк ^ то, к ^ то справедливо Р (х,гк) ^ то. Чем больше гк, тем больше штраф за невыполнение ограничений. Как правило, для ограничений типа равенств используется квадратичный штраф, а для ограничений типа неравенств - квадрат срезки:

Г k ( т Р Л

Р fa rk) = у Е to (^ + Е & ^2

Kj=1 j=m+1 )

где gj+ (х) - срезка функции:

д+ (ж) = max {0, gj (ж)} =

!

9j (х), 9j (х) > ° 0, 9j (х) ^ 0.

Начальная точка поиска задаётся обычно вне множества допустимых решений X. На каждой £-й итерации ищется точка х* (гк) минимума вспомогательной функции Р (х,гк) при заданном параметре гк с помощью одного из методов безусловной минимизации. Полученная точка х* (г-к) используется в качестве начальной на следующей итерации, выполняемой при возрастающем значении параметра штрафа. При неограниченном возрастании гк последовательность точек х* (гк) стремится к точке условного минимума х*.

Шаг 1. Задать начальную точку х°; начальное значение параметра штрафа г° > 0; число С > 1 для увеличения параметра; малое число е > 0 для остановки алгоритма. Положить к = 0.

Шаг 2. Составить вспомогательную функцию

rk ( т Р Л

F{x,rk) = f (х) + - £ [9j (х)]2 + £ [д+ (х)}2\

l.j=1 j=m+1 J

Шаг 3. Найти точку х* (г k) безусловного минимума функции F (x,rk) по х с помощью какого-либо метода (нулевого, первого или второго порядка):

F (х* (rk) , гk) = min F (х, гк) .

v v ' ' xeRn v '

При этом задать все требуемые выбранным методом параметры. В качестве начальной точки взять хк. Вычислить Р (ж* (rk) ,гк). Шаг 4. Проверить условие окончания: а) если Р [х* (г k) ,rk) ^ е, процесс поиска закончить:

х

„k А

ж* (rk) J (х* ) = fix* {rk))

k

б) если Р [х* (гк) ,гк) > е, положить: гк+1 = Сгк, хк+1 = ж* (гк), к = к + 1 и перейти к шагу 2.

Метод конфигураций

Требуется найти безусловный минимум функции / (ж) многих переменных, т. е. найти такую точку ж* € Кп, что / (ж*) = шш / (ж).

Шаг 1. Задать начальную точку ж0, число е > 0 для остановки алгоритма, начальные величины шагов по координатным направлениям Д1,...,А,п ^ е, ускоряющий множитель Л > 0, коэффициент уменьшения шага а > 1. Положить у1 = х0, г = 1,к = 0.

d1

/Л

0

0 1

d

Lln

0 0

0 0 1 Шаг 2. Осуществить исследующий поиск по выбранному координатному направлению:

а) если f (у1 + Дi< f (у1), т. е. f (у\,...,у\ + Д1 ,...,уП) < < / (у\,... ,у\... ,уП), шаг считается удачным. В этом случае следует положить

г+1

уг + Aidi и перейти к шагу 3;

У

б) если в п. «а» шаг неудачен, то делается шаг в противоположном направлении. Если f (у1 — Дi < f (у1), т. е. f (у\ ,...,у\ — Дí ,...,уП) < < / (у\,... ,у1... ,угп), шаг считается удачным. В этом случае следует положить уг+1 = уг — Дг¿г и перейти к шагу 3;

в) если в пп. «а» и «б» шаги неудачны, положить уг+1 = уг.

Шаг 3. Проверить условия:

а) если г < п, то положить г = г + 1 и перейти к шагу 2 (продолжить исследующий поиск по оставшимся направлениям);

б) если г = п, проверить успешность исследующего поиска:

- если / (уп+1) < / [хк), перейти к шагу 4;

- если / (уп+1) ^ / (хк), перейти к шагу 5.

Шаг 4. Провести поиск по образцу. Положить хк+1 = уп+1,

У1 = хк+1 + д (^хк+1 — хк^, I = 1, к = к + 1 и перейти к шагу 2.

Шаг 5. Проверить условие окончания:

а) если все А» ^ е, то поиск закончить: х* = хк;

б) для тех I, для которых А» > е, уменьшить величину шага: А» = ^. Положить у1 = хк, хк+1 = хк, к = к + 1, г =1 и перейти к шагу 2.

3. Численный эксперимент

Численный эксперимент данного научного исследования заключался в тестировании метода оценки параметров структурных уравнений в рамках модели квадратичного факторного анализа на базе 15 биофизических показателей, измеренных у 131-го пациента с артериальной гипертензией начальной стадии:

1. Вес.

2. Индекс массы тела (ИМТ).

3. Частота дыхания (ЧД).

4. Сегментоядерные нейтрофилы (С).

5. Лимфоциты (Л).

6. Конечно-систолический размер левого желудочка (КСР).

7. Конечно-систолический объём левого желудочка (КСО).

8. Конечно-диастолический размер левого желудочка (КДР).

9. Конечно-диастолический объём левого желудочка (КДО).

10. Ударный объём (УО).

11. Минутный объём сердца (МОС).

12. Общее периферическое сосудистое сопротивление (ОПСС).

13. Индекс Хильдебрандта (ИХ).

14. Фракция выброса левого желудочка (ФВ).

15. Фракция укорочения левого желудочка (ФУ).

Предварительно данные были стандартизированы до нулевого среднего и единичной дисперсии. Факторное решение с учётом критерия интерпретируемости представлено в таблице 1. Данная факторная структура подтверждается предыдущими работами [11,12].

По-прежнему можно говорить о наличии пяти факторов.

1. Гемодинамический фактор, учитывающий структурно-геометрическую модуляцию сердца (УО, МОС, ОПСС, КСР, КСО, КДР, КДО).

2. Фактор нагнетательной функции левого желудочка (ФВ, ФУ).

3. Фактор, отвечающий за соответствие массы и роста (вес, ИМТ).

4. Фактор, характеризующий уровень слаженности работы сердца и лёгких (ЧД, ИХ).

5. Иммунологический фактор стресса (С, Л).

Наличие дополнительных квадратичных слагаемых в факторных уравнениях привело к улучшению критерия К приблизительно в два раза (Клин=220; Кквадр=120).

Наиболее значимые нагрузки в квадратичной части факторной модели соответствуют следующим парам факторов для исходных переменных.

Знак перед парой факторов соответствует знаку соответствующего значимого коэффициента Ък^. Чтобы добиться синергетического эффекта для нор-

Таблица 1. Оценка параметров факторной структуры с учётом критерия интерпретируемости

^2 ^3 ^4 ^5

Вес -0.2791 0.0984 0.2322 -0.1684 -0.632

ИМТ -0.2156 0.239 0.1162 -0.1144 -0.6023

ЧД 0.093 0.5298 0.2218 -0.6016 0.1922

С -0.0367 -0.0637 -0.7378 -0.115 0.0297

Л 0.0497 0.0099 0.7206 0.0596 -0.1085

КСР -0.6453 0.1778 0.3383 -0.0193 0.2164

КСО -0.5746 0.093 0.3276 0.0441 0.258

КДР -0.5698 -0.1579 0.3042 0.4226 0.2668

КДО -0.5943 -0.1658 0.3033 0.373 0.2701

УО -0.4668 -0.3725 0.2621 0.5907 0.2401

МОС -0.5413 -0.3485 0.1823 0.5485 0.2701

ОПСС 0.4748 0.153 -0.2119 -0.3731 -0.2384

ИХ -0.368 -0.4015 -0.2601 0.573 -0.2227

ФВ 0.3807 -0.6323 -0.2669 0.6098 -0.045

ФУ 0.2959 -0.5831 -0.2515 0.583 0.0968

Таблица 2. Оценка параметров факторной структуры с учётом критерия интерпретируемости

Пары факторов

Вес Р3Р3, —Р2Р3

ИМТ —Р2Р3

ЧД

С —РъРь

Л Ра Ра , РьРь

КСР Р2Ра, РьРь

КСО -Р2Ра, -РаРь

КДР

КДО

УО

МОС

ОПСС Р1Ра

ИХ —Р2Р2

ФВ Р1Р3, РаРь

ФУ

мализации исходных показателей, необходимо одновременно воздействовать на представленные пары факторов. С точки зрения медикаментозной терапии это означает: одновременно пить несколько разных таблеток для нормализации соответствующих факторов, обуславливающих заболевание.

4. Заключение

Предложен метод оценки нелинейных структурных уравнений на базе метода штрафных функций и методов безусловной оптимизации. Все алгоритмы реализованы в виде отдельной программы с графическим интерфейсом для пользователя. Для 15 биофизических показателей артериальной гипертензии начальной стадии и модели квадратичного факторного анализа как частного случая структурного моделирования была получена факторная структура. Полученная факторная структура подтверждается результатами ранних работ. Наличие квадратичных слагаемых в факторных уравнениях привело к улучшению критерия невязок приблизительно в два раза.

ЛИТЕРАТУРА

1. Jereskog K.G., Serbom D. Advances in factor analysis and structural equation models / Edited by Jay Magidson. Cambridge, Mass. : Abt Books, 1979. 242 p.

2. Blau P.M., Duncan O.D., Tyree A. The American Occupational Structure. New York : Wiley and Sons, 1967. 534 p.

3. Blalock H. Theory construction. Englewood Cliffs, New Jersey : Prentice-Hall, 1968. 180 p.

4. Jereskog K.G., Goldberger A.S. Estimation of a model with multiple indicators and multiple causes of a single latent variable // Journal of the American Statistical Association. 1975. V. 70(351). P. 631-639.

5. Bentler P.M. Multivariate analysis with latent variables: Causal modeling // Annual review of psychology. 1980. V. 31(1). P. 419-456.

6. Иберла К. Факторный анализ / Пер. с нем. В.М. Ивановой. М. : Статистика, 1980. 398 с.

7. Харман Г. Современный факторный анализ / Пер. с англ. В.Я. Лумельского. М. : Статистика, 1972. 489 с.

8. Шовин В.А., Гольтяпин В.В. Методы вращения факторных структур // Математические структуры и моделирование. 2015. № 2. С. 75-84.

9. Банди Б. Методы оптимизации. Вводный курс. М. : Радио и связь, 1988. 128 с.

10. Кокуев А.Г. Оптимальное управление. Поиск экстремумов многомерных функций. Астрахань : АГТУ, 2011. 34 с.

11. Гольтяпин В.В., Шовин В.А. Косоугольная факторная модель артериальной гипертензии первой стадии // Вестник Омского университета. 2010. № 4. С. 120-128.

12. Шовин В.А. Конфирматорная факторная модель артериальной гипертензии // Компьютерные исследования и моделирование. 2012. Т. 4, № 4. С. 885-894.

NONLINEAR STRUCTURAL EQUATIONS AND QUADRATIC FACTOR

ANALYSIS

V.A. Shovin

Scientist Researcher, e-mail: v.shovin@mail.ru

Sobolev Institute of Mathematics of Siberian Branch of the Russian Academy of Sciences

(Omsk Branch), Omsk, Russia

Abstract. The role of the article is to develop a new algorithm (method) of factor analysis, which includes an advanced model of the relationship of factors and initial variables, when the model takes into account not only linear terms, but also quadratic ones, i.e. decomposition to the second power. Such a model belongs to the class of nonlinear structural models. The calculation algorithm makes it possible to build a refinement model, to investigate the influence of the nonlinear component in the factor influence. Also, an appropriate program with a graphical user interface was developed that can carry out a quadratic factor analysis of new data on the loading of new data. This article is both applied and fundamental. The program and the corresponding computational algorithm were tested on real data, which allowed us to compare the previous calculations for these data for linear factor analysis with the quadratic one proposed in the paper. Estimates of the parameters of nonlinear structural equations was implemented by numerical methods for nonlinear optimization with conditions. As a criterion for the optimal parameters of structural equation was selected to minimize the residual of structural equation model. The results of the testing of this method for the quadratic factor analysis model of hypertension was in accordance with other methods of factor modeling. This method of estimates of the parameters of structural equations was implemented as software.

Keywords: hypertension, factor analysis, structural equations.

Дата поступления в редакцию: 20.02.2018