Факторное моделированиес помощью нейронной сети Текст научной статьи по специальности «Компьютерные и информационные науки»

Математические

структуры и моделирование 2014. №4(32). С. 112-115

УДК 519.237.07

ФАКТОРНОЕ МОДЕЛИРОВАНИЕ С ПОМОЩЬЮ НЕЙРОННОЙ СЕТИ

В.А. Шовин

аспирант, e-mail: v.shovin@mail.ru

Омский филиал Учреждения Российской академии наук Института математики им. С.Л. Соболева Сибирского отделения РАН

Аннотация. Предлагается новый метод построения факторной модели на основе программной реализации нейронной сети и алгоритма обратного распространения ошибки. Этот метод является альтернативой классическому факторному анализу. В работе проведён численный эксперимент на статистических данных артериальной гипертензии.

Ключевые слова: артериальная гипертензия, факторный анализ, нейронные сети, алгоритм обратного распространения ошибки.

Классический факторный анализ [1] позволяет на базе выборок различных показателей сформировать факторные показатели, с необходимой точностью описывающие исходный объект и восстанавливающие исходные статистические данные. Факторные показатели являются линейной комбинацией исходных показателей (формула 1). Тем самым факторные модели носят линейный характер.

= anpt + ai2P2 + ... + aig pi + diu- (1)

m — число переменных, g — число факторов, — — исходные переменные, pi — общие факторы, — — специфичные факторы.

Нейронная сеть позволяет восстановить любую однозначную закономерность между исходными и целевыми показателями. При этом восстанавливаемые закономерности могут иметь нелинейный характер. Для восстановления закономерностей между параметрами используется специальный алгоритм обучения нейронной сети: алгоритм обратного распространения ошибки [2]. Этот алгоритм с математической точки зрения представляет собой градиентный метод оптимизации.

Суть нового метода для построений факторных моделей заключается в том, что для выявления закономерностей между параметрами используется математическая модель нейронной сети.

В данном методе построения факторной модели латентные характеристики ставятся в соответствие нейронам скрытого слоя. При этом число нейронов скрытого слоя полагают меньшим числа нейронов входного слоя для осуществления факторного сжатия входной информации. Для оценки числа нейронов

скрытого слоя можно применять критерий Гутмана классического факторного анализа. Нейронам входного и выходного слоя ставятся в соответствие исходные характеристики объектов исследования. Такая конфигурация нейронной сети соответствует классическому факторному анализу.

С помощью обучения нейронной сети вычисляются веса входных связей нейронов скрытого и выходного слоя, которые соответствуют элементам обратного и прямого факторного отображения. Веса нейронов ищутся в интервале [—1,1]. Наполнение факторов исходными переменными определяется с помощью значений элементов факторного отображения и выбранного порогового уровня значимости.

Полученная линейная взаимосвязь переменных соответствует классической модели факторного анализа, в которой факторы являются линейными комбинациями исходных переменных (формулы 2, 3, 4). Задача поиска факторного отображения и значений факторов сводится к задаче поиска весов нейронной сети. Поскольку факторное отображение и значения факторов являются неизвестными, необходима сеть с промежуточным слоем. Сеть в целом осуществляет тождественное преобразование, т.е. выходной сигнал на ¿-ом нейроне входного слоя равен выходному сигналу ¿-го нейрона выходного слоя. Отдельные части сети (входная и выходная часть) соответствуют прямому и обратному факторному отображению.

р =а (ХМ?1,2) г+¿(2)

9

(2) (3)

а (х)

1 + exp(—х)

1,

(4)

гг — исходные переменные,

Д*)

(з,г)

г]

связь между г-ым нейроном з-го слоя и

]-ым нейроном ¿-го слоя, ¿( ) — пороговый уровень г-го нейрона з-го слоя, рг — выходное значение г-го нейрона скрытого слоя, гг — выходное значение г-го нейрона выходного слоя, а (х) — антисимметричная сигмоидальная передаточная функция.

Для получения интерпретабельного факторного отображения вводится дополнительное слагаемое в общую целевую функцию квадратов невязок (формула 5), соответствующее критерию «варимакс» классического факторного анализа, — это максимизация дисперсии нагрузок переменной, приходящихся на все факторы (формулы 6, 7).

№2

(2,3)

г]

Е = - г'г)2

г=1

^ (Ч2'3) - ЕЧ2'3)) ^ ^^

(5)

(6)

г=1

2

114 В.А. Шовин. Факторное моделирование с помощью нейронной сети

Дщ(2'3)

^ ш1п. (7)

Учет «варимакс» критерия приводит к появлению дополнительных слагаемых при изменении весов нейронной сети на выходном слое (формула 8, 9).

Д*Г = —та = ^Ц* («-Г - . (8)

-щ]' ) / (2,зЛ V г /

(2,3)

] := ] + Ащ(2'3). (9)

Аналогичный учёт главных условий факторного анализа на сумму квадратов факторных нагрузок переменной, приходящихся на все факторы, меньшей 1 (формула 10) и поиск факторных нагрузок в интервале [—1,1] (формула 11) приводит к поправкам на изменение весов нейронной сети в методе обратного

распространения ошибки для выходного слоя (формула 12, 13).

9 2

^ Л„(2'3)% 2

г=1

¿^Ч2'3) ) < 1. (10)

Щ2'3) е [—1,1]. (11)

1

V ~гз

г=1

щ(?2'3)У ^ ш1п. (12)

Д42'3) = —лД) = —Л2щ<>'3). (13)

Предложен альтернативный метод построения факторной модели на основе нейронной сети и алгоритма обратного распространения ошибки. Преимущества данного метода заключается в том, что он объединяет в себе все этапы классического факторного анализа: поиск факторного отображения и значений факторов. Этот метод осуществляет косоугольный факторный анализ, тем самым имеет максимальную степень общности для линейной модели.

В ходе численного эксперимента с данными артериальной гипертензии было установлено, что хорошая обучаемость нейронной сети достигается при числе нейронов в скрытом слое не меньшем верхней границы числа собственных значений исходных переменных по критерию Гутмана. При меньшем числе нейронов в скрытом слое наблюдались значительные ошибки на обучающей выборке.

Литература

1. Иберла К. Факторный анализ / Пер. с нем. В.М. Ивановой; Предисл. А.М. Дуброва. М.: Статистика, 1980.

2. Хайкин С Нейронные сети: Полный курс / Пер. с англ. Н.Н. Куссуль, А.Ю. Ше-лестова. 2-е изд., испр. М.: Издательский дом Вильямс, 2008. 1103 с.

FACTOR MODELING BASED ON NEURAL NETWORK

V.A. Shovin

Postgraduate Student, e-mail: v.shovin@mail.ru

Omsk Branch of Sobolev Institute of Mathematics, Siberian Branch of the Russian

Academy of Science, Omsk

Abstract. A new method of factor model constructing based on the software implementation of neural network and backpropagation algorithm is offered. This technique is an alternative to the classical factor analysis. In this paper the numerical experiment on statistics of hypertension is conducted.

Keywords: factor analysis, neural networks, backpropagation algorithm, hypertension.