Методы регуляризации в задаче восстановления нестационарной регрессионной зависимости Текст научной статьи по специальности «Математика»

УДК 004.9311

МЕТОДЫ РЕГУЛЯРИЗАЦИИ В ЗАДАЧЕ ВОССТАНОВЛЕНИЯ НЕСТАЦИОНАРНОЙ РЕГРЕССИОННОЙ ЗАВИСИМОСТИ

© Красоткина О.В.1, Моттль В.В.2

1Тульский государственный университет

факультет Кибернетики пр-т Ленина, 92, г. Тула, 300600, Россия

e-mail: krasotkina@uic.tuia.ru

Вычислительный центр РАН им. Дородницына ул. Вавилова, 42, г. Москва, , Россия

e-mail: vmottl@yandex.ru

Abstract. The problem of finding the most appropriate subset of features or regressors is the generic challenge of Machine Learning problems like regression estimation or pattern recognition. We consider the problem of time-varying regression estimation, which implies also the inevitable necessity to choose the individual appropriate levels of model volatility in each of regressors, ranging from the full stationarity of instant models to their absolute inde-pendence in time. The problem is considered from the Bayesian point of view as that of estimating the sequence of regression coefficients associated with the hidden vector state of a stochastic linear dynamic system, whose a priori model includes parameters responsible for both the size of the subset of active regressors and the time-volatility factors of regression coefficients at them. The proposed technique of adaptive time varying regression estimation is built as that of estimating both the state and parameters of the hidden state-space model.

Введение

Задача восстановления регрессионной зависимости является одной из ключевых в области интеллектуального анализа данных.

В этой задаче подлежащий анализу сигнал состоит из нескольких компонент. Одна из них ///. понимаемая как выходная, является зашумленной линейной комбинацией /// = х^Д остальных переменных X/ = (х\, х^,,,,, х™), которые называются признаками или регрессорами. Одним из ключевых аспектов этой задачи является выбор подходящего подмножества J С J из всего доступного множества признаков {x\,i G 1} [1]. Для многих приложений типичны ситуации, когда совокупность наблюдений t 6 Т рассматривается как упорядоченная последовательность Т = {1,.....Y} и искомая линейная зависимость изменяется во времени

yt = Y,n ,Pt)4)+et = i$0t + et. (1)

' ■*г=1

Требуется оценить неизвестные коэффициенты регрессии (3t = (Д1, ,,,, ¡в") которые, вообще говоря, меняются во времени. Естественно, число переменных в такой задаче оказывается очень большим и значительно превосходит число наблюдений. Таким образом, оказывается невозможным оценить коэффициенты регрессии без дополнительной регуляризации задачи, то есть без принятия дополнительных априорных предположений о скрытой последовательности коэффициентов регрессии. Идеи

регуляризации могут быть подсказаны практикой. Во-первых, для большинства приложений типично, что все число возможных регрессоров много больше числа ре-грессоров, реально присутствующих в модели, так что большинство коэффициентов регрессии равно нулю. Таким образом, проблема отбора регрессоров остается актуальной и для случая нестационарной регрессии, во-вторых,предположим, что скрытые коэффициенты регрессии меняются достаточно плавно. Это предположение существенно сужает область поиска степени нестационарности коэффициентов. Наконец, для многих практических ситуаций типично, что только небольшое число коэффициентов регрессии меняется во времени, а большинство из них остается практически постоянными. Если мы знаем список регрессоров, имеющих постоянные коэффициенты, мы можем существенно уменьшить реальное число оцениваемых переменных, В этой статье мы предлагаем процедуру, которая автоматически оценивает подмножество активных регрессоров, определяет среди них регрессоры с действительно меняющимися коэффициентами и, наконец, оценивает степень нестационарности последних,

1, Flexible Least Squares критерий для задачи нестационарной

регрессии

Задача нестационарной регрессии интенсивно изучалась в литературе. Общепринятым средством оценивания нестационарных моделей является метод FLS - Flexible Least Squares [2]

j(ß?\ I 1.....V. /С/ Lp) =

= Е(to- Eft0)2 + PEE(aw -min. (2)

i-1 ief t-2 iei

Подмножество регрессоров J С J и коэффициент p > О являются параметрами критерия, Здесь первое слагаемое отвечает за аппроксимацию наблюдений, а второе слагаемое регулирует изменчивость искомых коэффициентов регрессии во времени. Чем больше р, тем более плавной будет последовательность оценок, что уменьшает фактическую «размерность» задачи, делая ее промежуточной между \1\ и N\I\. При р —^ оо критерий сводится к обычному методу наименьших квадратов ß^f1 = ... = .

Если рассматривать априорную модель последовательности коэффициентов регрессии как совокупность независимых скрытых случайных процессов ßt^ = ßt-1 + CiW> каждый из которых порождается нормальным белым шумом ^, дисперсия которого в р раз меньше дисперсии шума et в модели наблюдения (1), то критерий FLS (2) максимизирует апостериорную плотность распределения вероятности на множестве реализаций скрытого случайного процесса.

Для выбранного множества регрессоров I и фиксированного значения коэффициента сглаживания р минимизация квадратичной функции (2) сводится к решению, вообще говоря, очень большой системы линейных уравнений относительно N\I\ переменных, имеющей однако блочно-трехдиагональную матрицу с блоками \I\ х \1\.

Эта особенность допускает применение метода прогонки, обеспечивающего линейную вычислительную сложность решения системы относительно длины временного ряда N. Методу прогонки эквиваленты квадратичное динамическое программирование [3, 4] и фильтр-интерполятор Калмана-Бьюси [5]. Единственным проблематичным аспектом этой процедуры является выбор параметра р, который характеризует величину шума в модели наблюдения. Невозможно угадать значение этого параметра априори, В наших предыдущих работах [3, 4] предлагалось выбирать значение этого параметра с помощью процедуры скользящего контроля. Однако, как правило по физической природе явления нестационарными являются коэффициенты лишь при некоторых регрессорах, что порождает также проблему разделения множества регрессоров на стационарные и нестационарные. Кроме того, степени нестационарности каждого регрессора могут существенно различаться. Наконец, эффективное подмножество регрессоров / с J выбрать априори невозможно, и уже хотя бы поэтому задачу нестационарного регрессионного анализа следует рассматривать как задачу интеллектуального анализа данных. Эти предположения добавляют в критерий огромное количество дополнительных степеней свободы, которые неизбежно приводят к проблеме переобучения. Применять для подбора большого числа параметров метод скользящего контроля оказывается через утомительно, так как это предполагает необходимость минимизации критерия (2) для каждого набора параметров, Таким образом, возникает насущная необходимость в разработке процедуры, которая оценивала бы не только последовательность коэффициентов регрессии, но и автоматически выбирала подмножество действительно присутствующих в модели регрессоров, определяла среди них нестационарные и подбирала для них степень нестационарности

2, Адаптивный Flexible Least Squares критерий для задачи

нестационарной регрессии

В этой работе мы предлагаем алгоритм, который способен решать все задачи, поставленные в предыдущей главе, названный нами адаптивный Flexible Least Squares, Пусть (xt, t = 1 ,...,N), xt = (xf*} i G I) - последовательность регрессоров, вероятностные свойства которой не изучаются. Рассмотрим анализируемую временную последовательность (ц,. I = 1,...,N) (1) как наблюдаемую часть двухкомпонентно-го случайного процесса, чьей скрытой частью является неизвестная последовательность коэффициентов регрессии (^f3t = г G J), i = 0,1,..., N^j , Главным аспектом предлагаемой здесь технологии отбора регрессоров является априорная вероятностная модель скрытого процесса коэффициентов регрессии (3t = ((З^К, г = 1 ,...,п). Во-первых, рассмотрим априорную модель последовательности коэффициентов регрессии как совокупность независимых скрытых случайных процессов. Во-вторых, предположим, что каждое последующее значение коэффициентов регрессии формируется как результат авторегрессионного процесса

& + £

t 5

(3)

где - нормальный белый шум с пулевым математическим ожиданием = О

и дисперсией

¿(0А(0

г(г)\ _

Е

Г?

№ + '

Вспомогательные переменные ^ 0 и Л1'^ ^ 0 выполняют функцию регуля-

ризации. Если Л1'^ —^ 0, то —>■ О, и последовательность коэффициентов при

г-м регрессоре всегда будет оставаться постоянной (рисунок 1) ¡З^ = /5^, с некоторым априори неизвестным значением. Если же —^ 0, то Е^'^У —>■ 0 вместе с —>■ 0, и ¿-я последовательность коэффициентов превращается в пулевую константу. Совокупность ненулевых переменных образует множество активных ре-грессоров I = { I : > 0} С I, а ненулевые переменные Л1'^ выделяют среди них подмножество регрессоров с нестационарными коэффициентами /гаг = {г : Л1'^ > 0} С 1, Произведение дисперсий возмущающего шума Е^'^У по всем регрессорам опреде-

Рис. 1. Изменение Соу^(Т) = Е варьировании параметра Л1'^

характера

(0)2

корреляционной функции коэффициентов регрессии при

ляет объем эллипсоида рассеяния случайного вектора (/¿¡'\ г £ I) вокруг его условного математического ожидания (3) — чем меньше этот объем, тем интенсивнее подавляется общее отклонение всех коэффициентов регрессии как друг от друга во времени, так и от нуля. Роль переменных и А1'^ заключается в управлении соотношением между уровнями вариабельности коэффициентов при разных регрессо-рах, а не их общей вариабельностью в нестационарной модели. Этот факт приводит к необходимости фиксирования общего объема эллипсоида рассеяния равенством п<6, ¿'+а'('> = 1- Степень общей вариабельности модели определяется дисперсией шума наблюдения в модели нестационарной регрессии (1) Е(е^) = 0, Е ((е4)2) = р.

Таким образом, мы определили, во-первых, условную априорную плотность распределения скрытой последовательности коэффициентов регрессии Ф( . /31...../3 х д{,]. \{,]. / 6 /), и, во-вторых, условную плотность распределения

наблюдаемой переменной Ф(уь ..., ум \(317..., р). Очевидно, что совместная плотность распределения скрытой последовательности коэффициентов регрессии и наблюдаемой переменной пропорциональна произведению

Ф(уъ •••)УлНА, •••,/Здг,р)Ф(/Зь...,/Зм\5^\е I)

Кажется совершенно естественным выбрать в качестве оценки последовательности коэффициентов регрессии максимальную точку этой апостериорной плотности

1\у1,...,ум,р) =

= агдтахР((31,..., 8(г), \(г), г £ /|уь ...,улт,р) (4)

Можно легко показать, что максимальная точка апостериорной плотности (4) есть минимальная точка критерия

N / 4

= 1,М, 6г, Хг, г <Е / I Р) = £ [Уг ~ £

г=1 V г£1

1=2 геТ \ 1 /

ижтлй = 1' т-е- 2-1о8жта« =0" (5)

В отличие от (2) адаптивный критерий применяется ко всему множеству рсч рессорой I.

Легко видеть, что если параметры А^, /С /) фиксированы, результирующий критерий практически совпадает с К1.Я критерием (2), Однако, присутствие дополнительных переменных А^,г С /) и модели чрезвычайно важно. Если некоторый коэффициент 0, критерий жестко штрафует отличие соответствующей после-

довательности коэффициентов регрессии ...,(3$) от нуля и, таким образом,

практически исключает соответствующий регрессор из модели. Если какой-то коэффициент А^ —^ 0, соседние значения скрытого процесса практически совпадают и г-й коэффициент регрессии будет практически постоянным во времени.

3, Итерационная процедура оптимизации адаптивного критерия

Для последовательности наблюдений критерий (1) и фиксированного параметра р адаптивный критерий (5) может быть легко минимизирован с помощью применения итерационного метода Гаусса-Зайделя к двум группам переменных А^, / С /) и ' С I. £ = 1,..., М), начиная с некоторых значений 8^'° и А^'0, удовлетворяющих ограничению в (2),

Заметим, что при фиксированных значениях и А^, в частности, 5^'к п \№>к на /,--11 итерации, критерий является квадратичной функцией блочно-трехдиагональной структуры относительно последовательности векторных переменных / С /). / 1......V. и его минимизация осуществляется эквивалентными

методами прогонки, квадратичного динамического программирования, либо фильтрации-интерполяции Калмана-Бьюси [2, 3, 4, 5] за время, пропорциональное длине временного ряда N. Нетрудно доказать, что после того, как последовательность , / С I. I 1......V) найдена, очередные значения и миними-

зирующие (5), вычисляются по формулам, в которых а^ = и 0 ^ ац < а\ ^ 1:

V Е и^) )

п(г),к+1

1 _ _\(г)М 1.

1 _ а(г),к+1

д(г),/г+1 _ _^__2^=1 11 Рь-1 )

">ЛМ1 [п^Е^/^-^+'/йТ

_ j с Т

Итерационный процесс обычно сходится за 10-15 итераций, проявляя явную тенденцию к практическому обнулению вспомогательных переменных, отвечающих за подавление части регрессоров S^,k —^ S^ ^ 0, при этом переменные, ответственные за нестационарность коэффициентов регрессии, также почти обнуляются \(г),к дО) > о. Предельные значения, оставшиеся существенно ненулевыми §(1)>к > о, выделяют подмножество эффективных регрессоров Ici. Одна-

ко переменные X^'k стремятся к нулю, как правило, для большего числа регрессоров, подавляя нестационарность коэффициентов регрессии для части регрессоров, выделенных как эффективные ici. Остальные предельные значения А^ > 0 указывают подмножество эффективных регрессоров с нестационарными коэффициентами -^var — I •

Значение параметра р не может быть определено путем дополнительной оптимизации критерия (2) и подбирается с помощью процедуры скользящего контроля, особенности использования которой в задаче оценивания нестационарной регрессии рассмотрены в работе [4],

4, Экспериментальное исследование Adaptive Flexible Least

Squares: модельный пример

Эффект выделения регрессоров, адекватных анализируемому временному ряду, и среди них регрессоров, входящих в модель с нестационарными коэффициентами, иллюстрирует следующий модельный эксперимент.

Модельный временной ряд (yt,x[l\i G I) вида (1) построен как последовательность ста зашумленных линейных комбинаций, / = 1.....11)1). ста регрессоров

I = {1,...,100}, в качестве которых использовались независимые реализации нормального белого шума. Среди ста последовательностей коэффициентов регрессии две приняты отличными от нуля, одна из которых образована одним периодом сину-

соиды х\ — а вторая является единичной константой х\ = 1, остальные же

коэффициенты регрессии тождественно равны нулю — ... — х= 0.

Активные регрессоры 1 и 2

—1-1-1-1-1-1-г

20 40 60 80 100

О 20 40 60 80 100

Пример пассивного регрессора (регрессор 3) 0.1 0.05 О I -0.05 -0.1

О 20 40 60 80 100

(а) Обычный критерий

1.5 0.5 -0.5 -1.5

—I-1-1-1-1-1-1-1-1-г

20 40 60 80 100

1.5 1

0.5 О

1—I—I—I—I—I—I—I—I—

20 40 60 80 100

О 20 40 60 80 100 (б) Адаптивный критерий

Рис. 2. Результаты экспериментов по оценивианию нестационарной регрессии: □ — модельные последовательности коэффициентов, д — оцененные последовательности.

Таким образом, если неизвестно, какие именно регрессоры являются активными, то оцениванию подлежат десять тысяч коэффициентов регрессии при наличии всего лишь ста наблюдений. Естественно, что обычный критерий FLS (2), хотя в нем параметр сглаживания р подбирался процедурой скользящего контроля, оказался не способен в этом примере даже приближенно восстановить модель нестационарной регрессии, «размывая» вклад двух активных регрессоров на все сто регрессоров, что хорошо видно на Рис. 2(a). В то же время адаптивный критерий (??), как показывает Рис. 2(6), практически полностью подавляет пассивные регрессоры. Вся нестационарность модели оказывается сконцентрированной в изменении коэффициента только при первом регрессоре, а коэффициент при втором активном регрессоре идентифицирован как стационарный.

5. Экспериментальное исследование Adaptive Flexible Least Squares: восстановление структуры инвестиционного

портфеля

В этом разделе мы рассмотрим задачу слежения за составом инвестиционного портфеля и анализа стратегии инвестиционной компании. Инвестиционная компания - это тип финансового посредника. Они привлекают средства инвесторов и приобретают на них финансовые активы, такие, как например акции, облигации и другие ценные бумаги. Совокупность финансовых активов, которыми владеет инвестиционная компания называется ее портфелем или портфолио.

Целью деятельности любой инвестиционной компании является увеличение стоимости ее портфеля. Вообще говоря, финансовая инвестиционная компания не обязана информировать общественность, и даже своих акционеров, о составе своего портфеля, считая его (состав) своей профессиональной тайной. Естественно, что и собственные акционеры, и инвестиционные компании-конкуренты, отдали бы много за то, чтобы обладать информацией о составе портфеля. Единственной информацией о деятельности инвестиционной компании, к которой открыт свободный доступ, является индекс ее доходности в каждый момент времени. Кроме того, известны котировки всех акций на фондовом рынке, где ведет свою деятельность данная инвестиционная компания, независимо от того. Задачей нашего исследования будет восстановление процентного состава портфеля инвестиционной компании в каждый момент времени по известным значениям уровня доходности инвестиционной компании и котировкам акций на фондовом рынке. Можно показать [6], что если за рассматриваемый период никакие средства не поступали в портфель извне и не изымались из него, то доходность портфеля определяется как линейная комбинация доходностей составляющих его ценных бумаг. Таким образом, мы приходим к задаче нестационарной регрессии.

Как правило, множество активов, в которые действительно вложен капитал инвестиционной компании много меньше, чем множество всех возможных активов. Таким образом, очень важно определить подмножество ненулевых регрессоров. Кроме того управление портфелем зачастую осуществляется посредством торговли только несколькими активами, в то время как остальные активы остаются незадействова-ными в управлении портфелем. Таким образом, остается актуальной задача поиска среди всех регрессоров действительно меняющихся.

В данном разделе мы рассмотрим пример использования предложенной методологии для анализа инвестиционной политики одного из самых известных хедж фондов Long Term Capital Management (LTCM), кризис которого в 1998 году остается уже на протяжении 10 лет одной из самых драматичных страниц истории мировых финансовых рынков. Проблемы фонда начались в мае-июне 1998 года [7], а к концу сентября, через месяц после кризиса рынка российских государственных облигаций (ГКО), фонд потерял более 92 процентов своего капитала. В данном разделе мы попытаемся, используя адаптивный нестационарный регрессионный анализ, определить факторы, объясняющие падение LTCM, Для нашего анализа мы используем доходности классов ценных бумаг, в которые мог быть инвестирован капитал фонда. Данные доходностей были предоставлены Lehman Brothers и Merrill Lynch,

Мы варьировали параметр нестационарности р в интервале от минимального значения р = Ю-8 = 0, которое соответствует практической независимости мгновенных моделей, до максимального значения, обеспечивающего их полную стационарность. Для каждого значения р мы применяли к данным временным рядам итерационную процедуру, предложенную в разделе 3, Используя процедуру скользящего контроля для нахождения оптимального значения параметра нестационарности, мы получили /9=10.

1 BU^Gov Long Bond

2 BUS Corp Long Bond

3 □ High Yield Bonds

4 □ Mortgages

5 B Russell 2000 Value

6 IML Emerging Bond Asia

7 □ ML EMU Direct Govt, 5-10Y

8 BEMU Corp Bonds

9 EHML EMU Broad Market Index

10 □ Russell 1000 Growth

11 EH Corporate Int Bond |i □ Gov Int Bord

13 □ Russell 1000 Value

14 □ Russell 2000 Growth

15 BML EMU Corp, S-10Y

16 BML Emerging Bond Latin America

17 BEMU Govt Bonds

18 BML Emerging Bond Eur/ME/Afr

Рис. 3. Адаптивный нестационарный регрессионный анализ инвестиционной стратегии фонда Long Term Capital Management

Соответствующие результат представлен па рисунке 3 в виде стековой диаграммы, па которой долевые коэффициенты активов выстроены вдоль вертикальной оси с учетом знака. Отрицательные позиции соответствуют заемным или хеджевым позициям, Примечательным оказывается тот факт, что предложенный адаптивный алгоритм позволяет подавить несущественные активы и, как можно видеть из рисунка 3, только 8 из 18 классов активов присутствуют в окончательной модели. Другим важным аспектом является то, что 7 из 8 регрессионных коэффициентов, в качестве которых в данной задаче выступают доли классов активов, были оценены как практически постоянные. Актив, доля которого была оценена как меняющаяся, представляет собой вложения фонда па развивающихся финансовых рынках, включая российский рынок краткосрочных государственных облигаций. Таким образом, наш анализ подтверждает гипотезу о том, что причиной краха ЬТСМ стал дефолт но российским государственным краткосрочным облигациям.

Заключение

В данной работе были предложены способы регуляризации задачи оценивания нестационарной регрессии, позволяющие наряду с оцениванием регрессионных коэффициентов во-первых, автоматически выбирать подмножество эффективных регрес-соров, во-вторых, автоматически отбирать еще меньшее подмножество нестационарных регрессоров, и, в-третьих, определять индивидуальные коэффициенты сглаживания каждого коэффициента регрессии в отдельности. Эффективность предложенного подхода подтверждается результатами па модельных и прикладных примерах,

Работа выполнена при поддержки РФФИ, проект № 06-07-89249, 06-01-00412, 08-01-00695, 08-01-99003.

список литературы

1. Jain A., Zongker D Feature selection: Evaluation, application, and small sample performance. // IEEE Trans, on Pattern Analysis and Machine Intelligence, February 1997, Vol. 19, no. 2, pp. 153158.,

2. R. Kalaba, L. Tesfatsion Time-varying linear regression via flexible least squares. // International Journal on Computers and Mathematics with Applications, 1989, Vol. 17, pp. 1215-1245.

3. Костин А. А., Красоткина О. В., Марков М. Р., Моттль В. В., МучникИ. Б. Алгоритмы динамического программирования для анализа нестационарных сигналов. — ЖВМиМФ, 2004, —Т. 44, №1,-С. 70-86.

4. Markov М., Krasotkina О., Mottl V., Muchnik I. Time-varying regression model with unknown time-volatility for nonstationary signal analysis // 8th IASTED Int. Conf. on Signal and Image Processing, 2006, Honolulu, USA.-Pp. 14-16.

5. Wells C. The Kaiman Filter in Finance. — Kluwer Academic Publishers, 1996.

6. Sharpe W.F. Asset allocation: Management style and performance measurement. The Journal of Portfolio Management, Winter 1992, pp. 7-19.

7. Ph. Jorion Risk management lessons from long-term capital management. European Financial Management, September, 2000.

Статья поступила в редакцию 04-05.2008