Статистический анализ моделей с переменной структурой Текст научной статьи по специальности «Математика»

Прикладная эконометрика, 2015, 39 (3), с. 84-105. Applied Econometrics, 2015, 39 (3), pp. 84-105.

С. А. Айвазян, А. Н. Березняцкий, Б. Е. Бродский, Б. С. Дарховский1

Статистический анализ моделей с переменной структурой

Классификация наблюдений часто встречается в эконометрических исследованиях. Однако все известные подходы к решению задач классификации имеют несколько существенных недостатков:

1) эти методы не позволяют проверить нулевую гипотезу об отсутствии различных классов наблюдений;

2) число классов, как правило, задано заранее;

3) отсутствует теоретическое обоснование эффективности предложенных процедур классификации.

В данной статье предложен непараметрический метод классификации, позволяющий решить эти проблемы. Этот метод дает состоятельную оценку неизвестного числа классов и возможность тестирования нулевой гипотезы в рассматриваемых задачах. Помимо теоретических результатов, проводится экспериментальное сравнение статистических характеристик предложенного метода с методом максимального правдоподобия и методом k-средних в различных задачах классификации.

ключевые слова: непараметрические методы; кластер-анализ; алгоритм EM; метод ^-средних; смеси распределений.

JEL classification: C1; С14; C3; С38.

1. введение

Модели с переменной структурой — это особый класс моделей (математических, эконометрических, технических и др.), которые могут изменять свою конфигурацию в процессе эволюции наблюдаемого объекта моделирования. Посредством изменения структуры модели происходит автоматическая подстройка модели к эволюционирующему объекту. В частности, для экономических задач моделирование исследуемого явления может осложняться неоднородностью анализируемых количественных переменных и их зависимостью от некоторых качественных (наблюдаемых или ненаблюдаемых, детерминированных или стохастических) признаков. Требуется построить модель, которая отражала бы всю сложность исследуемого экономического явления за счет адаптации структуры этой модели к изменяющимся характеристикам наблюдений.

1 Айвазян Сергей Артемьевич — ЦЭМИ РАН, Москва; [email protected].

Березняцкий Александр Николаевич — ЦЭМИ РАН, Москва; [email protected]. Бродский Борис Ефимович — ЦЭМИ РАН, Москва; [email protected].

Дарховский Борис Семенович — Институт системного анализа РАН, Москва; [email protected].

Обилие постановок задач моделирования объектов с переменной структурой затрудняет '§

процесс формулирования исчерпывающих определений и детальный анализ этих моделей. щ

О

В настоящей работе приведены наиболее характерные постановки задач анализа моделей

с переменной структурой (прежде всего, актуальные для экономических задач), описаны Ч

методы, используемые для решения этих задач, сформулированы проблемы, требующие ^

решения. >|"

Отметим, что наиболее адекватным подходом к моделированию объектов с переменной о

структурой зачастую оказывается стохастический подход, позволяющий учитывать случай- ^

ный характер факторов, влияющих на эволюцию объекта. Поэтому для исследования по- цц

добных моделей с переменной структурой должны применяться статистические методы. ^

К наиболее известным экономическим приложениям относятся регрессионные модели Ц

с переменной структурой, в которых, помимо общего набора количественных предикторов, |

используются качественные признаки (например гендерный), вносящие существенный вклад Щ

в статистическое описание зависимых переменных. щ

о

Качественные признаки могут существенно влиять на структуру линейных связей между переменными и приводить к скачкообразному изменению параметров регрессионной модели. В этом случае говорят об исследовании регрессионных моделей с переменной структурой или построении регрессионных моделей по неоднородным данным. Например, надо изучить зависимость размера заработной платы У работников не только от количественных факторов Х1,Х2,...,Хп, но и от качественного признака (например пол работника). В принципе, можно было бы получить оценки регрессионной модели для каждого уровня качественного признака (т. е. выборочное уравнение регрессии отдельно для работников-мужчин и отдельно для женщин), а затем изучать различия между ними. Но есть и другой подход, позволяющий оценивать влияние значений количественных переменных и уровней качественных признаков с помощью одного уравнения регрессии. Этот подход связан с введением так называемых фиктивных переменных. В качестве фиктивных переменных обычно используются дихотомические (бинарные, булевы) переменные, которые принимают всего два значения, «0» или «1» (например значение такой переменной Z1 по фактору «пол»: Z1 = 0 для работников-женщин и Z1 =1 для мужчин).

В рамках данной модели считается, что средняя заработная плата у мужчин выше, чем у женщин, при неизменных значениях других параметров модели. А проверяя гипотезу Н0 = 0, можно установить существенность влияния фактора «пол» на размер заработной платы работника. Следует отметить, что в принципе качественное различие можно формализовать с помощью любой переменной, принимающей два разных значения, не обязательно «0» или «1». Однако в эконометрической практике почти всегда используются фиктивные переменные типа «0-1», т. к. интерпретация полученных результатов выглядит при этом наиболее просто.

Следует отметить, что модели с переменной структурой и, в частности, регрессионные модели с переключениями режимов (с переменными коэффициентами) давно исследуются в статистике (см., например, (Lmdgren, 1978)). Простейшая модель с двумя переключающимися режимами имеет следующий вид:

У( = ХгЬ1 + ии для 1 -го режима, = Х{ Ь2 + и21 для 2-го режима.

Для моделей с подобными (эндогенными) переключениями обычные методы регрессионного анализа неприменимы. Goldfeld, Quandt (1973) предложили регрессионные модели с марковскими переключениями. В этих моделях вероятности последовательных переключений режимов предполагаются постоянными. Обычно они описываются матрицей вероятностей перехода между различными состояниями.

Другая модификация регрессионных моделей с марковскими переключениями была предложена в (Lee, Porter, 1984). В этой работе рассматривалась следующая матрица переходных вероятностей:

Л = [Pj]i,j=o,i, pj = P{It = J l It-i = i}.

Lee, Porter (1984) рассмотрели пример с ценами на железнодорожный транспорт США в 1880-1886 годы, которые были подвержены влиянию картельного сговора. Рассматривалась следующая модель:

log Pt =ß0 +ß Xt +ß 2 It +Ut, где It = О или It = 1 в зависимости от наличия картельного сговора в конкретный период.

Cosslett, Lee (1985) обобщили модель (Lee, Porter, 1984) на случай сериальной корреляции ошибок ut .

Многие экономические временные ряды содержат случайные «выбросы», обусловленные такими событиями, как финансовые кризисы (Jeanne, Masson, 2000; Cerra, Saxena, 2005; Hamilton, 2005) или резкие изменения государственной экономической политики (Sims, Zha, 2005; Davig, 2004). Резкие «выбросы» являются характерной чертой финансовых временных рядов (Ang, Bekaert, 2002; Garcia et al., 2003; Dai et al., 2003).

Функциональная форма «скрытой марковской модели» с переключением состояний может быть записана следующим образом:

У =cst +РУ-1 +et, (!)

где st является случайной величиной, принимающей значения 1 и 2 в соответствии со следующим правилом:

P{st = J 1 St-1 = i, S t-2 = k,...} = P{S = J 1 St-1 = i} = pj. (2)

Модель вида (1) - (2), в которой отсутствует авторегрессионный член ( р = 0 ), была впервые исследована в (Lindgren, 1978) и (Baum et al., 1970). Спецификация этой модели с авторегрессионным слагаемым была исследована в литературе по распознаванию речи (Poritz, 1982; Juang, Rabiner, 1985), а также (Rabiner, 1989). Регрессионные модели с марковскими переключениями были впервые использованы в эконометрической литературе в (Goldfeld, Quandt, 1973). Функция правдоподобия для этих моделей была впервые выписана в (Cosslett, Lee, 1985).

Общие условия стационарности и моментные условия для процессов с марковскими переключениями были получены в работах (Tjostheim, 1986; Yang, 2000; Timmermann, 2000; Francq, Zakoian, 2001).

Обзор современных подходов к оцениванию для моделей с марковскими переключениями содержится в (Hamilton, 2005).

Однако способ описания статистической зависимости наблюдений посредством цепи '§ Маркова является далеко не единственным. Кроме марковских моделей наблюдений, из- щ вестны мартингальные и копула-модели зависимых наблюдений, а также описание стати-

СВ

стической зависимости посредством различных коэффициентов перемешивания. Все эти Ч подходы тесно взаимосвязаны, и необходимо выбирать наиболее приемлемый метод опи- ^

сания статистической зависимости с учетом специфики конкретной задачи. В этой работе >|"

используется подход, основанный на коэффициентах перемешивания. о

0 &

1Ц

2. Постановка задачи ^

1

К наиболее простым постановкам задач анализа моделей с переменной структурой относятся задачи расщепления смесей вероятностных распределений ®

си Щ

f (х) = (1-е) fo (х) + е£ (х).

В параметрической постановке задачи, как правило, предполагается, что плотности ^ (•) ^ и ^ (•) известны с точностью до некоторого малого числа неизвестных параметров (напри- ® мер, для гауссовских плотностей неизвестными параметрами могут являться средние и дисперсии наблюдений), доля е «выбросов» может варьироваться в некотором малом отрезке. ^ К наиболее распространенным методам обнаружения и оценивания наблюдений, принад- ° лежащих различным классам, относится метод максимального правдоподобия. К достоинствам этого метода следует отнести высокую точность оценивания неизвестных параметров смеси в том случае, когда спецификация модели полностью известна. К недостаткам этого метода относится слабая устойчивость предлагаемых оценок к отклонениям спецификации модели от априорно заданной.

В непараметрической постановке задачи, как правило, известно лишь, что интегральные характеристики плотностей ^ (•) и f1 (•) различны, в частности,

f xf0(x)dx = 0, f xf (x)dx = h Ф 0.

Содержательно, предполагается, что с некоторой малой вероятностью е в выборке наблюдений могут появляться «выбросы». Задача состоит в том, чтобы разделить выборку X на подвыборки обычных наблюдений и «выбросов».

К наиболее известным методам классификации для непараметрической постановки задачи относится метод ^-средних (Айвазян и др., 1989). Суть этого метода сводится к минимизации расстояний от полученной точки до существующих «центроидов», а также к пересчету координат самих «центроидов» на основе усреднения по точкам, входящим в определенные классы.

Этот метод, как и метод максимального правдоподобия, имеет ряд существенных недостатков:

1) нет возможности проверить нулевую гипотезу об отсутствии «выбросов»;

2) число возможных классов наблюдений, как правило, априори задано;

3) отсутствует теоретическое обоснование эффективности процедур классификации.

Для преодоления этих недостатков в статье предлагается альтернативный непараметрический метод. Преимущества этого метода полностью раскрываются для задачи расщепления смесей со многими распределениями. Суть этой задачи сводится к следующему. Пусть

получена выборка Xм ={х1,..., хм }, и плотность распределения наблюдения х 1 может быть записана следующим образом:

f (х) = (1-е 1-----е т) и (х) + е ^ (х) + • • • + е (х),

где е 1 >е2 >-">еи > 0 , 0 < ^ + -" + еи < 1, Е. (х,) = Н], . = 0,..., т ,

и |А0 1<!к 1<1к !<-<! Лт|.

Нашей целью является тестирование гипотезы е5 = 0 , 5 = 1,...,т (отсутствие переключений) и в случае отклонения этой гипотезы построение оценок числа переключений т >1, а также параметров модели е,., i = 1,...,т и к., . = 0,...,т .

Эта модель имеет следующий смысл. В случае бинарных переключений в выборке имеются обычные наблюдения и выбросы. В случае множественных переключений имеются наблюдения, принадлежащие различным классам.

Рассмотрим теперь задачу многомерной классификации с бинарными смесями распределений. Предположим, что многомерные наблюдения описываются следующей моделью:

Xм ={ X" }М=1, X" = (х",..., хгп).

Многомерная плотность распределения вектора X" такова:

и (х) = (1-е) и (х) + (х),

где У0 (') и (•) — плотности распределения обычных наблюдений и выбросов соответственно; плотность У0 (') симметрична относительно своего математического ожидания. Как и в одномерном случае, задача состоит в том, чтобы разделить выборку Xм на подвыборки обычных наблюдений и выбросов.

Рассмотрим теперь задачу обнаружения случайных переключений в регрессионных моделях. Пусть дана следующая модель наблюдений:

у = X ь +«,. = X (с,. Ьо +(1 -С,) А)+и,

где:

у — вектор зависимых наблюдений размерности N X1; X — матрица предикторов размерности N X г;

и — вектор центрированных (т. е. с нулевым математическим ожиданием) случайных шумов размерности N X1;

А — вектор коэффициентов модели размерности г X1;

С — бернуллиевские случайные величины, независимые от и, с двумя состояниями: 1 (с вероятностью 1 — е) и 0 (с вероятностью е ) для некоторого неизвестного параметра 0 < е< 1;

Ьо .

Другими словами, предполагается, что коэффициенты этой модели могут изменяться (переключаться) с уровня Ь0 на уровень Д, а механизм этих переключений является случайным. Необходимо проверить гипотезу отсутствия переключений для каждого коэффициента (е = 0), а при отклонении этой гипотезы построить оценку параметра е> 0.

Для решения этой задачи рассмотрим МНК оценку вектора А (здесь и далее ' — символ транспонирования):

b, = (XX)-1 xy = £Д + (1-е,- + (xx)-1 ХЦ. |

о

Поскольку последовательность шумов и центрирована, задача сводится к рассмотрен- §

b=кд+(i-е )bi ] /+(xx)-1 xv.

ной выше задаче обнаружения переключений по среднему для векторов. Матрица предик- ^ торов X влияет только на случайный компонент модели. ^ Формально, необходимо рассмотреть вектор I = (1,1,___, 1) (N единиц) и оценку щ

1 о

а

Матрица /31 размерности (г X N) содержит N вектор-столбцов размерности г X1 с параметрами 30 и 31, которые изменяются по случайному закону. Каждый компонент . = 1,..., г щ

этих векторов ¡33, / = 1,...,N является одномерной случайной последовательностью '!

|

3 =[£,30 +(1 "С)3 ], , г = 1,...,N, §

8-

где ^\ = ((XX)"1 Х'и1).. *

Таким образом, задача обнаружения изменений в коэффициентах регрессионной модели ^ сводится к рассмотренной выше задаче обнаружения изменений по среднему для одномер- 8 ной случайной последовательности. ^

о

3. Метод обнаружения переключений в одномерных моделях

Далее подробно рассмотрим статистические свойства метода обнаружения переключений в одномерных моделях с переменной структурой.

3.1. Описание метода

Предположим, что плотность распределения наблюдений описывается моделью бинарной смеси:

f (х) = (1 —е) fо (х) + е£ (х), где параметр е, 0 < е< 0.5, неизвестен.

В дальнейшем вероятностные меры с плотностями У0 (•) и f (•) будут обозначаться через Р0 и Р1 соответственно, а математические ожидания по этим мерам — Е0 и Е1. Предполагается, что Е0 (х) = 0, Е1 (х) = h Ф 0, где параметр И неизвестен.

Содержательно, считается, что с некоторой малой вероятностью е в выборке наблюдений могут появляться «выбросы». Задача состоит в том, чтобы разделить выборку Xм = {х1,..., хы} на подвыборки обычных наблюдений и «выбросов» (аномальных наблюдений). Для решения этой задачи поступим следующим образом.

1 "

1. По исходной выборке Хы построим оценку среднего: 9N =—^xi .

/=1

2. Введем параметр Ь такой, что Х — Ь — В, 0 <х< В, и будем классифицировать наблюдения следующим образом: если наблюдение попадает в интервал (9N — Ь, 9N + Ь), то от-

носим его к подвыборке обычных наблюдений, в противном случае — к подвыборке «выбросов». Величины х и В выбираются по максимально доступному диапазону шкалы наблюдений.

3. Тогда для каждого х<Ь <В получим разбиение выборки Xм на две подвыборки:

Xl(b) = {х,^2,...,Х^}, такие что | х -вщ |<Ь , X 2(Ь) = {хс1, х2,..., Хщ } , такие что | хс1 -вм>Ь .

Параметр Ь выбирается так, чтобы подвыборки X1 (Ь) и X2(b) различались наилучшим образом. Для этого рассмотрим следующую статистику:

/ м1 м2 \

^n (b) = ^2

N2

N22X -Ni2

/=1 /=1 /

где N = Nj + N2, N1 = N1 (b), N2 = N2(b) — объемы подвыборок обычных и аномальных наблюдений соответственно.

4. Назначим далее порог (границу) C > 0 и сравним с ней величину максимума J = max | ФN(b) | по множеству x — b — B (предполагая, что этот максимум достигается). Если J — C, то принимается гипотеза H0 об отсутствии аномальных наблюдений; если же J > C, то гипотеза H0 отвергается. При этом в качестве подвыборки «выбросов» берется X 2 (b

*) , где bN ^ argmax| фn

3.2. Основные результаты

Сформулируем основные предположения.

Пусть на вероятностном пространстве (Й,!3,Р) заданы о -алгебры Н1 и Н2. Рассмотрим следующую меру зависимости между Н1 и Н2:

V(Hi, Н 2) = sup

Аен^ вен2,

P(A)P(B )*0

P( AB) -i

P( A)P(B)

Предположим, что {yn}, n >1 — последовательность случайных величин на (Q,3,P). Пусть 35 = s{yt:5 <i < t} , 1 < 5 < t — минимальная ст-алгебра, порожденная случайными величинами y ¡, s< i< t.

Определим коэффициент ^ -перемешивания ^(n) = sup , 3™+n).

t>i

А1. Условие перемешивания. Будем говорить, что последовательность {yn} удовлетворяет условию ^ -перемешивания, если Ц>(п) ^ 0 при n ^^ .

Условие ^ -перемешивания выполняется в большинстве практических случаев. В частности, для цепи Маркова (необязательно стационарной), если Ц)(п) < 1 для некоторого n, то Ц)(к) сходится к нулю экспоненциально быстро при к ^^ (см. Theorem 3.3 в (Bradley, 2005)).

А2. Условие Крамера. Будем говорить, что последовательность {yn} удовлетворяет равномерному условию Крамера, если существует число T > 0 такое, что sup Eexp(tyn) < °о при |t| < T . n

В следующей теореме получена экспоненциальная оценка сверху для вероятности ошибки 1-го рода для предложенного метода.

Теорема 1. Пусть e = 0, плотность f (•) симметрична относительно нуля и ограничена, а для наблюдаемой последовательности XN выполнены условия Крамера и ^ -перемешивания. Тогда для любого C > 0 справедлива следующая экспоненциальная оценка:

P0{sup|Фn(b)| > C} < Ц exp(-L2(C)N),

ber

где Ц, L2 > 0 не зависят от N, а Г = 5].

Доказательство теоремы 1. В приводимых доказательствах часто используется экспоненциальная оценка сверху для события, состоящего в том, что максимум сумм зависимых случайных величин превосходит некоторый порог (см. (Brodsky, Darkhovsky, 2000)). Для удобства читателя приведем здесь эту оценку.

n

Пусть Sn = 2 £k , где {£k }™=1 — последовательность случайных величин, удовлетворя-

k=i

ющих условию Крамера и ^ -перемешивания, а также k = 0 .

Тогда для любых 0 < b< 1/2, x > 0 и достаточно больших N выполнены следующие неравенства:

P J max |S I / N > xl< P J max S I / n > xl < A(x)exp(-B(x)bN) < A(x)exp(-B(x)N), (3)

Ц bN ]<n<N' n J Ц bN]<n<^ n| J

где функции A(), B() положительны и могут быть записаны явным образом.

И

О !

щ

1

0 &

ui

Щ

1

ф

& LQ

3

п и

О >S

о

Ниже неравенства типа (3) используются в разных контекстах, где функции А(), В(), вообще говоря, различны.

Переходим к доказательству теоремы 1. Для статистики Ф ы (Ь) можно записать:

/ N1 (b)

ФN (J) =

N 2 x - Ni (b)2

\ i=1

N ) xi

/N2 .

Из симметричности плотности /0 (х) относительно нуля будет следовать, что Е0Фы (Ь) ^ 0 при N .

Обозначим Г = [х, В]. Имеем

Pq J sup Ф N (b) > Cl< P0 isup

N, (b) 2 ^

CNI „

>—po

2

>

CN I

(4)

Далее

P0 i suP

N, (b) 2 *

> T N [<2 Pq isup{ 2

> T- n} П {N, (b) = n}I

(5)

Рассмотрим функцию

и

D(b) = / fo (x)dx.

Заметим, что функция Д(Ь) непрерывна (в силу ограниченности _/0 (")) и

* def

min D(b) >J f0 (x)dx = u.

Разобьем отрезок Г = [х,В] на равные части Г5 = [Ь5,Ь5+1 ], 5 = 1,...,R, так, чтобы

|Д(Ь )-Д(Ь,+1 )|<и /2

(такое разбиение возможно в силу равномерной непрерывности функции Д(Ь)). Тогда

Po i suP{

2 •

> Cn} П (N, (b) = n} l = P0J maxsup{

2 II * ber.

2 '

> С} n(N, (b)=n}!

: RmaxP0 i sup{

2 *

> С n} П (N, (b) = n}I.

(6)

Рассмотрим фиксированный отрезок Г, =[bi,Ьм ]. В силу определения чисел М1 (Ь) имеем для любого Ь £ Г,.:

N1 (Ь) / N < N1 (Ь)/ N < N1 (Ь,+1)/ N . (7)

Рассмотрим теперь вероятности следующих событий:

N1 (Ь,) / N -Д(Ь )| < и / 4, N1 (Ь,+1) / N -Д(ЬЖ )| < и / 4 .

Вначале будем оценивать вероятность отклонения случайной величины вN от своего математического ожидания Е0 в N = 0.

Из оценки (3) следует, что для любого у> 0 и достаточно больших N

Р0{|в^ >у}<А(у)ехр(-В(у)N). (8)

N

По определению N1 (Ь) = ^Iхк -| <Ь), где 1(А) — индикаторная функция множества А. к=1

Для любого г > 0 имеем:

Р {|хк в N | < ь}< Р0 {| хк| < Ь + г} + Р0 {|в N1 > г}, (9)

р0 {| хк в N | < ь}> Р0 {| хк| < Ь - г}-Р0 {|в N | > г} . (10)

Из оценки (3) следует, что для любой точки bi разбиения отрезка Г и достаточно больших N

1 N

N2(Т(Ix*-0n| )-Eo(I(Ix* -6N\<b,))

-i * 7,-1

> u / 21 < 4(u)exp(—B(u)N). (11)

—b

P

Из (9) и (10) следует, что

А(Ъ, + г) + 0(ехр(—В(г)N)) > Ео (1(|х, — вN1 < Ъ)) > А(Ъ, - г) + 0(ехр(—В(г)Щ).

Так как функция А() удовлетворяет условию Липшица (в силу ограниченности плотности), то из всех неравенств следует, что существует г (например 0< г < и / 4) такое, что для любой точки bi при N > N0

1 N

N 21 (I Xk-0n| <b )-A(b,)

def

> u / 4 i < A(u)exp(-B(u)N) = g(u,N). (12)

Поэтому, в силу (7), с вероятностью не меньше, чем 1 — у(и, N), при N > N0 имеем для каждого Ь £Г.:

A(b)-и/4 < Ш <A(b) + и/2.

(13)

Разобьем множество всех возможных значений параметра N (Ь), Ь £ Г, на два подмножества: А ={1< п < N: [А(Ь) — и/4]N < п < [А(Ъ) + и/2^} и его дополнение. Тогда Р0 (А;) > 1 — у (и, N) для N > N0. Поэтому

Po isuP

ber,

п

2 ;

> -C- n i п {N1 (b) = n} i < g(u, N) + Pq I max<

n

2

C I

> — n!

2 I

H

QQ i

щ

1

о &

ui ui

!

Ф &

LQ

3

И QQ >S «i

d

(14)

Для вероятности в правой части (14) снова используем оценку (3) и заметим, что А(Ь) > и. Тогда получим:

P0 i max

2 •

> Cn 11 < A(C) exp(-N[A(b,) - и/4]B(C)) < A(C)exp(-NB(C)3u/4). (15)

Так как все рассуждения справедливы для любого отрезка Г.., из (14) и (15) получаем, что для каждого i = 1,..., R

Po isuP

ber,

п

2 ^

> Cn i П {N1 (b) = n} | < A(C)exp(-NB(C)и/4).

(16)

Аналогичная оценка справедлива для второго слагаемого в правой части (4).

Принимая во внимание (4), (5), (6), (12) и (16), получаем требуемую экспоненциальную оценку.

Рассмотрим теперь характеристики предложенного метода в случае е^ 0. Здесь снова предполагается, что Е0 х1 = 0, i = 1,..., N.

Для любых фиксированных е , к положим

ек+Ъ ек+Ъ

г(Ъ) = / /(х)xdx, d(Ъ) = / /(х^х, Ф(Ъ) = г(Ъ) — ehd(Ъ).

ек—Ъ ек—Ъ

В следующей теореме изучается вероятность ошибки 2-го рода для предложенного метода.

P

0

Теорема 2. Пусть e^0. Предположим, что плотность f (") симметрична относительно нуля и ограничена, а для наблюдаемой последовательности XN выполнены условия Крамера и ^ -перемешивания. Тогда для вероятности ошибки 2-города при 0 < C < sup | O(b) | справедлива следующая экспоненциальная оценка: ber

P1 {sup | ФN(b) I— C} — Z3 exp(-L4(d)N),

ber

где L3, L4 > 0 не зависят от N, d = max | O(b) | — C > 0 .

ber

Доказательство теоремы 2 аналогично доказательству теоремы J, и ради краткости изложения оно не приводится.

3.3. Рекомендации по выбору порога С

Для практического применения полученных результатов необходимо уметь вычислять порог С.

Для вычисления этого порога начинаем работать с «чистой» выборкой (без «выбросов»). Для этой выборки можно определить порог С исходя из следующей эмпирической формулы, которая обоснована теоремой 1:

fo|lnа |

С = С (N) = о^ ^^ , (17)

где N — объем выборки; о2 — дисперсия ф 0 -зависимых наблюдений; а — уровень ошибки 1-го рода.

Практически рассчитывается дисперсия о2 наблюдений и целое число ф0 (по аргументу первого нуля автокорреляционной функции полученной выборки), и далее — порог С.

Приведем пример.

Рассмотрим следующую модель наблюдений (без «выбросов»):

х(п) = рх(п -1) + о£п, п = 1,...,N,

где — независимые одинаково распределенные случайные величины с функцией распределения N(0,1).

Приведенная выше формула (17) была взята за образец, по которому определялись предикторы при расчете порога С: объем выборки N, стандартное отклонение наблюдений о, коэффициент автокорреляции р, доверительная вероятность Ь. В эксперименте использовалась выборка данных объема п = 234 , включающая различные значения этих параметров (N = 50^2000; о = 0.1^5 ; р = -0.8^0.8; Ь = 0.95^0.99).

Полученная регрессионная зависимость для расчета порога С имеет следующий вид:

^(С) = -0.9490 - 0.4729 ■ Ы) +1.0627 ■ ^(о) - 0.6502 ■ ^(1 - р) - 0.2545 ■ ^(1 - Ь).

Отметим, что для этой зависимости R2 = 0.978, а ее ряд остатков стационарен на уровне ошибки 5%. Коэффициент эластичности по фактору N близок к своему теоретическому значению -0.5 (из формулы (17)).

3.4. Множественные переключения '§

о со

Пусть получена выборка Xм ={х1,..., хм}, где плотность распределения наблюдения х1 может быть записана следующим образом: Ч

f (x) = (1 - e!-----e m) fo (x) + e Jx (x) + • • • + e Jm (x),

щ

1 о

где e i >e2 >->e m > 0 , 0 < ^ +- + £ m < 1, E, (x,) = h,, j = 0,..., m , |

J J LQ

iu ui

'■5

и |h0 |<|Ai|<|A2 !<-<! hm|.

Нашей целью является тестирование гипотезы е5 = 0 , 5 = 1,...,т (отсутствие переклю- Ц

критерий качества метода:

. {(я^ Ф m) U ((max | e, -e, |> d) П (mN = m)Ц.

(через Ре обозначена мера, соответствующая последовательности наблюдений с ненулевыми параметрами плотности ei).

Однако центральную роль играет оценка числа классов т . Оценки параметров к0,...,Нт получаются как аргументы точек максимума гистограмм эмпирических распределений и, в силу фундаментальных свойств гистограммы, сходятся к истинным значениям параметров к0,...,кт. Состоятельные оценки параметров ei могут быть получены одним из стан-

з-

чений) и в случае отклонения этой гипотезы построение оценок числа переключений т >1 ^ и параметров модели ei, I = 1,...,т и ку, у = 0,...,т . ®

Идея использования выборочного среднего в качестве точки центрирования, изложен- щ

о

ная выше, в данном случае не работает, поскольку в случае нескольких классов это среднее может быть сильно смещено в сторону максимального | ку |.

Вместо этого будем использовать точки центрирования, полученные из гистограммы выборки. Конкретно, поступим следующим образом.

1. Построим гистограмму histN ^) по всей выборке X . Найдем а^тах histN ^). Наименьшая точка из этого множества берется в качестве точки центрирования вм в изложенном выше алгоритме для бинарных переключений. Далее повторяются шаги 1-4 этого алгоритма.

2. В результате на первом шаге метода получим два класса наблюдений («обычные» наблюдения и «выбросы») и оценку ем суммы е = е 1 +-----Ь ет наряду с оценкой среднего Е0х{.

3. Удаляем из полученной выборки все «обычные» наблюдения и повторяем шаги 1 и 2. В результате получим оценку параметра е1, а также оценку среднего Е1 х{.

4. Продолжаем этот процесс (удаление «обычных» наблюдений и повторение шагов 1 и 2) до тех пор, пока не будет получена выборка без переключений (т. е. не будет превышен решающий порог С ). В результате получим оценку тм числа классов т , а также оценки параметров е 1 > ••• > ет > 0 и средних Е0xi, Е1 xi, ..., Етх,.

Как видно, этот метод основан на последовательной редукции исходной задачи к модели с бинарными переключениями. Поэтому естественно характеризовать качество метода вероятностью правильной оценки числа классов (т. е. тм = т), а также точностью оценки параметров тах | е{ — е. | в случае тм = т . Другими словами, используется следующий

дартных методов (например методом моментов). Поэтому используем следующий критерий эффективности метода:

PE{wn * m}.

Заметим, что вероятность ошибки J-го рода в случае множественных переключений может быть оценена как в бинарном случае (этот результат не формулируется). Что касается вероятности ошибки 2-го рода (т. е. вероятности того, что останавливаемся на первом шаге метода, поскольку решающий порог не превышен), заметим, что ситуация бинарных переключений является частным случаем множественных переключений, в силу редукционных качеств предлагаемого алгоритма (т. е. когда все ei, начиная с i = 2, равны нулю). Поэтому

PE {ошибка второго рода, случай множественных переключений} <

< PE {ошибка второго рода, бинарный случай} < Ц exp(—L(d)N)

для 0 — d — max | O(b) | — C .

ber

Рассмотрим событие {mN * m} = {mN < m} U {mN > m} .

Событие {mN < m} означает, что на некотором рекуррентном шаге вышеописанной процедуры подвыборка оставшихся наблюдений (после удаления всех предыдущих подвыборок) считается «чистой» (т. е. без «выбросов»), но в реальности она содержит несколько классов наблюдений. Вероятность этого события меньше вероятности ошибки 2-го рода на данном шаге метода. Поэтому

PE {mn < m} — L3 exp(—L4 (d)N).

Событие {mN > m} означает, что в полученной выборке обнаружено больше классов наблюдений, чем в реальности. Вероятность этого события меньше, чем вероятность ошибки 1-го рода на последнем шаге описанного рекуррентного метода. Поэтому

Pe{mN > m} — Ц exp(—L2(C)N).

Изложенная схема приводит к следующей теореме.

Теорема 3. Предположим, что 0 < C < sup | O(b) |. Тогда вероятность ошибки 2-го ро-

ber

да может быть оценена сверху следующим образом:

PE{ ошибка второго рода} < Ltexp(—L(d)N), где 0 — d = max | O(b) | — C .

ber

Более того, оценка числа классов наблюдений сходится почти наверное к истинному числу классов m при N ^^ и

Pe{mN * m} — Lj[exp(—L(d)N) + exp(—L(C)N)],

где 0 < d = max | O(b) | — C, а константы Ц, L(d), L(C) не зависят от N.

ber

4. эксперименты. сравнительный анализ методов

Предложенный непараметрический метод дает возможность оценивания неизвестного числа классов переключений m. В этом отношении он значительно превосходит метод максимального правдоподобия и метод ^-средних, которые требуют для своей работы знания

истинного параметра т. Вместе с тем представляет интерес исследование свойств метода максимального правдоподобия и метода ^средних при неточном задании параметра т. щ Сравнительный анализ статистических характеристик этих методов (максимального <£

СВ

правдоподобия, ^-средних и предложенного непараметрического) был проведен при следу- Ч ющих предположениях. Рассматривалась модель смеси I гауссовских вероятностных рас- ^ пределений, где I = 1,2,3 с неизвестными весами. Компоненты смеси различались только >|"

параметрами средних значений. о

о &

Эксперимент 1: т = 0. ^

В этом эксперименте рассматривалась выборка гауссовских наблюдений N (1,1) без «вы- ^ бросов» (что соответствует идее теоремы 1). Фактически, проверялась нулевая гипотеза Ц об отсутствии «засорений» в смеси. Сравнивались следующие методы: метод максималь- | ного правдоподобия, метод ^-средних и непараметрический метод, предложенный в работе. Щ Метод максимального правдоподобия. Поскольку этот метод не дает возможность про- щ

о

верки нулевой гипотезы, рассматривались ошибочные решения о двух, трех и четырех классах распределений. По 400 независимым повторениям эксперимента строились гистограммы средних значений, дисперсий и долей наблюдений в различных классах.

В ситуации двух классов имеем следующие результаты. Из гистограмм (рис. 1) видно, что метод максимального правдоподобия дает серьезную погрешность в весах наблюдений, принадлежащих различным классам — он делит всю выборку наблюдений примерно на равные доли наблюдений в различных классах.

Метод ^средних в рассматриваемой ситуации дает еще более настораживающие результаты. В случае двух классов он делит всю выборку данных примерно пополам, но «разносит» при этом средние значения — для одного класса 0.25, для другого класса 1.8 (рис. 2).

Непараметрический метод дает состоятельную оценку неизвестного числа классов. Поэтому его можно использовать для проверки нулевой гипотезы об отсутствии случайных переключений в моделях с переменной структурой.

Далее в экспериментах при различных объемах выборки фиксировалась частота ошибки 1-го рода при тестировании нулевой гипотезы об отсутствии переключений. Полученные результаты приведены в табл. 1. Здесь ш1 — частота ошибки 1-го рода в 1000 независимых повторениях эксперимента.

Таблица 1. Результаты статистического испытания непараметрического метода

Объем выборки

100 200 300 500 800 1000 1200

ш, 0.14 0.085 0.054 0.052 0.052 0.051 0.050

Из этой таблицы видно, что предложенный непараметрический метод «настроен» на вероятность ошибки 1-го рода в 5%.

Эксперимент 2: т = 1.

В этом эксперименте рассматривалась модель смеси гауссовских распределений с двумя классами. Параметры смеси были равны: е1 = 0.2, Н0 =1, ^ = 5. Как и выше, было проведено 400 независимых повторений эксперимента.

-0.3 -0.2 0.0 0.2 0.3 0.5 0.7 0.8 1.0 1.1 1.3 1.5 1.6 1.8 1.9 0.3 0.4 0.5 0.5 0.6 0.7 0.7 0.8 0.9 1.0 1.0 1.1 1.2 1.3 1.3 1.4 1.5

Центры интервалов Центры интервалов

■ mu ■ sigma

0.03 0.10 0.17 0.24 0.31 0.38 0.45 0.52 0.59 0.66 0.73 0.80 0.87

Центры инте рвалов

□ weight

Рис. 1. Метод максимального правдоподобия (m = 0) (mu — средние; sigma — стандартные отклонения; weight — веса)

0.00 0.17 0.33 0.49 0.66 0.82 0.98 1.14 1.31 1.47 1.63 1.79 1.96 0.5 0.52 0.53 0.55 0.56 0.58 0.59 0.61 0.62 0.64 0.65 0.67 0.68

Центры интервалов Центры интервалов

■ mu ■ sigma

18

0.41 0.43 0.44 0.46 0.47 0.49 0.5 0.52 0.53 0.55 0.56 0.58 0.59

Центры интервалов

Рис. 2. Метод ^-средних (m = 0) (mu — средние; sigma — стандартные отклонения; weight — веса)

Метод максимального правдоподобия. Поскольку метод максимального правдоподобия

100 200 300 Объем выборки 500 800 1000 1200

w2 0.14 0.065 0.025 0.013 0.008 0.006 0.002

sh 0.183 0.141 0.111 0.081 0.072 0.062 0.039

S. 0.15 0.102 0.078 0.062 0.003 0.001 0.001

!

не дает оценку истинного числа классов, рассматривался случай ошибки в числе классов: щ вместо двух классов ищутся три класса распределений в смеси. Из результатов (рис. 3) видно, что метод максимального правдоподобия при этом дает довольно устойчивые оценки Ч средних значений в различных классах, но сильно ошибается в долях наблюдений, принад- ^

лежащих различным классам. >s

§

Метод k-средних, как и выше, дает еще менее приемлемые результаты. При задании трех о

классов вместо двух этот метод начинает классифицировать наблюдения по трем весьма да- ^

леко разнесенным классам. Существенные ошибки возникают как при оценивании средних uj

в различных классах, так и при оценке долей наблюдений, принадлежащих различным клас- ^

сам. Так, в приведенном эксперименте вместо истинных значений параметров h0 =1, \ = 5 g

и e1 = 0.2 этот метод рассчитывает h0 = 0.2, h =1.8, h2 = 5.2 и e1 = 0.17, e2 = 0.52 (рис. 4). |

Непараметрический метод. Для предложенного непараметрического метода рассчитыва- Щ

лась w2 — вероятность ошибки 2-го рода в оценивании числа неизвестных классов (m = 1 щ

в данном случае). Пусть в ситуации m = m получены оценки ei, i = 1,..., m; и hj, j = 0,...,m . *

Тогда рассчитывались следующие показатели: i

tR

П

" /V И

оh = max | h - h |, oe = max | e - e |. >g

j J J i 4

Результаты эксперимента приведены в табл. 2. ^

Таблица 2. Результаты статистического испытания непараметрического метода

Эксперимент 3: m = 2 .

В этом эксперименте рассматривалась модель смеси из трех гауссовских распределений. Параметры смеси были равны: . = 0.3, e2 = 0.2 , h0 =1, h = 3 , h2 = 5 . Как и выше, было проведено 400 независимых повторений эксперимента.

Метод максимального правдоподобия. В этом примере рассматривался случай точного задания числа классов m = 2 . При этом из результатов видно, что данный метод дает довольно точные оценки параметров смеси: средних значений, дисперсий и долей наблюдений в различных классах (рис. 5).

Метод k-средних. В этом примере рассматривался случай ошибки в задании числа классов: вместо трех классов экспертно задавались два, и при этом получалась существенная ошибка как по средним значениям, так и по долям наблюдений в различных классах. Более конкретно, этот метод дает следующие оценки параметров смеси (рис. 6):

hj =1.2, e1 = 0.41, s = 0.93.

При этом при другой реализации получаются несколько иные оценки: h1 = 4.2 , e1 = 0.61,

S =1.08 .

-1.36 -0.57 0.23 1.03 1.83 2.63 3.42 4.22 5.02 5.82 6.61 7.41 0.12 0.28 0.45 0.61 0.78 0.94 1.1 1.27 1.43 1.6 1.76 1.93 2.09

Центры интервалов Центры интервалов

■ mu ■ sigma

0.01 0.07 0.14 0.21 0.27 0.34 0.41 0.47 0.54 0.61 0.67 0.74 0.81

Центры интервалов

□ weight

Рис. 3. Метод максимального правдоподобия (m = 1) (mu — средние; sigma — стандартные отклонения; weight — веса)

-0.04 0.45 0.94 1.43 1.92 2.41 2.90 3.39 3.88 4.37 4.86 5.35 0.52 0.56 0.60 0.65 0.69 0.73 0.78 0.82 0.86 0.91 0.95 0.99 1.04

Центры интервалов

Центры интервалов

0.16 0.18 0.21 0.24 0.26 0.29 0.32 0.34 0.37 0.40 0.42 0.45 0.48

Центры интервалов

□ weight

Рис. 4. Метод ^-средних (m = 1) (mu — средние; sigma — стандартные отклонения; weight — веса)

0.29 0.73 1.18 1.62 2.07 2.52 2.96 3.41 3.86 4.30 4.75 5.19 5.64 0.15 0.28 0.41 0.54 0.67 0.80 0.93 1.06 1.19 1.32 1.45 1.58 1.71

Центры интервалов Центры интервалов

■ mu ■ sigma

0.05 0.11 0.16 0.22 0.27 0.33 0.38 0.44 0.49 0.55 0.60 0.66 0.71

Центры инте рвалов

□ weight

И

о !

щ

1

о &

ai щ

!

«

<u &

La

3

«

и

О 'S «ï

«ï

о

Рис. 5. Метод максимального правдоподобия (m = 2) (mu — средние; sigma — стандартные отклонения; weight — веса)

0.86 1.17 1.48 1.78 2.09 2.40 2.70 3.01 3.32 3.62 3.93 4.24 4.54 0.85 0.88 0.91 0.94 0.97 1.00 1.03 1.06 1.09 1.12 1.15 1.18 1.21

Центры интервалов Центры интервалов

mu ■ sigma

0.33 0.36 0.38 0.41 0.44 0.46 0.49 0.52 0.54 0.57 0.60 0.62 0.65

Центры интервалов

□ weight

Рис. 6. Метод ^-средних (m = 2) (mu — средние; sigma — стандартные отклонения; weight — веса)

Непараметрический метод. В таблице 3 приведены результаты, полученные непараметрическим методом (обозначения те же, что и в табл. 2).

Таблица 3. Результаты статистического испытания непараметрического метода

100 200 300 Объем выборки 500 700 1000 1200

w2 0.535 0.307 0.300 0.279 0.252 0.130 0.082

sh 0.284 0.241 0.181 0.121 0.102 0.082 0.059

0.24 0.174 0.123 0.106 0.073 0.052 0.024

Приведенные результаты моделирования свидетельствуют о том, что предложенный в работе непараметрический метод обладает существенными преимуществами в сравнении с известными методами классификации, а именно:

1) дает возможность проверять нулевую гипотезу об отсутствии наблюдений, принадлежащих различным классам;

2) позволяет оценить неизвестное число классов;

3) позволяет строить несмещенные оценки долей наблюдений, принадлежащих различным классам, и параметров этих классов.

5. Выводы

Данная работа посвящена проблемам статистического анализа моделей с переменной структурой. Рассматриваются основные постановки задач статистического анализа моделей с переменной структурой и обсуждаются методы, наиболее часто используемые для решения этих задач: метод максимального правдоподобия и метод ^-средних. Эти методы обладают следующими недостатками:

• нет возможности проверки нулевой гипотезы об отсутствии изменений структуры модели;

• число различных классов наблюдений, как правило, априори задано;

• теоретическое обоснование эффективности этих методов в общей ситуации отсутствует.

В работе предложен новый непараметрический метод, который позволяет избежать эти

недостатки. В частности, этот метод дает возможность проверки нулевой гипотезы и оценки неизвестного числа классов. Доказаны теоремы о сходимости к нулю вероятностей ошибок 1-го и 2-го рода с увеличением объема выборки.

Было проведено экспериментальное исследование эффективности предложенного метода, включающее сравнительный анализ его характеристик с аналогичными характеристиками метода максимального правдоподобия и метода ^-средних для задачи расщепления смеси гауссовских распределений.

Список литературы

Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. (1989). Прикладная статистика. Классификация и снижение размерности. М.: «Финансы и статистика».

Ang A., Bekaert G. (2002). International asset allocation with regime shifts. The Review of Financial ,s Studies, 15 (4), 1137-1187. |

О

Baum L., Petri T., Soules G., Weiss N. (1970). A maximization technique occurring in the statistical anal- §

ci

ysis of probabilistic functions of Markov chains. The Annals of Mathematical Statistics, 41 (1), 164-171. ¿J Bradley R. C. (2005). Basic properties of strong mixing conditions. A survey and some open questions. °

LQ

Probability Surveys, 107-144.

s

Brodsky B., Darkhovsky B. (2000). Non-parametric statistical diagnosis: Problems and methods. Dor- *

dreht: Kluwer Academic Publishers. §

щ

Cerra V, Saxena S. (2005). Did output recover from the Asian crisis? IMF Staff Papers, 52, 1-23. uj

Cosslett S., Lee L. (1985). Serial correlation in latent discrete variable models. Journal of Economet-

щ

rics, 27 (1), 79-97. I

is

Dai Q., Singleton K., Yang W. (2003). Regime shifts in a dynamic term structure model of U.S. treasury * bond yields. Working Paper, Stanford University. Ц.

LQ

Davig T. (2004) Regime-switching debt and taxation. Journal of Monetary Economics, 51 (4), 837-859. д:

Francq C., Zakoyan J.-M. (2001). Stationarity of multivariate Markov-switching ARMA models. Journal of Econometrics, 102 (2), 339-364. §

и

Garcia R., Luger R., Renault E. (2003). Empirical assessment of an intertemporal option pricing model >_| with latent variables. Journal of Econometrics, 116 (1-2), 49-83.

Goldfeld S., Quandt R. (1973). A Markov model for switching regressions. Journal of Econometrics, ° 1 (1), 3-15.

Hamilton J. (2005). Regime-switching models. In: Palgrave Dictionary of Economics.

Jeanne O., Masson P. (2000). Currency crises, sunspots and Markov-switching regimes. Journal of International Economics, 50 (2), 327-350.

Juang B., Rabiner L. (1985). Mixture autoregressive hidden Markov models for speech signals. IEEE Transactions on Acoustics, Speech, and Signal Processing, 33 (6), 1404-1413.

Lee L., Porter J. (1984). Switching regression models with imperfect sample separation information - with an application on cartel stability. Econometrica, 52 (2), 391-418.

Lindgren G. (1978). Markov regime models for mixed distributions and switching regressions. Scandinavian Journal of Statistics, 5 (2), 81-91.

Poritz A. (1982). Linear predictive hidden Markov models and the speech signal. Acoustics, Speech and Signal Processing, IEEE Conference on ICASSP '82, 7, 1291-1294.

Rabiner L. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of IEEE, 77 (2), 257-286.

Sims C., Zha T. (2005). Were there switches in U.S. monetary policy? CEPS Working Paper, 110.

Timmermann A. (2000). Moments of Markov switching models. Journal of Econometrics, 96 (1), 75-111.

Tjostheim D. (1986). Some doubly stochastic time series models. Journal of Time Series Analysis, 7 (1), 51-72.

Yang M. (2000). Some properties of vector autoregressive processes with Markov-switching coefficients.

Econometric Theory, 16 (1), 23-43.

Поступила в редакцию 20.07.2015; принята в печать 10.09.2015.

Aivazian S. A., Bereznyatskiy A. N., Brodsky B. E, Darkhovsky B. S. Statistical analysis of variable-structure models. Applied Econometrics, 2015, 39 (3), pp. 84-105.

Sergei Aivazian

Central Economics and Mathematics Institute, Moscow, Russian Federation; [email protected] Alexander Bereznyatskiy Central Economics and Mathematics Institute, Moscow, Russian Federation; [email protected] Boris Brodsky

Central Economics and Mathematics Institute,

Moscow, Russian Federation; [email protected]

Boris Darkhovsky

Institute for Systems Analysis,

Moscow, Russian Federation; [email protected]

Statistical analysis of variable-structure models

Classification problems for univariate and multivariate observations are often encountered in statistics and economics. However, all existing approaches to solving these problems have several essential drawbacks:

1. All these methods cannot help in testing the null hypothesis of no different classes;

2. The number of classes is assumed to be known a priori;

3. Theoretical justification of performance effectiveness of these methods is lacking.

In this paper a new nonparametric method is proposed which can help us to solve these problems. This method enables us to construct consistent estimate of an unknown number of classes and to test the null hypothesis of no different classes. Besides theoretical findings, we present results of experimental analysis of this method including comparison of its characteristics with the maximum likelihood method and ¿-means method in different situations.

Keywords: nonparametric methods; cluster analysis; classification methods; EM algorithm; A-means; mixture models.

JEL classification: C1; d4; C3; С38.

References

Aivazian S. A., Bukhshtaber V M., Enyukov I. S., Meshalkin L. D. (1989). Prikladnaja statistika. Klas-sifikacija i snizhenie razmernosti. [Applied Statistics: Classification and Dimensionality Reduction. Moscow, Finance and Statistics] Moskva: «Finansy i statistika» (in Russian).

Ang A., Bekaert G. (2002). International asset allocation with regime shifts. The Review of Financial Studies, 15 (4), 1137-1187.

Baum L., Petri T., Soules G., Weiss N. (1970). A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains. The Annals of Mathematical Statistics, 41 (1), 164-171.

Bradley R. C. (2005). Basic properties of strong mixing conditions. A survey and some open questions. Probability Surveys, 107-144.

Brodsky B., Darkhovsky B. (2000). Non-parametric statistical diagnosis: problems and methods. Dor- ,s dreht: Kluwer Academic Publishers. §

О

Cerra V., Saxena S. (2005). Did output recover from the Asian crisis? IMF Staff Papers, 52, 1-23. g

Cosslett S., Lee L. (1985). Serial correlation in latent discrete variable models. Journal of Economet- et

rics, 27 (1), 79-97. «

щ

Dai Q., Singleton K., Yang W. (2003). Regime shifts in a dynamic term structure model of U.S. treasury >sf

s

bond yields. Working Paper, Stanford University. о

Davig T. (2004) Regime-switching debt and taxation. Journal of Monetary Economics, 51 (4), 837-859. ^ Francq C., Zakoian J.-M. (2001). Stationarity of multivariate Markov-switching ARMA models. Jour- ui

nal of Econometrics, 102 (2), 339-364. utl

§

Garcia R., Luger R., Renault E. (2003). Empirical assessment of an intertemporal option pricing model with latent variables. Journal of Econometrics, 116 (1-2), 49-83.

Goldfeld S., Quandt R. (1973). A Markov model for switching regressions. Journal of Econometrics, 1 (1), 3-15.

Hamilton J. (2005). Regime-switching models. In: Palgrave Dictionary of Economics.

Jeanne O., Masson P. (2000). Currency crises, sunspots and Markov-switching regimes. Journal of In- |

ternational Economics, 50 (2), 327-350. >s

ч

Juang B., Rabiner L. (1985). Mixture autoregressive hidden Markov models for speech signals. IEEE Transactions on Acoustics, Speech, and Signal Processing, 33 (6), 1404-1413. °

Lee L., Porter J. (1984). Switching regression models with imperfect sample separation information — with an application on cartel stability. Econometrica, 52 (2), 391-418.

Lindgren G. (1978). Markov regime models for mixed distributions and switching regressions. Scandinavian Journal of Statistics, 5 (2), 81-91.

Poritz A. (1982). Linear predictive hidden Markov models and the speech signal. Acoustics, Speech and Signal Processing, IEEE Conference on ICASSP '82, 7, 1291-1294.

Rabiner L. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of IEEE, 77 (2), 257-286.

Sims C., Zha T. (2005). Were there switches in U.S. monetary policy? CEPS Working Paper, 110. Timmermann A. (2000). Moments of Markov switching models. Journal of Econometrics, 96 (1), 75-111.

Tjostheim D. (1986). Some doubly stochastic time series models. Journal of Time Series Analysis, 7 (1), 51-72.

Yang M. (2000). Some properties of vector autoregressive processes with Markov-switching coefficients.

Econometric Theory, 16 (1), 23-43.

Received 20.07.2015; accepted 10.09.2015.