Лекции: Анализ временных рядов Текст научной статьи по специальности «Математика»

ЛЕКЦИОННЫЕ И МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ

Анализ временных рядов Канторович Г.Г.

Вниманию читателей предлагается курс лекций, прочитанный студентам Государственного университета - Высшей школы экономики. Этот курс был записан студентами с помощью диктофона и затем расшифрован с использованием конспекта. Для данной публикации текст был отредактирован и значительно расширен, но в нем сохранена некоторая «живость», присущая разговорной речи, и не свойственная для письменной, академичной манеры изложения. Также сохранена разбивка на лекции, что может дать ориентир читателю-преподавателю. Поскольку материал курса планируется разместить в четырех выпусках журнала, традиционная нумерация формул для последующих ссылок не используется.

В практику отечественных высших учебных заведений курс «Анализ временных рядов» при подготовке экономистов вошел только в последнее время, и, зачастую, представляет собой «механическое» перенесение соответствующего курса для инженерных специальностей. Несмотря на обширность научной и учебной литературы по вышеуказанной тематике на иностранных языках, на русском языке отсутствует не только связное изложение, но и пригодное для использования в учебном процессе на магистерском уровне описание отдельных фрагментов предлагаемого курса, за исключением подхода Бокса-Джен-кинса по построению моделей типа АШМА. Встречающиеся в отечественной периодике статьи, анализирующие временные ряды для исследования переходной экономики России, изобилуют большим числом ошибок в применении этих методов.

В этот выпуск «Экономического журнала ВШЭ» вошла часть курса, посвященная стационарным временным рядам, наиболее полно представленная в литературе на русском языке. В последующих выпусках рассматриваются подход Бокса-Дженкинса, нестационарные временные ряды типа ТБ и ОБ, тестирование наличия единичного корня, коинтег-рация временных рядов, модель коррекции отклонениями для стационарных и нестационарных регрессоров, модели векторной авторегрессии и их связь с коинтеграцией, модели с условной гетероскедастичностью.

Анализ взаимосвязей экономических данных, представленных в виде временных рядов, является необходимой составной частью современных исследований в области макроэкономической динамики, переходной экономики, эконометрики финансовых рынков. В конце 1980-х-начале 1990-х гг. было осознано, что только учет

Канторович Г.Г. - профессор, к. физ.-мат. н., проректор ГУ-ВШЭ, зав. кафедрой математической экономики и эконометрики.

временной структуры данных о реальных экономических процессах позволяет адекватно отразить их в математических и эконометрических моделях. Осознание этого факта привело как к ревизии многих макроэкономических теорий и построений, так и к бурному развитию специфических методов анализа таких данных. Знание этих методов и способов применения их к анализу конкретных экономических процессов, является в настоящее время необходимой составляющей подготовки экономистов-исследователей (аналитиков) на магистерском уровне.

Разработанные для целей экономических исследований методы анализа нестационарных случайных процессов существенно отличаются от нашедших широкое применение в технике и теории управления приемов работы со стационарными случайными процессами. В силу сложности исследуемых явлений эти методы предъявляют повышенные требования к математической, эконометрической подготовке студентов и к их знаниям современных подходов экономической теории.

Последнее обстоятельство представляется чрезвычайно важным. В техничэс-ких приложениях анализ временных рядов используется преимущественно для прогнозирования и сопровождается значительной долей так называемого «data mining». В современной экономике значительно большее место занимает оценивание динамических моделей, отражающих краткосрочные и долгосрочные связи между экономическими переменными.

Лекция 1

Уже в начальном курсе эконометрики при изучении автокорреляции рассматриваются соотношения вида х( = рх{_1 + е(. Значения некоторой экономической

переменной зависят от ее же значений в предыдущий момент времени, от ее значений с лагом - сдвигом по времени на один шаг назад. Включение переменных с лагом в эконометрические соотношения означает существенное изменение в «философии» моделирования. Если в обычных эконометрических моделях значения одной переменной зависят от одновременных значений других переменных, то есть от текущего состояния экономической системы, то наличие переменных с лагом означает, что поведение системы определяется не только ее текущим состоянием, но и траекторией, по которой система пришла в это состояние. С математической точки зрения эконометрическая модель такого типа представляет собой не функцию объясняющих переменных, а функционал от траектории (траекторий) экономических переменных. Поэтому элементами таких моделей являются траектории: множества данных е Т}, где Т - некоторое счетное или континуальное множество. Моделирование зависимостей вида у( = /(х(,£(), где х и у есть

данные типы траекторий, приводит к ситуации, когда обычные приемы регрессионного анализа не дают приемлемых оценок параметров. Курс «Анализ временных рядов» посвящен изучению методов построения и анализа таких зависимостей.

История использования динамических эконометрических моделей началась, пожалуй, с Луи Башелъе, который в 1900 г. в своей диссертации [1] описал динамику поведения французских государственных облигаций, схожую с броуновским движением, известным из физики.

В 1984 г. Нельсоном и Кангом [5] было показано, что некоторые типы траекторий (в частности связанные со случайным блужданием) приводят к тому, что

регрессии, получаемые обычным методом наименьших квадратов, являются кажущимися (spurious). В 1987 г. Нельсон и Плоссер [6] показали, что почти все исторические макроэкономические ряды США относятся именно к этому типу. Другими словами, коэффициенты регрессии являются значимыми, стандартные тесты регрессионного анализа не диагностируют нарушений предпосылок классической модели, но, тем не менее, никакой зависимости между экономическими показателями нет. Позже мы обсудим, как они это показали и что следует из их результатов. Дальнейшие исследования установили, что исторические ряды макроэкономических данных США относятся именно к тому классу траекторий, который порождает кажущиеся регрессии. Эти факты заставили пересмотреть все до тех пор го-лученные эконометрические результаты в области анализа динамических моделей.

Случайные процессы и временные ряды

В курсе эконометрики ряд содержательных задач приводит к уравнениям, которые естественно назвать авторегрессионными (autoregressive). В частности, при устранении автокорреляции было получено уравнение Yt = a + b • Yt_1 + g • Xt + et. В

нем в качестве объясняющей переменной появилась переменная Y с запаздыванием, т.е. регрессия переменной на саму себя - именно поэтому такое уравнение и назвали авторегрессионным.

Кроме того, в курсе эконометрики рассматривались модели с распределенными лагами (distributed lag models), в которых объясняющая переменная X также присутствует с запаздыванием: Yt = a + b • Yt_1 + g0 • Xt + g1 • Xt_1 +... + st. В математических терминах можно записать: Yt = f (Yt_T,XtT;t e {1,T],t e [0,t]). Важно, что теперь в модель входит не только по одному наблюдаемому значению переменных X и Y, а совокупность наблюденных значений (траектория). Причем по самому смыслу мы не можем считать, что последовательные значения каждой из переменных независимы между собой в статистическом смысле. Именно характер их зависимости заставляет нас рассматривать такую модель. Некоторые частные случаи такого рода моделей уже рассматривались в курсе эконометрики, а теперь наша задача - изучить общую базу их построения. Начнем с определения основных понятий.

Мы будем называть временным рядом (time series) совокупность наблюдений экономической величины в различные моменты времени. При этом наблюдение может характеризовать экономическую величину в данный момент времени, то есть быть типа запаса (например цена, ставка процента), или - характеризовать промежуток времени, то есть быть типа потока (например ВВП, продукция промышленности, поступления налогов). Как обычно в эконометрике, мы будем рассматривать временной ряд как выборку из последовательности случайных величин Xt, где t принимает целочисленные значения от 1 до Т. Иногда мы будем рассматривать промежуток времени от 0 до Т. Совокупность случайных величин {Xt,t e [1,T]} мы будем называть дискретным случайным или стохастическим

процессом. Поскольку в нашем курсе все случайные процессы будут дискретными, в дальнейшем это слово будем опускать.

Иногда говорят, что стохастический процесс «для каждого случая» является некоторой функцией времени, что позволяет рассматривать процесс как случай-

ную функцию времени Х(/). При каждом фиксированном t значение стохастического процесса рассматривается просто как случайная величина. Эти два эквивалентных подхода позволяют рассматривать стохастический процесс как функцию двух разнородных величин, случая и момента времени: X(а,Г). При фиксированном случае у нас есть некоторая последовательность значений первой случайной величины, второй, третьей и так далее, которую мы будем называть реализацией случайного процесса. Говорят, что наблюдаемый временной ряд является реализацией стохастического процесса, или временной ряд порождается стохастическим процессом. Часто имеет смысл трактовать последовательность {Xt,t е [1,Т]} как

подпоследовательность бесконечной последовательности {Xt,t = 0,+1,+2,...} и именно эту последовательность назвать стохастическим процессом, порождающим наблюденные данные. Как правило, в дальнейшем, если не оговорено обратное, в курсе под стохастическим процессом понимается бесконечная последовательность {Xt,t = 0,±1,±2,...}. Если t пробегает непрерывный отрезок времени, а иногда аналитически удобнее работать с непрерывным временем, то X(а,Г) называют случайным процессом с непрерывным временем. Принято обозначать значения реализации и стохастический процесс одними и теми буквами, например Xt. Обычно это не

приводит к недоразумениям. В экономике мы чаще всего встречаемся, конечно, с дискретным временем. Примеры временных рядов: ВВП с 1921 по 1991 гг. в некоторой стране, помесячные значения инфляции, поквартальный объем производства, фондовый индекс или курс некоторой акции.

Поскольку случайный дискретный процесс X (а^) представляет собой совокупность случайных величин, то его наиболее полной статистической характеристикой является совместная функция распределения или функция плотности распределения (если плотность существует). Когда у нас было 2 случайных величины, мы говорили, что такой характеристикой является двумерная функция распределения (или плотности распределения). При рассмотрении временного ряда число случайных величин велико и может быть бесконечным. Поэтому, строго говоря, чтобы задать все вероятностные свойства этой конструкции, нам нужна совокупность функций распределения, а именно одномерная функция распределения, двумерная функция распределения и так далее: /1(х( );/2(х( ,х( );/3(х( ,х( ,х( );...

1 12 12 3

Индексы у величин х( и х( означают, что одна случайная величина рассматри-

12

вается в момент ^ , вторая - в момент t2 и так далее, и у них есть совместная функция распределения. Если мы возьмем другие моменты времени, то, вообще говоря, функция распределения будет другая. Такая совокупность функций распределения полностью характеризует случайный процесс. Эта совокупность функций согласована между собой в следующем смысле. Каждую функцию распределения размерности п можно получить из функции распределения размерности п+1. Для этого надо проинтегрировать функцию большей размерности по всем значениям одной из переменной.

Стоит задуматься, как мы дальше будем использовать эту математическую конструкцию? С точки зрения построения моделей наша эконометрическая ситуация осталась неизменной. А именно, как правило, имеется одна единственная реализация временного ряда, и ясно, что говорить об оценивании совокупности

всех функций распределения вообще никогда не приходится. И, во-вторых, пока на интуитивном уровне, если процесс ведет себя так, что его основные статистические характеристики со временем меняются, то мы по короткому кусочку наших наблюдений вообще ничего не сможем сказать о нем. Или нам что-то еще нужно знать дополнительно, сверх наблюдений. Поэтому, чтобы несколько снять остроту этой проблемы, мы будем говорить о более узком классе случайных процессов, которые мы назовем стационарными случайными процессами.

Объектом нашего рассмотрения будут не только стационарные процессы, хотя это один из самых важных классов. Под стационарностью мы будем понимать, что у случайного процесса некоторые свойства не меняются с течением времени. В соответствии с этим мы будем рассматривать 2 типа стационарности. Строгая стационарность, или стационарность в узком смысле. Мы будем называть случайный процесс строго стационарным, если сдвиг во времени не меняет ни одну из функций плотности распределения. Это значит, что если ко всем моментам времени прибавить некоторую (целочисленную) величину, то сама функция плотности не изменится, /п(х( ,...х( ) = /п(х( +Д,...х( +Д) для

1 п 1 п

всех п, моментов времени ^ ,..Лп и целочисленных Д.

Можно сформулировать это определение не только в терминах плотности распределения, но и в терминах функций распределения, если плотности распределения не существуют. Иногда этот тип стационарности называют сильным. Следствия.

Поскольку при каждом фиксированном t случайный процесс есть случайная величина, то для каждой из них можно рассматривать те характеристики, с которыми мы работали гораздо чаще, чем с функциями распределения, а именно математическое ожидание, дисперсию и так далее. Разумеется, они не обязаны существовать, поэтому в дальнейшем предполагаем сходимость соответствующих интегралов, не оговаривая это всякий раз отдельно.

По определению математическое ожидание непрерывной случайной вели-+¥

чины Х( равно Е{Х(} = |г• ^(2)д2 = /, если этот интеграл сходится. Если процесс

стационарный, то какой бы момент времени I мы не взяли, подынтегральное выражение не меняется, поэтому математическое ожидание не зависит от времени.

1-ое следствие: если процесс строго стационарный, то его математическое ожидание не зависит от времени. Обратите внимание, что если свойства стационарности нет, то в различные моменты времени может быть разное по величине математическое ожидание.

Аналогичный результат справедлив для дисперсии стационарного процесса:

Уаг(Х() = V(Х() = ст2 .

2-ое следствие: дисперсия строго стационарного процесса в каждый момент времени одинакова.

Поскольку значения временного ряда в различные значения времени являются зависимыми между собой, то имеет смысл рассмотреть величину

Соу(Х( ,Х( ). Соу(Х( ,Х( ) = [[(х( - /л) • (х( - /л) • /2(хх ,х1 ) • с1х( • ск( . В этом интеграле

12 1 2 1 2 12 12

мы можем сделать замену переменных и увидим, что, благодаря свойству стационарности, интеграл не изменится при сдвиге времени на т вперед или на т на-

зад. Следовательно, ковариация может рассматриваться как функция не двух переменных: ^ и t2, а - единственной переменной: разности (41-42). Совокупность значений ковариаций при всевозможных значениях расстояния между моментами времени называется автоковариационной функцией случайного процесса.

3-е следствие: автоковариационная функция стационарного временного ряда зависит только от разности моментов времени (41-42).

Используя для автоковариационной функции обозначение у получим

/(0) = Cov(Xt ) = а2 . Мы можем рассматривать функцию у(т) как всевозможные

1 1

значения автоковариаций, где т пробегает целочисленные значения от -¥ до ¥. Поскольку очевидно, что эта функция четная, достаточно рассматривать только неотрицательные значения т Можно стандартным образом рассчитать коэффициент

у (л)

корреляции между разделенными на т значениями временного ряда р(т) = ^ .

(Коэффициент корреляции - это ковариация, разделенная на корень из произведения двух дисперсий, но поскольку дисперсия постоянна, то мы получаем просто а2 или /0).) Это выражение определяет автокорреляционную функцию временного ряда. Она показывает, насколько статистически зависимы значения временного ряда при различных сдвигах времени, то есть с разницей в год (для годовых данных) или в два года и так далее.

Итак, результаты, которые мы получили, заключаются в следующем.

Если случайный процесс стационарен в узком смысле, то у него:

• математическое ожидание не зависит от времени;

• дисперсия не зависит от времени;

• автоковариационная и автокорреляционные функции: а) зависят только от сдвига, от разности моментов времени; б) являются четными функциями.

Используем эти свойства для второго определения стационарности.

Слабая стационарность, или стационарность в широком смысле.

Если случайный процесс таков, что у него математическое ожидание и дисперсия существуют и не зависят от времени, а автокорреляционная (автоковариационная) функция зависит только от разности значений (41-42), то такой процесс мы назовем стационарным в широком смысле, или слабо стационарным. Существует еще одно название процесса с такими свойствами - стационарный в ковариациях случайный процесс. Всякий строго стационарный процесс является слабо стационарным, обратное, вообще говоря, не верно, например третий центральный момент может зависеть от времени. Не зря эти термины подобраны так, а не наоборот. Для очень важного класса нормальных процессов два эти определения стационарности эквивалентны. Мы назовем случайный процесс нормальным или гауссовым, если все его многомерные функции распределения нормальны. Поскольку многомерные функции распределения нормального вектора любого порядка полностью определяются вектором математических ожиданий и ковариационной матрицей, то для гауссова случайного процесса из слабой стационарности следует сильная стационарность.

И последнее свойство автокорреляционной или автоковариационной функции. Значения автокорреляционной функции не могут быть произвольными. Если

N N

мы рассмотрим квадратичную форму вида: ^¿у(1 - /)2. или ^р(1 - /)2. , то

г,]=\ ¿,/=1

она будет неотрицательно определенной для любого натурального числа N. Доказательство непосредственно следует из того факта, что квадратичная форма

1

р(т)

^ zig(i - j)Zj равна дисперсии линейной

i,j=1

N

комбинации ^ ziXi . Когда мы будем строга =1

t

Рис. 1.

ить оценки автокорреляционной функции, то нам надо будет построить их так, чтобы это свойство выполнялось. График функции p(t) носит название коррелограммы.

Коэффициент корреляции по модулю меньше единицы, поэтому |р(г)| < 1. Иногда этот

график представляют в виде, как если бы функция р(т) была определена для всех, а не только целочисленных t (см. рис. 1).

После того, как мы познакомились с основными понятиями и характеристиками случайных процессов, приведем несколько простейших примеров, с которыми часто будем иметь дело.

1. Процесс et, удовлетворяющий условиям теоремы Гаусса-Маркова. Это означает, что E(st) = 0; Var(st) = а2; Cov(ei,e ■) = 0 при i Ф j . Этот процесс заведомо

слабо стационарен или стационарен в широком смысле. Мы будем называть этот процесс белым шумом (white noise). Если добавить еще, что случайные величины ei распределены в совокупности нормально, то процесс стационарен также и в узком

смысле. Мы будем называть его гауссовым белым шумом и писать ее ~WN(0,а2).

Белый шум играет очень важную роль при анализе временных рядов и порождает более сложные процессы. Иногда то, что мы определили, могут назвать слабым белым шумом, и назвать сильным белым шумом, если заменить требование некоррелированности требованием независимости.

2. Процесс случайного блуждания (Random walk). Иногда его называют броуновским движением. Это процесс, который задается следующим образом: Xt = Xt-1 + st, где st - белый шум. Этот процесс можно рассматривать как авторегрессию с коэффициентом 1. Сам термин «случайное блуждание» появился в начале века в связи с шуточной по формулировке задачей: если в чистое поле выпустить пьяного, то где его следует искать через некоторое время? Результат -если пьяный блуждает случайно, то его надо искать на том же месте, то есть в среднем пьяный останется на том же месте.

Вычислим математическое ожидание, дисперсию и автокорреляционную функцию случайного блуждания при условии, что есть некоторая начальная точка X0 . Xt = Xt-1 + st - это обычное разностное уравнение. Легко записать его об-

щее решение: Xt = Xt - 2 + st + st-1 = Xt - 3 + st + st-1 + st - 2

+ ...= X о + X

st . Мы выписа-

t= 0

ли решение в явном виде не через предыдущие значения, а только через начальное значение и правые части, в которых стоит белый шум.

t

E{Xt} = E(X0) + E(^ st-T) = X0 + ^ E(st-T) = X0 + 0 = const, то есть математиче-

t=0

ское ожидание удовлетворяет условию стационарности. Подсчитаем дисперсию.

t

V (X t) = E{( ^stT)2}. Если мы раскроем скобки, то удвоенные произведения после

t=0

взятия математического ожидания будут равны 0, и останется только математическое ожидание суммы квадратов. Учитывая свойства дисперсии белого шума,

получим V(Xt) = t . Сомножитель t показывает, что дисперсия случайного блуждания меняется со временем, более того, она растет пропорционально времени. Процесс случайного блуждания является нестационарным, даже в широком смысле, так как дисперсия не постоянна, она меняется во времени.

Обратим внимание на следующую интересную особенность. Мы могли это же уравнение переписать в виде Xt - Xt_j = st, или DXt = st, введя стандартное

обозначение для приращения величины Xt . Приращение, или первую разность

(first difference) DXt, можно рассматривать как другой временной ряд, обозначим

его через zt, тогда zt=et. Таким образом, если мы возьмем первую разность нестационарного ряда, то в результате можем получить новый ряд, который будет стационарным. Здесь это очень просто, но на самом деле это один из самых распространенных способов приведения временного ряда к стационарному.

Интуитивно ясно, что со стационарным рядом работать гораздо проще, чем с нестационарным. Но далеко не всегда экономические показатели ведут себя стационарным образом. Из макроэкономики, да и из собственной жизни нам знакомы тренд в экономических данных, сезонное и циклическое поведение экономических показателей. Не слишком ли узок класс стационарных рядов?

Выделим из исходного временного ряда две составляющие: Yt = f (t) + Xt,

где Xt - случайная, недетерминированная часть, f(t) - детерминированная часть.

Под «детерминированной» составляющей мы будем понимать составляющую, которую можно точно (с нулевой дисперсией) предсказать, используя линейную комбинацию всех (или части) предыдущих значений ряда.

Давайте рассмотрим несколько примеров, чтобы пояснить, что имеется в виду. Предположим, наш случайный ряд имеет следующий вид: Yt = a + b • t + st. Мы

уже рассматривали такие модели, это рег- ' / Рис- 2-

рессия на время t. Здесь a + t - детерминированная часть.

Если все это изобразить на графике, то получим тренд, вокруг которого совершается некоторое случайное движение.

Если e является стационарным про- t цессом с нулевым математическим ожида- -►

нием, то Е(Yt) = a + ß-1. Здесь математическое ожидание зависит от t, но составляющая eявляется стационарной.

В 1938 г. Wold [7] доказал следующий фундаментальный результат. Декомпозиция или теорема Вольда (Wold decomposition). Мы только сформулируем этот результат и не будем его доказывать. Вольд доказал, что чисто недетерминированный стационарный в широком смысле слу-

¥

чайный процесс может быть представлен в следующем виде: Xt - М = ~et_T ,

t=0

где mt - математическое ожидание этого процесса, а ej - белый шум с конечными математическим ожиданием и дисперсией. То есть всякий слабо стационарный процесс представляется в виде линейной комбинации белых шумов, с разными весовыми коэффициентами. Так как это выражение линейное, его часто называют линейным фильтром. Как бы белый шум пропустили через линейный фильтр. И это очень удобно, это значит, что без потери общности мы можем ограничиться удобным линейным представлением и все про стационарные процессы изучить.

Разумеется, для того, чтобы это выражение имело смысл, надо потребовать выполнения условия сходимости, причем сходимости по вероятности, потому что суммируются случайные величины. Это условие очень простое, мы его выпишем

¥

и больше к нему возвращаться не будем: ^ y <¥. Поскольку реализации белого

i=0

шума не наблюдаемы, весовые коэффициенты определены с точностью до множителя. Поэтому договорились без потери общности считать y0 = 1. Чем больше

весовой коэффициент yT, тем больше влияние случайного возмущения в момент

t-t на текущий момент t. Разумеется, бесконечное число слагаемых порождает технические проблемы. К счастью, оказалось, что во многих случаях достаточно рассматривать не общее представление Вольда, а его частные случаи, когда число слагаемых конечно.

Процессы скользящего среднего (МА)Х)

Стохастический процесс называется процессом скользящего среднего порядка q, если в разложении Вольда присутствуют только q слагаемых. То есть:

q

MA(q): xt =^yt - et-t (для упрощения записи мы здесь обозначаем через xt = Xt - m

t=0

отклонение процесса от его математического ожидания). Эквивалентно этот ряд можно представить в виде: xt = et +y1 -et_1 +... + yq -et_ . Название «скользящее

среднее» объясняется тем, что текущее значение случайного процесса определяется взвешенным средним q предыдущих значений белого шума. Процедуру скользящего среднего часто используют для того, чтобы сгладить данные, которые сильно колеблются.

1) МА = moving average.

Давайте посмотрим свойства этого ряда.

Процесс стационарен просто потому, что он есть частный случай разложения Вольда. Математическое ожидание: Е(х() = 0 . Дисперсия: V(х() = ст2^у2 .

i=\

Итак, мы видим, что ни математическое ожидание, ни дисперсия не зависят от времени. Перемножая значения для различных моментов времени и беря матема-

д-к

тическое ожидание, получим Соу(х(,х(+Т) = ст2 для т = 0, 1, 2,...д. Для т>д

i=0

СМх(,х( +т) = 0 .

Лекция 2

В прошлой лекции мы остановились на рассмотрении процессов скользящего среднего, которые мы определили как процессы, для которых сумма ряда в разложении Вольда простирается не до бесконечности, а до некоторого конечного

целого числа д. Для обозначения коэффициентов конечного ряда МА^) мы будем

д

использовать иную букву р : Х{ =^ ¡т -е1т . Это означает, что у до i=q включи-

т=0

тельно равны , а остальные у равны нулю. Тогда выражение для ковариаци-

2 д-т

онной функции этого процесса принимает вид: Соу(Х(,Хит) = у(т) = ^Pi • р+т ,

i=0

где т< д, а а2е = Var(е(). Другими словами, между значениями временного ряда,

достаточно далеко отстоящими друг от друга, отсутствует корреляционная связь. Из полученных выражений для ковариаций и дисперсии непосредственно следует

у(т)

выражение для автокорреляционной функции: р(т) = ^ .

Для изучения свойств временных рядов удобно использовать оператор сдвига Ь. Определим ЬХ( = Х(-1 , то есть действие оператора сдвига на временной ряд дает значение временного ряда в предыдущий момент времени. Естественным образом последовательное применение оператора сдвига р раз дает значение временного ряда в момент времени на р периодов ранее, что позволяет ввести степень оператора сдвига: ЬрХ( = Ь(Ь(Ь....)Х{ = Х(- . Иногда удобно использовать

нулевую степень оператора лага: Ь0Х{ = Х{, играющую роль единичного оператора. В дальнейшем мы не будем специально оговаривать разницу между умножением на единицу, единичным оператором и нулевой степенью оператора сдвига, используя по обстоятельствам тот из них, который удобнее. Также естественным образом вводится умножение оператора сдвига на число и операции сложения и умножения степеней этого оператора.

С помощью этого оператора можно записать процесс скользящего среднего следующим образом:

X, = (1Ьа + РХ1 + р2Ь +... + рч1?)= (1 + РХ1 + р2Ь +... + рч13)= ^(Ь)е<. Напомним, что коэффициент при Ь0е, или е,, то есть когда т = 0, всегда равен 1 из условия нормировки. Здесь через Рч (Ь) обозначен операторный полином.

Заметим, что если у нас есть два операторных полинома у(Ь) и <р(Ь), то естественным образом для них можно определить арифметические операции сложения, вычитания и умножения на число. Определим суперпозицию этих операторных полиномов, то есть результат последовательного воздействия на X, оператора ф, а потом на полученный результат - еще и оператора у Непосредственно видно, что применение суперпозиции этих операторов к процессу X, приводит к тому же результату, что и применение к процессу X, произведения полиномов у(Ь) и р(Ь): у(Ь)[р(Ь)Xt ] = [у(Ь)р(Ь)]Xt. Это, в частности, означает, что мы можем разложить операторный многочлен на множители, используя корни уравнения р(Ь) = 0. Для этого вспомним, что любой полином степени р с действительными коэффициентами имеет р комплексных корней, среди которых могут быть равные по величине. Этот факт называется основной теоремой алгебры, которую связывают с именем Гаусса. То есть любой операторный многочлен можно пред-

ч

ставить в виде: (1 + Р1Ь +... + р Ь) = Рч^(Ь -), где - корни уравнения

1=1

1 + рхг+... + рч1ч = 0.

Для операторного многочлена ф(Ь), действующего на некоторый процесс X,, определим обратный оператор таким образом, чтобы суперпозиция оператора и обратного к нему была эквивалентна единичному оператору, то есть умножению на 1. Другими словами, если р(Ь)X, = У,, то действие на У, обратного оператора

должно дать X,: [р(Ь)]^1У( = Xt = [р(Ьу1 рРЬ)^,. Это как с двумя матрицами: про-

=1

изведение прямой матрицы на обратную дает единичную матрицу.

Рассмотрим полином 1-ого порядка. При его умножении на обратный оператор должен получиться единичный оператор, то есть единица. Заметим, что

(1 -аЬ)-(1 + аЬ + а2 Ь +... + арЬр +...) = 1, если бесконечный ряд в скобках существует, имеет смысл. Тогда можно написать: [1 -аЬ]- = --- = 1 + аЬ +... +арЬр +..., ес-

1 - аЬ

ли правая часть имеет смысл. Рассмотрим конечную сумму вместо бесконечного ряда: (1 -аЬ)-(1 + аЬ + а2Ь +... +арЬр) = 1 -ар+1Ьр+1. Действие этого оператора на случайный процесс дает: (1 -ap+lЬp+l)Xt = Xt-ар+1 Xt-p-l. При р правая

часть выражения стремится к X,, если наблюдаемые значения случайного про-

цесса ограничены и ^ < 1. Следовательно, условие существования обратного оператора для полинома первого порядка имеет вид2) ^ < 1.

Используя понятие обратного оператора, попробуем выяснить, когда можно выразить е через X. То есть, при каких условиях е{ = р(Ь)Х{. Разложив полином в

9

МА^) представлении на множители, получим: Х{ = П(Ь - )е{. Для того, что-

1=1

бы использовать полученные условия обратимости линейного оператора, удобнее использовать корни другого характеристического уравнения, а именно:

+ +... + = 0. Обозначим их через р . Такая запись характеристического

уравнения совпадает с принятой в теории разностных линейных уравнений с постоянными коэффициентами.

В чем разница между предыдущей записью и этой? Обычно разностные уравнения содержат текущий и последующие члены последовательности. А во временных рядах используются: текущий и предыдущие члены. Поэтому есть два

способа записи характеристического уравнения. Первый, 19 + Р1Х9-1 +... + = 0 , что соответствует общему правилу для разностных уравнений. Либо пишут наоборот: 1 + +... + Ь^4 = 0. Корни этих уравнений связаны между собой очень

просто. Любой корень одного уравнения равен 1, деленной на соответствующий корень другого уравнения, и наоборот: 211 = 1/— . Отсюда получим:

9 1 9

X = Рч П (Ь - - )е = П (1 -РгЬ)е,.

1=1 1 1=1

При выводе использован один из результатов теоремы Виета: произведение корней характеристического уравнения равно Рч (-1)9 .

9

В выражении П(1 -—1Ь)е1 каждый сомножитель - это просто линейное

1=1

выражение (1 -р1Ь). Если формально выразить е{ через X, не обращая внимания

1

П (1-РгЬ)

ражению можно придать смысл. Если все корни характеристического уравнения действительны и различны по величине, операторную дробь, знаменатель которой разложен на произведение одночленов первой степени относительно Ь, можно

1 А А2

представить в виде суммы элементарных дробей: ^-= -—-г + -л— 7- +...

П (1 --1Ь) 1 --ХЬ 1 -п2 Ь

на то, что Ь - это оператор, получится е( = -,-,- -— Х(. Оказывается, этому вы-

2) Тот же результат можно получить, используя норму в пространстве операторов сдвига. При любом разумном определении нормы случайного процесса Х{, норма процесса Х{ равна норме процесса Х(- , поэтому оператор сдвига имеет норму, равную единице: Ь = 1.

Такое разложение применяется при интегрировании рациональных дробей и должно быть вам знакомо из курса математического анализа. Каждое слагаемое напоминает выражение для формулы бесконечно убывающей геометрической прогрессии. В данном случае Ai играет роль первого члена этой прогрессии, а вместо множителя бесконечно убывающей геометрической прогрессии у нас стоит niL. Если | | < 1, то первую элементарную дробь можно разложить в сумму бесконечно убывающей геометрической прогрессии или в бесконечный степенной ряд

Al = A (1 + pL + L2 +... + pkLk +...). 1 -p1L iii i

Если аналогичное условие выполнено для каждого из корней, то получается, что et равно сумме q таких бесконечных разложений. Произведя приведение подобных членов, получим некоторый бесконечный многочлен от L с какими-то - можно явно выписать их значения - коэффициентами. Таким образом, получим выражение следующего вида: (a0 + a1 L +a2L2 +... +akLk + ...+)Xt, где коэффициенты ai сложным образом будут выражены через характеристические корни p. Если это все выполнено, то e выражено через текущие и предыдущие значения Х.

A

Проведенные преобразования справедливы, если каждая дробь типа -—т-

1 — niL

может трактоваться как сумма бесконечно убывающей геометрической прогрессии, то есть мы возвращаемся к условию, что все корни по модулю строго меньше

единицы: рг | < 1.

Это условие называется условием обратимости (invertability) процесса МА. При этом выражение для et будет бесконечным, но сходящимся операторным

полиномом, действующим на Xt. Это значит, что et будет выражено через уходящие в бесконечно далекое прошлое значения Х. Можно показать, что условие обратимости сохраняет свой вид, а именно: |p;| < 1 и для случая комплексных и/или кратных корней.

Напомним, что существуют два различных способа записи характеристического уравнения. Эти способы эквивалентны, меняется лишь форма условия существования обратного оператора: в первой записи условие - все характеристические корни по модулю меньше 1, а если характеристическое уравнение записать во втором виде, то условие сходимости - все характеристические корни по модулю больше 1. Здесь и в дальнейшем будет использоваться первый способ записи характеристического уравнения.

После преобразования процесс скользящего среднего принимает следующий

вид: (a0 +ajL +a2L2 + ...)Xt =et. Если выразить Xt через все его предыдущие значения и et и для нормировки разделить на ag, то получается эквивалентное пред-

a, a, 1 ставление Xt =---Xt—1 —...--— Xt—k —... +--et. Тот же самый процесс MA(q) пред-

ставлен таким образом, что текущее значение Хг выражено через текущее значение е,, а вместо ч предыдущих значений е появляется бесконечный ряд прошлых

значений Xt-k. На первый взгляд этот процесс не напоминает представление

Вольда, но в то же время он по построению является стационарным случайным процессом. Обобщая это представление, переходим к рассмотрению нового класса процессов, которые при некоторых условиях могут быть стационарными, а именно к процессам авторегрессии.

Если значение случайного процесса определяется линейной комбинацией конечного числа его предыдущих значений и добавлением белого шума, то такой процесс называется процессом авторегрессии (аи^тедтевзюп) порядка р, и его общее уравнение имеет вид: X, = 0-1X^1 + 02X^2 +... + apX^- р + е,, где е^ белый шум.

В этих терминах процесс, обратный к МА^), может быть обозначен как АИ(да). Однако у нас нет гарантии, что при любых коэффициентах а1 ,а2,...,ар

этот процесс будет стационарным. Для того чтобы он был стационарным, нужно, чтобы он был представим в виде разложения Вольда, чтобы его можно было перевести в МА^) представление, имеющее смысл.

Перепишем уравнение процесса в следующем виде:

[ -а1 Xt-1 -а2Хр-2 -... -арХ,-р = е, .

Обозначим. через ар (Ь) = 1 -ахЬ-а21Ь -...-арЬр операторный полином, действующий на X,. В некотором смысле получено «зеркальное отображение» процесса МА^). Теперь операторный полином действует на Х, а не на е, и результат равен е,. Полученное выражение представляет собой разностное уравнение относительно Х со случайной правой частью е Общее решение этого уравнения состоит из общего решения однородного уравнения (когда нет е,) плюс частное решение полного (неоднородного) уравнения, зависящее от е,. Общее решение однородного уравнения имеет следующий вид: X, =^С{ (,)(р1 ) , где р - различные по величине корни характеристического уравнения (может быть, комплексные), которое имеет вид: 1р -а11р- -... -а = 0 , а С{ (,) - полиномы, степень которых на единицу меньше кратности соответствующего корня. Частное решение неоднородного уравнения выписывается через е,, и мы обсудим его позже.

Решение однородного уравнения не будет уходить в бесконечность, будет устойчивым при условии, что корни характеристического уравнения по модулю

будут меньше 1: р < 1. Но именно при этом условии существует оператор, об-

ратный оператору а(Ь), то есть имеет смысл выражение: X, =——— е,. Следова-

а(Ь)

тельно, процесс Х, принимает вид, соответствующий теореме Вольда: , из

1=0

чего следует, что этот ряд является стационарным. Если же при некотором 1

р | > 1, то решение не стремится к нулю или даже уходит в бесконечность, и ни о

какой стационарности речи быть не может.

В результате условие, что все корни характеристического уравнения для процесса ЛИ(р) лежат внутри единичного круга, является необходимым и достаточным для того, чтобы ряд был стационарным.

Тут есть некая асимметрия. Процессы ЛИ(р) и МЛ^) в чем-то похожи. Но процесс МА^) всегда стационарен, а условия обратимости обеспечивают его некоторое полезное свойство, не затрагивая фундаментального свойства стационарности. Для ЛИ(р) это условие очень жесткое: либо он стационарен и сводится к МА(да), либо он вообще не стационарен, и тогда он выпадает (пока) из нашего рассмотрения.

В литературе существует немного разное понимание обозначения ЛИ(р). Это различие обычно ничему не препятствует, но я хочу обратить на него ваше внимание. Иногда называют процессом авторегрессии только такой процесс ЛИ(р), для которого выполнено условие стационарности. А иногда ЛИ(р) называют любой процесс авторегрессии, даже если он не стационарен.

После того, как мы выяснили условие стационарности, рассмотрим свойства этого процесса. Начнем с математического ожидания. Если процесс стационарный и его можно выписать в виде сходящегося разложения Вольда, то вопрос о математическом ожидании решается просто, оно нулевое: Е(Х{) = 0 . Автоковариационную функцию можно вывести, используя представление процесса в виде МА(ю) с помощью операторных полиномов, но это довольно кропотливая и не очень интересная работа. Можно получить нужный результат другим образом.

Умножим обе части выражения Х{ = ахХг_1 +... + арХ1 _ + е{ на Х1-а и возьмем

математическое ожидание. Поскольку математическое ожидание процесса равно 0, получим уравнение для значений автоковариационной функции. Если г> р то получаем следующее соотношение

у (г) = ау(т_ 1) + ау(г_ 2) +... +арУ(т_ р) + Е{Х(_т ■ е}.

В левой части равенства мы использовали четность автоковариационной функции: у(т) = у(_т). Так как процесс стационарный, то Х1-т представим в виде бесконечной суммы £1-т и более ранних значений е. Все е, входящие в определение Х-т, не совпадают по времени е, они все разновременные. Поэтому Е{Х(_т • е} = 0 , потому что значения белого шума не коррелируют между собой. Другими словами, получается следующее выражение: у (г) =а1у(т_ 1) +... +ару(т_ р).

Если рассматривать его как разностное уравнение, то оно совпадает с однородным уравнением для процесса Х. То есть значение автоковариационной функции для г> р удовлетворяет точно тому же разностному уравнению. Поскольку разностное уравнение устойчиво, то значения автоковариационной функции убывают по абсолютной величине, по крайней мере, со значения с индексом (р+1).

Для г < р эти уравнения надо модифицировать. Вместо рекуррентного соотношения для первых р значений автоковариационной функции получается система р линейных уравнений с р неизвестными.

В качестве примера рассмотрим процесс АИ(1). Его характеристическое уравнение имеет вид: 1-а = 0 . Условие стационарности: ^ < 1. Для автоковариационной функции получаем:

Г(1) = аГ(0) у (2) = ау(1) = а2у(0)

у(т) = ату(0)

Теперь очень хорошо видно, почему важно условие \а\ < 1. Чтобы вычислить у(0), надо найти дисперсию. Но если мы интересуемся только автокорреляционной функцией, то, разделив наши соотношения на у(0),

получим р(т) = ат.

Следовательно, для процесса АИ(1) автокорреляционная функция р(т) ведет себя схематически следующим образом:

Рис. 1. Значения автокорреляционной функции процесса АИ(1) при значении коэффициента равном 0,8

Рис. 2. Значения автокорреляционной функции процесса АИ(1) при значении коэффициента равном -0,8

Лекция 3

В прошлой лекции мы установили, что если процесс АИ стационарен, то он кроме конечного представления АИ(р) имеет бесконечное представление МА(ю). И если выполнено условие обратимости, то конечный процесс МА^) имеет бесконечное представление АИ(а>). Такой дуализм представлений временного ряда можно рассматривать как обобщение преобразования Койка, которое применяется в эконометрике для борьбы с автокорреляцией первого порядка. Существенное отличие процесса АИ от процесса МА состоит в том, что для процесса МА автокорреляционная функция после 1>д становилась равной нулю, обрывалась.

Рассмотрим процесс АИ(2). Это процесс вида X, = alXt-х +а2X,-2 + е,. Посмотрим условия стационарности этого процесса. Характеристическое уравнение принимает вид 1 -а11-а2 = 0 (как уже отмечалось, иногда характеристическое урав-

ах ± Л а1 + 4а2

нение пишут в виде 1 -а12 - а22 = 0 ). Корни этого уравнения: 112 =-—-.

Условие стационарности при выбранной форме записи характеристического урав-

нения:

:

< 1 . В принципе, этого условия достаточно, но его можно выразить в

терминах коэффициентов процесса АИ(2) и свести к 3-м следующим неравенствам: а1 +а2 < 1; а1 -а2 > 1; |а2| < 1.

Предположим, что условия стационарности выполнены, и тогда имеют смысл математические ожидания от левой и правой части после умножения их на Х в какой-то другой момент времени. Умножаем на Xt_l, и получаем: Е{X,ч -X,}. Поскольку процесс стационарен, его можно представить в виде взвешенной суммы текущего и предыдущих значений белого шума (декомпозиция Вольда). Следовательно, математическое ожидание процесса равно нулю, и Е{X,-г - X,} равно авто-ковариации у(1). Давайте все запишем сразу в терминах у. Получаем:

- Xt} = у (I) = ау(0) +ау(-1).

Поскольку автоковариационная функция симметрична, то знак «минус» можно заменить на знак «плюс».

у (т )

Перейдем к автокорреляционной функции: р(т) = . Иногда ее обозначают ас! Получаем более удобное соотношение: р(\) = ах +а2р(1). Для упрощения записи будем использовать индекс вместо аргумента у автоковариационной и ав-

а1

токорреляционной функций. Отсюда следует, что р(1) = рх = -—1—. В результате

1 -а2

а12

аналогичных действий получаем: р2 = р(2) = ахрх +а2 =-—1--+а2 . При умножении

1 -а2

на Xí_з получаем: р3 = агр2 +а2рг. Если так делать дальше, то получим:

pn = ajpn-j + a2pn-2. Это то, что мы отметили в прошлой лекции в общем виде,

начиная с номера большего, чем p, значения автоковариационной функции подчиняются разностному уравнению. Совокупность таких разностных уравнений для значений автокорреляционной функции при различных п носит название уравнений Юла-Уокера (Yule-Walker equations). Решение уравнения в случае разных по

величине корней имеет следующий вид: pn = C^p)п + C2(p2)п , где p и р2 - характеристические корни. Для совпадающих корней решение имеет вид:

pn = C^p)n + C2tp)n.

Исходя из условий стационарности, корни по модулю меньше 1, решение разностного уравнения устойчиво, поэтому это выражение затухающее. Если p и р2 -действительные числа, то все записано в терминах действительных чисел. Если корни комплексные, то тогда они обязательно комплексно сопряженные, и помимо степени в каждом из слагаемых появляется сомножитель в виде косинуса или синуса некоего аргумента. Но характер асимптотического поведения решения от этого не меняется. Выражение в степени n - это модуль комплексного числа, и если он меньше 1, то все равно это будут затухающие экспоненты, ну, может быть, умноженные на синусы и косинусы. Чтобы определить значения неопределенных констант C1 и С2, нам нужны начальные условия. Уже упоминавшиеся «нестандартные» уравнения для значений pj и p2 служат для их определения. Мы выразили pj и p2 через коэффициенты нашего авторегрессионого уравнения aj, a2. Причем мы заметили, что они выражаются не так, как все остальные значения автокорреляционной функции, которые определяются просто общей рекуррентной схемой, разностным уравнением.

Во многих учебниках по анализу временных рядов приведены примеры реализаций процессов AR(2) и соответствующие коррелограммы. Однако при сегодняшней компьютерной технике гораздо более содержательно построить эти примеры самому. Постройте, например, в Excel'e с помощью датчика псевдослучайных чисел реализацию процесса AR(2) и - по вышеприведенным формулам -значения автокорреляционной функции. Проведите генерацию 10-20 реализаций, после чего измените значения параметров a1 и a2 и повторите генерацию реализаций. Основной вывод, который можно сделать по результатам такого моделирования, состоит в том, что по реализации случайного процесса визуально ничего нельзя сказать ни о его типе, ни о численных значениях коэффициентов. Если в курсе эконометрики, например по графику остатков регрессии, можно было сделать какой-то качественный вывод или предположение о наличии автокорреляции или гетероскедастичности, то при анализе временных рядов, как правило, мы этого сделать не можем.

Вернемся к общему стационарному авторегрессионому уравнению

Xt = aiXt-j + ■■■+apXt - p + e.

Начиная с номера p+1 и дальше автокорреляционная функция - сумма затухающих экспонент, может быть умноженных на синусы, косинусы или полиномы от времени, но все равно это затухающие экспоненты. А для значения с индексами от 1 до p получаем следующую систему уравнений:

Г: = ai/o +a2T\ + ■■■ + apgp-i g 2 = al Г1 +а2Го + ■■■ +apgp-2

gp = aigp-1 +a2gp-2 + ■■■ +apg0 ■

Разделив на дисперсию, получим систему линейных уравнений относительно первых p значений автокорреляционной функции. Следовательно, если ряд стационарен, то обязательно, начиная с некоторого момента, автокорреляционная функция начинает затухать, как сумма каких-то экспонент, может быть умноженных на синусы и косинусы. Если поведение автокорреляционной функции не такое, то она не может быть автокорреляционной функцией стационарного процесса.

У нас появилось важное качественное различие между стационарным и нестационарным процессом. Если процесс стационарный, будь он AR(p), будь он MA(q), начиная с некоторого момента автокорреляционная функция начинает затухать или совсем исчезает. Если же процесс не стационарный, то это не так.

Наши два примера позволяют прийти еще к следующему выводу. Ясно, что порядок авторегрессионой модели имеет большое значение. То есть для нас важно, является исследуемый процесс процессом типа AR(1) или типа AR(2), ведь нам надо еще оценивать коэффициенты. И здесь нас ждет очень неприятное открытие. Если в моделях скользящего среднего q - качественно понятный параметр, после которого автокорреляционная функция обрывается; то в случае модели AR(p) такого не происходит. Поэтому хотелось бы получить характеристику, качественно ведущую себя сходным образом, указывающую на точный порядок p авторегрессионного уравнения.

Такой характеристикой является частная автокорреляционная функция (partial autocorrelation function). Стандартная английская аббревиатура - pacf. В

определение автокорреляционной функции p(t) =-1-E{(Xt - и)(X. - и)} вхо-

Var(Xt) Т

дит ковариация между значениями процесса, отстоящими на t шагов по времени друг от друга. Однако на поведение процесса AR(p) статистически влияет не только его значение в момент, отстоящий на t единиц назад, но и все промежуточные значения процесса между моментами t и t-t Поэтому можно поставить другой вопрос. Какова линейная статистическая зависимость между значениями процесса в эти моменты, если мы устраним или элиминируем влияние всех промежуточных значений? Какова «чистая» взаимосвязь между этими значениями? То есть, если мы уже учли влияние всех промежуточных значений, то какое дополнительное частное влияние оказывает значение момента t - t. Коэффициент корреляции при элиминировании промежуточных значений называется частным коэффициентом корреляции. В курсе эконометрики подобная конструкция встречалась при рассмотрении излишних и не включенных в модель переменных. Рассматривалось влияние последней добавленной переменной с учетом того, что все предыдущие уже включены.

Обозначим через (pkk - k-е значение частной автокорреляционной функции.

По определению pkk - это коэффициент корреляции между Xt-k и Xt (или между xt-k и xt) за вычетом той части xt, которая линейно объяснена промежуточными

лагами ,х( _ 2 ,...,х_ к _1. Эта объясняющая линейная комбинация называется оптимальным линейным предиктором, если она реализует минимальную среднеквадратичную ошибку предсказания (прогноза) х(. Более строго, нас интересует коэффициент корреляции

Согг(х х_ _рк2х._2 _... _ркк_гх<_к_х ,х{_к),

где рк1 ,рк2 ,...,рк _1 - коэффициенты линейной комбинации, обеспечивающей минимальную среднеквадратичную ошибку предсказания

т!пЕ{(х _ Рк1 х_ _ Рк2х._2 _... _Ркк_1 х_к_1)2}.

Это выражение аналогично целевой функции метода наименьших квадратов с заменой суммирования по наблюдениям на взятие математического ожидания. Искомый коэффициент корреляции между оптимальным линейным предиктором и х1к является просто коэффициентом теоретической регрессии предиктора на

х.к. Но тогда он является коэффициентом при последнем регрессоре в следующей теоретической регрессии х. = рк1х{_1 + рк2х._2 +... + рккх._к + е.. Регрессия строится на к предыдущих значений процесса, определяются к коэффициентов, но соответствующее значение частной автокорреляционной функции дает лишь последний коэффициент этой регрессии. Подчеркнем, что речь идет не о выборочной, а о теоретической регрессии, то есть об условном математическом ожидании. Кроме того, следует иметь в виду, что эта регрессия не связана с тем, определяется ли процесс авторегрессионым соотношением или нет. Очевидно, что если исследуемый процесс принадлежит к виду ЛИ(р), то ррр = ар. Более того, для такого процесса текущее значение оптимально (в смысле сформулированного критерия) выражается через ровно р предыдущих значений, и учет более ранних значений уже не может улучшить прогноз. Это означает, что для процесса ЛИ(р) ркк = 0 при к > р. Далее мы получим этот важнейший результат из уравнений Юла-Уокера.

Рассмотрим несколько простых примеров расчета значений частной автокорреляционной функции.

Процесс ЛЖИ. Х. = аХ._1 + е.. Рассмотрим регрессию: Х. = риХ(_1 + е.. Умножаем уравнение на Х.^, берем математическое ожидание от обеих частей и делим результат на у(0), получаем: р1 = р11 = а , так как математическое ожидание процесса равно нулю.

Чтобы получить р22 , строим теоретическую регрессию

Х = р2!Х(_1 + р22Х._2 + е . Как и раньше, умножаем обе части на берем математическое ожидание, де-

Е{Х. • Х. _,}

лим на у(0). Получаем: -(0) ^ рх = р21 -1 + р22 • рх. В это соотношение входит

2 неизвестных: р21 и р22. Нужно получить еще одно соотношение, чтобы определить их. Поэтому умножаем обе части исходного уравнения на Х._2 и производим

ту же самую операцию. Получится р2 = (р2\Р\ + Р22 • Получаем систему двух линейных уравнений относительно р21 и (р22, а коэффициенты этой системы уравнений выражены через р1 и р2 , связь которых с коэффициентами исходного уравнения процесса нам уже известна. Другими словами, наш подход дает связь между коэффициентами автокорреляционной функции и частной автокорреляционной функции. В данном случае у нас всего два уравнения, можно решать их по-разному. Но, вообще говоря, нас интересует только один единственный коэффи-

циент р22

1 Р

Р Р2

Р22

1-

2

поэтому наиболее экономно будет использовать правило Крамера.

Кстати, обратите внимание, поскольку р - это значение автокорре-

Р

ляционной функции, то оно меньше 1, то есть в знаменателе 0 не будет. Для про-

2 а2 -а2 цесса АИ(1) р1 = а; р2 =а2 . Поэтому: р22 =-— = 0 ,

1 - Р12

2

как мы и ожидали.

Для

чтобы

посчитать

^ = рз1 ^-1 +рЪ2 Xt-2

уравнений:

+Рзз Xt - з + е.

р33 , запишем теоретическую регрессию Аналогично предыдущему получаем систему

Р = Рз1 - 1 + Рз2 р1 +Р33Р2 Р2 = РзР +Р32-1 + РззР1 Рз = Рз1р2 +Рз2р1 +Рзз-1

Вновь нас интересует только коэффициент рзз . Воспользуемся правилом

Крамера, но, вооруженные опытом предыдущего, считаем только определитель в числителе.

Д з =

1 Р Р 1

Р2 Р1

Р1

Р2 Рз

Теперь можно выразить определитель в числителе для произвольного к. Система линейных уравнений, связывающая значения автокорреляционной и частной автокорреляционной функций, фактически является системой уравнений Юла-Уокера для теоретической регрессии с неизвестными и подлежащими определению значениями частной автокорреляционной функции:

Р = Рк1-1 + Рк 2Р1 + Рк зР2 + - + Ркк Рк-1 Р2 = РкР +Рк2 '1 + РкзР1 + - + РккРк-2

того

Рк = РкРк-1 + Рк2Рк-2 + Ркз - Рк-з + - +Ркк -1-

Искомый определитель имеет вид:

1 Р

А * =

Р

Рк-1

1

Рк - 2 Р1

- Р 2

- Рк

На главной диагонали все элементы кроме последнего будут равны 1. Связь между коэффициентами рк и р1 ,...рк , то есть между автокорреляционной и частной автокорреляционной функциями, выражается следующим соотношением:

А* л

р* = -л , где А - определитель системы уравнений

А =

1

Р1

Рк-1

Р1 1

Р к - 2 Рк-1

— Рк - 2

- 1

Зная коэффициенты автокорреляционной функции, можно по уравнениям Юла-Уокера пересчитать коэффициенты частной автокорреляционной функции, и наоборот.

Посмотрим, чему будет равно А3. Для случая ЛИ(1) получаем следующее выражение:

1 а а

а 1 а2 = 0

2 3

а а а

Определитель, как и ожидалось, равен 0, потому что третий столбец пропорционален первому, причем коэффициент пропорциональности равен коэффициенту уравнения процесса. Если считать четвертое, пятое и так далее значения частной автокорреляционной функции, то все они равны 0. Поэтому для процесса ЛИ(1) значения частной автокорреляционной функции, начиная со второго, равны 0. Получен индикатор того, что исследуемый процесс точно является процессом ЛИ(1).

В общем случае процесса ЛИ(р): если к>р, то число столбцов в определителе А к больше, чем порядок авторегрессии. В этом случае разностное уравнение

для р1 ,---Рк показывает, что начиная с к>р, каждое р выражается одной и той же линейной комбинацией предыдущих значений. Как только число столбцов больше р, то каждый столбец с номером большим к является линейной комбинацией предыдущих столбцов. Причем коэффициенты этой линейной комбинации - это коэффициенты уравнения процесса а1 ,а2,...,а . Таким образом, последний столбец

всегда есть линейная комбинация р предыдущих столбцов, как только к>р. Поэтому определитель такой матрицы обязан обратиться в нуль.

Общий вывод: частная автокорреляционная функция авторегрессионого процесса AR(p), равна 0 для k>p, и, вообще говоря, не равна 0 при к < p .

В результате частная автокорреляционная функция для процесса AR играет точно такую же качественную роль, как автокорреляционная функция для процесса MA. Она обращается в нуль, как только к>р. Мы это доказали в общем случае и продемонстрировали на процессах первого и второго порядка.

Теперь делаем следующий шаг. Переходим к комбинации двух различных типов процессов AR(p) и MA(q). Рассмотрим общий процесс авторегрессии-скользя-щего среднего, который носит название: ARMA - авторегрессия-сколъзящее среднее. Мы назовем так процесс следующего вида: ap (L)Xt = Pq (L)et или в развернутой виде: = a Xt_i + ... +apXt _ p + St + PxBt_x + ... + PqSt _ q .

Выведем условия стационарности процесса ARMA. Мы уже установили, что если все корни полинома ap (L) по модулю меньше единицы, то существует обратный оператор, и мы можем записать: Xt = [a (L)Yl bq (L)st. Обратный оператор

можно разложить в сумму элементарных дробей, каждую представить как бесконечно убывающую геометрическую прогрессию, то есть бесконечный операторный полином. При умножении на конечный полином мы получим вновь бесконечный полином. Выражение имеет смысл, если все характеристические корни полинома ap (L) по модулю меньше единицы. A тогда полученное выражение является разложением Вольда, и процесс стационарен. То есть вся эта цепочка приводит к тому, что стационарностъ процесса ARMA определяется толъко его AR-частъю. Поэтому условия те же самые, что у процесса AR. Процесс ARMA стационарен, если корни характеристического уравнения AR-части по модулю меньше единицы. Точно так же, условия обратимости процесса, то есть возможность выразить

et через Xt, то есть существование выражения: st = [bq (L)Ylap (L)Xt, полностъю

определяются условиями обратимости MA-части. Если MA-часть обратима, то и весь процесс обратим.

Итак, если процесс ARMA стационарный, то он имеет обязательно MA(œ) представление, как любой стационарный процесс по теореме Вольда, но он имеет и конечное представление ARMA(p,q). Он может иметь еще и бесконечное AR(œ) представление. То есть мы видим, что ARMA(p,q) может быть очень удобным представлением одного и того же процесса. Поэтому, если можно «согнать» процесс в ARMA, то он определяется всего p+q параметрами.

Очевидно, что математическое ожидание стационарного процесса ARMA равно нулю: E{Xt} = 0 .

Чтобы выяснить, как ведет себя автокорреляционная и частная автокорреляционная функции процесса ARMA, начнем с простой ситуации, а именно с процесса ARMA(1,1). В операторной записи: (1 _aL)Xt = (1 + fbL)st, или в обычном виде:

Xt = ^t _1 + et + Pet _1.

Условие стационарности принимает вид ^ < 1, условие обратимости - |b| < 1. Для вычисления дисперсии процесса удобно использовать MA(œ) представление,

соответствующее теореме Вольда, так называемое представление линейного фильтра.

X = е. = (1 + Д,)(1 + аЬ +а212 + ...)е. = [1 + (а + Р)I +а(а + Р)I2 + ...]е. .

Тогда Var (X t) = (1 + (a + b)2 +а2(а + b)2 + -)s2s =

1 + (a + b)2

1 -a2

2 1 + b2 + 2ab 2

=-1-2-■

1 -a

Чтобы посчитать первую автокорреляцию, умножим выражение

Xt = ^t-i + e + bet-i на Xt-i

и возьмем математическое ожидание от обеих частей. Получим

7i = ago + PCov(2t-i ,Xt-i) ■

Умножив выражение Xt-i = aXt-2 + 2t-i + bet - 2 на 2t-i и взяв математическое ожидание, получаем Cov(st-i ,Xt-i) = s2e . После подстановки получаем g = ag0 + bS ■

Окончательно: r = g- = (a + b)(i + abb .

go i + b + 2ab

Последующие значения автокорреляционной функции получить проще. Если умножить Xt на Xt-2 и взять математическое ожидание, получим: g2 = agi.

Для всех значений g с индексом большим, чем порядок МА-части, получаем, что из равенства gk+i = agk следует равенство рк+i = apk. То есть мы получили то же

самое соотношение, которое имели для «чистой» модели AR(1). Мы называли это уравнениями Юла-Уокера для автокорреляционной функции. Другими словами, мы установили, что, начиная со второй, автокорреляции ARMA(1,1) ведут себя так же, как автокорреляции AR(1), но первые автокорреляции этих процессов различаются.

Для AR(1), автокорреляции имели вид р = ai. Для процесса ARMA(1,1) (a + b)(i + ab) _

pi Ф ai , pi =-—--— . Однако, начиная со второго номера, значения автокор-

i + b +2ab

реляционной функции все равно убывают экспоненциально. Для процесса ARMA(p,q) справедливо аналогичное утверждение, если, конечно, процесс стационарен. Первые p значений автокорреляционной функции определяются через коэффициенты AR и MA-частей, а потом значения автокорреляционной функции выражаются в виде суммы экспоненциально затухающих слагаемых. Вывод очень важен для дальнейшего.

Для процесса ARMA(p,q), применяя тот же метод умножения уравнения процесса на значения Xt i и последующего взятия математического ожидания, получим, что для к > max(p, q +1) автокорреляции pk определяются разностным уравнением, соответствующим AR-части. А все предыдущие значения рк могут быть выражены через коэффициенты aj,a2,...,a ,b2'■■■'bq как решения системы линейных уравнений, полученной способом аналогичным процессу ARMA(1,1). Следовательно, начиная с номера max(p,q +1), автокорреляционная функция «затухает» в том же смысле, что и для процесса AR. Таким же качественным поведением

характеризуется и частная автокорреляционная функция процесса ARMA(p,q). Интуитивно такое свойство понятно. Мы говорили, что для MA(q) автокорреляционная функция для номеров, больших q, просто равна нулю. Поэтому влияние MA-части при k>q как бы прекращается, и дальше «работает» только AR(p). Наоборот, частная автокорреляционная функция для процесса AR(p) для k, больших чем p, равна нулю. То есть AR(p) перестает влиять на частную автокорреляционную функцию, и остается только влияние MA(q).

Резюмируя, получаем, что если процесс относится к типу ARMA(p,q), то, начиная с некоторого номера (причем этот номер важен, он нам говорит о величине p и q), и автокорреляционная, и частная автокорреляционная функции ведут себя как сумма затухающих экспонент, если ряд стационарен.

Хотелось бы обратить внимание на еще один побочный результат. Для процесса AR(1) получено выражение р1 = a . Сравним эту первую автокорреляцию с

л™,гл/-, ^ (a + ß)(1 + aß) аналогичной характеристикой процесса ARMA(1,1): р1 =-—--— . В длин-

1 + ß + laß

ных финансовых рядах было замечено, что, как правило, ß < 0 и a> |ß|. В этом

случае первая автокорреляция для процесса ARMA(1,1) будет заметно меньше, чем для процесса AR(1) с тем же коэффициентом a.

Процессы ARMA, рассматриваемые до сих пор, являлись строго недетерминированными, в частности имели нулевое математическое ожидание. Если в уравнение процесса ARMA ap (L)xt = ßq (L)et подставить выражение xt = Xt - m , то

получим: ap (L)(Xt - m) = ßq (L)et. Раскрывая скобки и используя очевидное равенство ap (L)m = md-a1 -a2 -...-a ) = ap (1)m, получаем ap (L)Yt = ap (1)m + ßq (L)et, где

^ "e '

q - некоторая константа. Таким образом, введением свободного члена в уравнение мы учитываем ненулевое математическое ожидание. Тогда математическое

q

ожидание процесса будет равно m = —(j). Поэтому мы можем без потери общности рассматривать процесс с ненулевым, но постоянным математическим ожиданием.

Лекция 4

Теперь нам осталось сделать один небольшой шаг. Мы познакомились с моделью стационарного процесса АИМА(р^). В то же время один из примеров, который мы рассмотрели, был нестационарный ряд случайного блуждания. Его уравнение имело вид: X, = X,-1 + е,. Мы видели, что если взять первую разность, равную

ДX, = X, - Xt-\ = (1 - Ь)X,, то уравнение сведется к следующему: ДX, = у, = е,. То

есть в первых разностях ряд станет стационарным. Это был первый пример, когда операции взятия разности приводят к стационарному ряду. Можно заметить, что такой подход приводит к стационарности не только случайное блуждание.

Рассмотрим ряд вида Xt = a + bt + gt2 + 2t. Его полностью детерминированная

часть, то, что мы назвали трендом, является параболической функцией времени. Очевидно, что этот ряд нестационарный. Математическое ожидание этого процесса зависит от времени. Приводится ли такой ряд взятием последовательных разностей к стационарному? Если мы возьмем первую последовательную разность, то получим:

DXt = a + bt + gt2 + 2t-a-b(t-1)-g(t-1)2 -2t-1 = b + 2gt-g + (et -2t-1).

Степень полинома, описывающего тренд, понизилась на единицу. Если провести

взятие второй разности, то останется Д2Xt =DXt -DXt-1 = 2g + (2t - 22t-1 + 2t+2) , то

есть получим стационарный процесс. Правда, мы видим, как в уравнение начинает «проникать» скользящее среднее. Полученный двукратным взятием разностей стационарный процесс является процессом МА(2). Но, по крайне мере, взятием последовательных разностей исходный ряд с квадратичным трендом приводится к стационарному виду. Подметив это свойство, Бокс и Дженкинс [2]3) предложили выделить класс нестационарных рядов, которые взятием последовательных разностей можно привести к стационарному виду, а именно к виду ARMA. Если ряд после взятия d последовательных разностей приводится к стационарному, то мы вслед за Боксом и Дженкинсом назовем этот ряд ARIMA(p,d,q). Так принято, что d вставляется в середину. Сокращение I (от английского - Integrated) означает интегрированный. Операция, обратная к взятию последовательной разности, - это суммирование. Бесконечно малая разность называется дифференциалом. Обратный переход от дифференциала называется интегрированием, и этот термин используется в аббревиатуре процесса, хотя имеется в виду суммирование.

ARIMA - процесс авторегрессии - интегрированного скользящего среднего. При этом p - параметр AR-части, d - степень интеграции, и q - это параметр МА-части. В операторном виде ARIMA (p,d,q) записывается как:

ap (L)Ddxt = bq (L)2t.

Или по-другому ap (L)(1 - L)d xt = bq (L)2t. Этот процесс нестационарный, потому

р+й

что здесь не выполняется условие, что все корни характеристического уравнения по модулю меньше единицы. Но, если обозначить (1 - Ь)й х. = у., то у. - это стационарный процесс.

Основная заслуга Бокса и Дженкинса не в том, что они это придумали, а в том, что они сделали этот подход лет 25-30 назад весьма популярным и ввели в практику программы для применения этого подхода в компьютерный пакет научных программ для системы 1ВМ-360, распространенной в 1970-1980 гг. по всему миру.

Подход Бокса-Дженкинса

До сих пор мы рассматривали случайные процессы, в частности АШМА, как некоторую математическую конструкцию. При моделировании экономических про-

3) Первое издание этой книги вышло в 1970 г. Впервые модели типа ARMA были рассмотрены в [4].

цессов мы встречаемся с обратной ситуацией, когда у нас есть реализация ряда, и надо подобрать соответствующую теоретическую конструкцию, которая могла бы породить такую реализацию, то есть построить модель экономического процесса. Пользуясь терминологией Д. Хендри, будем иногда называть такую модель DGP (Data Generating Process). Бокс и Дженкинс предложили следующий подход к выбору модели типа ARIMA по наблюдаемой реализации временного ряда.

Прежде чем описывать этот метод, надо ввести еще одно понятие, которое необходимо иметь в виду, занимаясь оцениванием или подбором модели, порождающей реализацию временного ряда. Мы говорили, что стохастический процесс -это функция как бы двух величин: времени и случайности. Когда случайность фиксирована, мы рассматриваем одну реализацию. Однако все наши рассуждения касаются характеристик случайных величин, таких как математическое ожидание E{ Xt} и другие. Это подразумевает, что в каждый заданный момент времени мы

имеем всю генеральную совокупность случайной величины, соответствующую этому моменту времени. Всякий раз усреднение идет по повторяющейся выборке. Однако в нашем распоряжении - одна единственная реализация. Поэтому любая статистика, с которой мы будем иметь дело, может использовать только реализацию, а не повторяющуюся выборку. Единственной, по сути, возможностью остается усреднение по реализации, по времени. Поэтому нам нужны основания, чтобы считать, что усреднение по времени в каком то смысле эквивалентно усреднению по всевозможным значениям генеральной совокупности. Процессы, которые обладают таким свойством, называются эргодическими (ergodic). Недостаточно для процесса быть стационарным, вообще говоря, нужно еще, чтобы процесс был эргодическим. Иногда это свойство называют свойством хорошего перемешивания. Разбросанные в разные моменты времени значения временного ряда должны составить такую же качественно выборку, как повторная выборка в один и тот же момент времени.

Эргодичность - это свойство, позволяющее для оценки математических ожиданий использовать усреднения по времени (по реализации). Например, мы хотим оценить математическое ожидание. Мы должны взять всевозможные значения в один и тот же момент времени t. У нас таких нет. Но у нас есть значения в другие моменты времени. Свойство хорошего перемешивания означает, что если у нас достаточно длинная реализация, то можно заменить усреднение по ансамблю, по множеству, усреднением по времени. Для того, чтобы стационарный процесс был

T

эргодичным, достаточно выполнения следующего условия [3] (T) —>0 .

к=1

Мы видим, что стационарные процессы ARMA(p,q) обладают свойством эргодичности. Нестационарный процесс не может быть эргодическим. Но не всякий стационарный процесс эргодичен, хотя для практических целей наличие стационарности неявно подразумевает эргодичность. Важно понимать, что одной стационарности при статистической обработке реализаций недостаточно.

Задачу построения модели типа ARIMA по реализации случайного процесса Бокс и Дженкинс предложили разбить на несколько этапов.

I этап

1. Установить порядок интеграции d, то есть добиться стационарности ряда, взяв достаточное количество последовательных разностей. Другими словами, «остационарить» ряд.

2. После этого мы получаем временной ряд Yt, к которому нужно подобрать уже ARMA(p,q). Исходя из поведения автокорреляционной (SACF) и частной автокорреляционной функций (SPACF)4), установить параметры p и q.

I этап принято называть идентификацией модели ARIMA(p,d,q). Это всего лишь определение величин p, d, q, но именно в такой последовательности: сначала d, а потом p и q.

II этап

Оценивание коэффициентов ax,a2,...,ap,ß1 ,ß2,...,ßq при условии, что мы уже знаем p и q.

III этап

Стандартная для эконометрического подхода процедура. По остаткам осуществляется тестирование или диагностика построенной модели.

IV этап

Использование модели, в основном, для прогнозирования будущих значений временного ряда.

Бокс и Дженкинс применили этот подход ко многим временным рядам, кэто-рые были известны в то время, как к финансовым, так и к макроэкономическим. Правда, надо сказать, что макроэкономические ряды тогда были, в основном, короткие. Бокс и Дженкинс смогли построить модели типа ARIMA для всех исследуемых рядов и установили, в частности, что практически все экономические процессы описываются моделями с относительно небольшими величинами параметров p и q, а параметр d обычно не превышает 2. К тому же оказалось, что точность прогнозирования по моделям ARIMA оказалась выше, чем давали в то время эконометрические модели. Бокс и Дженкинс приложили много усилий, пропагандируя использование моделей типа ARIMA, которые дают удобное и компактное описание очень многих процессов.

Если исследуемый ряд нестационарный, то его автокорреляционная функция не будет убывать. Если ряд стационарен, то мы знаем, что, начиная с какого-то номера, теоретические автокорреляции будут убывать. Поэтому можно рассчитать их оценки - выборочные автокорреляции, и посмотреть, убывают они или нет. Если ряд окажется стационарным, перейти к определению параметров p и q. Если нет, то надо построить ряд первых разностей и проверить на стационарность его.

Рассмотрим, например, процесс Xt = aXt l + st ,st~WN(0,ст2). При a> 1

взятие первой разности не поможет сделать ряд стационарным. Это нестационарный ряд взрывного типа, оценки его «автокорреляционной» функции растут с увеличением сдвига во времени. Если же a = 1, то ряд представляет собой случайное блуждание и после взятия первой разности он станет стационарным.

Переходим к оцениванию по выборке статистических характеристик исследуемого процесса в предположении его эргодичности. В качестве оценки матема-

- 1 t

тического ожидания применяется статистика X = ^ X Xt , то есть обычное сред-

t=1

4) S - от слова выборочный. Полная аббревиатура означает Sample Autocorrelation Function и Sample Partial Autocorrelation Function соответственно.

нее по выборке. В качестве оценки дисперсии процесса обычно принимается следующая величина:

£2 _ т 1 ^(х^ -х)2 . Обратите внимание, делитель не (Т-1),

привычно для обработки независимых наблюдений, а Т. Для оценки коэффициен-

X (X, - X)(х,_к - X)

та теоретической автокорреляции используем гк =

г=к+1

Т-Б2

. Это озна-

чает, что для расчета выборочных ковариаций используется одинаковый делитель - Т, что, в случае независимых наблюдений, дает смещенные оценки соответствующих теоретических ковариаций. Если бы мы требовали несмещенности оценок, то у нас бы были разные делители при различных к. Кроме того, при увеличении к уменьшается объем выборки, пригодный для расчета оценки соответствующего коэффициента корреляции. На практике, по рекомендации, идущей еще от Бокса и Дженкинса, не рассчитываются оценки гк для к > Т/4 .

Одним из следствий выбора именно таких оценок значений автокорреляционной функции является гарантированная положительная определенность выборочной корреляционной матрицы. Ранее мы отмечали наличие такого свойства у теоретической автокорреляционной функции. При одинаковом делителе у оценок автокорреляционной функции при различных к положительная определенность выборочной корреляционной матрицы гарантирована. Поэтому мы предпочитаем пусть смещенную оценку, но гарантирующую это свойство. Во-вторых, при дополнительном предположении о нормальности распределения значений процесса именно эта оценка совпадает с оценкой метода максимального правдоподобия. Поэтому мы жертвуем здесь несмещенностью, тем более, что у нас обычно Т - относительно большое, добиваясь 2-х вещей: 1) приближаясь к методу максимального правдоподобия, а он здесь основной, очень важный метод; 2) добиваясь положительной определенности соответствующей автокорреляционной матрицы оценок

1 г Г2

В качестве оценок частной автокорреляционной функции фкк принимаются

значения выборочной частной автокорреляционной функции БРАСЕ, которые получаются как коэффициенты выборочной регрессии текущего центрированного значения ряда на к его предыдущих значений

(X - X) = фк1 (Х-1 - X)+...+фкк (X,-к - X) + ^.

Коэффициент фкк при последнем члене и есть оценка коэффициента фк частной автокорреляционной функции. То, что полученная оценка отражает статистическую линейную связь между х( и х-к, очищенную от влияния промежуточных значений, подтверждает замечательная теорема Фриша-Вау (1933), которая заключается в следующем.

1

г

2

Теорема Фриша-Вау. Пусть Y - объясняемая переменная, а объясняющие переменные разбиты на две группы: X1 ,...,Xk,Zl,...Zl. Обозначим через u,v1 ,...,vk

остатки метода наименьших квадратов (МНК) от регрессий Y,XJ ,...,Xk соответственно на совокупность Z1,...Zl. Тогда оценки МНК коэффициентов регрессии uk на vj,...,vk совпадают с оценками при переменных Xj,...,Xk в регрессии Y на всю совокупность Xj,...,Xk,ZJ,...Zl.

В математике многие результаты можно выразить в различных терминах. Так теорема Фриша-Вау выражает в терминах коэффициентов регрессий просто формулу обращения блочной матрицы.

Свойства выборочных моментов процесса

Для того, чтобы установить свойства выборочных оценок, введенных ранее, требуются довольно громоздкие и утонченные математические выкладки. Поэтому наиболее сложные результаты мы приведем без доказательства.

Выборочное среднее очевидно является несмещенной оценкой математического ожидания процесса, если он стационарен. Легко выразить дисперсию выбо-

__T T T T k

рочного среднего: var(X) = TXXgt-A = TX(T - \ - j\)r,-} = T- X (1 " f К .

i=J j=1 i- j=-T k=-T

Если теоретические ковариации стремятся к нулю при увеличении k, то var(X) —т®¥ > 0 , и наша оценка будет состоятельной. Если процесс Xt является

гауссовым, то и оценка X распределена нормально. Более того, эта оценка являются суммой случайных величин, более или менее большого количества, и при каких-то достаточно слабых условиях здесь будет работать Центральная Предельная Теорема (ЦПТ). Можно строго математически показать, что для процесса

типа ARMA оценка X распределена асимптотически нормально, даже для негауссова процесса.

Получение асимптотического распределения оценок rk сопряжено с большими математическими выкладками, хотя и основано на тех же идеях, что и полученное выше. Сформулируем основные результаты без вывода. Если теоретичес-

T

результат, чем просто сказать, что дисперсия стремится к нулю [2]. И нам очень важно, что при больших Т дисперсия ведет себя, как J. Более точный результат

as

для больших T говорит следующее: -JT • rk ~ N(0,1). При достаточно больших Т 95-

процентный доверительный интервал составляет ± 2 стандартных отклонения. Если мы хотим, например, проверить гипотезу Но: р10 = 0 против обычной альтернативной гипотезы, надо посчитать r10 и посмотреть, попало ли оно в ± 2—^. Ес-

10 Jr

кие автокорреляции рк = 0 для всех к > 0, то уаф^) —т®¥ > —. Это более точный

ли выборочное значение г10 попадает в этот интервал, то гипотезу Н0 не отвергаем на уровне значимости 5%, если выходим за эту границу, то отвергаем. Эта оценка может быть улучшена. Более точная асимптотическая оценка для дисперсии оценки гк в предположении, что все рк = 0 для к>д дается формулой

чт(гк) = Т;(1 + 2р! +... + 2рдля к>ц. Гипотеза Щ: рк = 0 для к>ц означает, что

процесс есть МА^). Уточненная оценка означает, что дисперсия гк асимптотически стремится не просто к 1/Т, а к этой величине с некоторым дополнительным множителем вида (1 + 2р +... + 2р^). Этот теоретический результат используется для оценки дисперсий путем замены р на выборочное значение г. Для оценки дисперсии \аг(гг) по-прежнему используется 1/Т. Для оценки уат(г2) используется Т_1(1 + 2г2). Для оценки уаг(г3) используется Т_1(1 + 2г1 + 2г2). И так далее.

Если временной ряд порожден процессом АИ(р), то для к>р оценки значений частной автокорреляционной функции фкк имеют то же асимптотически нор-

as

мальное распределение: д/Т -фкк ~ N(0,1).

Теперь первый шаг подхода Бокса-Дженкинса заключается в следующем. Только учтите, что свойства всех оценок получены в предположении, что е является белым шумом. Нормальность белого шума нам здесь не нужна, асимптотическая нормальность оценок обеспечивается за счет Центральной Предельной Теоремы. По реализации временного ряда рассчитываем оценки автокорреляционной и частной автокорреляционной функций, проверяем стационарность, при необходимости переходим к ряду первых разностей.

Специализированные компьютерные программы сегодня устроены следующим образом. Вы говорите: «Хочу исследовать ряд, построить статистику». Программа выдает соответствующие статистики, вы смотрите, они вам не нравятся. Вы, ничего не меняя, говорите: сделай то же самое для ряда разностей. Там это встроено, вам не надо вручную это программировать. Программа строит статистики для первых разностей, вторых. А ваше дело - пока визуально смотреть и решать, достаточно брать конечные разности или нет. Это первый шаг. После выбора стационарного ряда, вы смотрите, с какого номера начинается убывание по абсолютной величине выборочных автокорреляционной и частной автокорреляционной функций. И, исходя из этого, делаете предположение о возможных значениях параметров р и q. Далее можно переходить ко второму этапу: процедуре оценки коэффициентов.

^ ^ ^

Автор выражает глубокую благодарность своим студентам, которые не только терпеливо слушали и сдавали этот курс, но и внесли большой вклад в создание этого текста. Я также признателен профессору ГУ-ВШЭ Эмилю Борисовичу Ершову за ценные замечания по содержанию и тексту лекций. Разумеется, все ошибки, неточности и неудачные объяснения остаются на совести автора.

* * *

СПИСОК ЛИТЕРАТУРЫ

1. Bachelier L. «Theorie de la Speculation», Annales de l'Ecole Normal Superieure. 1900. Series 3, 17, 21-86.

2. Box G. E. P. and Jenkins G. M. Time Series Analysis, Forecasting and Control, rev. Ed., San Francisco: Holden-Day, 1976.

3. Davidson R. and MacKinnon J. G. Estimation and Inference in Econometrics. Oxford University Press, 1992.

4. Quenouille M. H. The Analysis of Multiple Time Series. London: Charles Griffin, 1957.

5. Nelson C. R. and Kang H. Pitfalls in the Use of Time as an Explanatory Variable in Regression // Journal of Business and Economic Statistics. Vol. 2. January 1984. P. 73-82.

6. Nelson C. R. and Plosser C. I. Trends and Random Walks in Macroeconomic Time Series: Some Evidence and Implication // Journal of Monetary Economics 1982. 10. P. 139-62.

7. Wold H. A Study in the Analysis of Stationary Time Series. Stockholm: Almqvist and Wiksel, 1938.