ИССЛЕДОВАНИЕ ДИНАМИЧЕСКИХ ХАРАКТЕРИСТИК АДАПТИВНОЙ ОЦЕНКИ ПРОГНОЗИРОВАНИЯ
Савченко В.В. ([email protected]), Шкулёв А.А., Баринов А.В.
Нижегородский государственный лингвистический университет
В задаче прогнозирования случайных временных рядов одной из наиболее актуальных является проблема малых выборок наблюдений. Ее наиболее эффективное решение большинство исследователей связывает с адаптивным подходом на основе новых методов спектрального анализа [1]. Последние рассчитаны на оценки прогнозирования линейного вида и авторегрессионную модель наблюдений. В зависимости от применяемого способа оценивания параметров АР-модели получают различные модификации адаптивной линейной оценки [2]. При этом достигаемая скорость ее сходимости к оптимальному виду описывается степенным
законом и неулучшаема по порядку М. Здесь Ь - объем наблюдений, а М -
Ь
порядок модели [3]. Причем указанное свойство характерно для всех без исключения новых методов. Исследованию возможностей таких методов в задаче статистического прогнозирования и посвящена предлагаемая работа.
Рассмотрим стационарный случайный процесс Х(п) в дискретном времени п=1,2,... В основе линейной оценки его прогнозирования на 1 шаг в будущее используется следующее выражение:
М
х(п +1) = Х ах(п - г +1), п=1,2,..., (1)
1=\
где {а^, г = 1,М - М-вектор постоянных коэффициентов или параметров оценки.
На множестве различных алгоритмов настройки параметров {а^ выражение (1) определяет множество различных модификаций линейной
оценки прогнозирования М-го порядка. При этом наилучшая из них отвечает очевидному критерию минимума дисперсии ошибки прогнозирования:
= М z2(n +1)
^ шт.
z(n +1) = х(п +1) -Х(п +1), п=1,2,... (2)
Здесь М - символ математического ожидания. Из математической статистики известно [1], что оптимальный в смысле критерия (2) вектор параметров
} = а отвечает системе нормальных уравнений вида
Кхх ■ а = К . (3)
Здесь Кхх - автокорреляционная (М х М) матрица анализируемого процесса
Х(п), а кх - М-вектор-столбец коэффициентов его автокорреляции.
При отсутствии достоверных сведений о корреляционных свойствах анализируемого процесса вместо неизвестных в общем случае
корреляционных матрицы К* и вектора кх в выражение (3) подставляют их
статистические оценки, получаемые по выборке конечного объема Ь. При этом предпочтение отдают методам корреляционного анализа с высокими динамическими свойствами. К их числу относится, например, известный метод Берга [1], который сводится к системе рекуррентных выражений
^ , =-1-Х[ , (0 + У2 , (^-1)1
т-1 2(Ь М^) т т~1
I
1 Ь-1
Рт = ^Г XХт-1 )Ут-1 -1);
о , г=т т-1
ат (0 = От-1 (0 + Рт«т-1 (М - /), I = 1, М'
°2т = (1 -Р2т)°2т-1 , =
Хт ( ) Хт-1 ( ) РтУт-1 (г-1);
т т-1 *
тт
Ут (0 = Ут-1 (г-1) + РтХт-1 (0, I = 1,2,..., Ь , Ш = 1, М ;
с инициализацией вида х0(7) = (7) = х(п — Ь + 7), 7 = 0,1,Ь — 1.
Финальное значение рекурсии (4) при т=М определяет результирующую, то есть адаптированную под выборку {х(п)} объема Ь>1 в ретроспективе АР-модель наблюдений [3]
М
х (п) = Х аМ (*) • х (п — \) + п( п), п = 1,2,..., (5)
1=\
с порождающим "белым" шумом П(п) на входе. Его дисперсия
х
с>2 = П(1 — ^-т)согласована с выборочной оценкой о1 дисперсии
т=1
наблюдаемого процесса.
Чем точнее модель (5) адаптирована по выборке {х(п)} к процессу Х(п), тем точнее становится и результирующая оценка прогнозирования (1). В качестве универсального показателя точности такой оценки можно использовать величину информационного рассогласования АР-модели наблюдений (5) с имеющейся выборкой в метрике Кульбака-Лейблера
/к (Хп )
1п[ /я/ ]=/ ... 11П
/к (хп )^п ^ min Я .
/К ( Хп )
Путем стандартных вычислений при предположении о гауссовости анализируемого процесса получим [4]
I,,[/к/ ] = 2 1п— " + 2 ■*[..п^п.п ]
(6)
где К ,п - (п X п)-матрица автокорреляции АР-процесса (5), К п,п -(п X п)-
матрица автокорреляции случайного процесса Х(п), символом М обозначен определитель квадратной матрицы, а tr(.) - ее след (сумма диагональных элементов). Раскроем правую часть последнего выражения в виде [3]
К [щ1 = п 1п
2 1 п, О п п 1
2 о 2 2 2
гм( хяхят п,п 1 =
= П^1П(2по112)+2м[пТип,п*]-Hn *(X) =
= п 1п(2ЛОГ2)+-Ц- М 2 п 2о
п-1
x z (п -')
.1=0
-Н *(х) =
1п(2п<7 2)+0м2 О
- Н *(X).
Здесь хп = Со1п (х(п - ')) - n-вектор-столбец отсчетов анализируемого
М
процесса; z(п - ¡) = х(п -') - x аМ (к)х(п - к - ¡') - отклик фильтра ошибки
предсказания М-го порядка [1] на анализируемый процесс в момент г=п-1, ¡=0, 1, ..., п-1, ОМ =М[z2(п-')] - дисперсия ошибки прогнозирования М-
го порядка, а
Н *(X) = |1п[пе)п|Кп,п |]= 2[1п(2п<02)]+ 2- энтропия
гауссовского закона распределения анализируемого процесса,
.2
пропорциональная минимальному собственному числу
О
0
автокорреляционной матрицы К п,п . Переходя от этого выражения к удельной (на один отсчет данных) величине информационного рассогласования, получаем
Уп[ |УК]=_ 1п[ 1/К] =
п
1
2
1П(2жГ ) +
О
М
- Н *(X),
или в зависимости от объема выборки наблюдений
у( Ь) =1 [1п<П( Ь) + ] + сопзг,
(7)
2— ' (Ь)
где учтено, что удельная энтропия случайного процесса X(n) не зависит от способа адаптации.
2
2
В зависимости от объема Ь используемых в (4) наблюдений полученный результат характеризует достигаемую точность прогнозирования в динамике, т.е. может служить в роли кривой ее адаптации (сходимости). Раскроем зависимость (7) применительно к методу Берга. Его центральным звеном является решетчатый фильтр предсказания М-го порядка (рис.1).
Рис.1
Динамика фильтра в дискретном времени описывается системой рекуррентных соотношений (4'). Дисперсия его отклика
Хм
м г 1
(п) = Х0 (п) +1рт (Ь) • Ут—1 (Ь) равна < (Ь) = М[хМ (Ь)]
м[х02(ь;]+ 2М
т=1
м
I Пт(Ь) • х0(п) • Ут_((п — 1)
_т=1
+ М-
М
I
,т=1
I Чп(Ь) ^ Ут—1(п — 1)
Учитывая свойство некоррелированности отдельных ступеней решетчатого фильтра (рис.1), когда выполняются равенства
м{у (п) • у*(п)}= 0 V/ Ф п < М, при Ь>> 1 можно записать
оЧЬ) = а2 — I [р2 — Б (Ь)] а2 1
М V / х Лш^ I"» т т V / J т—1 ,
т=1
где
2
оШ = <т(ь) |ь_ = м{хШ(п)}; Рт = м{хт-1 (п)• уШ-1 (п- 1)/оШ-1 };
Бт (Ь) = м{РШ (Ь) - рШ }= В|Рт (Ь)} -
дисперсия текущей оценки т-го коэффициента отражения (Б{.} - символ вычисления дисперсии). После несложных преобразований будем иметь [5]
ММ М
о2М(Ь) = П(1 - РШ)оШ-1 + XБШ (Ь)ОШ-1 = <Мшп + XБШ (Ь)ОШ-1
Ш=1
ш=1
Ш=1
где о2мшп =о2м( Ь)\ - предельно достижимое значение (минимум) дисперсии ошибки прогнозирования. Учитывая известное соотношение для
дисперсий
(Ь)} = б{хш_, (п) уШ (п -1) / оШ -1}/ Ь
после ряда
вычислений окончательно получаем
О2 (Ь) =О2 + У От-1 (1 +Рт )
им шт ^ X Т .
т=1 Ь
В свою очередь, дисперсия порождающего шума в АР-модели наблюдений (5) равна
Ь)
М
П
Ш=1
М
П (1 -РШ( Ь))
Ш=1
1 -Р
1+Р
Ь
2 Л
М
О
О
М
П (1 - (РШ + о, (Ь)))
Ш=1
О
Преобразовывая это выражение, получим
°1( Ь)
М
П
Ш=1
ь-1 (1 -Р2)2Р
2 \
Ь
Ь
м
О
Для случая слабокоррелированного процесса X(n), когда р2т << 1 Чт > 1, в первом приближении выполняются равенства
м ^ т ч м М • К . ч
<М( ь) = о,М.Ш^(1 +—X
о2Л Ь) = <
М ,шin
1 -1
Ь
Ь
М
Ш
Ш
Здесь
К д = °х
под
О
2
М тш
коэффициент подавления анализируемого
процесса в решетчатом фильтре (рис.1) установленного порядка М. Подставляя эти равенства в выражение (7) получаем искомую величину информационного рассогласования
М • К д
под
-)
1
Г( Ь) = ^(1По
2
М ,тт
1 — i
Ь
М 1 + ■ +
Ь
1 — '
Ь
М
(8)
в зависимости от параметров АР-модели (5).
По своей сути эта зависимость характеризует кривую обучения исследуемой адаптивной оценки прогнозирования. Ее график при двух
значениях порядка М=5 и М=10, ОМ=1 и при Кпод=10 показан на рис.2.
Рис.2
Видно, что при увеличении объема наблюдений Ь кривая обучения
монотонно спадает до своего минимального значения 0.5 1п О2М + 0.5 , что точно соответствует асимптотике выражения (7). Чем больше порядок
оценки прогнозирования М, тем медленнее эта оценка сходится к своему оптимальному значению.
Таким образом, по результатам проведенного исследования получено аналитическое выражение (7) для кривой обучения линейной оценки прогнозирования М-го порядка, адаптируемой под конечную выборку наблюдений. Основываясь на кривой обучения, можно исследовать динамические свойства результирующей оценки прогнозирования в зависимости от применяемого метода адаптации и от ее параметров: порядка М и объема выборки Ь.
ЛИТЕРАТУРА
1. Марпл С.Л. Цифровой спектральный анализ и его приложения.-М.: Мир, 1990.
2. Савченко В.В. Прогнозирование социально-экономических процессов на основе адаптивных методов спектрального оценивания / Автометрия. 1999. №3. с. 99-108.
3. Савченко В.В. Адаптивные методы нелинейного спектрального оценивания на основе принципа минимакса энтропии / Дис. доктора техн. наук. - г. Н. Новгород: НГТУ, 1993.
4. Кульбак С. Теория информации и статистика.-М.: Наука, 1967.
5. Савченко В.В. Принципы минимакса энтропии в задачах группового и последовательного спектрального анализа / Известия высших учебных заведений. Радиоэлектроника. 1990. №9. с. 66-70