CC BY-NC-ND
64
Экономический журнал ВШЭ. 2018. Т. 22. № 1. С. 84-109.
HSE Economic Journal, 2018, vol. 22, no 1, pp. 84-109.
Сравнение методов бутстрапа временных рядов для целей бэктестирования моделей оценки банковских рисков
Дедова М.С.
Банковские кризисы последнего десятилетия и разрушительное влияние банкротств банков на экономику вынуждает регуляторов все большее внимание уделять как внутренним системам оценки рисков в целом, так и отдельным моделям в частности. Так, в соответствии с требованиями как Ба-зельского комитета (bcbs128, bcbs152), так и Банка России (483-П и 3624-У), проверка качества моделей оценки рисков является неотъемлемой частью внутренних процедур оценки достаточности капитала (ВПОДК) и подхода управления кредитными рисками на основе внутренних рейтингов (ПВР). Однако стандартные подходы бэктестирования, базирующиеся на независимости наблюдений, зачастую являются несостоятельными ввиду длительного горизонта прогнозирования и, соответственно, пересекающихся наблюдений. В работе [Ruiz, 2014] предлагается корректировать распределения используемых статистик с учетом зависимости наблюдений, однако условием применения данного метода является наличие набора репликаций риск-факторов, получение которого затруднительно при неизвестном распределении исходных данных. В данном исследовании анализируются несколько методик бутстрапа, в частности блочный бутстрап и бутстрап максимальной энтропии, как способы симуляции рядов риск-факторов, сохраняющих исходные свойства, для коррекции распределений статистик в условиях отсутствия предпосылки о независимости наблюдений. Оценка применимости каждой методики производится с точки зрения сохранения распределения, временной структуры и межфакторной взаимосвязи наблюдений. Так, применение бутстрапа максимальной энтропии демонстрирует различные результаты в зависимости от того, применяется он к рядам в разностях или в абсолютных значениях. Тем не менее в обоих случаях, статистика, полученная на его основе, как правило, искажает результаты бэктеста как в сторону принятия неверной модели, так и в сторону отвержения верной. Применение блочного бутстрапа также может приводить к неточностям, однако, как правило, за-
Дедова Мария Сергеевна - аспирант факультета экономических наук департамента прикладной экономики Национального исследовательского университета «Высшая школа экономики». E-mail: mariia.dedova@yandex.ru.
Статья поступила: 08.02.2018/Статья принята: 28.02.2018.
вышает консервативность теста. Использование пересечений при формировании симулированных рядов позволяет приблизить распределение статистики к фактической.
Ключевые слова: бэктестинг; валидация моделей; бутстрап временных рядов; блочный бутстрап; бутстрап максимальной энтропии; пересекающиеся горизонты прогнозирования.
DOI: 10.17323/1813-8691-2018-22-1-84-109
1. Введение и обзор литературы
Кризисные явления последнего десятилетия и, как следствие, ужесточающиеся требования Базельского комитета по банковскому надзору и национальных регуляторов привели ко все возрастающей роли оценки рисков в функционировании банковской системы. В свою очередь необходимость внедрения новых моделей оценки рисков и усложнения старых с целью повышения их точности неразрывно связана с тестированием их качества. Как следствие, необходимость регулярной валидации моделей также регламентирована как требованиями Базельского комитета (в частности, документы bcbs128, bcbs152), так и Банка России (документы 483-П и 3624-У) и является неотъемлемой частью внутренних процедур оценки достаточности капитала (ВПОДК), вступающих в силу с 1 января 2018 г.
В данной работе наибольшее внимание будет уделяться методам, применяемым при оценке эффективности моделей VaR и Effective EPE в условиях российской экономики, характеризующейся высокой частотой кризисов. Здесь следует отметить несколько особенностей. В первую очередь к ним относится значительный горизонт прогнозирования. Если для ценового риска период расчета риска исчисляется в днях, то для таких рисков, как процентный или кредитный, связанных с менее ликвидными активами, период расчета риска равен или даже превышает годовой горизонт (bcbs152). При этом при агрегации для целей экономического капитала необходимо приведение к единому, как правило, годовому, горизонту (bcbs152). Также можно отметить, что, в частности, для кредитного риска Базельским комитетом рекомендуется применение для проверки качества модели различных временных горизонтов, как коротких, так и длинных, обязательно покрывающих типичные для банка периоды риска (bcbs185). Таким образом, оценка эффективности на годовом горизонте в рамках ВПОДК оказывается неизбежной.
Следующая особенность является следствием длительного горизонта прогнозирования. Стандартные способы тестирования как моделей VaR, так и Effective EPE предполагают независимость наблюдений, что позволяет использовать известные формы распределений, как, например, биномиальное для оценки допустимости количества пробитий в моделях VaR. Однако статистика данных российских банков лишь в редких случаях превышает 10 лет, т.е. для горизонта прогнозирования 1 год количество наблюдений не позволяет сделать статистически значимый вывод на непересекающихся временных горизонтах. В случае же пересекающихся временных горизонтов предпосылка о независимости наблюдений оказывается несостоятельной.
Решение проблемы зависимости, возникающей в случае использования длительных пересекающихся временных горизонтов, предложено в работе [Ruiz, 2014]. На примере оценки контрагентского риска автор предлагает пересчет на основе симуляций распределения статистик Андерсона - Дарлинга, Колмогорова - Смирнова и Крамера фон Мизеса для случая не независимых наблюдений. В работе приведен пример для одного актива, зависящего от одного риск-фактора, однако отмечается, что подобная методика применима как для нескольких риск-факторов (в том числе процентных ставок и валютных курсов), так и для нескольких позиций в балансе, в частности, для портфеля в целом. Отметим, однако, что условием применения данной методологии является возможность формирования n репликаций исходной выборки.
Одной из базовых моделей симуляции краткосрочной процентной ставки в существующей литературе является модель Vasicek:
dr = а(ц - r)dt + odW,
где r - процентная ставка; ц и о - ее математическое ожидание и стандартное отклонение; W - винеровский процесс [Vasicek, 1977]. Данная модель в дальнейшем модифицировалась, в том числе для выполнения условия неотрицательности процентной ставки. Так, к моделям, базирующимся на сочетании параметров фактического распределения и стохастической части, заданной винеровским процессом, можно отнести модели CIR [Cox, Ingersoll, Ross, 1985], Brennan - Schwartz [Brennan, Schwartz, 1982], Black - Karasinski [Black, Karasinski, 1991]. Однако отметим, что все перечисленные модели позволяют определить в первую очередь именно краткосрочную ставку процента. Долгосрочная определяется как функция краткосрочной, например, в моделех Vasicek и CIR предполагается линейная зависимость. Помимо перечисленных моделей для определения кривой процентных ставок могут также использоваться модели, стохастический фактор в которых задан совместным распределением нескольких винеровских процессов, которое, в свою очередь, оценивается через матрицу корреляций или копулу [Orduna, Lin, Larochelle, 2015]. Тем не менее общей ключевой предпосылкой является нормальность изменения ставки (или логарифма ставки). На аналогичном упрощении основывается и симулирование валютного курса: например, в работе [Ruiz, 2015] используется геометрическое броуновское движение, в той же работе для симулирования процентной ставки рекомендуется использование модели Black - Karasinski. При этом, как показывают эконометрические исследования, предпосылка о нормальности зачастую может являться неверной и приводит к занижению вероятности кризисных событий применительно к российскому рынку. Также отметим, что для оценки, в частности, процентного риска с наибольшей точностью необходим учет максимального количества информации о динамике кривых процентных ставок разных срочностей, например, при использовании ставок, рассчитанных по методологии MICEX - 10 кривых, по методологии Bloomberg - 15, что, соответственно, увеличивает погрешность при симуляции. Наконец, если в исходном расчете используется исторический VaR, а не симуляционный, применение дополнительных моделей при бэктесте может дать смещенные результаты.
В качестве альтернативы симуляции параметрически заданной функциональной зависимости существует ряд работ, посвященных применению бутстрапа для временных
рядов. В отличие от предыдущих методов, бутстрап позволяет реплицировать не только одно значение, но и набор ставок/курсов разных срочностей, что дает возможность сохранить зависимость без непосредственного расчета корреляционной функции или ко-пулы. Ключевой проблемой применения бутстрапа к временным рядам является сохранение зависимости текущего значения от предыдущих наблюдений. Различные способы решения данной задачи приведены в работе [Kreiss, Lahiri, 2012]. Авторами рассматриваются некоторые методы бутстрапа, в частности, бутстрап остатков параметрических и непараметрических моделей, применимый для случаев, когда процесс DGP является параметрически или непараметрически задаваемым со случайными независимыми одинаково распределенными остатками (iid). Если процесс DGP стационарен, а остатки также являются iid, возможно применение авторегрессионного бутстрапа. В работе также описан метод расчета бутстрапа с применением матрицы перехода, позволяющий перейти от бутстрапа iid наблюдений к бутстрапу для цепей Маркова. Для случаев, когда исходные временные ряды не имеют определенной структурной формы, авторами предлагается блочный бутстрап в разных формах - скользящие (MBB), непересекающиеся (NBB), круговые (CBB) блоки, стационарный бутстрап (SB) и проч. Отмечается, что методы MBB и CBB асимптотически являются эквивалентными и наиболее точными из блочных методов. В работе [Radovanov, Marcikic, 2015] отдельно сравниваются различные методы блочного бутстрапа и отмечается, что выбор оптимального метода бутстрапа определяется задачей исследования. В частности, для тестирования динамической структуры больше подойдут методы MBB и SB, также продемонстрировано, что, в целом, метод скользящих блоков дает наименьшие ошибки при оценке и прогнозировании на выборке для анализа и за ее пределами.
Отдельно хотелось бы отметить метод бутстрапа максимальной энтропии (ME), описанный в работах [Vinod, 2006; Vinod, Lopez-de-Lacalle, 2009]. Данный метод позволяет симулировать выборки, удовлетворяющие теореме об эргодичности, с сохранением исходной формы и временной зависимости автокорреляционной и частной автокорреляционной функций на основе максимизации энтропии. Особенностью данного метода является возможность применения к нестационарным данным, в частности, например, к фактическим значениям валютного курса, а не к разностям, а также допущение значений, отсутствовавших в исходной выборке, но соответствующих той же форме распределения.
В данной работе будет произведен анализ с точки зрения сохранения распределения и временной зависимости наблюдений для блочного бутстрапа и бутстрапа максимальной энтропии. Цель исследования заключается в выборе метода, позволяющего максимально точно воспроизвести структуру российских данных по процентным ставкам и валютному курсу для бэктестирования рисков банковской системы. Дальнейшая работа будет представлена следующим образом: в разделе 2 приведено описание используемых данных, в разделе 3 методы бутстрапа сравниваются с точки зрения воспроизведения моментов исходного распределения, повторения автокорреляционной функции и автокорреляционной функции для квадратов наблюдений, а также проверяется сохранение ковариационной матрицы. В разделе 4 приводится сравнение результатов бэктестирования для разных методов бутстрапа, в разделе 5 рассмотрен пример бэктестинга. И, наконец, в Заключении приведены выводы.
2. Описание методов бутстрапа
Методика бутстрапа предложена в работе [Efron, 1979] в качестве альтернативы методу «складного ножа» для целей оценки статистик распределения (в частности, математического ожидания и дисперсии) на данных выборки. Процедура представляет собой многократную генерацию выборок на основе наблюдаемых данных X = XJ,...,Xn, X с F,
позволяющую получить F* - симуляцию неизвестного распределения F на основе бутст-рапированных выборок X*. В упомянутой работе демонстрируется, что распределение R* = R (X*, F*) соответствует R = R (X, F) при условии, что F* = F. Последнее является
краеугольным камнем при использовании методики бутстрапа для временных рядов вследствие зависимости наблюдений. Поскольку в данной работе сравниваются методы блочного бутстрапа и бутстрапа максимальной энтропии, далее приведем краткое описание обеих процедур.
Идея блочного бутстрапа скользящих блоков предлагается в работе [Hall, 1985], где из выборки наблюдений выбираются не отдельные значения, а их группы - «tiles». Более подробно идея развивается в исследовании [Kunsch, 1989]. Выборка для целей блочного бутстрапа формируется следующим образом:
• X = {Xj,...,Xn} - выборка наблюдаемых данных;
• для некоторой заданной величины l е [J; n) формируются блоки
B = (X,...,Xl+l-j), где i е [j; n -1 + J) ;
• из равномерного распределения всех возможных значений i выбираются b блоков, где b - такое число блоков, чтобы произведение bl было не меньше длины искомой выборки.
Процедура бутстрапа максимальной энтропии подробно описана в работе [Vinod, Lopez-de-Lacalle, 2009] и заключается в построении точек Xi с {xj,...,Xn} в окрестности Xi c{XJ,...,Xn} так, чтобы полученное распределение максимально соответствовало исходному:
• X = {XJ,..., Xn} - выборка наблюдаемых данных;
• наблюдения Xj,... , Xn упорядочиваются по возрастанию и на каждом интервале (окрестности Xi) оценивается плотность максимальной энтропии;
• из равномерного распределения на интервале [0;1] случайным образом выбираются значения квантилей, извлекаемых из окрестности Xi в качестве симулированных
наблюдений Xi. Полученная выборка упорядочиваются в соответствии с номером наблюдения i.
Для целей данной работы из всех методов блочного бутстрапа был выбран бутстрап методом скользящих средних, как наиболее точный с точки зрения оценки и прогнозирования ([Kreiss, Lahiri, 2012; Radovanov, Marcikic, 2015]). Также для целей бэктестинга не тестировались параметрические методы бутстрапа. Это вызвано тем, что при оценке
рисков банком, как правило, используется несколько десятков процентных и валютных кривых, что, соответственно, ведет к оценке значительного количества параметров, усложнению расчета и невозможности его автоматизации. Данный фактор являлся ключевым для выбора тестируемых методик бутстрапа: как блочный бутстрап ([Kreiss, Lahiri, 2012]), так и бутстрап максимальной энтропии ([Vinod, Lopez-de-Lacalle, 2009]) являются общими методами, не предполагающими строго определенной структурной формы данных. Отметим, что в данной работе для бутстрапа использовались абсолютные разности, а не фактические значения, чтобы не ограничивать варианты симулированных рядов. Автором дополнительно были проанализированы возможности применения блочного бутстрапа к относительным разностям. Было выявлено, что в случае, когда изменение
переменной сопоставимо с ее значением,
1, применение методов бутстрапа
скользящих средних приводит к появлению неправдоподобно больших значений в симулированных рядах.
Также отметим, что при применении блочного бутстрапа для временных рядов в симулированных рядах сохраняются зависимости внутри каждого блока, однако на их стыке данное условие не выполняется. В связи с этим в данной работе тестировались разные варианты перекрытий и оценивалось, насколько их применение может способствовать сохранению исходных характеристик распределения. На примере анализируемых данных (более подробно описано в следующем разделе) зависимость от предыдущих значений сохраняется вплоть до 28-29 лагов, поэтому длина блока в данной работе принималось равной 30 дневным изменениям. Отметим, что в соответствии с работой [Бюль-ман, 2007] асимптотически оптимальным в смысле MSE значением длины блока является
и13, где п - количество наблюдений. Однако было выявлено, что 15-16 лагов, соответствующие данной формуле, приводят к недооценке автокорреляции более высокого порядка, в связи с чем было принято решение об увеличении длины блока. Для анализа были выделены следующие типы бутстрапа (все методы, кроме последнего, применялись к временным рядам в разностях)1
1. Метод 1. Блочный бутстрап методом скользящего среднего (1 = 30).
2. Метод 2. Блочный бутстрап методом скользящего среднего с перекрытием блоков в симулированных рядах с усреднением. Формирование новых рядов осуществлялось в соответствии со следующим алгоритмом:
- интервал между начальными точками блоков, состоящих из 1 = 30 дневных изменений, равен t дневных изменений, где t е [ 10; 30);
- для дней, которым соответствует более одного значения изменения переменных, итоговое значение рассчитывалось как простое среднее.
3. Метод 3. Блочный бутстрап методом скользящего среднего с перекрытием блоков в симулированных рядах со случайным усреднением. Формирование новых рядов осуществлялось аналогично предыдущему, однако усреднение значений производилось по
1 Расчеты производились в SAS Enterprise Guide и R (в части бутстрапа максимальной энтропии в соответствии с [Vinod, Lopez-de-Lacalle, 2009]).
формуле х = zlz2xl + z2(l - z1)x2 + (l - z2)x3 2, где z1 и z2 выбираются из независимых равномерных распределений в диапазоне [0;1]. В случае отсутствия х3, z2 = 1. х1, х2 и хз -наблюдения из перекрывающихся блоков, соответствующие одной и той же симулируемой точке.
4. Метод 4. Блочный бутстрап методом скользящего среднего с перекрытием блоков в симулированных рядах со случайным выбором. Формирование новых рядов осуществлялось аналогично предыдущему, однако для n значений, соответствующих одному дню, значения z выбираются из равномерного распределения в диапазоне [0;1] и значение х равно х1, х2 или х3 (в случае наличия) в зависимости от попадания z в диапазоны интервала [0;1] с шагом 1/n;
5. Метод 5. Бутстрап максимальной энтропии.
6. Метод 6. Бутстрап максимальной энтропии для фактических значений, поскольку данный метод позволяет сохранять взаимосвязь между наблюдениями и, при этом, не ограничивать набор значений симулированной выборки.
Для сравнения методов бутстрапа симулировалось 500 выборок годовой длины (365 точек), поскольку проверялась не только возможность многократно воспроизводить существующую выборку, но и использовать метод как возможность без оценки функциональной формы распределения воспроизводить выборки произвольной длины. Отметим, однако, что использование бутстрапа методом максимальной энтропии для создания выборок произвольной длины невозможно без дополнительных предположений, поэтому для него анализ производился на симуляциях, идентичных по длине исходным рядам.
3. Описание данных
С точки зрения банковских рисков к наиболее значимым факторам можно отнести смещение кривой процентных ставок и динамику курса иностранной валюты. Важность данных факторов обусловлено тем, что в той или иной мере они определяют не только валютный и процентный риски, но также кредитный, ценовой, риск ликвидности и прочие, поскольку участвуют, в том числе, в расчете стоимости в рублях и дисконтировании денежных потоков. В связи с этим в качестве тестируемых переменных были выбраны валютный курс доллара к рублю, рублевые безрисковые процентные ставки, рассчитанные по методологии MICEX, и долларовые безрисковые процентные ставки, рассчитанные по методологии Bloomberg. Как рублевые, так и долларовые процентные ставки использовались краткосрочные (минимальная срочность - до 3 месяцев) и долгосрочные (срочность - 1 год). Дополнительно, с целью рассмотрения возможностей применения бутстрапа к «управляемым» ставкам, в анализ была добавлена учетная ставка федеральных резервных фондов3. Все показатели брались по биржевым котировкам на дату зак-
2 Увеличенный вес наблюдения х3 позволяет сохранить неизменным вес наблюдения из последнего блока (соответственно х3 для перекрытия трех блоков в одной точке и х2 - для двух). Однако в силу случайности выбора блоков и малой длины отрезка, где присутствуют три значения, данное уточнение не является существенным.
3 Federal Funds Target Rate US.
рытия, сохраненным в системе Bloomberg. Для целей анализа использовалась семидневная неделя, причем пропущенные ставки не более трех дней подряд заполнялись на основе последнего непустого значения, а более длительные интервалы (соответствующие новогодним праздникам для рублевых кривых) - при помощи линейной интерполяции
( / -1
по формуле rt = r1 + (r2 - r1)-——, где rt - ставка в день, отстоящий на t < t2 -11 дней от t1
h — ti
(соответствующая ставка - r1) - дня последней заполненной котировки, t2 (соответствующая ставка - r2) - день первой заполненной котировки после пропущенных значений. В качестве исследуемого периода был взят интервал с 14.12.2005 г. (самая ранняя дата данных по безрисковой кривой в рублях) по 01.12.2016 г.
-Краткосрочная безрисковая ставка (RUB) ■ Долгосрочная безрисковая ставка (RUB)
Краткосрочная безрисковая ставка (USD) Долгосрочная безрисковая ставка (USD)
Рис. 1. Динамика рублевых процентных ставок
Рис. 2. Динамика долларовых процентных ставок
■ Учетная ставка федеральных резервных фондов Курс USD|RUB
Рис. 3. Динамика валютного курса и учетной ставки федеральных резервных фондов
Характеризуя экономическую ситуацию за исследуемый временной интервал, отметим, что он включает как периоды относительной стабильности и развития экономики (в частности, 2006-2007 гг. и 2011-2013 гг.), так и кризисные ситуации (2008-2009 гг. и
2014-2015 гг.). Анализируя приведенную выше динамику рассматриваемых показателей, можно дать краткое описание указанных периодов.
1. С 2006 г. до середины 2008 г. Рублевые и долларовые ставки сопоставимы по величине и находятся на уровне ставки по федеральным резервным фондам, однако ближе к концу периода начинается постепенное снижение учетной, а затем и безрисковых ставок. При этом стоимость доллара в рублях самая низкая за весь исследуемый временной интервал.
2. С середины 2008 г. до 2010 г. Учетная ставка федеральных резервных фондов и безрисковые ставки в долларах снизились до практически нулевого уровня. При этом безрисковые ставки в рублях наоборот выросли в 1,5-2 раза. Стоимость доллара в рублях выросла примерно на треть.
3. 2010-2014 гг. Отсутствуют значимые колебания показателей. Наблюдается небольшой рост безрисковой процентной ставки в рублях.
4. Конец 2014 г. до 2016 г. Резкий рост стоимости доллара в рублях приводит к аналогичному росту в рублевых процентных ставках, при этом долларовые ставки остаются на прежнем низком уровне.
5. 2016 г. Стабилизация курса доллара к рублю и процентных ставок на уровне кризиса 2008 г. и выше. При этом наблюдается небольшой рост долларовых ставок.
Подводя итог, отметим, что за исследуемый период наблюдаются как кризисы, так и периоды стабильности разных типов: при низких и высоких ставках, синхронно на двух рынках или же только на одном. Таким образом, использование данного периода в качестве эталона распределения удобно, поскольку позволяет учитывать экономические тренды и «выбросы» разных типов.
Таблица 1.
Моменты распределения анализируемых переменных
Математическое ожидание Дисперсия Коэффициент асимметрии Коэффициент эксцесса
В абсолютных значениях
Краткосрочная безрисковая ставка (RUB) 6,68 2,36 0,96 0,51
Долгосрочная безрисковая ставка (RUB) 7,18 2,26 1,05 0,53
Краткосрочная безрисковая ставка (USD) 1,05 1,78 1,52 0,53
Долгосрочная безрисковая ставка (USD) 1,25 1,77 1,45 0,38
Курс USD|RUB 36,2 14,0 1,55 0,96
Учетная ставка федеральных резервных фондов 1,31 1,85 1,40 0,18
Окончание табл. 1.
Математическое ожидание Дисперсия Коэффициент асимметрии Коэффициент эксцесса
В разностях
Краткосрочная безрисковая ставка (RUB) 0,001 0,20 4,18 231,5
Долгосрочная безрисковая ставка (RUB) 0,001 0,19 4,10 222,2
Краткосрочная безрисковая ставка (USD) -0,001 0,05 -0,3 98,6
Долгосрочная безрисковая ставка (USD) -0,001 0,03 0,16 48,8
Курс USD|RUB4 0,000 0,00 0,67 39,8
Учетная ставка федеральных резервных фондов -0,001 0,03 -18,8 461,3
Таблица 1 демонстрирует первые четыре момента распределения. Отметим, что как в абсолютных значениях, так и в разностях, распределения исследуемых переменных не соответствуют нормальному. В частности, можно отметить более тяжелый левый хвост распределения для всех переменных и высокую концентрацию вокруг средних значений, что особенно сильно проявляется для переменных в разностях. Тем не менее для дальнейшего исследования будем использовать не фактические значения показателей, а их изменение, поскольку при применении методики бутстрапа это позволит получить значения ставок и курса, отсутствовавшие в базовой выборке.
На рис. 4-7 приведены значения автокорреляционной функции для разностей анализируемых переменных и автокорреляционной функции для квадратов разностей анализируемых переменных, что позволяет выявить зависимость дисперсии переменных от ее предшествующих значений.
Отметим, что для рублевых безрисковых ставок и учетной ставки обе автокорреляционные функции начиная со второго запаздывания фактически обнуляются (значения снижаются менее 5%). Сходную динамику демонстрирует автокорреляционная функция для долларовых безрисковых ставок и курса доллара к рублю. При этом оценочная зависимость для дисперсии по последним переменным сохраняется до 25-27-го запаздывания. Данное наблюдение приводит к тому, что применение обычного бутстрапа к подобным рядам, как и большинству временных рядов, невозможно, поскольку не выполняется предпосылка о независимости наблюдений.
4 Для курса рассчитывается логарифмированная разность: ln(USD | RUB) - ln(uSD | RUB-1).
10%
0%
-5%
-10%
-20%
-25%
ill
1||||1цЫ"|" I rl -I I I" I" 11 I" 11~| | I" I" I" I" I- I г1 г
6 И 11 16 21 ^ И
26
□ Краткосрочная безрисковая ставка (RUB)
■ Долгосрочная безрисковая ставка (RUB)
■ Учетная ставка федеральных резервных фондов
Рис. 4. Автокорреляционная функция для разностей рублевых безрисковых ставок и учетной ставки федеральных резервных фондов
5%
-15%
□ Краткосрочная безрисковая ставка (USD) И Долгосрочная безрисковая ставка (USD) ■ Курс USD|RUB
Рис. 5. Автокорреляционная функция для разностей долларовых безрисковых ставок
и валютного курса
20% -it
15% -
10% -
1 6 11 16 21 26
□ Краткосрочная безрисковая ставка (RUB)
■ Долгосрочная безрисковая ставка (RUB)
■ Учетная ставка федеральных резервных фондов
Рис. 6. Автокорреляционная функция для квадратов разностей рублевых безрисковых ставок и учетной ставки федеральных резервных фондов
30%
10%
11
16
21
□ Краткосрочная безрисковая ставка (USD) I Долгосрочная безрисковая ставка (USD) ■ Курс USD|RUB
Рис. 7. Автокорреляционная функция для квадратов разностей долларовых безрисковых ставок
и валютного курса
40%
20%
0%
6
26
4. Сравнение методов 4.1. Сравнение распределения
Сравнение распределений показателей осуществлялось на основе сравнения первых четырех моментов распределения. Для каждой симуляции рассчитывались соответствующие показатели, затем внутри каждого метода бутстрапа оценивались 5-й и 95-й про-центили распределения и сопоставлялись с фактическими значениями. Результаты сравнения приведены в табл. 2. Обозначение «[5%; 95%]» соответствует попаданию фактического значения в соответствующий доверительный интервал симулированного распределения, что означает достаточную правдоподобность воспроизведенных значений. Недостаточное качество симуляции обозначается «> 95%» - для превышения фактического значения над 95-м процентилем и «< 5%» - для недостижения фактическим значением 5-процентной границы.
Таблица 2.
Соответствие моментов симулированных и фактических распределений5
Метод Момент распределения SR RUB LR RUB SR USD LR USD FDTR USD|RUB
1 Математическое ожидание [5%; 95%]
Дисперсия [5%; 95%] < 5%
Коэффициент асимметрии [5%; 95%]
Коэффициент эксцесса > 95% [5%; 95%] >95% [5%; 95%]
2 Математическое ожидание [5%; 95%]
Дисперсия > 95% при t < 15 < 5%
Коэффициент асимметрии > 95% при t < 15 [5%;95%] [5%;95%] > 95% [5%;95%]
Коэффициент эксцесса > 95% > 95% при t < 16 > 95% при t > 20 > 95% при t < 19
5 Здесь и далее для удобства чтения таблиц введены следующие обозначения:
SR RUB - краткосрочная безрисковая ставка (RUB);
LR RUB - долгосрочная безрисковая ставка (RUB);
SR USD - краткосрочная безрисковая ставка (USD);
LR USD - долгосрочная безрисковая ставка (USD);
USD|RUB - курс USD|RUB;
FDTR - учетная ставка федеральных резервных фондов.
Окончание табл. 2.
Метод Момент распределения SR RUB LR RUB SR USD LR USD FDTR USD|RUB
3 Математическое ожидание [5%;95%]
Дисперсия [5%;95%] < 5%
Коэффициент асимметрии [5%;95%]
Коэффициент эксцесса > 95% > 95% при Ь > 20 [5%;95%] > 95% при Ь > 20 [5%;95%]
4 Математическое ожидание [5%;95%]
Дисперсия [5%;95%] < 5%
Коэффициент асимметрии [5%;95%]
Коэффициент эксцесса > 95% > 95% при Ь > 20 [5%;95%] > 95% при Ь > 20 [5%;95%]
5 Математическое ожидание [5%;95%]
Дисперсия < 5%
Коэффициент асимметрии [5%;95%]
Коэффициент эксцесса [5%;95%]
6 Математическое ожидание > 95% < 5%
Дисперсия < 5% [5%;95%] < 5%
Коэффициент асимметрии > 95% < 5% [5%;95%]
Коэффициент эксцесса [5%;95%] > 95% < 5% [5%;95%]
Отметим, что математическое ожидание воспроизводится достаточно правдоподобно (для выбранных уровней значимости) для всех переменных и всех методов бутстрапа, кроме последнего. Чуть худшее поведение демонстрируют коэффициенты дисперсии и асимметрии: наилучшими для него являются методы 1, 3, 4 (независимо от значений шага Ь) и 5 - также удается повторить фактические значения моментов. Однако все методы без исключения завышают значение второго момента для валютного курса. Наиболее
трудным представляется сохранение коэффициента эксцесса в симулированных выборках. Воспроизвести фактическое значение для всех переменных позволяет только метод 5. Для методов 3 и 4 попадание в доверительный интервал становится возможным для большинства переменных при шаге £ не превышающем 20 дней. Для остальных методов воспроизведение фактического значения четвертого момента представляется затруднительным.
Поскольку учетная ставка федеральных резервных фондов является управляемой переменной, для нее был проведен дополнительный анализ, чтобы оценить, насколько симулированные значения соответствуют смыслу моделируемой переменной. Для каждой симулированной выборки оценивалась доля положительных и отрицательных изменений, а также среднее значение изменения. Соответствующие значения полагались допустимыми, если вероятность изменения, рассчитанная на фактических данных, оказывалась в пределах доверительного интервала [5%; 95%] для симулированной выборки. Для всех методов на тестируемом интервале доля ненулевых изменений незначительно превышена, поскольку частота на фактических данных предполагает изменение ставок не более двух раз в год. Стоит отметить закономерность, характерную для методов бутстрапа, основанных на максимизации энтропии. Поскольку симулируются не значения, когда-либо присутствовавшие в выборке, а значения в некоторой окрестности фактических, воспроизвести большое количество тождественно нулевых значений невозможно. В случае применения метода к абсолютным значениям за счет округления доля нулевых изменений значительна, однако существенно меньше фактической. В случае применения метода к переменной в разностях нулевые значения в симулированных выборках отсутствуют, предполагается либо постоянный незначительный рост, либо снижение показателя. Среднее значение положительного или отрицательного прироста ставки достоверно воспроизводится методами 1, 4 и 6 и методами 2 и 3 при шаге t не менее 17. В остальных случаях, в том числе для метода 5, из-за отсутствия «чистых» нулей в выборке значение изменения ставки недооценивается.
4.2. Сравнение автокорреляционной функции и автокорреляционной функции для «волатильности»
Следующий этап сравнения различных методов бутстрапа - это анализ автокорреляционной функции для разностей и автокорреляционной функции для квадратов разностей анализируемых переменных (как оценочного значения второго момента распределения)6. В таблице 3 приведены сводные результаты оценки (наилучший результат, которого позволяет достичь каждый из методов), попадает ли фактическое значение каждой из функций той или иной переменной в интервал [5%; 95%] соответствующих симулированных значений для автокорреляции, превышающей 10%. В табл. П1 Приложения приведены результаты аналогичного анализа для порогового значения автокорреляци-
5 Автокорреляционная функция рассчитывалась для ряда значений шх, - ох,1 , где Ох, = х, - х.
(ох, - Сх() , I
— т!
ск, = ——— для временного ряда х,. ' 1
онной функции 5%. Отметим, что наиболее часто встречающийся случай «пробития», т.е. непопадания в искомый диапазон, - это превышение порога 95% для положительных значений автокорреляционной функции и недостижение порога 5% для отрицательных значений, т.е. значение автокорреляционной функции превышает для фактического временного ряда по модулю большинство аналогичных значений для симулированных рядов. Однако возможны случаи (как правило, для малых значений автокорреляции), когда фактическое значение ближе к нулю, чем симулированное. В случае если все запаздывания автокорреляционный функции попадают в доверительный интервал [5%; 95%] соответствующих симулированных значений, соответствующая ячейка таблицы заполнена как «[5%; 95%]». В противном случае указано количество «пробитий» - случаев, когда для какого-либо лага в пределах 30 значение автокорреляционной функции не попало в доверительный интервал [5%; 95%]. Для краткосрочной безрисковой ставки в долларах для автокорреляционной функции в разностях отсутствуют значения, превышающие 10%, поэтому сравнение не производилось.
Таблица 3.
Соответствие автокорреляционных функций симулированных и фактического распределений
Метод SR RUB LR RUB SR USD LR USD FDTR USD|RUB
Автокорреляционная функция для разностей 1 [5%;95%] [5%;95%] нет значимых [5%;95%] [5%;95%] [5%;95%]
2
3
4 [5%;95%] при t > 13 [5%;95%] при t > 16
5 1 1 [5%;95%]
6 [5%;95%] 2 1
Автокорреляционная функция для квадратов разностей 1 2 2 4 5 [5%;95%] 6
2 1 1 0 1 при t < 16, в среднем - 2 [5%;95%] 5 при Ь ~ 15, в среднем -6-7
3 [5%;95%] при t > 13 2 при t > 14 [5%;95%] 7 при Ь > 14
4 1 при t > 14 1 при t > 14 [5%;95%] при t>12 2 при t > 14 [5%;95%] при t > 17 6-7 при Ь > 17
5 [5%;95%] [5%;95%] [5%;95%] [5%;95%] [5%;95%] [5%;95%]
6 1 1 11 13 1
Воспроизвести автокорреляционную функцию для разностей позволяет большинство методов, однако в случае, например, метода 4 воспроизведение оказывается более
точным при увеличении значения шага £ Стоит отметить, что оба метода, основывающиеся на методе максимизации энтропии (5 и 6), для части переменных допускают погрешность в одном-двух запаздываниях. При этом метод 5 оказывается наилучшим с точки зрения минимизации количества «пробитий» автокорреляционной функции квадратов разностей. Метод 6 в отличие от него демонстрирует наихудшее воспроизведение автокорреляционной функции для квадратов разностей. Результаты, демонстрируемые методами 1-4, близки, однако отметим, что наименьшее количество несоответствий фактического значения симулированному доверительному интервалу достигается при шаге С, близком к 15.
4.3. Матрица корреляций
В рамках анализа матрицы корреляций описанный выше анализ соответствия фактических значений симулированному доверительному интервалу производился для всех пар переменных, чтобы проверить возможность сохранения взаимосвязи между переменными. Чтобы исключить наличие кажущихся зависимостей, анализ взаимосвязи также производился в разностях на основе корреляции Пирсона. Для всех методов, кроме последнего, в симулированных рядах сохраняются исходные взаимосвязи между переменными. В случае метода 6 фактическая корреляция рублевых безрисковых ставок выше 95% симулированных значений со всеми остальными переменными, для учетной ставки и долларовых безрисковых ставок фактическая корреляция ниже 5% между собой, фактическая корреляция находится в пределах доверительного интервала только для валютного курса и группы долларовых ставок.
5. Пример бэктестинга
В качестве заключительного этапа тестирования на основе каждого из шести анализируемых методов бутстрапа был проведен бэктест для оценки исторического VaR с пересекающимися временными горизонтами. Бэктест производился для гипотетического портфеля, включающего только два инструмента, номинированных в одной валюте:
• краткосрочный актив в объеме 100 условных единиц;
• долгосрочный пассив в объеме 100 условных единиц7.
Для гипотетической модели на основе показателя VaR оценивался риск сдвига кривой процентных ставок и возможное обесценение стоимости портфеля на годовом горизонте прогнозирования при условии ежемесячного расчета величины риска. В качестве риск-фактора использовалась процентная кривая (симулировались значения на каждый день), состоящая из двух гипотетических ставок, заданных следующим образом:
(1) 1 = |5,98 • currencyt + e1J, где elí ~ N (0; 0,1882) 8,
7 Выбор соотношения сроков и сумм актива и пассива обусловлен предположением, что банк, чье финансовое положение позволяет функционировать на некотором временном горизонте длины n, как правило, имеет положительную чистую приведенную стоимость портфеля инструментов, подверженных риску изменения процентных ставок.
8 Выбор коэффициентов и параметров распределения осуществлялся для примерного соответствия кривых i , i2 и currency безрисковой краткосрочной и долгосрочной процентным ставкам
(2) (3)
i2t = |6,25 • currencyt + e2t|, где e2t ~ N(0; 0,1772), currencyt = currencyt-1 • exp{e3t + e4t • Bt},
где
e3t ~ N(0; 0,00862), e4t ~ N(ü,11; 0,0292), Bt ~ Bernoulli fp
'720
При помощи каждого метода бутстрапа генерировалось 500 выборок длиной 10 лет, т.е. 3600 дневных изменений, и на каждой из них оценивалось количество «пробитий» в зависимости от риск-аппетита гипотетического банка. Для тестирования были взяты две меры риск-аппетита9 - 1% и 5%, соответственно на основе VaR прогнозировались потери свыше 99% и 95% наблюдаемых исторических значений. Полученные результаты для каждого метода бутстрапа сравнивались с эталонным количеством «пробитий». Последнее рассчитывалось на основе выборок, сгенерированных исходным процессом, заданного формулами (1)-(3). Поскольку для методов 2, 3 и 4 тестирование всех возможных значений шага t приведет к утрате наглядности результатов, для целей бэктеста было выбрано значение t = 15, поскольку для данного шага как моменты распределения, так и временная и межфакторная зависимости наиболее близки к исходному процессу. На рис. 8, 9 приведены распределения полученных «пробитий» для обоих вариантов риск-аппетита.
70% 60% 50% 40% 30% 20% 10% 0%
Л.
■ Модель, идентичная DGP □ Метод 1
■ Метод 2 □ Метод 3 □ Метод 4 □ Метод 5 ГМетод 6
L,
U
дХ
Л,
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Количество пробитий
Рис. 8. Распределение количества «пробитий» для оценки VaR при риск-аппетите 5%
в рублях, а также валютному курсу доллара к рублю. Включение поправки на распределение Бер-
нулли обусловлено желанием учесть возможность внезапного шока.
9 Под риск-аппетитом подразумевается решение компании (банка) относительно количества риска, которое она готова принять. В данном случае - какую долю пробитий VaR компания (банк) полагает допустимой.
70% 1 60% 50% 40% 30% 20% 10% 0%
■ Модель, идентичная DGP
□ Метод 1
■ Метод 2
□ Метод 3
□ Метод 4
□ Метод 5 ' 1 Метод 6
JL
456 Количество пробитий
Рис. 9. Распределение количества «пробитий» для оценки VaR при риск-аппетите 1%
1
2
3
7
8
9
Можно видеть, что распределение «пробитий», полученное по методу 1, независимо от выбранного риск-аппетита, смещено в сторону меньших значений, т.е. при использовании данного метода бутстрапа для целей расчета статистики допустимое количество «пробитий» будет занижаться. Наоборот, методы 5 и 6 склонны приводить к завышению допустимого количества «пробитий» и одновременно сужению возможных вариантов, что наиболее сильно проявляется для метода 6. Так, если статистика, рассчитанная в соответствии с DGP-процессом, допускает изменение числа пробитий в диапазоне [4; 22] и [0; 7] для риск-аппетита 5% и 1% соответственно, то метод 6 допускает аналогичные изменения в диапазонах [13; 16] и [2; 4]. По-видимому, данная особенность определяется тем, что бутстрап на основе метода максимальной энтропии жестко фиксирует моменты шока и не допускает изменения их количества в выборке. Наиболее близкими к эталонной статистике оказываются методы 2, 3 и 4. Для риск-аппетита 5% population stability index составляет 12%, 21% и 22% соответственно, для 1% - 4%, 8% и 7%. Далее приведены вероятности исхода для обоих значений риск-аппетита по разным методам.
Таблица 4.
Сравнение вероятностей реализации исходов с числом «пробитий» не более заданного при риск-аппетите 5%, в %
Число Модель, Метод 1 Метод 2 Метод 3 Метод 4 Метод 5 Метод 6
пробитий идентичная DGP
1 0 0,6 1,2 1,4 0 0
2 0 2,4 0,2 1,4 2,2 0 0
3 0 5,4 0,4 1,8 3,0 0 0
4 0,2 15,4 0,8 3,6 3,8 0 0
5 1,0 32,1 1,8 5,4 5,6 0 0
Окончание табл. 4.
Число пробитий Модель, идентичная DGP Метод 1 Метод 2 Метод 3 Метод 4 Метод 5 Метод 6
6 3,2 57,7 3,2 7,6 6,8 0 0
7 7,4 80,4 4,8 10,2 9,4 0,2 0
8 12,2 94,4 9,4 13,4 11,8 1,2 0
9 21,2 97,8 17,2 19,8 19,6 3,0 0
10 36,3 99,4 28,5 29,5 30,9 7,2 0
11 48,7 100 43,9 47,1 47,3 16,4 0
12 62,9 100 62,3 68,5 69,9 28,1 0
13 74,3 100 78,0 84,8 84,4 44,1 0,2
14 82,4 100 88,4 91,8 92,4 61,3 4,6
15 88,4 100 94,4 95,0 95,0 76,0 27,5
16 94,6 100 98,6 97,0 97,0 86,2 91,0
17 97,0 100 99,4 98,0 97,6 93,4 100
18 99,0 100 100 98,8 98,4 97,2 100
19 99,4 100 100 99,2 99,2 99,4 100
20 100 100 100 99,4 99,4 99,8 100
Таблица 5. Сравнение вероятностей реализации исходов с числом «пробитий» не более заданного при риск-аппетите 1%, в %
Число пробитий Модель, идентичная DGP Метод 1 Метод 2 Метод 3 Метод 4 Метод 5 Метод 6
1 11,8 28,7 12,0 8,2 8,6 0,8 0
2 39,9 74,5 36,3 32,3 33,5 4,2 0,2
3 67,1 96,0 67,9 72,3 71,5 23,2 30,9
4 86,6 99,2 89,4 92,2 91,8 49,5 97,0
5 95,8 100 94,6 98,0 96,6 78,2 100
6 98,6 100 98,6 99,4 99,0 91,4 100
7 99,6 100 99,6 100 99,8 98,6 100
8 100 100 100 100 100 99,4 100
9 100 100 100 100 100 99,8 100
Предполагая стандартные пороговые значения уровня значимости 1% и 5%, отметим следующие закономерности.
• При риск-аппетите 5% на уровне значимости 5% и гипотеза, не отвергаемая в эталонной модели, скорее всего не будет отвергаться только для методов 5 и 6. Однако при этом метод 6 не делает различий между наблюдениями, соответствующими уровням значимости 1% и 5%, а метод 5 как на уровне значимости 1%, так и на уровне значимости 5% полагает модель VaR приемлемой, в то время как количество «пробитий» превышает допустимый порог. Метод 1, как уже отмечалось ранее, склонен сильно завышать консервативность бэктеста. Аналогичные результаты, хотя и менее явно выраженные, демонстрирует метод 2.
• При риск-аппетите 1% на уровне значимости 5% значения, близкие к эталонным, позволяют получить методы 2 и 4. Остальные методы, за исключением метода 5 существенно завышают консервативность бэктеста.
Таким образом, результаты, полученные для методов 2, 3 и 4, оказываются наиболее близки к эталонным как для разных уровней значимости, так и для различных значений риск-аппетита. При этом возможны колебания как в сторону чуть более консервативных, так и чуть менее консервативных значений. В отличие от них методы 1 и 6 приводят к повышению вероятности отклонения корректной модели VaR. Отдельно хотелось бы отметить метод 6 - для уровня значимости 5% рассчитанная статистика склонна к не-дооцениванию существенности «пробитий», при этом для уровня значимости 1% оценка близка к эталонной.
Заключение
В данной работе приведено сравнение методов бутстрапа, базирующихся на максимизации энтропии и скользящем среднем, для целей бэктестирования. Методы, базирующиеся на максимизации энтропии, приводят к формированию существенно различающихся по характеристикам наборов симуляций в зависимости от того, применяются они к временным рядам в уровнях или в разностях. Так, применение метода к переменным в разностях позволяет с достаточной точностью воспроизвести первые четыре момента распределения, лишь незначительно переоценивая дисперсию показателя, а также сохранить автокорреляционную функцию и автокорреляционную функцию для квадратов отклонений от среднего уровня, характеризующую автокорреляционную зависимость для вторых моментов. В то же время применение данного метода к значениям в уровнях приводит как к искажению моментов распределения, так и к недооценке автокорреляционных функций. Однако нельзя не отметить, что применение метода бутстрапа, основанного на максимальной энтропии, к рядам «управляемых» переменных, таким как учетная ставка федеральных резервных фондов или ключевая ставка Банка России, может приводить к искажению смысла переменной. В силу особенностей расчета применение подобных методов к временным рядам в разностях не позволяет сохранить значительное количество нулевых изменений - в симулированных выборках присутствует либо постоянный незначительный рост, либо аналогичное падение. Применение к абсолютным значениям временного ряда приводит к более правдоподобным значениям, тем не менее занижая количество «нулевых» наблюдений. Стоит также отметить, что в случае использования данного метода для бэктеста концентрация значений будет более высокой (особенно при
применении к абсолютным значениям) и в области относительно худших результатов. Таким образом, бутстрап на основе максимизации энтропии, примененный к абсолютным значениям, не позволяет достоверно оценить статистику «пробитий» за счет низкой диверсификации полученных значений, в то время как примененный к временному ряду в разностях, скорее всего, не отвергнет гипотезу о корректности модели, в то время как она будет неверна. Однако данный эффект влияет на уровне значимости 5% и практически не проявляется на уровне значимости 1%.
Методы блочного бутстрапа скользящей средней тестировались как в классической форме, так и с различными по длине и смыслу пересечениями. Как анализ распределения, так и анализ временной зависимости продемонстрировали, что при длине блока 30 дней (что покрывает автокорреляционные зависимости для анализируемых переменных) оптимальный размер перекрытия составляет 10-15 дней (соответственно шаг между начальными точками - 15-20 дней). В отличие от бутстрапа посредством максимизации энтропии, блочный бутстрап позволяет достаточно точно воспроизвести первые три момента и автокорреляционную функцию, как правило, недооценивая коэффициент эксцесса. При этом воспроизведение автокорреляционной функции для квадратов отклонения от среднего допускает наличие до 6-7 недооцененных зависимостей из 30. При этом проблем с симуляцией «управляемых» переменных, возникающих при максимизации энтропии, блочный бутстрап позволяет избежать. Отметим также, что блочный бутстрап, используемый при бэктестировании, скорее отвергнет корректную модель, причем это в наибольшей мере проявляется для блочного бутстрапа без пересечений. Использование пересечений позволяет приблизить распределение статистики к фактической. Стоит также отметить, что все проанализированные методы бутстрапа, кроме максимизации энтропии для временного ряда в уровнях, позволяют сохранить матрицу корреляций исходных переменных неизменной. Все проанализированные методы бутстрапа обладают своими достоинствами и недостатками, однако проведенный анализ позволяет в зависимости от целей использования и наиболее важных характеристик исходных переменных подобрать метод, позволяющий сохранить нужные качества в симулированных рядах.
Приложение.
Таблица П1.
Соответствие автокорреляционных функций симулированных и фактического распределений (для значений автокорреляционной функции, превышающей 5%)
Метод SR RUB LR RUB SR USD LR USD FDTR USD|RUB
Автокор- 1 [5%; 95%] 1 1 [5%; 95%]
реляционная функция для раз- 2 [5%; 95%] при t < 17 [5%; 95%] при t < 14; [18; 22]; t > 27 [5%; 95%] при t<19 [5%; 95%] при t < 19 и t > 26
ностей 3 [5%; 95%] при t = 14;21;26; 27 [5%; 95%] [5%; 95%] при t<18 [5%; 95%] [5%; 95%] при t<15 [5%; 95%]
4 [5%; 95%] при t ~ 15 [5%; 95%] при t< 13;[18; 27] 1 при t>16 [5%; 95%]
5 1 1 [5%; 95%] 1 [5%; 95%] [5%; 95%]
6 6 8 1 1
Автокор- 1 2 2 6 5 [5%; 95%] 6
реляционная функция для квадратов разностей 2 1 1 1 при t ~ 15 и t > 26, количество пробитий максимально (3) с 19 по 26 лаг 1 при t ~ 15, количество пробитий максимально (4-7) с 17 по 27 лаг [5%; 95%] 5 при t ~ 15, в среднем -7
3 1 1 при t > 19, при меньших лагах -1-2 1-2 3 при t ~ 15 и 2 при t > 26 [5%; 95%] 7 при t > 14
4 1 при t > 14 1 при t > 14 1 при t > 14 2 при t > 26, в среднем - 4 [5%;95%] при t>17 6-7 при t > 17
5 [5%; 95%] [5%; 95%] [5%; 95%] [5%; 95%] [5%; 95%] [5%; 95%]
6 1 1 24 25 1
* * *
СПИСОК ЛИТЕРАТУРЫ
Бюльман П. Бутстрап-схемы для временных рядов // Квантиль. 2007. № 3. С. 37-56.
Положение Банка России от 6 августа 2015 г. № 483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов».
Указание Банка России от 15 апреля 2015 г. № 3624-У «О требованиях к системе управления рисками и капиталом кредитной организации и банковской группы».
Black F, Karasinski P. Bond and Option Pricing When Short Rates are Lognormal // Financial Analysts Journal. 1991. 47. № 4. P. 52-59.
Brennan M., Schwartz E. An Equilibrium Model of Bond Pricing and a Test of Market Efficiency // Journal of Financial and Quantitative Analysis. 1982. 17. № 2. P. 301-329.
CoxJ.C., Ingersoll J.E.Jr., RossS.A A Theory of the Term Structure of Interest Rates // Econometrica. 1985. 53. № 2. P. 385-407.
Efron B. Bootstrap Methods: Another Look at the Jackknife // The Annals of Statistics. 1979. 7. № 1. P. 1-26.
Hall P. Resampling a Coverage Pattern // Stochastic Processes and their Applications. 1985. 20. № 2. P. 231-246.
Kreiss J.-P., Lahiri S.N. Bootstrap Methods for Time Series // Handbook of Statistics. Time Series Analysis: Methods and Applications. 2012. 30. P. 3-26.
Kunsch H.R. Jackknife and the Bootstrap for General Stationary Observations // The Annals of Statistics. 1989. 17. № 3. P. 1217-1241.
Orduña F, Lin M., Larochelle J.-P. Real-World Interest Rate Models and Current Practices // Society of Actuaries. 2015. № 1. P. 4-10.
Radovanov B, Marcikic A. A Comparison of Four Different Block Bootstrap Methods // Croatian Operational Research Review. 2015. 5. № 2. P. 189-202.
Ruiz I. Backtesting Counterparty Risk: How Good Is Your Model? // Journal of Credit Risk. 2014. 10. № 1. P. 87-120.
Ruiz I. XVA Desks - A New Era for Risk Management. London: Palgrave Macmillan UK, 2015.
Vasicek О. An Equilibrium Characterization of the Term Structure // Journal of Financial Economics. 1977. № 5. P. 177-188.
Vinod H.D. Maximum Entropy Ensembles for Time Series Inference in Economics // Journal of Asian Economics. 2006. 17. № 6. P. 955-978.
Vinod H.D., Lopez-de-Lacalle J. Maximum Entropy Bootstrap for Time Series: The meboot R Package // Journal of Statistical Software. 2009. 29. № 5. P. 1-19.
Basel Committee on Banking Supervision. International Convergence of Capital Measurement and Capital Standards. 2006. (bcbs128).
Basel Committee on Banking Supervision. Range of Practices and Issues in Economic Capital Frameworks. 2009. (bcbs152).
Basel Committee on Banking Supervision. Sound Practices for Backtesting Counterparty Credit Risk Models. 2010. (bcbs185).
A Comparison of Time-series Bootstrap Methods in Terms of Backtesting Risk Measurement Models of Banks
Mariia Dedova
National Research University Higher School of Economics, 26, Shabolovka st., Moscow, 119049, Russian Federation.
E-mail: mariia.dedova@yandex.ru
The banking crises of the last decade and the devastating effect of banks' bankruptcies on the economy forced regulators to pay more attention to internal risk measurement systems and also to risk measurement models as a part of these systems. Thus, in accordance with the requirements of both the Basel Committee (bcbs128, bcbs152) and the Bank of Russia (483-P and 3624-U), the validation of risk measurement models is an integral part of the Internal Capital Adequacy and Assessment Process (ICAAP) and Internal Ratings-Based (IRB) approach. However, standard backtesting procedures, which are based on the independence of observations, are often inconsistent due to a long forecasting horizon and, accordingly, overlapping observations. [Ruiz, 2014] proposed to correct the statistics' distributions and take into account the dependence of observations, using a set of risk factor replicas. Meanwhile this is difficult with unknown data generating process. This paper provides an analysis of several bootstrap methods (e.g. block bootstrap and maximum entropy bootstrap). It estimates its ability to simulate risk factor time-series with original properties, and therefore to be used for correction of statistics' distributions in the absence of independent observations. Analysis of every method is made in terms of preserving the distribution of risk-factor, its time structure and inter-factor correlation. Thus, the use of the maximum entropy bootstrap provides different outcomes depending on whether it is applied to time series in differences or in absolute values. Nevertheless, in both cases, the resulting statistics tends to distort the backtesting procedure both by accepting the incorrect model, and by rejecting the correct one. The use of block bootstrap methods can also lead to inaccuracy, but, generally, it provides more conservative results. Using intersections in the process of creation of simulated series allows reducing this mismatch.
Key words: backtesting; model validation; time series bootstrap; block bootstrap; maximum entropy bootstrap; overlapping forecasting horizons.
JEL Classification: G21, C52.
* * *
References
Bühlmann P. (2007) Butstrap-shemy dlja vremennyh rjadov [Bootstrap Schemes for Time Series.]. Quantile, 3, pp. 37-56.
Polozhenie Banka Rossii ot 6 avgusta 2015 g. no 483-P «O porjadke rascheta velichiny kreditnogo riska na osnove vnutrennih rejtingov» [Regulation of the Bank of Russia no 483-P of August 6, 2015 «On the Procedure for Assessing IRB Credit Risk»].
Ukazanie Banka Rossii ot 15 aprelja 2015 g. no 3624-U «O trebovanijah k sisteme upravlenija riskami i kapitalom kreditnoj organizacii i bankovskoj gruppy» [Ordinance of the Bank of Russia no 3624-U of April 15, 2015 «On the requirements to the risk and capital management system of credit institution and banking group»].
Black F., Karasinski P. (1991) Bond and Option Pricing When Short Rates are Lognormal. Financial Analysts Journal, 47, 4, pp. 52-59.
Brennan M., Schwartz E. (1982) An Equilibrium Model of Bond Pricing and a Test of Market Efficiency. Journal of Financial and Quantitative Analysis, 17, 2, pp. 301-329.
Cox J.C., Ingersoll J.E.Jr., Ross S.A. (1985) A Theory of the Term Structure of Interest Rates. Econo-metrica, 53, 2, pp. 385-407.
Efron B. (1979) Bootstrap Methods: Another Look at the Jackknife. The Annals of Statistics, 7, 1, pp. 1-26.
Hall P. (1985) Resampling a Coverage Pattern. Stochastic Processes and their Applications, 20, 2, pp. 231-246.
Kreiss J.-P., Lahiri S.N. (2012) Bootstrap Methods for Time Series. Handbook of Statistics. Time Series Analysis: Methods and Applications, 30, pp. 3-26.
Kunsch H.R. (1989) Jackknife and the Bootstrap for General Stationary Observations. The Annals of Statistics, 17, 3, pp. 1217-1241.
Orduña F., Lin M., Larochelle J.-P. (2015) Real-World Interest Rate Models and Current Practices. Society of Actuaries, 1, pp. 4-10.
Radovanov B., Marcikic A. (2015) A Comparison of Four Different Block Bootstrap Methods. Croatian Operational Research Review, 5, 2, pp. 189-202.
Ruiz I. (2014) Backtesting Counterparty Risk: How Good Is Your Model? Journal of Credit Risk, 10, 1, pp. 87-120.
Ruiz I. (2015) XVA Desks - A New Era for Risk Management. London: Palgrave Macmillan UK.
Vasicek O. (1977) An Equilibrium Characterization of the Term Structure. Journal of Financial Economics, 5, pp. 177-188.
Vinod H.D. (2006) Maximum Entropy Ensembles for Time Series Inference in Economics. Journal of Asian Economics, 17, 6, pp. 955-978.
Vinod H.D., Lopez-de-Lacalle J. (2009) Maximum Entropy Bootstrap for Time Series: The meboot R Package. Journal of Statistical Software, 29, 5, pp. 1-19.
Basel Committee on Banking Supervision. International Convergence of Capital Measurement and Capital Standards (2006) (bcbs128).
Basel Committee on Banking Supervision. Range of Practices and Issues in Economic Capital Frameworks (2009) (bcbs152).
Basel Committee on Banking Supervision. Sound Practices for Backtesting Counterparty Credit Risk Models (2010) (bcbs185).
