МОДЕЛЬНЫЙ РИСК И БАЗОВЫЕ ПОДХОДЫ К ЕГО ЧИСЛЕННОМУ ИЗМЕРЕНИЮ НА ПРИМЕРЕ МОДЕЛЕЙ ОЦЕНКИ РЫНОЧНОГО РИСКА Текст научной статьи по специальности «Экономика и бизнес»

https://doi.org/10.31107/2075-1990-2022-2-91-112

Модельный риск и базовые подходы к его численному измерению на примере моделей оценки рыночного риска

Андрей Юрьевич Нэвэла

E-mail: andrej.nevela@gmail.com, ORCID: 0000-0002-1781-1286 Научно-исследовательский университет «Высшая школа экономики», Москва 109028, Российская Федерация Виктор Александрович Лапшин E-mail: vlapshin@hse.ru, ORCID: 0000-0002-9396-4161 Научно-исследовательский университет «Высшая школа экономики», Москва 109028, Российская Федерация

Аннотация

Модельный риск активно изучается как в академических кругах, так и в финансовой индустрии, однако общепринятого подхода к его измерению до сих пор не существует. В условиях разнообразия подходов к такой оценке и отсутствия среди них общепринятого выбор конкретного подхода становится особенно важным этапом моделирования и актуальной темой для исследований. Мы приводим обзор основных индикаторов, показателей и подходов к его количественному измерению, а затем сравниваем их на едином модельном примере.

Объект исследования — различные способы количественного описания модельного риска, а предмет — согласованность и непротиворечивость их интерпретаций. Цель работы — эмпирически сравнить различные методы оценки модельного риска, продемонстрировав методологию его измерения для моделей рыночного риска по широкому ряду критериев. Для достижения поставленной цели используются методы анализа временных рядов и оценки параметров теоретических распределений по эмпирическим данным. В результате мы приводим перечень методов оценки модельного риска с примерами их применения на реальной практике, с конкретной интерпретацией результатов, показываем, что оценки по разным методам существенно разнятся как в интерпретации, так и в численных значениях, а также формулируем актуальные направления будущих исследований. Статья может быть полезна исследователям и специалистам-практикам, начинающим работу с модельным риском, для быстрого погружения в эту область.

Ключевые слова: модельный риск, методы оценки модельного риска, консервативность, точность, эффективность оценок, Value-at-Risk, рыночный риск

JEL: G32, C53

Примечание: в статье использованы материалы курсовой работы А. Ю. Нэвэла «Модельные риски и их оценка», 2020 г.

Для цитирования: Нэвэла А. Ю., Лапшин В. А. Модельный риск и базовые подходы к его численному измерению на примере моделей оценки рыночного риска // Финансовый журнал. 2022. Т. 14. № 2. С. 91-112. https://doi.org/10.31107/2075-1990-2022-2-91-112.

© Нэвэла А. Ю., Лапшин В. А., 2022

https://doi.org/10.31107/2075-1990-2022-2-91-112

Model Risk and Basic Approaches to its Estimation on Example of Market Risk Models

Andrey Yu. Nevela1, Victor A. Lapshin2

1 2 HSE University, Moscow 109028, Russian Federation

1 andrej.nevela@gmail.com, https://orcid.org/0000-0002-1781-1286

2 vlapshin@hse.ru, https://orcid.org/0000-0002-9396-4161

Abstract

Model risk is currently a topic of great interest both to the academic community and to the financial industry; however, there is not yet any generally accepted approach to measuring it as of now. We give a review of basic model risk definitions and different indicators and approaches to model risk estimation and calculation within a common setting.

The subject of this work is model risk itself that arises while using models to estimate financial risk and its quantitative indicators. The study is of particular relevance to financial institutions which for a long time have been actively applying different risk models. Since there is no generally accepted way to do so, choosing the exact approach becomes an important step in modelling.

The aim of the paper is to demonstrate different approaches to model risk estimation on the same example of estimating the model risk of Value-at-Risk models and compare them within one setting. Methods used: analysis of time series, theoretical distribution parameters estimation. The result of the work is a list of methods and approaches for estimating and calculating model risk with the examples of applying these methods to a real risk-management task with appropriate interpretation. This work can be useful for researchers and risk managers of financial institutions.

Keywords: model risk, method of model risk estimation, conservativeness, accuracy and efficiency of estimations, Value-at-Risk, market risk

JEL: G32, C53

For citation: Nevela A.Yu., Lapshin V.A. Model Risk and Basic Approaches to its Estimation on Example of Market Risk Models. Financial Journal, 2022, vol. 14, no. 2, pp. 91-112 (In Russ.). https://doi.org/10.31107/2075-1990-2022-2-91-112.

© Nevela A.Yu., Lapshin V.A., 2022

ВВЕДЕНИЕ

Модельный риск — это риск понести финансовые убытки, происходящий от использования моделей [Aggarwal et al., 2016]. Также под модельным риском понимают риск неточного прогнозирования будущих потерь [Кайо et al., 2000] или риск различных моделей показывать несостоятельные (в широком смысле) результаты раше^оп et а1., 2016]. В целом определения разных авторов примерно схожи друг с другом и не имеют какой-либо серьезной концептуальной разницы.

В широком смысле к модельному риску относят все, что связано с моделями, а именно:

— неправильное использование модели — сюда относятся неверный ввод данных, неверный порядок использования модели, неверная интерпретация выводов и, как следствие, неверная имплементация полученных количественных оценок;

— недостаточно точная модель — модель может иметь фундаментальные предпосылки, которые слабо отражают реальные характеристики исследуемых величин, вследствие чего получаемые количественные оценки могут сильно отличаться от истинных оцениваемых величин. Притом необходимая точность модели зависит от того, с какой целью она используется, — в одних случаях конкретная точность модели и ее предпосылки будут достаточными для получения удовлетворительных результатов (например, точность моделей

для оценки риска небольшого портфеля из малого количества активов), в других — нет (например, когда речь идет об оценке сложного портфеля из множества активов).

Как можно увидеть, неправильное использование модели по большей части связано с человеческим фактором. Из-за трудностей, связанных с количественной оценкой возможных последствий неправильного использования моделей, в работе мы будем исследовать модельный риск только с точки зрения ошибочности самой модели. Иными словами, мы немного сужаем понятие «модельный риск», сводя его источник исключительно к невысокой точности модели.

Также хотелось бы заострить внимание еще на одном моменте: моделей существует огромное количество, поэтому методы оценки модельного риска для конкретных классов моделируемых величин (например, цена опциона, оценка стоимости компании и прочие) могут отличаться. По этой причине мы в данной работе заостряем свое внимание исключительно на моделях, используемых для оценки мер рыночного риска на примере Value-at-Risk (VaR).

С развитием программного обеспечения и все более активным применением математического аппарата в финансовой сфере модельный риск стал одним из серьезнейших факторов риска, которым подвержены финансовые институты. За последние десятилетия модельный риск становился причиной многомиллионных убытков для многих организаций финансовой сферы.

Первый пример — мировой финансовый кризис 2007-2009 годов [Corsetti et al., 2009]. Начавшийся как кризис ипотечного кредитования, он вскоре перекинулся на другие сферы финансового рынка. Как известно, банки в то время активно использовали так называемые MBS (mortgage-backed securities) — долговые ценные бумаги, обеспеченные пулом ипотечных закладных. Такие финансовые инструменты получали очень высокие кредитные рейтинги от мировых рейтинговых агентств, что являлось гарантией их безрисковости. Риск-модели, используемые финансовыми институтами, зачастую недооценивали весь спектр рисков, связанных с MBS, поэтому компании сохраняли меньше средств в резервах на случай возможных убытков. Крах системы ипотечного кредитования привел к закономерным многомиллиардным убыткам для финансовых организаций, активно использовавших финансовые инструменты, обеспеченные ипотечными закладными, что вызвало гигантский по своим масштабам мировой финансовый кризис.

Второй пример — инцидент с банком JP Morgan (2012 г.), вошедший в историю как London whale incident [Levin et al., 2013], который привел к совокупным убыткам в размере 6,2 млрд долл. США. В целом причинами этого инцидента послужило множество факторов, однако мы остановимся только на части, связанной непосредственно с модельным риском. Chief Investment Office банка в начале 2012 г. начал применять новую модель для оценки риска операций с синтетическими кредитными портфелями — старая модель, по утверждениям аналитиков банка, переоценивала риск. В связи с этим оценка риска для операций этого отделения банка резко упала, что позволило придерживаться более агрессивной стратегии торговли синтетическими кредитными портфелями, которая в итоге и привела к миллиардным убыткам. Стоит отметить, что смена модели, возможно, была намеренным шагом для сокрытия от регуляторных органов высокорисковых операций.

Третий пример — разорение хедж-фонда Виктора Нидерхоффера в 1997 г. [Lleo et al., 2014]. Одной из стратегий фонда была продажа пут-опционов на индекс S&P 500. Используемые в системе риск-менеджмента модели не предполагали падение индекса более чем на 5 % в день. Однако в конце октября 1997 г. индекс S&P 500 испытал падение (оно было вызвано знаменитым азиатским финансовым кризисом) на 7 %, что привело к убыткам в 50 млн долл. США для хедж-фонда, из-за чего тот был вынужден прекратить свою деятельность.

Общий подход к оценке модельного риска описали J. Engel и M. Gizycki [Engel et al., 1999] — на них же ссылаются авторы и более новых работ [Li et al., 2016; Liu, 2005]. В них предлагается оценивать модели VaR с точки зрения показателей консервативности (что практически то же самое, что и сравнительный метод оценки), точности (бэктест с применением статистических тестов) и эффективности.

F. Weber в работе [Weber, 2001] приводит обширный перечень подходов к оценке модельного риска. Он также упоминает сравнительный метод и бэктестинг со статистическими тестами. Однако в работе рассмотрены и другие подходы — в частности, описано применение идеи функций потерь как относительной меры модельного риска и приведены примеры таких функций.

Тема применения функций потерь глубоко раскрыта в статье [Sener et al., 2012]. Авторы описывают подход, основанный на применении сложной функции потерь для оценки эффективности риск-метрики — этот показатель описывает способность модели адекватно оценивать риск, т. е. не завышать оценки в спокойные периоды и не занижать их в периоды высокой волатильности на тех или иных сегментах финансовых рынков.

Авторы статьи [Boucher et al., 2014] предлагают метод бэктестинга риск-моделей, основанный на статистических тестах соответствующих количественных оценок, а также оценивают модельный риск через добавление константы к получившимся количественным оценкам, чтобы модель в результате могла пройти тот или иной статистический тест.

Схожие методы оценки модельного риска, базирующиеся на использовании бэктестинга, были освещены и в более ранних статьях российских исследователей (см. напр., [Лобанов и др., 2005]). Также авторами была предложена иная методика тестирования, направленная на оценку модельного риска на текущих данных, которая схожа по своей сути с оценкой модельного риска с точки зрения консервативности.

В целом необходимо отметить, что работ на русском языке, посвященных оценке модельного риска в моделях VaR, очень мало. Данная тема слабо исследована в отечественной финансовой литературе.

Другие авторы предлагают метод оценки модельного риска, основанный на сравнении полученных количественных оценок разных моделей друг с другом, и конкретные метрики для нахождения относительного и абсолютного значения модельного риска [Barrieu et al., 2015]. Также некоторые исследователи предлагают сравнительный подход для оценки модельного риска и метрику для общего модельного риска набора моделей [Danielsson et al., 2016].

ПОДХОДЫ К ОЦЕНКЕ МОДЕЛЬНОГО РИСКА

В риск-менеджменте крупных финансовых компаний может использоваться множество различных метрик, оценивающих риск тех или иных инвестиционных стратегий. В нашей работе мы остановимся на самой распространенной риск-метрике Value-at-Risk (VaR, «стоимость под риском»).

VaR, по своей сути, является квантилем распределения доходности того или иного актива, инструмента или портфеля. Формальное определение выглядит следующим образом:

VaR^iX) = Fx1 (а),

где Fx — это функция распределения (иными словами, кумулятивная функция распределения, CDF) случайной величины Х, а — соответствующий уровень квантиля.

Например, VaR95% — это квантиль 5 % распределения доходности актива. Интерпретировать его значение можно так: в 95 % случаев убыток по конкретной торговой позиции не будет превышать значения VaR.95%.

Стоит учесть, что в литературе VaR может быть как положительной (величина убытка), так и отрицательной величиной (величина дохода со знаком «минус»). Мы будем считать VaR отрицательной величиной.

В научном сообществе существует множество подходов к оценке модельного риска. Обобщая, все эти подходы можно разделить по определению понятия «модельный риск» на три группы: консервативность, точность, эффективность [Engel et al., 1994; Li et al., 2016; Liu, 2005].

Далее мы подробнее остановимся на каждом из этих определений. Консервативность

В основе оценки модельного риска по консервативности оценок лежит идея того, что наиболее консервативная оценка — показывающая самые высокие объемы потенциальных потерь — наименее подвержена модельному риску. Суть подхода заключается в оценке разброса между значениями риск-метрик, полученными с помощью применения разных риск-моделей.

Предположим, у нас есть N моделей, рассчитывающих какую-либо риск-метрику (обозначим ее как Risk) на день t + 1:

{Riskt+u}Ni=i,

где i — номер модели.

Тогда мы можем рассчитать следующие метрики, оценивающие уровень расхождения между набором отобранных моделей.

Risk Ratio (RR):

7D max{\Riskt+lii\}"

RiskRatiot+1 =-jtk.

min{\Riskt+lii\}l=1

Показатель RR отражает степень различия между максимальной и минимальной оценками, полученными при применении конкретного набора риск-моделей в конкретный период. Соответственно, чем выше значение показателя, тем выше степень модельного риска в конкретный период на конкретных данных. Значение показателя не может быть меньше единицы — в такой ситуации считается, что модельный риск полностью отсутствует для данного набора моделей в данный период, так как оценки по всем моделям в точности совпадают [Danielsson et al., 2016].

Absolute measure of model risk (AM):

max{\Rlskt+bt\

AMt+1J =-—-— - 1.

Ifiisfet+ijl

Данная метрика показывает, насколько j-я модель предрасположена к модельному риску при имеющемся наборе данных и моделей. Чем ниже показатель, тем ниже значение модельного риска для j-й модели. Показатель принимает значение не ниже нуля. При нулевом значении показателя считается, что модельный риск для j-й модели отсутствует, так как она дает наивысшую оценку риска [Barrieu et al., 2015].

Relative measure of model risk (RM):

RMt+u

max{\Riskt+u\}Ni=i - \Riskt+1J\ max{\Riskt+u\}"=i - min{\Riskt+u\}Ni=i

Метрика RM призвана показать относительные различия в моделях, а именно насколько j-я модель отличается от модели с наибольшим значением рассматриваемой риск-метрики. Чем выше показатель, тем выше значение модельного риска для j-й модели.

Метрика RM принимает значение от нуля (наиболее консервативная модель в наборе) до единицы (наименее консервативная модель в наборе) [Barrieu et al., 2015].

Mean Relative Deviation (MRD):

\Riskt+1j \ — Riskt Riskt

MRDtJ = ---^ (6)

1 N

где: Riskt = — ^ \Riskt+u\.

¡=i

Метрика MRD демонстрирует отклонение оценки конкретной риск-модели от среднего значения. MRD по своей сути схожа с метрикой RM, но вместо максимальной оценки использует в качестве базовой среднюю. MRD может быть как отрицательной, так и положительной. При отрицательном значении MRD конкретная риск-модель больше подвержена модельному риску, при положительном — меньше [Weber, 2001].

Преимущества оценки модельного риска на основе консервативности:

— простота расчетов — после оценки риск-метрик по всем моделям не требуется дополнительных или вспомогательных вычислений;

— быстрые выводы — посчитав простые метрики, мы можем достаточно быстро прийти к выводу о наличии или отсутствии модельного риска в данном наборе моделей и при имеющихся данных, а также можем оценить его величину;

— универсальность — эти методы можно применять к любым количественным оценкам любых показателей, что особенно важно в случаях, когда формальные тесты трудно сформулировать и провести;

— малый объем необходимых исторических данных — метод подходит даже для активов, которые не так давно торгуются на финансовых рынках и поэтому не имеют достаточного объема исторических данных для проведения более сложных статистических тестов.

К недостаткам данного подхода мы относим:

— трудности с качественной интерпретацией: мы можем только приблизительно понять, есть ли модельный риск в данном наборе моделей, но не сможем рекомендовать конкретную модель к использованию. Консервативность — не всегда положительный момент, т. к. финансовая организация на практике может недополучить доход в результате применения чрезмерно консервативных стратегий;

— отсутствие представления о точности оценок — мы можем судить только о степени консервативности той или иной оценки, однако не получаем представления о том, какая модель оценивает риск наиболее точно;

— чувствительность к выбору референтного множества моделей — например, если в множестве всего одна модель, то модельного риска в ней не может быть по определению, что, очевидно, плохо согласуется с задачей оценки модельного риска.

Точность

Этот подход к оценке модельного риска кардинально отличается от предыдущего: теперь мы оцениваем модельный риск не с точки зрения консервативности оценки, а с точки зрения близости оценки к конкретному, пусть и неизвестному, оцениваемому значению.

Перейдем к описанию процедуры бэктестинга на примере используемой в работе риск-метрики Value-at-Risk.

Вначале нам необходимо получить линию VaR следующим образом:

1. Отбираем период длиной T.

2. Отбираем первые N наблюдений — на основе них будет считаться VaR для периода N + 1.

3. Рассчитываем VaR для периода N + 1.

4. Сдвигаем «окно» в N наблюдений на одно наблюдение вправо — теперь на основе нового окна будет рассчитываться VaR для следующего периода (N + 2);

5. Рассчитываем VaR для следующего периода;

6. Повторяем пункты 4-5 до конца периода (всего T - N раз).

По такому алгоритму мы получаем линию VaR длиной T - N наблюдений. Пример результатов расчета представлен на рис. 1.

Рисунок 1

Линия VaR на графике доходности акций GS (модель — GHYP) / VaR-line on the chart of GS stock returns (GHYP model)

Примечание: эта модель использует в своей основе обобщенное гиперболическое распределение. Более подробно она и другие модели описаны в разделе «Используемые риск-модели». Источник: составлено авторами/ Source: compiled by the authors.

В целом выбор периода для анализа (в данном случае — отрезок времени с 2008 по 2012 г.) не играет большой роли — нашей целью является демонстрация применения методов оценки модельного риска, а не работоспособности тех или иных моделей оценки VaR. В данном случае было принято решение остановиться на этом периоде, т. к. включение в рассмотрение периодов как с низкой, так и с высокой волатильностью позволяет разнообразить внешние условия, в которых работают модели оценки рыночного риска, а это, в свою очередь, делает анализ модельного риска более содержательным.

После получения линии VaR мы используем ее и данные доходностей активов для вычисления необходимых метрик.

Точность оценки VaR можно проверять с помощью разных показателей:

— доля пробитий — соответствие доли пробитий реальному уровню квантиля;

— кластеризация пробитий — степень скученности точек пробития линии VaR (желательно как можно более равномерное распределение точек пробития на всей длине линии VaR);

— глубина пробития — слишком глубокое пробитие линии VaR может привести к серьезным убыткам для финансовой организации, даже несмотря на соблюдение

других требований к VaR, например на соответствие доли пробитий теоретическому квантилю1.

Точность оценок VaR традиционно проверяют при помощи статистических тестов. Классическими здесь являются два теста [Zhang et al., 2018]:

— тест Купика [Kupiec, 1995] на проверку соответствия рассчитанной линии VaR реальному квантилю распределения доходности;

— тест Кристоферсена [Christoffersen, 1998] на независимость пробитий линии VaR. Идея теста состоит в том, что присутствие пробития в предыдущем наблюдении не влияет на вероятность пробития в текущем наблюдении.

К сожалению, стандартные подходы к проверке качества моделей VaR, основанные на математическом аппарате проверки статистических гипотез (бэктестинг), не могут использоваться для количественной оценки модельного риска. Это связано с тем, что нельзя сравнивать результаты различных статистических тестов друг с другом: при условии верности нулевой гипотезы p-value имеет равномерное распределение от нуля до единицы. Сравнение двух таких величин — не очень осмысленная процедура. Таким образом, для сравнения степени точности двух или нескольких моделей VaR нужно использовать процедуры и подходы, специально разработанные для этой задачи. Чаще всего они принимают вид сравнения так называемых функций потерь.

Концепция функции потерь строится на нахождении такой функции, значение которой будет тем меньше (по модулю или в абсолютных значениях), чем «качественнее» найденная нами оценка показателя. Например, в качестве функции потерь в обычной линейной регрессии можно использовать показатели ошибок прогнозов (RMSE, MAE, MAPE и т. д.) — чем они выше, тем больше ошибка прогноза модели, т. е. тем хуже модель описывает поведение зависимой переменной.

Приведем несколько примеров функций потерь, концентрирующихся на разных аспектах VaR, однако стоит учитывать, что выбор конкретной функции всегда зависит от целей исследователя, его изобретательности и возможности разумно оценить параметры функций потерь.

Modified Binary Loss Function (MBLF) оценивает долю пробитий:

T.LiKXt < VaR^t) ----a

MBLFt =

где Xt — значение доходности в период t; VaR^^t — значение VaR для i-й модели на уровне квантиля а, предсказанное на период t; T — количество наблюдений.

Это модификация обычной бинарной функции потерь [Weber, 2001], по сути являющейся просто долей пробитий линии VaR относительно общего объема выборки. Поскольку стандартный вид бинарной функции предполагает ее сравнение с уровнем квантиля, что несколько мешает быстрой интерпретации, мы модифицировали ее — видоизмененная функция показывает модуль отклонения доли пробитий для i-й модели от заданного уровня квантиля для VaR. Соответственно, чем ниже значение MBLF, тем ближе модель к заданному уровню квантиля и, следовательно, тем эта конкретная риск-модель лучше.

MBLF принимает значение от нуля до (1 — а). Пример зависимости MBLF от ошибки в оценке VaR представлен на рис. 2. Положительные значения ошибки соответствуют переоценке риска, отрицательные — недооценке. Видно, что недооценка риска штрафуется сильнее, чем переоценка, что логично. Для более тонкой настройки штрафов за переоценку

1 Несмотря на то что формально глубина пробития не входит в определение VаR и не может служить основанием для утверждения о неточности модели, чрезмерная глубина пробитий свидетельствует о непригодности показателя VaR в данной ситуации как такового — а это тоже грань модельного риска. Верно посчитанная, но бесполезная величина VaR в данном случае не лучше неверно посчитанной полезной величины.

и недооценку риска можно использовать различные веса. Кроме того, по этому же рисунку мы видим, что исходная линия VaR (ее метрика показана там, где VaR estimation error равен нулю) не находится в минимуме MBLF, а находится левее него: минимум достигается при пяти пробитиях из 100 («идеальная» ситуация), а модель показала семь из 100. Однако это не свидетельствует о неоптимальности модели, ведь количество пробитий — случайная величина, а значит, все меры, основанные на пробитиях, — тоже случайные величины. Поэтому имеет смысл сравнивать их с учетом распределений — например, с использованием статистического аппарата проверки нулевых гипотез.

Рисунок 2

Значения MBLF в зависимости от относительной ошибки в оценке VaR / MBLF values for various relative VaR estimation errors

Примечание: VaR с относительной ошибкой считается как VaR * (1 + VaR estimation error) / Note: VaR with estimation error is calculated as VaR * (1 + VaR estimation error). Источник: составлено авторами/ Source: compiled by the authors.

Clustering Loss Function (CLF) оценивает равномерность пробитий линии VaR:

CLFt =

R

где VaR■L_a|i|jr — оценка VaR на уровне квантиля а по модели предсказанное для наблюдения номер } в периоде номер г, а — реальное значение доходности в этом наблюдении.

CLF сформулирована авторами статьи самостоятельно. Такой вид функции является попыткой заменить тест Кристоферсена на независимость пробитий идеей о том, что независимые пробития будут более или менее равномерно распределены на протяжении линии VaR, что численно означает невысокую дисперсию пробитий.

Чтобы посчитать ^^ необходимо:

1. Разбить весь период наблюдений на И периодов по J наблюдений в каждом.

2. Найти количество пробитий в каждом из И периодов — таким образом, мы получим ряд из И наблюдений, каждое из которых отражает количество пробитий в каждом из И периодов.

3. Рассчитать дисперсию этого ряда.

Полученная дисперсия и будет значением CLF. Данная функция оценивает разброс количества пробитий в искусственно созданных кластерах наблюдений. Если разброс пробитий невысок, то они распределены относительно равномерно. CLF принимает неотрицательные значения — чем ниже, тем лучше.

Иллюстрация, подобная рис. 2, будет менее осмысленной, так как кластеризация пробитий существенно зависит от характера самих данных.

Стоит отметить, что количество периодов R — не фиксированный параметр и его конкретное значение устанавливается самим исследователем. Важно соблюсти баланс между слишком большими и слишком маленькими кластерами: в первом случае равномерность пробитий, вероятно, будет в принципе более высокой, во втором случае мы получим слишком высокий разброс количества пробитий для всех моделей.

Еще один подход к оценке точности моделей — множитель для достижения заданного уровня пробития (Multiple to obtain coverage, MOC) [Liu, 2005], который находится из уравнения:

где [аГ] — ожидаемое количество пробитий линии VaR, округленное до ближайшего целого числа. Задача в данном случае — подобрать такой мультипликативный коэффициент MOC, при котором достигается заданный квантилем уровень пробитий. Из нескольких возможных значений MOC выбирают наиболее близкий к единице. Чем ближе оптимальное значение к единице, тем точнее модель.

Можно отметить следующие преимущества подхода к оценке модельного риска с точки зрения точности.

— После бэктестинга мы можем сделать вывод о том, какая модель дает наиболее точную, близкую к искомому значению оценку.

— Интерпретация с точки зрения конкретных характеристик — теперь мы можем сравнивать модели по интересующим нас параметрам (доля пробитий, их кластеризация), отойдя от оценки исключительно консервативности.

С другой стороны, имеют место следующие недостатки:

— требовательность к вычислительным мощностям;

— экспертный характер выбора конкретного вида функции потерь;

— не все неизвестные оцениваемые меры риска можно достаточно полно описать конкретными характеристиками, которым должен соответствовать этот параметр.

Эффективность (при достаточной точности)

Оценка модельного риска с точки зрения эффективности заключается в проверке соответствия конкретной риск-метрики цели финансовой организации в получении наибольших доходов при имеющемся уровне риска. Иными словами, пользователям риск-метрики необходимо знать, что используемая ими оценка не переоценивает риск в спокойные периоды и позволяет достичь наименьших объемов экономического капитала: слишком консервативная оценка может привести к недополучению дохода в периоды стабильной рыночной обстановки.

В оценке эффективности, как и в оценке точности, используются исторические данные и строится линия VaR.

Оценивать эффективность риск-модели можно с помощью метрики «коэффициент эффективности» (ER, Efficiency Ratio) [Liu, 2005]:

т

t=i

.г max{M0Ct x |VaR^tl}"^ - MOCt x |VaR^^ t=1max{MOCt X ¡VaR^^]}"^ - min{MOQ X ¡VaR^j^}

i=l

T

Как можно заметить, в формуле используется MOC — это сделано для того, чтобы обеспечить достаточную точность каждой из моделей в целях сопоставимости результатов.

По логике показателя ER, если обеспечить уровень пробитий, соответствующий уровню квантиля (для этого и нужен МОС), то модель, давшая наиболее консервативную оценку MOC • Var, считается «плохой», а давшая наименее консервативную оценку, соответственно, «хорошей» для данного набора моделей.

ER принимает значение от нуля до единицы. При нуле мы имеем самую неэффективную модель из набора моделей при доведении ее до достаточной точности; при единице, соответственно, — наиболее эффективную модель при доведении ее до достаточной точности.

Magnitude Loss Function (MLF) оценивает глубину пробитий VaR:

MLFi =---.

Вид функции предложен непосредственно авторами статьи.

MLF описывается в разделе функций эффективности, поскольку минимизировать ее нет необходимости — она принимает минимальное значение тогда, когда пробитий линии VaR нет, что является показателем модели, сильно переоценивающей риск. Соответственно, проверку значения MLF имеет смысл осуществлять только при должной точности модели.

Более глубокие пробития соответствуют более высоким значениям MLF. Это имеет смысл, если мы оцениваем VaR и доходности не в денежных величинах, а в относительных — как это часто бывает на практике. В этом есть практический смысл: единичные, но глубокие пробития, как правило, более опасны с точки зрения потенциальных убытков, чем множественные, но небольшие пробития. Тем не менее выбор именно экспоненциальной функции для веса пробитий более-менее произволен. Другие варианты функций потерь, основанных на глубине пробитий, — Regulator Loss Function [Pilar et al., 2015] и Firm Loss Function [Sarma et al., 2003].

Чем ниже значение MLF, тем менее глубокие пробития мы имеем в линии VaR, соответственно, тем лучше конкретная риск-модель. На рис. 3 приведен пример зависимости MLF от относительной ошибки в оценке VaR.

Рисунок 3

Значения MLF в зависимости от относительной ошибки в оценке VaR / MLF values for various relative VaR estimation errors

Источник: составлено авторами/ Source: compiled by the authors.

Стоит отметить, что VaR по своему замыслу не предназначен для оценки глубины пробития и, соответственно, для оценки глубины потенциальных потерь. Вполне возможна ситуация, когда VaR был оценен идеально, но распределение доходностей имеет тяжелые хвосты — в таком случае показатель MLF будет большим. С другой стороны, использование показателя VaR для распределения с настолько тяжелыми хвостами само по себе не очень оправданно. В этом случае высокое значение MLF будет свидетельствовать не о неточности модели, а о неадекватности показателя VaR для описания уровня рисков. Для оценки рисков с учетом глубины потенциальных потерь лучше подходит другой показатель — Expected Shortfall, представляющий собой математическое ожидание от левого хвоста распределения доходности актива, ограниченного справа тем или иным квантилем.

Эффективность моделей — это «эффект второго порядка»: имеет смысл смотреть на эффективность только после того, как была проверена приемлемая точность модели, иначе сравнение выиграет модель, либо заведомо недооценивающая, либо заведомо переоценивающая риск (в зависимости от конкретного вида меры). Тем не менее эти меры используются на практике, так как отражают реальные предпочтения участников рынка — держать меньше экономического капитала при соблюдении регуляторных требований.

Далее мы проиллюстрируем описанные выше способы оценки модельного риска на реальных данных с использованием конкретных моделей оценки VaR.

Используемые риск-модели

Для сравнения описанных показателей модельного риска мы будем использовать множество наиболее популярных и достаточно простых моделей оценки VaR.

Исторический метод (Historical simulation)

Это непараметрический метод — он не предполагает использования какого-то конкретного распределения. Этим обуславливается его простота в использовании и отсутствие серьезных требований к вычислительным мощностям.

Для нахождения риск-метрики VaR историческим методом необходимо:

1) собрать ряд наблюдений доходности;

2) проранжировать их в порядке возрастания;

3) найти квантиль на уровне а по этой выборке.

Другие риск-метрики ищутся аналогичным способом. Этот метод, предположительно, будет достаточно гибким, поскольку не имеет предпосылки о конкретном распределении — это, вероятно, позволит адекватно оценить риск для доходностей с толстыми хвостами и асимметрией [Stoyanov et al., 2011].

Далее идут параметрические модели, которые имеют в своей основе предпосылку о конкретном виде функции плотности распределения доходностей актива.

Нормальное распределение:

Оценка параметров происходит с помощью метода максимального правдоподобия. Полученные параметры применяются для нахождения теоретического квантиля распределения доходности на период времени t

VaRt( 1 - a) = Ff1(a).

Распределение Стьюдента:

/дгОО — п+11

^г2

где п — дополнительный параметр, количество степеней свободы.

Оценка параметра происходит с помощью метода максимального правдоподобия с учетом среднего и стандартного отклонения величин ряда доходностей. VaR в таком случае находится так же, как для прошлой модели.

Обобщенное гиперболическое распределение (GHYP):

^ ГгЛ - (д) гВ(х-и) ^Я-о.5(аУД2+»-/^)2)

где: ц,Х,а,р,8 — параметры, а у = ^а2 — /?2.

Оценка параметров и VaR происходит аналогично.

Использование перечисленных трех моделей основывается на предположении о том, что распределение доходности того или иного актива подчиняется нормальному или схожему по некоторым характеристикам и виду распределению. В частности, распределение Стьюдента имеет более толстые, нежели нормальное распределение, хвосты, что соответствует одному из стилизованных фактов о распределениях доходности.

Обобщенное гиперболическое распределение же имеет больше параметров (пять), чем распределение Стьюдента (три — с учетом оценки среднего и стандартного отклонения), или нормальное распределение (два) — это позволяет учесть особенности ряда наблюдений в плане асимметрии и прочих характеристик.

Обобщенное распределение экстремальных значений

/хО) =---.

где: Ь(х) =

+ £ ?. если £ Ф О

У е с , если £ = 0.

Параметрами распределения являются ц (параметр местоположения), £ (параметр формы) и а (параметр масштаба). Оценка параметров происходит с помощью метода максимального правдоподобия.

Обобщенное распределение Парето (GPD):

кЯ

( кИ

Ш*) = Х~К

I 0, х < Я,

где R, к являются параметрами распределения.

Оценка параметров происходит с помощью метода максимального правдоподобия.

Обе модели выше относятся к распределениям, использующимся при моделировании хвостов тех или иных распределений, — предполагается, что с помощью такого подхода можно добиться более точного моделирования именно крайних значений, которые более всего интересуют исследователей.

ARMA-GARCH

В работе будет использоваться модель ARMA (1,1)-GARCH (1,1), поскольку именно такие порядки в модели наиболее часто применяются при анализе финансовых временных рядов [Danielsson, 2011]. Сама модель выглядит следующим образом:

Rt = с + Et + a^t-! + ßiSt-1 £t = ztot zt~üd(0,1)

<rt2 = ü) + Yi^t-i + <W-i<

где Rt — доходность за день t.

Важное свойство временных рядов, которое могут учесть такие модели, — непостоянство дисперсии доходности. Из-за непостоянства дисперсии некоторые модели могут слишком долго «реагировать» на возросшую волатильность рынков, занижая оценки риска, а после возвращения к спокойным временам слишком долго подстраиваться под новые реалии, переоценивая риск. Мы будем использовать нормально распределенные остатки zt~N (0,1).

Изначально мы предполагаем, что модели временных рядов (ARMA-GARCH) покажут наилучшие результаты, поскольку они быстрее подстраиваются под изменения в данных. От моделей, использующих предпосылки о конкретных распределениях, мы ожидаем не очень хороших результатов, поскольку считаем, что они будут достаточно медленными в реакции на изменения в данных.

Используемые средства

Обработка данных и моделирование осуществлялось с помощью языка программирования R. Основные пакеты, которые использовались для анализа данных: ghyp (подбор параметров для моделей, основанных на использовании распределений), rugarch (оценка модели ARMA-GARCH для одномерного временного ряда).

Эмпирический анализ

Для модельного примера мы будем использовать данные о доходности акций компании Goldman Sachs (далее — GS) за период с 2007 по 2012 г. включительно. Как уже говорилось ранее, такой период выбран из-за того, что он включает в себя как периоды высокой волатильности фондового рынка, так и относительно спокойные отрезки времени — это позволяет дополнить сравнительный анализ моделей большим разнообразием условий, в которых они действуют. Источник данных — Yahoo Finance.

Стоит отметить, что выбор конкретного инструмента и периода времени для анализа непринципиален, так как это лишь иллюстрация расчетов мер модельного риска. В каждом конкретном случае подобное сравнение следует проводить заново — с учетом конкретных финансовых инструментов, рынков и моделей. Мы не планируем делать выводы относительно перспектив реального использования тех или иных моделей оценки VaR, так как подобные рекомендации потребовали бы гораздо более масштабного вычислительного эксперимента.

Мы будем использовать уровень квантиля а, равный 0,01. Таким образом, мы получим VaR99%. Размер окна для каждой модели был одинаковым и равнялся 250 наблюдениям. Таким образом, линия VaR для каждой модели имеет протяженность в 1010 наблюдений

(изначально в выборке присутствовало 1260 наблюдений, первые 250 наблюдений были использованы для расчета VaR на 251-й день, поэтому каждая линия VaR имела 1010 наблюдений).

Графически результаты расчетов линии VaR представлены на рис. 4.

Рисунок 4

Результаты расчетов Value-at-Risk с помощью различных моделей / Results of VaR calculation with different approaches

Источник: составлено авторами/ Source: compiled by the authors.

Модели, использующие в своей основе предположение о нормальном распределении, распределении Стьюдента и обобщенном гиперболическом распределении, имеют

достаточно схожие линии VaR. Их объединяет одна особенность — после начала финансового кризиса (этот период легко заметить на графике доходностей по сильному разбросу значений) эти три модели сначала немного «задержались» и недооценивали риск, а уже в период восстановления сразу после кризиса (заметен по очень сильно снизившейся волатильности доходности) сильно его переоценивали достаточно долгий период (примерно до окончания первой трети 2010 г.). Иными словами, такие модели имеют достаточно долгое время отклика на радикальные изменения в данных, что является не очень хорошим свойством для риск-модели.

Исторический метод показал в целом те же результаты, однако он быстрее реагировал на начало кризисного периода.

Можно заметить, что модели, основанные на экстремальных распределениях (обобщенное распределение экстремальных значений, обобщенное распределение Парето), тоже довольно долго восстанавливали невысокие значения VaR после окончания острой фазы кризиса, что можно объяснить свойствами метода оценки параметров (ММП). Однако хорошим признаком является то, что они достаточно быстро отреагировали на начало финансового кризиса. Это вызвано в первую очередь особенностями процедуры оценки параметров в окне методом максимального правдоподобия.

ARMA-GARCH показала достаточно хороший результат — она своевременно реагировала на начало кризисного периода во второй половине 2008 г., а также ощутимо раньше других моделей приспосабливалась к периоду восстановления после острой фазы кризиса.

Оценка модельного риска с точки зрения консервативности

Для начала рассчитаем метрику RR. Она не является мерой модельного риска для какой-либо конкретной модели, однако с помощью нее можно выявлять периоды, наиболее опасные с точки зрения модельного риска. Графически результаты представлены на рис. 5.

Рисунок 5

Значения метрики RR для исследуемого периода / RR values calculated on selected period of time

Источник: составлено авторами/ Source: compiled by the authors.

Как видно из рис. 5, модельный риск, который можно трактовать как различие в оценках риск-моделей, действительно достаточно заметно проявляется в периоды высокой

волатильности доходности. В целом это соответствует представлениям о том, что модельный риск наиболее явно проявляется в периоды кризисов и прочих негативных явлений, которые могли бы повлиять на рынок акций.

Однако по графику видно, что наибольшие значения метрика RR принимает тогда, когда идет период восстановления после кризиса — значения метрики там доходят до шести (то есть самая консервативная оценка в шесть раз больше самой оптимистичной) и даже выше. Волатильность доходности в этот период невысокая, поэтому здесь возникает проблема наличия излишне консервативных оценок, использование которых может привести к достаточно большим объемам недополученных доходов.

Поэтому мы считаем, что смотреть на метрику RR в отрыве от доходностей нерелевантно — ее большие значения могут свидетельствовать как о наличии действительно высокой волатильности на рынке, которую своевременно учитывают не все модели, так и о наличии слишком консервативных оценок риска за рассматриваемый период времени.

Далее были рассчитаны метрики AM, RM, MRD. Поскольку эти метрики рассчитываются для каждого временного периода и для каждой модели в отдельности, мы рассчитали среднее значение этих метрик для каждой из моделей, так как графики в таком случае было бы трудно интерпретировать.

Приведем пример расчета метрики АМ для, например, исторического метода:

— сначала получаем оценки VaR для каждой модели за каждый период времени;

— далее в каждый период времени находим наиболее консервативную (т. е. с самым высоким по модулю значением) оценку из имеющихся;

— после этого в каждый период времени эту оценку делим на оценку исторического метода, а полученный результат далее уменьшаем на единицу;

— в заключение находим среднее арифметическое полученного ряда АМ для модели исторического метода.

Результаты расчетов представлены в табл. 1. Знаком «***» в каждой колонке выделены те значения, которые можно считать наилучшими с точки зрения модельного риска (т. е. модель меньше подвержена модельному риску, чем остальные, если мы интерпретируем модельный риск с точки зрения консервативности оценок), знаком «*», соответственно, — наихудшие значения. Под значением среднего показателя дано его стандартное отклонение для данной модели.

Таблица 1

Результаты расчетов метрик оценки модельного риска с точки зрения консервативности / Results of model risk metrics calculation (conservatism interpretation)

Модель Рейтинг AM среднее (меньше — лучше) RM среднее (меньше — лучше) MRD среднее (больше — лучше)

Исторический метод 2 0,237 (0,266) 0,392 (0,298) 0,098 (0,154)

Нормальное распределение 6 0,495 (0,388) 0,665 (0,332) -0,081 (0,130)

Распределение Стьюдента 4 0,354 (0,335) 0,512 (0,267) 0,007 (0,116)

Обобщенное гиперболическое распределение 5 0,359 (0,334) 0,520 (0,275) 0,003 (0,115)

Обобщенное распределение экстремальных значений 3 0,261 (0,249) 0,458 (0,293) 0,079 (0,194)

Обобщенное распределение Парето 1 0,150*** (0,257) 0,266*** (0,331) 0,193*** (0,245)

ARMA (U)-GARCH (1,1) 7 0,921* (1,108) 0,719* (0,362) -0,161* (0,303)

Источник: составлено авторами/ Source: compiled by the authors.

Кроме того, помимо значений различных метрик в таблице мы представили «рейтинг» каждой из моделей — чем ниже значение в этой колонке, тем меньше для этой модели характерен модельный риск с точки зрения точности модели. Высчитывался он как округленное среднее арифметическое из мест в гипотетическом рейтинге, которые бы эти модели занимали в каждом из показателей (например, если модель Х показала третий по консервативности показатель AM, второй по RM и первый по MRD, то ее место в рейтинге

- 3+2+1

будет равно —-— « 2).

Как можно видеть, наименее подвержена модельному риску (с точки зрения консервативности оценки) модель, использующая обобщенное распределение Парето. Наиболее подверженной модельному риску оказалась модель ARMA-GARCH. Средний уровень модельного риска характерен для моделей, использующих нормальное распределение, распределение Стьюдента, обобщенное гиперболические распределение, обобщенное распределение экстремальных значений, а также для модели исторической симуляции.

Такие выводы были достаточно ожидаемыми — поскольку модельный риск трактуется с точки зрения консервативности. Очевидно, что слишком консервативные модели будут иметь наименьший уровень модельного риска. Здесь не берется во внимание тот факт, что излишняя консервативность модели тоже может быть отрицательным явлением из-за упущенных возможностей.

Хорошим достоинством такого подхода к оценке модельного риска является то, что с помощью него мы сможем оценить степень модельного риска ex-ante. Иными словами, с помощью этого подхода возможно оценить модельный риск тогда, когда мы не имеем возможности получить данные о реальных доходностях — например, когда мы рассчитываем риск-метрики на будущий период времени, исход которого нам заранее неизвестен. В таком случае использование данной трактовки модельного риска было бы достаточно релевантным.

В нашей же ситуации мы оцениваем модельный риск ex-post, и в таком случае достаточно трудно интерпретировать полученные оценки модельного риска — самая безрисковая модель может оказаться излишне консервативной, а самая «рискованная», наоборот, может давать вполне адекватные и имеющие необходимую степень чувствительности оценки риска того или иного актива.

Далее мы будем оценивать модельный риск с точки зрения точности — эта оценка изначально предполагает метод, основанный на активном использовании уже заранее известной информации о доходности.

Оценка модельного риска с точки зрения точности

Для каждой из моделей мы оценили MBLF, CLF и MOC. Результаты расчетов представлены в табл. 2. Отметим, что при расчете CLF мы разделили весь период на десять одинаковых частей — таким образом, мы получили десять временных отрезков по 101 наблюдению в каждом. Знаком «***» в каждой колонке отмечены те значения, которые можно считать наилучшими с точки зрения модельного риска (т. е. модель меньше подвержена модельному риску, чем остальные, если мы интерпретируем модельный риск с точки зрения консервативности оценок), знаком «*», соответственно, отмечены наихудшие значения.

Напомним, что, поскольку мы используем функции потерь в качестве оценки точности моделей, интерпретация каждой из используемых функций потерь (MBLF, CLF) в общем смысле схожа — чем выше значение функции, тем менее точна данная модель. MOC имеет несколько иную интерпретацию — чем ближе это значение к единице, тем лучше.

Таблица 2

Результаты расчетов метрик оценки модельного риска с точки зрения точности / Results of model risk metrics calculation (accuracy interpretation)

Модель Рейтинг MBLF (меньше — лучше) CLF (меньше — лучше) MOC (ближе к единице — лучше)

Исторический метод 2 0,003*** 2,41 1,31

Нормальное распределение 7 0,016 8,84* 1,47*

Распределение Стьюдента 4 0,006 3,64 1,33

Обобщенное гиперболическое распределение 6 0,006 3,64 1,33

Обобщенное распределение экстремальных значений 1 0,003*** 1 41*** 1,17

Обобщенное распределение Парето 3 0,090* 2,61 112***

ARMA (1,1)-GARCH (1,1) 5 0,013 3,81 1,26

Источник: составлено авторами/ Source: compiled by the authors.

Оценка модельного риска с точки зрения эффективности

С помощью полученных линий VaR и оцененных значений MOC для каждой из моделей мы можем посчитать значение коэффициента эффективности (ER). Также были посчитаны значения MLF. Результаты расчетов представлены в табл. 3.

Таблица 3

Результаты расчетов метрик оценки модельного риска с точки зрения эффективности / Results of model risk metrics calculation (efficiency interpretation)

Модель Рейтинг ER (больше — лучше) MLF

Исторический метод 5 0,315* 0,013

Нормальное распределение 6 0,411 0,026*

Распределение Стьюдента 4 0,415 0,016

Обобщенное гиперболическое распределение 3 0,429 0,016

Обобщенное распределение экстремальных значений 1 0,614 0,013***

Обобщенное распределение Парето 2 0,497 0,013

ARMA (1,1)-GARCH (1,1) 2 0,764*** 0,023

Источник: составлено авторами/ Source: compiled by the authors.

Как видно из табл. 3, наиболее эффективными оказались модель ARMA-GARCH, обобщенное распределение экстремальных значений и обобщенное распределение Парето. Это означает, что данные модели при достижении необходимой точности (в плане доли пробитий она должна соответствовать уровню квантиля, чего мы добиваемся за счет использования MOC • VaR, а не просто VaR) имеют наименее консервативные оценки — их использование, вероятно, не приведет к сильному недополучению доходов.

Как ни странно, наименее эффективной оказалась модель на основе нормального распределения и исторический метод: они показали наиболее консервативные оценки при достижении необходимого уровня точности.

Сравнение рейтингов моделей с точки зрения разных подходов к оценке модельного риска

Как мы видим из рейтингов, приведенных вместе в табл. 4, разные подходы к оценке модельного риска дают существенно разные рейтинги для одной и той же модели. Это показывает, что оценка модельного риска сама по себе не имеет какой-либо четко сформулированной задачи в своей основе — модельный риск можно оценивать с абсолютно разных

позиций, а результаты оценки для одной и той же модели с использованием разных подходов будут давать совершенно разные результаты и интерпретацию.

Таблица 4

Рейтинги моделей оценки VaR с точки зрения разных подходов к оценке модельного риска / VaR models ratings from the view of different approaches to model risk assessment

Модель Рейтинг (консервативность) Рейтинг (точность) Рейтинг (эффективность)

Исторический метод 2 2 5

Нормальное распределение 6 7 6

Распределение Стьюдента 4 4 4

Обобщенное гиперболическое распределение 5 6 3

Обобщенное распределение экстремальных значений 3 1 1

Обобщенное распределение Парето 1 3 2

ARMA (1,1)-GARCH (1,1) 7 5 2

Источник: составлено авторами/ Source: compiled by the authors.

ВЫВОДЫ

Существует большое количество различных методов оценки модельного риска тех моделей, которые используются для расчета VaR, однако их все можно разделить на три большие группы.

Первая группа способов оценивает модельный риск с точки зрения консервативности оценок — под модельным риском понимается недооценка риска. Вторая группа рассматривает его с точки зрения точности оценок, рассчитываемых моделями. Модельный риск трактуется как степень отклонения оценок модели в смысле каких-либо заранее заданных характеристик. Третья группа методов оценки модельного риска рассматривает его с точки зрения эффективности оценок. Под эффективностью подразумевается свойство того или иного метода давать, при соответствующей точности, наиболее полезные в той или иной ситуации оценки.

Для эмпирического исследования мы взяли семь моделей оценки VaR для рыночного риска: исторический подход к оценке VaR, параметрические модели с различными распределениями: нормальным, Стьюдента, обобщенным гиперболическим, обобщенным распределением экстремальных значений, обобщенным распределением Парето, а также модель ARMA-GARCH.

Даже на этом модельном примере хорошо заметно, что разные критерии отдают предпочтение разным моделям (см. табл. 4). С учетом того, что это не просто разные способы оценки одного и того же показателя, а принципиально различные грани понятия «модельный риск», можно заключить, что задача количественной оценки модельного риска в настоящее время не имеет удовлетворительного решения не в силу того, что решение отсутствует, а в первую очередь в силу отсутствия общепринятой ее постановки.

Более того, согласно определению, модельный риск — это мера возможных потерь, вызванных использованием моделей, а возможные потери удобнее всего измерять в денежных единицах, в то время как рассмотренные показатели модельного риска выражены в условных единицах.

Таким образом, наиболее актуальными направлениями дальнейших исследований представляются:

— характеристика модельного риска не в абстрактных единицах, а в деньгах;

— унификация различных граней модельного риска в рамках одного подхода;

— интеграция оценок модельного риска в валидацию моделей риска.

Список источников

Лобанов А. А., Кайнова Е. И. Сравнительный анализ методов расчета VaR-лимитов с учетом модельного риска на примере российского рынка акций // Управление финансовыми рисками. 2005. № 1. С. 44-55.

Aggarwal A., Beck M. B. et al. Model risk — daring to open up the black box // British Actuarial Journal. 2016. Vol. 21. P. 229-296. DOI: https://doi.org/10.1017/S1357321715000276.

Barrieu P., Scandolo G. Assessing financial model risk // European Journal of Operational Research. 2015. Vol. 242. Iss. 2. P. 546-556. DOI: https://doi.org/10.1016/j.ejor.2014.10.032.

Boucher C. M., Daníelsson J. et al. Risk Models-at-Risk // Journal of Banking & Finance. 2014. Vol. 44. P. 72-92. DOI: https://doi.org/10.1016/jjbankfin.2014.03.019.

Christoffersen P. F. Evaluating Interval Forecasts // International Economic Review. 1998. Vol. 39. No. 4. P. 841-862. DOI: https://doi.org/10.2307/2527341.

Corsetti G., Devereux M. P. et al. The financial crisis. EEAG Report on the European Economy. 2009. P. 59-122. Danielsson J., James K. R. et al. Model Risk of Risk Models // Journal of Financial Stability. 2016. Vol. 23 (April), pp. 79-91. DOI: https://doi.org/10.1016/jjfs.2016.02.002.

Danielsson J. Financial Risk Forecasting: The Theory and Practice of Forecasting Market Risk with Implementation in R and Matlab. Wiley Finance, 2011. 296 p.

Engel J., Gizycki M. Conservatism, Accuracy and Efficiency: Comparing Value-at-Risk Models / Australian Prudential Regulation Authority Discussion Paper. 1999. No. 2.

Kato T., Yoshiba T. Model Risk and Its Control // Monetary and Economic Studies. 2000. Vol. 18. Iss. 2. P. 129-157.

Kupiec P. H. Techniques for Verifying the Accuracy of Risk Measurement Models // The Journal of Derivatives. 1995. Vol. 3. No. 2. P. 73-84. DOI: https://doi.org/10.3905/jod.1995.407942.

Levin C., McCain J. et al. Investigations on JPMorgan Chase whale trades: A case history of derivatives risks and abuses / The JPMorgan Chase Whale Trades: An Investigation of Derivatives Risks and Abuses. Washington: Permanent Subcommittee on Investigations, United States Senate, 2013.

Li S., Wei L., Huang Z. Value-at-Risk Forecasting of Chinese Stock Index and Index Future under Jumps, Permanent Component, and Asymmetric Information // Emerging Markets Finance and Trade. 2016. Vol. 52. Iss. 5. P. 1072-1091. DOI: https://doi.org/10.1080/1540496X.2016.1142218.

Liu M. VaR Evaluation of Bank Portfolio — Conservativeness, Accuracy and Efficiency // Journal of Financial Studies. 2005. Vol. 13. No. 2. P. 97-128. DOI: https://doi.org/10.6545/JFS.2005.13(2).4.

Lleo S., Ziemba W. T. How to Lose Money in Derivatives: Examples from Hedge Funds and Bank Trading Departments // SSRN Electronic Journal. 2014.

Pilar A., Sonia M. et al. Role of the loss function in the value-at-risk comparisons // Journal of Risk Model Validation. 2015. Vol. 9. No. 1. P. 1-19. DOI: https://doi.org/10.21314/JRMV.2015.132.

Sarma M., Thomas S., Shah A. Selection of Value-at-Risk Models // Journal of Forecasting. 2003. Vol. 22. Iss. 4. P. 337-358. DOI: https://doi.org/10.1002/for.868.

Sener E., Baronyan S. et al. Ranking the predictive performances of value-at-risk estimation methods // International Journal of Forecasting. 2012. Vol. 28. Iss. 4. P. 849-873. DOI: http://dx.doi.org/10.1016/ j.ijforecast.2011.10.002.

Stoyanov S. V., Rachev S. T. et al. Fat-Tailed Models for Risk Estimation // The Journal of Portfolio Management. 2011. Vol. 37. Iss. 2. P. 107-117. DOI: https://doi.org/10.3905/jpm.2011.37.2.107.

Weber F. Modellrisiko bei Value-at-Risk-Schätzungen: eine empirische Untersuchung für den schweizerischen Aktien- und Optionenmarkt: Dissertation. Freiburg, in der Schweiz, 2001.

Zhang Y., Nadarajah S. A review of backtesting for value at risk // Communications in Statistics — Theory and Methods. 2018. Vol. 47. Iss. 15. 3616-3639. DOI: https://doi.org/10.1080/03610926.2017.1361984.

References

Lobanov A.A., Kaynova E.Y. (2005). Comparative Analysis of Methods for Calculating VaR-Limits With Consideration of Model Risk on the Example of the Russian Stock Market. Upravlenie finansovymi riskami — Financial Risk Management, no. 1, pp. 44-55 (In Russ.).

Aggarwal A., Beck M.B. et al. (2016). Model risk — daring to open up the black box. British Actuarial Journal. vol. 21, pp. 229-296. DOI: https://doi.org/10.1017/S1357321715000276.

Barrieu P., Scandolo G. (2015). Assessing financial model risk. European Journal of Operational Research, vol. 242, iss. 2, pp. 546-56. DOI: https://doi.org/10.1016/j.ejor.2014.10.032.

Boucher C.M., Daníelsson J. et al. (2014). Risk Models-at-Risk. Journal of Banking & Finance, vol. 44, pp. 72-92. DOI: https://doi.org/10.1016/jjbankfin.2014.03.019.

Christoffersen P.F. (1998). Evaluating Interval Forecasts. International Economic Review, vol. 39, no. 4, pp. 841-862. DOI: https://doi.org/10.2307/2527341.

Corsetti G., Devereux M.P. et al. (2009). The financial crisis. EEAG Report on the European Economy, pp. 59-122.

Danielsson J., James K.R. et al. (2016). Model risk of risk models. Journal of Financial Stability, vol. 23 (April), pp. 79-91. DOI: https://doi.org/10.1016/jjfs.2016.02.002.

Danielsson J. (2011). Financial Risk Forecasting: The Theory and Practice of Forecasting Market Risk with Implementation in R and Matlab. Wiley Finance, 296 p.

Engel J., Gizycki M. (1999). Conservatism, Accuracy and Efficiency: Comparing Value-at-Risk Models. Australian Prudential Regulation Authority Discussion Paper No. 2.

Kato T., Yoshiba T. (2000). Model Risk and Its Control. Monetary and Economic Studies, vol. 18, iss. 2, pp. 129-157.

Kupiec P.H. (1995). Techniques for verifying the accuracy of risk measurement models. The Journal of Derivatives, vol. 3, no. 2, pp. 73-84. DOI: https://doi.org/10.3905/jod.1995.407942.

Levin C., McCain J. et al. (2013). Investigations on JPMorgan Chase whale trades: A case history of derivatives risks and abuses. In: The JPMorgan Chase Whale Trades: An Investigation of Derivatives Risks and Abuses. Washington: Permanent Subcommittee on Investigations, United States Senate.

Li S., Wei L. et al. (2016). Value-at-Risk Forecasting of Chinese Stock Index and Index Future under Jumps, Permanent Component, and Asymmetric Information. Emerging Markets Finance and Trade, vol. 52, iss. 5, pp. 1072-1091. DOI: https://doi.org/10.1080/1540496X.2016.1142218.

Liu M. (2005). VaR Evaluation of Bank Portfolio — Conservativeness, Accuracy and Efficiency. Journal of Financial Studies, vol. 13, no. 2, pp. 97-128. DOI: https://doi.org/10.6545/JFS.2005.13(2).4.

Lleo S., Ziemba W.T. (2014). How to Lose Money in Derivatives: Examples from Hedge Funds and Bank Trading Departments. SSRN Electronic Journal.

Pilar A., Sonia M. et al. (2015). The role of the loss function in the value-at-risk comparisons. Journal of Risk Model Validation, vol. 9, no. 1, pp. 1-19. DOI: https://doi.org/10.21314/JRMV.2015.132.

Sarma M., Thomas S. et al. (2003). Selection of Value-at-Risk Models. Journal of Forecasting, vol. 22, iss. 4, pp. 337-358. DOI: https://doi.org/10.1002/for.868.

Sener E., Baronyan S. et al. (2012). Ranking the predictive performances of value-at-risk estimation methods. International Journal of Forecasting, vol. 28, iss. 4, pp. 849-873. DOI: http://dx.doi.org/10.1016/ j.ijforecast.2011.10.002.

Stoyanov S.V., Rachev S.T. et al. (2011). Fat-Tailed Models for Risk Estimation. The Journal of Portfolio Management, vol. 37, iss. 2, pp. 107-117. DOI: https://doi.org/10.3905/jpm.2011.37.2.107.

Weber F. (2001). Modellrisiko bei Value-at-Risk-Schätzungen: eine empirische Untersuchung für den schweizerischen Aktien- und Optionenmarkt. Dissertation. Freiburg, in der Schweiz.

Zhang Y., Nadarajah S. (2018). A review of backtesting for value at risk. Communications in Statistics — Theory and Methods, vol. 47, iss. 15, pp. 3616-3639. DOI: https://doi.org/10.1080/03610926.2017.1361984.

Информация об авторах

Андрей Юрьевич Нэвэла, стажер-исследователь лаборатории по финансовой инженерии и риск-менеджменту Научно-исследовательского университета «Высшая школа экономики», г. Москва Виктор Александрович Лапшин, кандидат физико-математических наук, доцент школы финансов факультета экономических наук, заведующий и научный сотрудник лаборатории по финансовой инженерии и риск-менеджмента Научно-исследовательского университета «Высшая школа экономики», г. Москва

Information about the authors

Andrey Yu. Nevela, Research Assistant, Laboratory for Financial Engineering and Risk Management, National Research University Higher School of Economics, Moscow

Victor A. Lapshin, Candidate of Physico-Mathematical Sciences, Associate Professor at the School of Finance of the Faculty of Economic Sciences, Head and Research Fellow of the Laboratory for Financial Engineering and Risk Management, National Research University "Higher School of Economics", Moscow

Статья поступила в редакцию 21.12.2021 Одобрена после рецензирования 15.03.2022 Принята к публикации 08.04.2022

Article submitted December 21, 2021 Approved after reviewing March 15, 2022 Accepted for publication April 8, 2022