О методах валидации рейтинговых систем в рамках подхода внутренних рейтингов к оценке кредитного риска банков Текст научной статьи по специальности «Экономика и бизнес»

ISSN 2311-8768 (Online) ISSN 2073-4484 (Print)

Риски, анализ и оценка

О МЕТОДАХ ВАЛИДАЦИИ РЕЙТИНГОВЫХ СИСТЕМ В РАМКАХ ПОДХОДА ВНУТРЕННИХ РЕЙТИНГОВ К ОЦЕНКЕ КРЕДИТНОГО РИСКА БАНКОВ

Александр Александрович СТЕЖКИН

аспирант кафедры системных исследований, Московский физико-технический институт (государственный университет),

Долгопрудный, Московская область, Российская Федерация

[email protected].

История статьи:

Принята 03.06.2015 Одобрена 16.06.2015

УДК 336.71.078.3

Ключевые слова: валидация, калибрация, стабильность, модель, дефолт

Аннотация

Предмет. На фоне периодических периодов нестабильности, происходящих в последние годы в мировой экономике, особую актуальность приобретает проблема количественной оценки рисков как одного из важнейших ключевых элементов управления кредитной организацией. Одним из самых существенных видов рисков является кредитный риск, т.е. риск неисполнения финансовых обязательств. Для более точной его оценки в рамках рекомендаций Базельского комитета по банковскому надзору Базель II предусмотрен продвинутый подход, который носит название подхода на основе внутренних рейтингов заемщиков (IRB-подход). Принимая во внимание особенности этого подхода, следует отметить важность процесса оценки адекватности разработанных моделей, получивший в российской практике термин «валидация», помимо непосредственно процесса построения модели, требующего использования сложных математических моделей и подходов. Задачи. Задачами исследования являлись укрупненный анализ процесса валидации рейтинговых систем, исследование отдельных его элементов, анализ и адаптация математических подходов к валидации, а также сравнительный анализ альтернативных подходов и изучение международного опыта.

Методология. В работе методы проверки соответствия рейтинговой модели кредитной организации каждой из концепций валидации (дискриминационная сила, калибрация, стабильность) исследуются с использованием аппарата математического и вероятностно-статистического анализа. Кроме того, производится эмпирический анализ имеющихся международных практик, а также теоретических и практических исследований и обзоров, в том числе в части относительно небольшого российского опыта.

Результаты. Проведена адаптация стандартизированных методов математического и статистического анализа под конкретные задачи валидации. Проведен сравнительный анализ альтернатив с указанием рекомендаций по практическому применению. Систематизирован международный опыт изучения подходов к валидации в части ориентировочных количественных критериев применимости.

Выводы и значимость. Сделан вывод о существенной эффективности методов математического и статистического анализа в проведении валидации рейтинговых систем, о значительном их разнообразии и специфике использования в зависимости от особенностей деятельности и профиля риска кредитных организаций, а также о целесообразности пруденциального закрепления минимальных стандартов валидации рейтинговых систем кредитных организаций соответствующими регулятивными органами.

© Издательский дом ФИНАНСЫ и КРЕДИТ, 2015

Введение

Проблема количественной оценки рисков является одним из важнейших ключевых элементов управления кредитной организацией. Международные регулирующие органы (Базельский комитет по банковскому надзору) предлагают банкам выбор: воспользоваться упрощенными подходами, но в ущерб точности, либо внедрить в свои системы управления рисками «продвинутые» подходы. «Продвинутый» подход к оценке кредитного риска,

впервые упомянутый в стандартах Базеля II1, получил название подхода на основе внутренних рейтингов заемщиков (IRB-подход2). В общих чертах IRB-подход представляет собой подход к оценке кредитных рисков банков на основе использования внутренних рейтингов заемщиков, т.е. рейтингов, которые устанавливают сами банки. Принимая во внимание особенности этого подхода,

1 International Convergence of Capital Measurement and Capital Standards: а Revised Framework

2 Internal Ratings-Based Approach

следует отметить, что помимо построения модели, требующей использования сложных математических расчетов и подходов, значительную роль играет процесс оценки адекватности разработанных моделей, получивший в российской практике термин «валидация». Валидация рейтинговых систем - это оценка банком методов, моделей, процедур, используемых в рейтинговой системе, на соответствие рекомендуемым минимальным требованиям. Она направлена на подтверждение корректности и точности функционирования рейтинговых систем, а также на оценку степени интеграции этих систем в процесс ценообразования (определения процентной ставки) и выдачи кредита. Различают количественную и качественную валидацию. Количественная валидация предполагает анализ применимости и адекватности использования модели, включающий сравнение внутренних рейтингов с доступными внешними (бенчмаркинг) и анализ дискриминационной силы, калибровки и стабильности модели на исторических данных (бэк-тестирование). Качественная валидация подразумевает анализ теоретической адекватности методологий, подтверждение корректного использования методов в ежедневных процессах, а также подтверждение адекватности процессов контроля качества данных и 1Т-инфраструктуры.

В России указанный подход находится в стадии разработки, в том числе в части регулятивных нормативных документов. Практически вся литература на эту тему представлена в виде зарубежных публикаций, статистических обзоров центральных банков либо исследований консалтинговых компаний. При этом необходимо отметить важность закрепления соответствующих стандартов на законодательном уровне, как минимум в виде некоторых ориентиров по построению рейтинговых моделей, их мониторингу и дальнейшей валидации. Важнейшими элементами процесса валидации, которые разумно закрепить законодательно, являются минимальный перечень подходов к ее осуществлению, а также соответствующие ориентировочные значения показателей в рамках этих подходов, которые могут быть приняты за приемлемые. Указанная формализация позволила бы установить определенные ориентиры, своеобразные реперные точки, которых было бы разумно придерживаться в процессе внедрения продвинутого подхода в оценке рисков, не ограничивая при этом свободы действий кредитной организации в части использования более сложных и точных методов в своих системах управления рисками.

Процесс валидации

В соответствии с международной практикой, внутреннюю валидацию целесообразно осуществлять на регулярной основе (например, ежегодно), а также после существенных изменений на рынке (в экономике) или во внутренних процессах кредитования банка.

Ключевыми методами валидации являются:

- проверка дискриминационной способности модели, т.е. способности с высокой точностью различать «хороших» и «плохих» заемщиков;

- оценка прогнозной точности модели, т.е. способности правильно определять «дефолтных» заемщиков;

- анализ миграций рейтингов - оценка частоты и существенности случаев, когда заемщик переходит из одного кредитного рейтинга в другой;

- сравнительный анализ рейтингов - сравнение с аналогичными рейтинговыми моделями;

- оценка использования модели в бизнес-процессах банка;

- анализ ручных корректировок - оценка потенциальных изменений в результатах работы рейтинговой модели вследствие изменения параметров этой модели.

Рассматривая процесс валидации рейтинговых систем в самом общем смысле, разумно выделить три основные концепции, которые должны быть проанализированы.

1. Дискриминационная способность (упоминалась ранее).

2. Калибрация (система должна быть уточнена таким образом, чтобы, имея на входе заемщиков с известными параметрами, на выходе она давала адекватный кредитный рейтинг).

3. Стабильность - проверка устойчивости системы к различным изменениям ее параметров.

Для анализа соответствия модели каждой из указанных концепций существует множество методов, использующих аппарат математического и вероятностно-статистического анализа. Рассмотрим и проанализируем самые эффективные из них с обоснованием математического аппарата, указанием области применимости, а также адаптации математического алгоритма под задачи валидации рейтинговых систем.

Дискриминационная способность

Дискриминационная способность - одно из ключевых свойств рейтинговой модели, поскольку характеризует самую суть этой модели - возможность верно отвечать на главный вопрос: подвержен заемщик риску дефолта или нет.

Коэффициент Джини. Это один из самых распространенных методов измерения дискриминационной способности отдельного фактора или всей рейтинговой модели. Он также известен как коэффициент точности модели (AR, Accuracy Ratio). Этот коэффициент оценивает степень приближенности валидируемой рейтинговой системы к идеальной. Под идеальной системой понимается такая, которая безошибочно определяет, объявит ли клиент (заемщик) дефолт. Наибольшую известность коэффициент получил в связи с иным практическим применением - оценки степени расслоения общества данной страны или региона по отношению к какому-либо изучаемому признаку. Однако его с легкостью можно модифицировать для использования оценки дискриминационной силы

Рисунок 1

Математический смысл коэффициента Джини

Накопленное число

Накопленное число клиентов (по возрастанию рейтинга, где больший рейтинг

означает большую кредитоспособность

Идеальная модель ......... Валидируемая модель —— — Случайная модель

\ А Площадь, образованная кривыми идеальной модели и валидируемой модели Площадь, образованная кривыми валидируемой модели и случайной модели

рейтинговой модели (рис. 1).

Вычисляется этот коэффициент с использованием геометрических соображений (см. рис. 1). Отложим по горизонтальной оси абсцисс накопленное число заемщиков, отсортированное в порядке возрастания рейтинга (так, что чем больше рейтинг, тем надежнее заемщик). В соответствие ему поставим по оси ординат накопленное число дефолтов. Ясно, что в случае идеальной модели, поскольку исходим из отсортированных по рейтингу заемщиков, в первых, скажем, n, случаях (заемщики с самым низким рейтингом) будем иметь дефолтных заемщиков, остальные будут «хорошими». В случае случайной модели дефолтные заемщики необязательно будут с самыми низкими рейтингами, поэтому график случайной модели будет иметь вид прямой (дефолтные заемщики равномерно распределены по рейтинговой шкале). Валидируемая модель представляет нечто среднее между двумя описанными исходами. Ее графическое изображение по осям будет представлять собой ступенчатую кривую. Обозначим через A площадь фигуры, образованной кривыми идеальной модели

и валидируемой модели, а через B - между кривыми валидируемой модели и случайно модели, получим определение индекса Джини: Gini = В/ ( A + B).

Это соотношение можно интерпретировать так. Чем ближе кривая валидируемой модели к кривой идеальной модели, тем большей дискриминационной способностью обладает модель (соответственно, выше индекс Джини). Очевидно, что величина индекса Джини лежит на отрезке [0, 1].

Анализ опыта ведущих мировых практик (Великобритания, ЮАР, Австралия) позволил сделать вывод об ориентировочных значениях коэффициента Джини в зависимости от качества оценки (табл. 1).

ROC-кривая. Во многом схожим с коэффициентом Джини методом оценки дискриминационной способности модели является построение кривых зависимости чувствительности от частоты ложно положительных заключений (так называемых ROC-кривых, Receiver Operational Characteristic curves).

В этом случае (рис. 2) по оси абсцисс откладывается доля ложно положительных заемщиков от общего числа неверных оценок (т.е. присвоение хорошего рейтинга «плохому» заемщику, False Positive), а по оси ординат - накопительная доля правильно положительно оцененных заемщиков от общего числа положительно оцененных (True Positive).

Определяется коэффициент как ROC = В/ ( A + В).

В такой интерпретации, чем выше коэффициент ROC, тем большей дискриминационной способностью обладает модель.

Часто вместо коэффициента ROC используют показатель AU ROC (Area Under ROC), численно равный площади фигуры под кривой валидируемой модели, т.е. AUROC = В +1/2.

Можно показать, что если выбрать дефолтного заемщика (с рейтингом X) и недефолтного (с рейтингом Y), то показатель численно равен AUROC = P(X > Y) + 1/2P(X = Y).

Тест Колмогорова-Смирнова. В наиболее общем определении тест Колмогорова - Смирнова используется для проверки гипотезы о принадлежности выборки некоторому закону распределения, т.е. проверки того, что эмпирическое распределение соответствует предполагаемой модели. Однако в целях оценки дискриминационной способности модели можно получить иную интерпретацию этого теста (так называемую построенную на двух выборках). Покажем это следующим образом.

Пусть есть две выборки - дефолтные и недефолтные заемщики. Построим по этим выборкам эмпирические функции зависимости накопленной доли дефолтов от накопленного итогового балла, присвоенного заемщикам согласно модели (рис. 3).

Введем обозначения:

- кумулятивная функция распределения дефолтных заемщиков по баллу;

- кумулятивная функция распределения недефолтных заемщиков по баллу.

Тогда статистика Колмогорова - Смирнова о п р е д е л ит с я с л е д у ю щ им о б р аз о м :

KS = max

В терминах дискриминационной способности очевидно, что чем выше величина^, тем лучше модель различает «хороших» и «плохих» заемщиков. Вместе с тем, поскольку нулевой гипотезой теста Колмогорова - Смирнова является равенство распределений двух выборок, то можно выписать формальный критерий отвержения этой нулевой гипотезы.

Нулевая гипотеза отвергается в случае

KS > с(а)

n + n

nn

где а - доверительный уровень;

с(а)- табличный коэффициент, зависящий от а (табл. 2);

п - размеры выборок по дефолтным заемщикам; п' - размеры выборок по недефолтным заемщикам.

Таблица 1

Ориентировочные значения коэффициента Джини по типам заемщиков, %

Дискриминационная Неудовлетворительная

Оцениваемая модель способность, требующая дискриминационная

повышенного внимания способность

Корпоративные заемщики < 55 < 40

Розничные заемщики (модель на основе данных, < 60 < 40

полученных о заемщике при выдаче кредита)

Розничные заемщики (модель на основе данных, полученных о заемщике за время погашения кредита)

< 65

< 55

Рисунок 2

Математический смысл ROC-кривой, %

True Positive

100

90 80 70 60 50 40 30 20 10 H

A

B

0

0

10

20

30

40

50

60

70

80

—I-1

90 100

False Positive

Идеальная модель ......... Валидируемая модель — — Случайная модель

^ A Площадь, образованная кривыми идеальной модели и валидируемой модели Площадь, образованная кривыми валидируемой модели и случайной модели

Рисунок 3

Иллюстрация теста Колмогорова - Смирнова для оценки дискриминационной способности

Накопительная доля дефолтов, %

100 90 80 70 60 50 40 30 20 10 0

200

300

400

500

600

700

—I-I-I

800 900 1 000

Накопительный балл

Дефолтные заемщики _ -- Недефолтные заемщики

Таблица 2

Значения коэффициента теста Колмогорова-Смирнова в зависимости от доверительного уровня

Табличный коэффициент Доверительный уровень

с(а) а

1,22 0,1

1,36 0,05

1,48 0,025

1,63 0,01

1,73 0,005

1,95 0,001

Весомость наблюдения (Weight of Evidence, WoE). Этот специфический показатель оценивает дискриминационную способность каждой отдельной переменной модели. Сначала наблюдения разбиваются на группы по значениям (если это дискретная переменная, то по конкретным значениям, если же непрерывная, то по интервалам), а затем в каждой группе определяются доли «хороших» и «плохих» заемщиков от таковых во всей выборке следующим образом:

F bad _

Nb

IN

good _

N good I Ngood '

С учетом этого показатель весомости наблюдения

F bad

определится как W0E = 100ln- '

Показатель может быть как положительным, так и отрицательным. Чем больше его абсолютное значение, тем более значительную дискриминационную способность демонстрирует модель (конкретная переменная модели).

Информационная значимость (Information Value, IV) тесно связана с предыдущим показателем, она также рассчитывается для конкретной переменной модели. Используя введенные обозначения, запишем

^ _I,

(Fbad - рgood )in

Fb

Fgood

Как видно из формулы, показатель рассчитывается по всем группам значений переменной в совокупности. Чем выше значение IV, тем эффективнее переменная различает заемщиков по дефолтному признаку.

Согласно работам ряда финансовых математиков и экономистов (например, М. Сиддики) для показателя IV можно установить следующие границы:

IV < 0,02 - переменная не значима для модели;

0,02 < IV < 0,1- переменная обладает слабой дискриминационной способностью;

0,1 < IV < 0,3- переменная обладает умеренной дискриминационной способностью;

IV > 0,3 - высокая дискриминационная способность переменной.

Приведем в заключение анализ преимуществ и недостатков рассмотренных математических методов оценки дискриминационной силы рейтинговой модели. Выделяются три своеобразные однородные группы методов, что позволяет сделать вывод о целесообразности использования нескольких методов одновременно (табл. 3).

Калибрация

Калибрация, как процесс, затрагивает весь жизненный цикл кредита (ссуды) - от определения стоимости до стратегического управления. В ходе этого этапа процесса валидации необходимо оценить, что модель адекватно сопоставляет кредиту с известными параметрами заемщика вероятность дефолта и величину вероятных потерь.

Биномиальный тест. Классический статистический подход для проверки гипотез может быть легко модифицирован для целей калибрации рейтинговой модели. В этом случае предполагается независимость событий возникновения дефолта заемщиков, что в общем случае верно, поскольку рейтинговые системы, как правило, используются для оценки вероятности дефолта некредитных организаций, либо физических лиц, степень взаимосвязи между которыми, в отличие от рынка межбанковского кредитования, довольно низкая. Допустим, для определенного класса заемщиков I установлена вероятность дефолта р. Пусть также в данном классе имеется п1 заемщиков.

В случае если события дефолта являются независимыми, их количество определяется

Таблица 3

Сравнительный анализ методов оценки дискриминационной силы

Метод Преимущества Недостатки

Коэффициент Джини Простота вычисления, наглядность Игнорирование формы кривой распределения

ROC-кривая Простота вычисления, наглядность Игнорирование формы кривой распределения

Тест Колмогорова - Смирнова Наглядность, учет формы кривой распределения Вычислительные трудности

биномиальной случайной ве личино й Ь1 ~ В1п(п1, р1).

Таким образом, согласно этому методу можно вычислить вероятность возникновения заданного количества событий дефолта к (используя биномиальное распределение)

Py (k) =

( n >

V k У

(pk )k (1 - pk )n-k.

(

Pk e

* У I * 1 P * r I * 1 P

p - fjp ——, p + f\P —-

Л

где / = ф 11 1 - а I - функция, обратная функции

широких категорий заемщиков (розничных и корпоративных заемщиков) это верно).

Определим, что:

И0: р. = PDi, V. - нулевая гипотеза; Н1: pi ф PDi, V,. - альтернатива.

Введем статистику CL = ^

(N,PDt - J, )2

Помимо этого можно использовать биномиальное распределение следующим образом. Пусть имеется к событий дефолта среди п заемщиков данного класса (обозначим р*= k/n). Зафиксируем уровень доверия а и построим доверительный интервал для величины вероятности дефолта рк. Он имеет следующий вид:

2

стандартного нормального распределения.

Таким образом, биномиальный тест позволяет дать определенную оценку ряду параметров выборки или, иными словами, откалибровать ряд параметров рейтинговой модели. Дополнительно необходимо отметить, что биномиальный тест применим к отдельному рейтинговому классу в конкретный момент времени.

Тест Хосмера -Лемешоу. Рассмотрим рейтинговую систему из N заемщиков, классифицированных по Ь разным кредитным рейтингам. Обозначим через N . число заемщиков, имеющих кредитный рейтинг , е {1,...,Ь}. Таким образом, N = ^Ni.

Кроме того, пусть й . - количество дефолтных заемщиков в каждом кредитном классе , е {1,...,Ь}. Тогда для каждого кредитного класса частота событий дефолта определяется как р1 = . Наконец, предположим, что каждому кредитному рейтингу (классу) поставлена в соответствие вероятность дефолта PDi.

Далее предположим, что:

- вероятность дефолта согласно модели PDi и эмпирическая частота дефолта р { имеют одинаковое распределение;

- все события дефолта как внутри определенного кредитного класса, так и в совокупности независимы (выше было указано, что для самых

=1 NlPDl (1 - PDl) При условии упомянутых предположений, при Ni ^ да одновременно по всем кредитным классам ,е{1,..., Ь}, согласно следствиям из центральной предельной теоремы распределение случайной величины СЬ приближается распределением хи-квадрат с (Ь - 2) степенями свободы.

Таким образом, выполнив статистический тест хи-квадрат, можно оценить степень близости эмпирических вероятностей дефолта с таковыми согласно модели. Тест состоит в определении квантилей с известным числом степеней свободы и уровнем доверия. Чем ближе р-значение теста к 0, тем хуже совпадение вероятностей дефолта, т.е. отвергаем нулевую гипотезу.

Критерий Шпигельхальтера. Обычно вероятность дефолта рассчитывается для каждого заемщика в отдельности. Однако рассмотренный тест Хосмера

- Лемешоу использует некоторое усреднение вероятностей дефолта по каждому рейтинговому классу. Неточности, возникающие в связи с таким расчетом, позволяют устранить следующий тест.

Рассмотрим N заемщиков. Пусть для каждого из них будет:

- . - балл согласно скоринговой модели;

- 0, - вероятность дефолта согласно модели , е {1,...,Ь}.

Тест Шпигельхальтера основан на вычислении величины среднеквадратичной ошибки. То есть:

1 N

MSE=—Y (-е, )2,

N tf ' '

где у - индикаторная случайная величина, такая что [1, если заемщик дефолтный; ' [0, в случае недефолтного заемщика.

Таким образом, чем больше величинаМБЕ, тем хуже качество рейтинговой системы (в силу расхождений между индикаторной случайно величиной и рейтингу согласно модели).

Суть теста Шпигельхальтера состоит в сопоставлении фактического и ожидаемого значений величины

n

n

М5Е. Положим, что все события дефолта в рамках каждого рейтингового класса, а также в совокупности, независимы. Обозначим через 9,., 1 е {1,...,N} наблюдаемую вероятность дефолта.

Рассмотри гипотезы: Н0:9,. = 9i, - нулевая гипотеза; Н1 :9. = 9i для некоторого / - альтернатива. Можно показать, что 1 N

Е (МЖ) = - (1 -9.),

N 1=1

1 N

Var (MSE) = — X (1 - 29, )29, (1 -9,).

N

Далее, в условиях нулевой гипотезы и независимости событий дефолта, рассмотрим статистику:

Z =

MSE - E (MSE) yJVar (MSE)

yN X[(1 -9, )2-9, (1 -9,)]

i=1_

\yN 2 X (1 - 29, )2 9, (1 -9,)

заемщиков. Методы оценки стабильности модели по своему принципу схожи с методами оценки дискриминационной способности.

Индекс стабильности модели (System Stability Index, SSI). Этот метод тесно связан с показателем информационной значимости.

Рассмотрим две выборки данных, распределенных дискретно. Пусть первая - исходные данные (например, рейтинги заемщиков согласно модели), а вторая - данные, полученные в результате изменения одного из параметров модели.

Обозначим через A . и B. доли соответствующих выборок, попавших в тот или иной сегмент i (например, доли заемщиков, получивших тот или иной рейтинг, от общего числа заемщиков согласно модели и в результате теста). Индекс стабильности модели определяется по формуле

SSI = X (B, - A)in

(B? v A J

Согласно центральной предельной теореме статистика приближается стандартным нормальным распределением. Необходимо сравнить лишь значение статистики с квантилями стандартного нормального распределения (согласно гауссовскому тесту, или 2-тесту) на уровнях и - ^ )• Если значение статистики оказывается между ними, то нулевая гипотеза принимается на заданном уровне значимости.

Анализ преимуществ и недостатков рассмотренных математических методов калибрации рейтинговой модели показывает, что в целом методы сопоставимы (табл. 4).

Стабильность

Стабильность как один из этапов валидации обычно рассматривается в качестве дополнительного шага, позволяющего более точно оценить качество рейтинговой модели. Различают два типа стабильности - стабильность модели во времени и стабильность модели в разрезе групп

Далее, в зависимости от значения индекса, делается вывод об уровне стабильности модели в результате изменения того или иного параметра.

Например ряд банков Нидерландов и Великобритании использует следующие примерные границы для этого метода:

SSI < 0,10 - модель стабильна;

SSI е [0,10; 0,25] - умеренная стабильность, возможны флуктуации;

SSI > 0,25 - модель нестабильна.

Из недостатков этого метода проверки стабильности модели стоит отметить ограниченную применимость (только в случае дискретного распределения выборок). В то же время метод прост в использовании и достаточно нагляден.

Тест Колмогорова - Смирнова. Этот тест уже упоминался в связи с проверкой дискриминационной способности модели. Воспроизведем основные моменты.

Итак, пусть имеются две выборки. Одна получена в результате использования модели, вторая - в

Таблица 4

Сравнительный анализ методов калибрации рейтинговой системы

Метод Преимущества Недостатки

Биномиальный тест Точность, простота вычисления Применимость только к отдельно взятому классу

Тест Хосмера - Лемешоу Наглядность, оценка по всем рейтинговым классам Вычислительные трудности, неточности из-за усреднения по всем рейтинговым классам

Критерий Шпигельхальтера Точность Вычислительные трудности

=1

результате тестирования модели при изменении одного (или нескольких) параметров.

Рассматриваются следующие гипотезы:

Н0: - распределение выборок одинаковое;

Н1: - распределение выборок различное.

Как уже было упомянуто, этот тест не зависит от конкретного распределения выборок. Он принимает во внимание максимальное «расстояние» между кумулятивными распределениями выборок.

Построим две кумулятивные функции: 1 N

(^=N 5^ *},

1 M

fy (x) =—y i

Y M tf

{Y < *}'

где X. - элемент первой выборки из N наблюдений;

Y - элемент второй выборки из M наблюдений; I - индикаторная функция.

Максимальное «расстояние» равно

Dmn = max Fx (x) - FY (x) .

Затем рассчитаем статистику по формуле

T =

NM N + М

При предельном переходе N, М ^ да статистика Т имеет распределение Колмогорова - Смирнова. Этот метод применим в случае размера выборки более, чем в 40 наблюдений.

Отметим допущения, на которых основан метод:

- X. и У. имеют независимые случайные распределения с кумулятивными функциями распределения ¥х и ¥у;

- ¥х и ¥у - непрерывные функции распределения;

-- наблюдения имеют порядковую шкалу.

Критерий хи-квадрат. Этот критерий также ориентирован на дискретное распределение выборок. Тест позволяет сравнить наблюдаемую

частоту дефолта заемщиков с ожидаемой при изменении того или иного параметра.

Итак, статистика распределена по закону хи-квадрат, имеет вид

Хм-1 ~

М (Наблюдаемая частоту - Ожидаемая частота1 )2 ,=1 Ожидаемая частота1

где М - число наблюдений.

Отметим дополнительно, что тест хи-квадрат не принимает во внимание значимость того или иного класса рейтинга в общей совокупности заемщиков и таким образом является более строгим критерием.

Рассмотренные математические методы оценки стабильности рейтинговой модели также позволяют сделать вывод о своей сопоставимости (табл. 5).

Применение

Рассмотрены, проанализированы и адаптированы к применению различные математические методы и подходы, представляющие собой эффективные способы оценки адекватности построенной рейтинговой модели. Некоторые из указанных методов (например, коэффициент Джини и тест Колмогорова - Смирнова) имеют довольно широкое практическое применение, другие (критерий Шпигельхальтера, критерий хи-квадрат) распространены в гораздо меньшей степени. Основным критерием использования того или иного метода является простота вычисления. Вместе с тем целесообразно в каждом конкретном случае при проверке рейтинговой модели пользоваться несколькими методами одновременно, сопоставляя полученные результаты. Дело в том, что, с математической точки зрения, рассмотренные методы фокусируются на различных аспектах рейтинговой системы, игнорируя другие свойства.

Пример. Коэффициент Джини позволяет оценить степень того, насколько хорошо рейтинговая система в целом близка к идеальной, т.е. той, что безошибочно отделяет дефолтных заемщиков

Таблица 5

Сравнительный анализ методов калибрации рейтинговой системы

Метод Преимущества Недостатки

Индекс стабильности модели Точность, простота вычисления, Применимость только к дискретным

наглядность выборкам

Тест Колмогорова - Смирнова Наглядность, точность Вычислительные трудности

Критерий хи-квадрат Точность Вычислительные трудности

Таблица 6

Ориентировочные пороговые значения методов валидации рейтинговых систем

Стандарты оценки Тест Оценка адекватности результатов

модели Хорошо Удовлетворительно Неудовлетворительно

Дискриминационная способность Значение индекса Джини на валидационной выборке, ROC-кривая, % > 55 (45; 55) < 45

Тест Колмоговора - Смирнова, значение показателя вероятности ошибки, p-value < 0,01 (0,01; 0,1) > 0,1

Информационная значимость iv > 0,3 (0,1; 0,3) < 0,1

Калибрация Биномиальный тест, p-value < 0,01 (0,01; 0,1) > 0,1

Биноминальный тест в разрезе разрядов рейтинговой шкалы, p-value < 0,01 (0,01; 0,1) > 0,1

Хи-квадрат, p-value < 0,01 (0,01; 0,1) > 0,1

Стабильность SSI < 0,1 (0,1; 0,25) > 0,25

модели Хи-квадрат, p-value < 0,01 (0,01; 0,1) > 0,1

Тест Колмогорова - Смирнова, p-value < 0,01 (0,01; 0,1) > 0,1

от недефолтных. При этом не принимается во внимание форма кривой. Однако рейтинговая модель может вести себя по-разному для разных классов заемщиков, что может показать тест Колмогорова - Смирнова, принимающий во внимание вид функции распределения (и ее отличие от эмпирической). Вот почему, например, оценивая дискриминационную способность модели, разумно использовать оба метода для более точных результатов оценки.

Еще одним открытым вопросом остается уровень значений показателей в каждом указанном методе, которые можно считать приемлемыми. В соответствии с имеющейся международной практикой установим границы применимости рейтинговых моделей на оценках «хорошо» (модель в высшей мере адекватна), «удовлетворительно» (модель приемлема) и «неудовлетворительно» (модель не оценивает риск адекватно). Ориентировочные значения показателей тестов, соответствующие той или иной границе применимости, представлены в табл. 6. Значения получены на основе анализа международного опыта (главным образом, исследований регулятивных органов Великобритании, Австрии, Нидерландов, Испании, Южной Африки, Канады), а также имеющихся немногочисленных результатов работы над 1К£-подходом в России.

Указанные значения могут служить ориентиром при проведении оценки моделей и могут быть уточнены для реальных условий России.

Выводы

Аппарат математического и статистического анализа позволяет с высокой эффективностью решать задачи валидации рейтинговых систем в рамках «продвинутого» 1К£-подхода к оценке кредитного риска. Стандартизированные методы могут быть адаптированы под конкретные задачи валидации, а именно, проверки дискриминационной силы модели, калибрации и оценки стабильности. Как было показано, существенное разнообразие этих методов предоставляет кредитным организациям определенный выбор, в зависимости от особенностей и специфики их деятельности. Вместе с тем ряд методов может быть усовершенствован уже в ходе практической работы с ними. Отдельно стоит вопрос о том, какой уровень результатов тестов может быть принят за приемлемый. Отчасти в отношении отдельных методов можно руководствоваться здравым смыслом, исходя сугубо из математических предпосылок этих методов, в отношении же других важен практический опыт, в чем могут помочь результаты использования методов за рубежом. Поскольку опыт использования Ш£-подхода в России незначителен, результаты проведенного исследования могут быть использованы непосредственно в практической деятельности кредитных организаций, для дальнейшей теоретической работы в этой области, а также для пруденциального закрепления минимальных стандартов соответствующими регулятивными органами.

Список литературы

1. Greene W. Econometric Analysis. Prentice Hall International, 2003. 802 p.

2. Wooldridge J. Econometric Analysis of Cross Section and Panel Data. Cambridge: MIT Press, 2002. 735 p.

3. Maarse B. Backtesting Framework for PD, EAD and LGD. Rabobank, 2012. 85 p.

4. Higgins J.J. Introduction to Modern Nonparametric Statistics. Kansas State University, 2004. Р. 29-34.

5. Siddiqi N. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. Hoboken, NJ: John Wiley & Sons, Inc., 2006. 208 p.

6. International Convergence of Capital Measurement and Capital Standards A Revised Framework. Bank for International Settlements, 2006. 347 p.

7. Supervisory Statement. Credit risk: internal ratings based approaches. Bank of England, Prudential Regulation Authority, 2013. 23 p.

8. Wu X. Credit Scoring Model Validation. University of Amsterdam, 2008. 58 p.

9. Christodoulakis G., Satchell S. The Analytics of Risk Model Validation. Elsevier, 2008. 217 p.

10. Discussion Paper "Future of the IRB Approach". European Banking Authority, 04.03.2015, 60 p.

11. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2008. 758 p.

12. NickellP., Perraudin W., Varotto S. Stability of Ratings Transitions, Bank of England Working Paper-2001, 2001. 72 p.

13. Castermans G., Martens D., van Gestel T., Hamers B., Baesens B. An overview and Framework for PD Backtesting and Benchmarking // Journal of the Operational Research Society. 2010. Vol. 61. Iss. 3. Р. 359-373.

14. Working Paper "Studies on the Validation of Internal Rating Systems". Bank for International Settlements, 2005. № 14. 120 p.

15. Blochwitz S., Hamerle A., Hohl S., Rauhmeir R., Rösch D. Myth and Reality of Discriminatory Power for Rating Systems. Wilmott Magazine, 2005. Р. 2-6.

16. Engelmann B., Hayden E., Tasche D. Testing rating accuracy // Risk. 2003. № 16. Р. 82-86.

17. Hull J.C. Risk Management and Financial Institutions. Prentice Hall International, 2007. 502 p.

18. Li D., Bhariok R., Keenan S., Santilli S. Validation techniques and performance metrics for loss given default models // The Journal of Risk Model Validation. 2009. № 3. Р. 3-26.

19. Mui P, Özdemir B. Practical and Theoretical Challenges in Validating Basel Parameters: Key Learnings from the Experience of a Canadian Bank // Journal of Credit Risk. 2005. № 1(4). Р. 89-136.

20. Guidelines on Credit Risk Management, Rating Models and Validation. Vienna: Oesterreichische Nationalbank, 2004. 71 p.

21. Tasche D. Validation of internal rating systems and PD estimates. In: The Analytics of Risk Model Valuation. Elsevier, 2008. P. 171 - 198.

ISSN 2311-8768 (Online) ISSN 2073-4484 (Print)

Risk, Analysis and Evaluation

ON METHODS OF VALIDATION OF RATING SYSTEMS

UNDER THE INTERNAL RATINGS-BASED APPROACH TO CREDIT RISK ASSESSMENT OF BANKS Aleksandr A. STEZHKIN

Moscow Institute of Physics and Technology (State University), Dolgoprudny, Moscow Oblast, Russian Federation [email protected]

Article history: Abstract

Received 3 June 2015 Importance To assess credit risks more accurately as part of Basel II recommendations of the

Accepted 16 June 2015 Basel Committee on Banking Supervision, there is the Internal Ratings-Based (IRB) approach.

Considering its specifics, it's worth mentioning an importance of evaluating the adequacy of elaborated models, or validation as it is denoted in the Russian practice, in addition to the process of setting up a model that requires complicated mathematical models and approaches. Objectives The research aims at the high level review of validating rating systems, investigating separate components of the validation process, analyzing and adapting mathematical approaches to validation, and performing a comparative analysis of alternative approaches and examining international experience.

Methods The apparatus of mathematical, probabilistic and statistical analysis is used in the Keywords: raHitoM^ MUtati^ research to verify whether the rating model of the credit institutions complies with each concept of stability, model, default validation (discriminative power, calibration, stability). I conduct an empirical analysis of existing

global practices, theoretical and practical researches and overviews.

Results Standardized methods of mathematical and statistical analysis were adapted for specific purposes of validation. I conducted a comparative analysis of alternatives and gave my own recommendations on their practical applications. The research systematized international experience in examining validation approaches in terms of approximate quantitative criteria of applicability.

Conclusions and Relevance I conclude that methods of mathematical and statistical analysis are respectively efficient for validation of rating systems. The relevant regulators are reasonable to prudently stipulate and set forth minimum standards of validating credit institutions' rating systems.

© Publishing house FINANCE and CREDIT, 2015

References

1. Greene W. Econometric Analysis. Prentice Hall International, 2003, 802 p.

2. Wooldridge J. Econometric Analysis of Cross Section and Panel Data. Cambridge, MIT Press, 2002, 735 p.

3. Maarse B. Backtesting Framework for PD, EAD and LGD. Rabobank, 2012, 85 p.

4. Higgins J.J. Introduction to Modern Nonparametric Statistics. Kansas State University, 2004, pp. 29-34.

5. Siddiqi N. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. Hoboken, NJ, John Wiley & Sons, Inc., 2006, 208 p.

6. International Convergence of Capital Measurement and Capital Standards. A Revised Framework. Bank for International Settlements, 2006, 347 p.

7. Supervisory Statement. Credit Risk: Internal Ratings Based Approaches. Bank of England, Prudential Regulation Authority, 2013, 23 p.

8. Wu X. Credit Scoring Model Validation. University of Amsterdam, 2008, 58 p.

9. Christodoulakis G., Satchell S. The Analytics of Risk Model Validation. Elsevier, 2008, 217 p.

10. Future of the IRB Approach. European Banking Authority, Discussion Paper, March 4, 2015, 60 p.

11. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2008, 758 p.

12. Nickell P., Perraudin W., Varotto S. Stability of Ratings Transitions. Bank of England, Working Paper, 2001, 72 p.

13. Castermans G., Martens D., van Gestel T., Hamers B., Baesens B. An Overview and Framework for PD Backtesting and Benchmarking. Journal of the Operational Research Society, 2010, vol. 61, iss. 3, pp.359-373.

14. Studies on the Validation of Internal Rating Systems. Bank for International Settlements. Working Paper, 2005, no. 14, 120 p.

15. Blochwitz S., Hamerle A., Hohl S., Rauhmeir R., Rösch D. Myth and Reality of Discriminatory Power for Rating Systems. WilmottMagazine, 2005, pp. 2-6.

16. Engelmann B., Hayden E., Tasche D. Testing Rating Accuracy. Risk, 2003, no. 16, pp. 82-86.

17. Hull J.C. Risk Management and Financial Institutions. Prentice Hall International, 2007, 502 p.

18. Li D., Bhariok R., Keenan S., Santilli S. Validation Techniques and Performance Metrics for Loss Given Default Models. The Journal of Risk Model Validation, 2009, no. 3, pp. 3-26.

19. Mui P., Özdemir B. Practical and Theoretical Challenges in Validating Basel Parameters: Key Learnings from the Experience of a Canadian Bank. Journal of Credit Risk, 2005, no. 1(4), pp. 89-136.

20. Guidelines on Credit Risk Management, Rating Models and Validation. Vienna, Oesterreichische Nationalbank, 2004, 71 p.

21. Tasche D. Validation of Internal Rating Systems and PD Estimates. In: The Analytics of Risk Model Valuation. Elsevier, 2008, pp. 171-198.