CC BY
95
ISSN 2311-8768 (Online) ISSN 2073-4484 (Print)
Мониторинг и прогнозирование банковских рисков
ОБНОВЛЕНИЕ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ КРЕДИТОСПОСОБНОСТИ КЛИЕНТОВ
Виктор Ростиславович КРАШЕНИННИКОВ^, Юлия Сергеевна ШУНИНАЬ, Владимир Николаевич КЛЯЧКИНс
а доктор технических наук, профессор, заведующий кафедрой прикладной математики и информатики, Ульяновский государственный технический университет, Ульяновск, Российская Федерация [email protected]
ь аспирант кафедры прикладной математики и информатики,
Ульяновский государственный технический университет, Ульяновск, Российская Федерация [email protected]
с доктор технических наук, профессор кафедры прикладной математики и информатики, Ульяновский государственный технический университет, Ульяновск, Российская Федерация [email protected]
• Ответственный автор
История статьи:
Принята 01.12.2015 Одобрена 01.02.2016
УДК 336.77 JEL: С02, С53, G21
Ключевые слова:
кредитоспособность, модели прогнозирования, обновление моделей, машинное обучение, псевдоградиентный метод
Аннотация
Предмет. Оценка кредитоспособности клиентов может быть проведена с использованием методов машинного обучения. Для учета новых клиентов, данные о которых со временем могут существенно меняться в зависимости от изменения социально-экономических условий, условий кредитования, а также характеристик самих клиентов, актуальной задачей является обновление моделей прогнозирования и их адаптация к новым данным для получения более точных прогнозов и формирования обоснованного решения о выдаче кредита. Цели. Создание способа обновления моделей прогнозирования кредитоспособности клиентов для адаптации к вновь поступающим данным о клиентах и обеспечения достаточной точности прогнозирования.
Методология. Для построения моделей прогнозирования использовались методы машинного обучения с агрегированием различных классификаторов на основе нейронной сети, логистической регрессии, дискриминантного анализа, наивного байесовского классификатора, метода опорных векторов и др. На примере логистической регрессии предложена процедура корректировки коэффициентов модели на основе адаптивного псевдоградиентного метода с учетом данных о новых клиентах.
Результаты. На основе предложенной процедуры создан способ обновления моделей прогнозирования, эффективность которого подтверждена данными о российских заемщиках. Выводы. Использование численного метода обновления моделей на основе псевдоградиентной процедуры обеспечивает адаптацию к вновь поступающим данным о клиентах и способствует отражению изменений реальной ситуации на рынке кредитных услуг в применяемой модели. При этом повышается результативность прогнозирования обновленной модели, что приводит к формированию более обоснованного решения о выдаче кредита.
© Издательский дом ФИНАНСЫ и КРЕДИТ, 2015
Постановка задачи
С точки зрения статистической теории принятия решений задачу прогнозирования
кредитоспособности клиентов можно
рассматривать как задачу классификации клиентов на классы кредитоспособности [1]. Пусть имеется множество заемщиков банка, которым выдали кредит. При этом г-й заемщик характеризуется р-мерным вектором признаков Хг=(хг 1,...,хгр) . Пусть известен также класс кредитоспособности Y , которому принадлежит заемщик:
Г =
[1 - класс кредитоспособных клиентов; [о - класс некредитоспособных клиентов.
(1)
За некредитоспособных, как правило, принимаются заемщики, имеющие хотя бы одну задолженность протяженностью 90 дн. Поэтому принадлежность заемщика к классу становится известной с некоторой задержкой по времени.
Примем данную выборку за обучающую, тогда на ее основе требуется построить классификатор (модель прогнозирования), с помощью которого можно было бы с наибольшей точностью отнести новых клиентов к одному из двух классов, имея в качестве входной информации только наборы признаков, описывающих новых клиентов.
Классификатор представляет собой некую функцию, которая по вектору признаков X г
определяет один из классов кредитоспособности
Y:
г
f : Xr + Yr.
(2)
Вектор признаков
^=(
хг 1 , ..., X ) , естественно, не содержит полной информации о клиенте, а его кредитоспособность зависит еще и от меняющейся ситуации. Клиенты даже с одним и тем же вектором параметров могут впоследствии оказаться и кредитоспособными, и некредитоспособными. Однако классификация новых клиентов должна быть сделана в момент их поступления. Поэтому при классификации нового клиента в качестве выходной информации будем использовать не класс кредитоспособности, а оценку Р (Xг) априорной вероятности Р(УГ) принадлежности этого клиента к классу кредитоспособности. Например, в случае двух классов при оценках Р (Xг) = 0,95 и Р (Xг) = 0,60 клиент может быть признан кредитоспособным, но с очевидной разницей. В случае же Р (Хг) = 0,15 клиента целесообразнее считать
некредитоспособным.
По прошествии некоторого времени класс кредитоспособности г-го клиента прояснится, то есть определится его апостериорная, истинная вероятность принадлежности к классу кредитоспособных:
У =
[1, если клиент оказался кредитоспособным [0, если клиент оказался некредитоспособным
(3)
о
=1К P (Y)-P (Xr ))2,
l r=l
(4)
где l - количество клиентов.
машинного обучения2 [2-9]: нейронную сеть НС, логистическую регрессию ЛР, за оценки параметров которой принимаются значения, полученные на основе итерационного метода наименьших квадратов, дискриминантный анализ ДА, наивный байесовский классификатор НБК, метод опорных векторов МОВ, деревья решений ДР и бэггинг деревьев решений БДР.
Для увеличения точности прогнозирования кредитоспособности клиентов предлагаются агрегированные классификаторы АК [10], интегрирующие результаты нескольких моделей по среднему значению, медиане и голосованию. Методом полного перебора осуществляется построение всевозможных наборов из перечисленных моделей и выбор наилучшего из них.
Модель кредитоспособности (то есть оценка вероятности кредитоспособности) представляет собой некоторую функцию P (X ,q) , зависящую от признаков X клиента и вектора параметров модели q.
Оптимизация модели заключается в подборе оптимального вектора q , обеспечивающего наивысшее качество модели, то есть минимальный средний квадрат ошибок:
о
1 i
'=1 £(P (Yr)-P (Xr, q))2=min.
l r=1
(5)
Качество работы модели будем определять дисперсией ошибок ег=Р (Уг)— Р (Хг) , то есть средним квадратом отклонений истинной вероятности принадлежности от ее прогнозируемого значения:
Проверка целесообразности обновления моделей
Рассмотрим имеющиеся данные по российским заемщикам за 2008-2010 гг.1 Построим отдельно модели на данных 2008 г. и модели на данных за 2009 г., используя следующие базовые методы
1 Данные предоставлены международной компанией по анализу и обработке данных «АлгоМост» в 2015 г. и находятся в открытом доступе. URL:
http://algomost.com/ru/tasks/uploadfiles/58/train_utf_noid.sas7bd at
Однако оптимизировать модель мы можем только ретроспективно, то есть по уже проверенным клиентам. Оценивать же кредитоспособность приходится у новых клиентов, и не факт, что полученная оптимальная модель для старых клиентов будет хороша и для новых. Модель может устареть в связи с меняющейся обстановкой в обществе. Проиллюстрируем это обстоятельство на следующем примере.
Построим оптимальные модели из приведенного выше набора отдельно на клиентах 2008 и 2009 гг. Применим же эти оптимизированные модели к клиентам 2010 г. (так банк мог бы работать в реальности). Результаты приведены в табл. 1.
Анализ данных табл. 1 свидетельствует, что все модели со временем устаревают: модели 2008 г. при применении их к клиентам 2010 г. хуже, чем модели 2009 г. Можно предположить, что и модели 2009 г. будут старыми для клиентов 2010 г. Таким
2Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статистические методы. М.: Финансы и статистика, 2003. 352 с.
Финансовая аналитика: проблемы и решения
образом, желательно создать способ обновления моделей прогнозирования для адаптации к изменяющимся условиям, о которых можно судить по вновь поступающим данным о клиентах.
Обзор
В настоящее время для обновления моделей широко распространено применение адаптивных методов прогнозирования [11]. Эти методы основаны на корректировке (адаптации) параметров моделей во времени по мере поступления новых данных, что позволяет учитывать происходящие изменения условий, подстраиваться под них, осуществлять более точный прогноз. Представителями этого класса моделей являются экспоненциальное сглаживание, модель скользящего среднего, авторегрессии и др.3 [12-13]. При этом основной информацией для прогноза адаптивных методов являются временные ряды, содержащие различные показатели в зависимости от области исследования. Оценка параметров адаптивных моделей основана на присваивании различных весов в зависимости от того, насколько сильным признается их влияние на текущий уровень, что позволяет учитывать изменения в тенденции, а также любые колебания, в которых прослеживается закономерность. Применительно к области кредитования эти модели могут найти свое применение при прогнозировании количественных показателей заемщика в лице организации, с тем чтобы наиболее точно оценить его кредитоспособность [14].
При прогнозировании вероятности
принадлежности того или иного клиента к классу кредитоспособности в качестве основной информации используются данные о старых клиентах, представленные в виде набора признаков и соответствующего класса кредитоспособности. Поэтому в качестве моделей прогнозирования, как правило, выступают методы классификации [15], и задача заключается в обновлении коэффициентов моделей
классификации при поступлении новых данных.
Среди методов корректировки параметров моделей можно выделить адаптивные псевдоградиентные методы, которые позволяют находить оптимальные оценки с достаточно быстрой сходимостью в условиях неполного описания исходных данных, а также требуют меньше
3 Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998. 1024 с.
вычислительных затрат по сравнению с другими методами [16, 17].
Псевдоградиентная процедура корректировки коэффициентов модели
Оптимизация модели заключается в нахождении вектора ее параметров Цп, минимизирующих дисперсию ошибок (4), или, что то же самое, сумму квадратов:
I
®(Ч) = Т( Р ( ¿(Яг,?))2- (6)
г=1
Для минимизации равенства (6) можно было бы применить градиентную процедуру:
где дп+1 - следующее за приближение
оптимального вектора ? ;
- градиент функции Я(дп) ; ип - коэффициенты, влияющие на величину шага.
Однако в нашем случае оценивания вероятности кредитоспособности желательно иметь
возможность обновления параметров модели по мере поступления информации о клиентах, что обеспечило бы более точное прогнозирование. Такой способностью обладают рекуррентные псевдоградиентные процедуры адаптации [18].
Для рассматриваемой задачи суть псевдоградиентной процедуры заключается в постоянной корректировке вектора параметров при поступлении информации о каждом новом клиенте. Это достигается использованием в формуле (7) псевдоградиента вместо градиента. Псевдоградиент функции д~п) есть случайный вектор, который в среднем составляет острый угол с точным градиентом Vя( д~п) . В качестве такого вектора можно взять градиент отдельного слагаемого
3( ?)=( Р (УУ Р(Хг,д-г))2 (8)
из формулы (6), что дает процедуру
Здесь каждый шаг выполняется при поступлении информации о г-м клиенте. Корректировка параметров модели достигается путем добавления к старому вектору параметров д~г поправки,
8 (2016) 2-9
получаемой в результате умножения числа и псевдоградиент У3(д~к) .
на
Изменения вектора параметров в формуле (9) происходят так, чтобы улучшился прогноз именно для г-го клиента, но это иногда может ухудшить прогноз для других клиентов, поэтому значение показателя (6) может и ухудшиться. То есть процедура (9) иногда выполняется в ложном направлении. Однако в среднем шаги этой процедуры направлены в сторону уменьшения общей суммы (6), то есть оптимизации модели. При этом очень важно, чтобы данная процедура была способна отслеживать меняющуюся ситуацию, так как текущий вектор а постоянно на нее реагирует через последовательность клиентов. Достоинством этой процедуры также является ее вычислительная простота.
Естественно, что оценивание вероятности кредитоспособности только что пришедшего клиента производится по модели с последним вектором параметров из процедуры адаптации (9).
Рассмотрим применение псевдоградиентной процедуры обновления коэффициентов модели к одному из базовых классификаторов - модели ЛР. Тогда Р (Хг,д~г) находится по следующей формуле:
Р (Хг,д-г)=f (г (д-г)), г(д~г)=дг0+хг 1 +...+
+ ах ,
^ гр гр '
где f (г (а)) - логистическая функция По определению
У3( дг) = -¡¡= (Р (Уг)-Р (Хг,Чг)Т,
преобразуем формулу (6):
(10)
где К = 2ии - новый параметр шага процедуры. Тогда корректировка коэффициентов ЛР выполняется по формуле
Способ обновления моделей прогнозирования
Пусть новые клиенты группами. Тогда, обновлять модель информации об этих некоторую раннюю псевдоградиентную параметров модели, модели ЛР.
поступают поочередно, а не видимо, целесообразно по мере поступления клиентах, считая начальной модель и используя процедуру обновления например коэффициентов
(11)
поэтому
Для исследования эффективности предложенного способа обновления модели прогнозирования проведем следующий эксперимент.
За начальный вектор параметров ЛР примем оптимальный вектор этой модели, полученный на данных за 2008 г. Для оценки кредитоспособности каждого вновь приходящего клиента в 20092010 гг. применим модель ЛР с последним вектором ее коэффициентов, имеющимся на момент прихода этого клиента. Процедура (12) работает параллельно, она производит очередные итерации корректировки параметров в моменты поступления информации об истинной платежеспособности Уг уже кредитованных клиентов, то есть по мере поступления значений Р(У), определяемых по формуле (3). Этим достигается максимально быстрое использование информации о кредитоспособности клиентов банка.
Полученное качество прогнозирования оценим дисперсией ошибки (5) отдельно для клиентов за 2009 и 2010 гг.
Дисперсия ошибок ЛР клиентов за 2009 г. равна 0,193, за 2010 г. - 0,178.
Полученные результаты эксперимента показывают, что применение процедуры обновления дает существенный положительный эффект, например дисперсия ошибки обновляемой ЛР в 2010 г. равна 0,178, тогда как у необновляемой модели она равна 0,272, то есть в полтора раза больше.
Таким образом, на всех имеющихся данных по заемщикам процедура обновления параметров модели существенно улучшает оценку кредитоспособности. Это объясняется тем, что
обновляемая модель всегда находится впереди остальных моделей (базовых классификаторов), так как она постоянно учитывает данные о вновь поступающих клиентах.
Выводы
В работе предложен способ обновления моделей прогнозирования кредитоспособности клиентов с
помощью псевдоградиентной процедуры, которая корректирует параметры моделей на основе новых данных о кредитоспособности клиентов. Тем самым обеспечивается адаптация к меняющимся условиям кредитования и социально-экономическим показателям, характеризующим заемщиков, что повышает точность прогнозирования.
Таблица 1
Дисперсии ошибок моделей 2008 и 2009 гг. на клиентах 2010 г.
Год Тип модели
НС ДА НБК МОВ ДР ЛР БДР АК
2008 0,328 0,496 0,461 0,492 0,394 0,489 0,36 0,251
2009 0,259 0,254 0,258 0,229 0,334 0,272 0,214 0,192
Список литературы
1. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989. 607 с.
2. Вагин В.Н., Головина Е.Ю., Загорянская А.А., Фомина М.В. Достоверный и правдоподобный вывод в интеллектуальных системах / под ред. В.Н. Вагина, Д.А. Поспелова. М.: Физматлит, 2004. 704 с.
3. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.
4. Васильев Н.П., Егоров А.А. Опыт расчета параметров логистической регрессии методом Ньютона-Рафсона для оценки зимостойкости растений // Математическая биология и биоинформатика. 2011. Т. 6. № 2. С. 190-199.
5. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия: 3-е изд. М.: Диалектика, 2007. 912 с.
6. Клячкин В.Н., Донцова Ю.С. Сравнительный анализ точности нелинейных моделей при прогнозировании состояния системы на основе марковской цепи // Известия Самарского научного центра Российской академии наук. 2013. Т. 15. № 4. С. 924-927.
7. Сорокин А.С. Построение скоринговых карт с использованием модели логистической регрессии // Интернет-журнал «Науковедение». 2014. № 2. URL: http://naukovedenie.ru/PDF/180EVN214.pdf.
8. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. М.: Мир, 1992. 184 с.
9. Якупов А.И. Применение деревьев решений для моделирования кредитоспособности клиентов коммерческого банка // Искусственный интеллект. 2008. № 4. С. 208-213.
10. Клячкин В.Н., Шунина Ю.С. Система оценки кредитоспособности заемщиков и прогнозирования возврата кредитов // Вестник компьютерных и информационных технологий. 2015. № 11. С. 45-51.
11. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. М.: Финансы и статистика, 2003. 416 с.
12. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974. 242 с.
13. Валеев С.Г. Регрессионное моделирование при обработке наблюдений. М.: Наука, 1991. 272 с.
14. Льюис К.Д. Методы прогнозирования экономических показателей. М.: Финансы и статистика. 1986. 133 с.
15. Мерков А.Б. Распознавание образов: введение в методы статистического обучения. М.: Едиториал УРСС, 2010. 254 с.
16. Montgomery D.C. A note on forecasting with adaptive filtering // Operational Research Quarterly. 1977. Vol. 28. № 11. P. 87-91.
17. Поляк Б.Т., Цыпкин Я.З. Псевдоградиентные алгоритмы адаптации и обучения // Автоматика и телемеханика. 1973. № 3. С. 45-68.
18. Васильев К.К., Крашенинников В.Р. Статистический анализ изображений. Ульяновск: УлГТУ, 2014.
214 с.
ISSN 2311-8768 (Online) ISSN 2073-4484 (Print)
Monitoring and Prediction of Banking Risks
UPDATING THE CUSTOMER SOLVENCY FORECASTING MODELS Viktor R. KRASHENINNIKOVa'\ Yuliya S. SHUNINAb, Vladimir N. KLYACHKINc
a Ulyanovsk State Technical University, Ulyanovsk, Russian Federation [email protected]
b Ulyanovsk State Technical University, Ulyanovsk, Russian Federation [email protected]
c Ulyanovsk State Technical University, Ulyanovsk, Russian Federation [email protected]
• Corresponding author
Article history:
Received 1 December 2015 Accepted 1 February 2016
JEL classification: C02, C53, G21
Keywords: solvency, forecasting models, update, models, machine learning, pseudogradient method
Abstract
Importance Customer solvency can be assessed with machine learning methods. To keep record of new customers, whose data may change over time significantly due to socio-economic conditions, lending terms and their own characteristics, it is very relevant to update forecasting models and their adaptation to new data, thus generating more accurate forecasts and more sound decisions on loans. Objectives The research pursues creating a method to update customer solvency forecasting models and adapt them in line with new data on customers, thus ensuring accurate and adequate forecasts. Methods We used machine learning methods, which aggregate various classifiers on the basis of the neural network, logistic regression, discriminate analysis, naïve Bayes classifier, support vector method, etc. Illustrating logistic regression, we propose a procedure for adjusting coefficients on the basis of the adaptive pseudogradient method in line with data on new customers. Results Relying upon the proposed procedure, we created a method to update forecasting models, with its efficiency proven with data on the Russian borrowers.
Conclusions and Relevance The use of a numerical technique for updating models, which is based on the pseudogradient procedure, allows for adaptation to data on new customers and helps keep on track of changes in the lending market, for purposes of the model in place. The updated model forms more accurate forecasts, thus allowing to take more sound lending decisions.
© Publishing house FINANCE and CREDIT, 2015
References
1. Aivazyan S.A., Bukhshtaber V.M., Enyukov I.S., Meshalkin L.D. Prikladnaya statistika. Klassifikatsiya i snizhenie razmernosti [Applied statistics. Classification and reduction of dimension]. Moscow, Finansy i statistika Publ., 1989, 607 p.
2. Vagin V.N., Golovina E.Yu., Zagoryanskaya A.A., Fomina M.V. Dostovernyi i pravdopodobnyi vyvod v intellektual'nykh sistemakh [Reliable and plausible inference in intellectual systems]. Moscow, Fizmatlit Publ., 2004, 704 p.
3. Vapnik V.N. Vosstanovlenie zavisimostei po empiricheskim dannym [Recovery of dependencies with empirical data]. Moscow, Nauka Publ., 1979, 448 p.
4. Vasil'ev N.P., Egorov A.A. Opyt rascheta parametrov logisticheskoi regressii metodom N'yutona-Rafsona dlya otsenki zimostoikosti rastenii [Experience in calculating logistic regression parameters with the Newton-Raphson method to evaluate cold resistance of plants]. Matematicheskaya biologiya i bioinformatika = Mathematical Biology and Bioinformatics, 2011, vol. 6, no. 2, pp. 190-199.
5. Draper N., Smith H. Prikladnoi regressionnyi analiz. Mnozhestvennaya regressiya [Applied Regression Analysis]. Moscow, Dialektika Publ., 2007, 912 p.
6. Klyachkin V.N., Dontsova Yu.S. Sravnitel'nyi analiz tochnosti nelineinykh modelei pri prognozirovanii sostoyaniya sistemy na osnove markovskoi tsepi [A comparative analysis of the accuracy of non-linear models in forecasting the system's condition on the basis of the Markov chain]. Izvestiya Samarskogo nauchnogo tsentra Rossiiskoi akademii nauk = Proceedings of Samara Scientific Centre of Russian Academy of Sciences, 2013, vol. 15, no. 4, pp. 924-927.
7. Sorokin A.S. [Building a scorecard using the logistic regression model]. Internet-zhurnal NAUKOVEDENIE, 2014, no. 2. (In Russ.) Available at: http://naukovedenie.ru/PDF/180EVN214.pdf.
8. Wasserman P. Neirokomp'yuternaya tekhnika. Teoriya ipraktika [Neural Computing: Theory and Practice]. Moscow, Mir Publ., 1992, 184 p.
9. Yakupov A.I. Primenenie derev'ev reshenii dlya modelirovaniya kreditosposobnosti klientov kommercheskogo banka [Applying decision trees for modeling the solvency of the commercial bank's customers]. Iskusstvennyi intellekt = Artificial Intelligence, 2008, no. 4, pp. 208-213.
10. Klyachkin V.N., Shunina Yu.S. Sistema otsenki kreditosposobnosti zaemshchikov i prognozirovaniya vozvrata kreditov [The system for customer solvency assessment and loan repayment forecast]. Vestnik komp'yuternykh i informatsionnykh tekhnologii = Herald of Computer and Information Technologies, 2015, no. 11, pp. 45-51.
11. Lukashin Yu.P. Adaptivnye metody kratkosrochnogo prognozirovaniya vremennykh ryadov [Adaptive methods for short-term forecast of time series]. Moscow, Finansy i statistika Publ., 2003, 416 p.
12. Box G., Jenkins G.M. Analiz vremennykh ryadov. Prognoz i upravlenie [Time Series Analysis. Forecasting and Control]. Moscow, Mir Publ., 1974, 242 p.
13. Valeev S.G. Regressionnoe modelirovanie pri obrabotke nablyudenii [Regression modeling as part of observation data processing]. Moscow, Nauka Publ., 1991, 272 p.
14. Lewis C.D. Metody prognozirovaniya ekonomicheskikh pokazatelei [Industrial and Business Forecasting Methods]. Moscow, Finansy i statistika Publ., 1986, 133 p.
15. Merkov A.B. Raspoznavanie obrazov: vvedenie v metody statisticheskogo obucheniya [Image recognition: an introduction to statistical learning methods]. Moscow, URSS Publ., 2010, 254 p.
16. Montgomery D.C. A Note on Forecasting with Adaptive Filtering. Operational Research Quarterly, 1977, vol. 28, no. 11, pp. 87-91.
17. Polyak B.T., Tsypkin Ya.Z. Psevdogradientnye algoritmy adaptatsii i obucheniya [Pseudogradient algorithms of adaptation and learning]. Avtomatika i telemekhanika = Automation and Remote Control, 1973, no.3, pp.45-68.
18. Vasil'ev K.K., Krasheninnikov V.R. Statisticheskii analiz izobrazhenii [Statistical analysis of images]. Ulyanovsk, Ulyanovsk State Technical University Publ., 2014, 214 p.
