CC BY
124
п
ISSN 2782-2923 .......................................................................................................................................................................................
криптомир и цифровые финансы /
CRYPTO-WORLD AND DiGiTAL FINANCE
Редактор рубрики С. А. Андрюшин / Rubric editor S. A. Andryushin
Научная статья DOI: http://dx.doi.org/10.21202/2782-2923.2022.1.40-50
УДК 004.8:336.7 JEL: G1, G2, L86
И. Л. КИРИЛЮК1
1 Институт экономики Российской академии наук, г. Москва, Россия
модельные риски в финансовой сфере в условиях использования искусственного интеллекта и машинного обучения
Кирилюк Игорь Леонидович, научный сотрудник, Институт экономики РАН
E-mail: igokir@rambler.ru
ORCID: http://orcid.org/0000-0002-8935-9241
Web of Science Researcher ID: http://www.researcherid.com/rid/T-6301-2017 eLIBRARY ID: SPIN-код: 5931-1402, AuthorID: 39374
Аннотация
Цель: в рамках технологий RegTech и SupTech оценка трансформации модельных рисков и способов их минимизации при возрастании роли применения методов искусственного интеллекта.
Методы: системный подход к анализу качества экономических моделей. Исторический, логический, статистический методы исследования.
Результаты: рассмотрен российский и зарубежный опыт учета модельных рисков в финансовой отрасли. Изучены теоретические и практические исследования по вопросам регулирования и управления модельными рисками в деятельности организаций финансового сектора. Определено место технологий машинного обучения и искусственного интеллекта при решении современных задач в работе и регулировании работы финансовых организаций. Рассмотрены основные модельные риски, а также направления изменения их специфики в результате развития технологий искусственного интеллекта, в первую очередь машинного обучения, и увеличения возможностей хранения и передачи большого количества данных. Рассмотрены основные методы обработки данных и построения моделей а также их преимущества с точки зрения снижения модельных рисков. Определено, что уменьшение модельных рисков с использованием технологий RegTech и SupTech возможно за счет развития технологий искусственного интеллекта, что потребует в том числе проработки соответствующего правового поля. Научная новизна: особенностью статьи является разностороннее рассмотрение проблемы модельных рисков в финансовой отрасли и влияния на них технологий искусственного интеллекта в математическом, юридическом, экономическом аспектах, описание ситуации в этой области как за рубежом, так и в России.
Практическая значимость: изложенная в статье информация может быть использована регулирующими органами и коммерческими банками в задачах, связанных с минимизацией конкретных модельных рисков в их деятельности.
© Кирилюк И. Л., 2022 © Kirilyuk I. L., 2022
из
ISSN 2782-2923 .......................................................................................................................................................................................
Ключевые слова: RegTech, SupTech, модельные риски, искусственный интеллект, машинное обучение, облачные технологии, большие данные, финансовый рынок, коммерческие банки
Финансирование: Работа выполнена при финансовой поддержке РФФИ, грант № 20-510-00009 Бел_а «Трансформация системы монетарного регулирования России и Беларуси в условиях цифровизации экономики».
Статья находится в открытом доступе в соответствии с Creative Commons Attribution Non-Commercial License (http:// creativecommons.org/licenses/by-nc/4.0/), предусматривающем некоммерческое использование, распространение и воспроизводство на любом носителе при условии упоминания оригинала статьи.
11111111 il 111 il 111 Iii 111 Iii 111 il 1111111111111111111111111111111111111 il 111 Iii 11 tili 11 Iii 111 il 11111111111111111111111111111111111111 il 11 Iii 111 Iii 111 il 1111111111111111111111111111111111111111111 il 11 tili 11 tili 11 il 11111111111111111111111
Как цитировать статью: Кирилюк И. Л. Модельные риски в финансовой сфере в условиях использования искусственного интеллекта и машинного обучения // Russian Journal of Economics and Law. 2022. Т. 16, № 1. С. 40-50. DOI: http://dx.doi.org/10.21202/2782-2923.2022.1.40-50
The scientific article
I. L. KIRILYUK1
1 Institute of Economics of the Russian Academy of Sciences, Moscow, Russia
MODEL RiSKS iN THE FiNANCiAL SPHERE UNDER THE CONDiTiONS OF THE USE OF ARTiFiCiAL iNTELLiGENCE AND MACHiNE LEARNiNG
Igor L. Kirilyuk, Researcher, Institute of Economics of the Russian Academy of Sciences
E-mail: igokir@rambler.ru
ORCID: http://orcid.org/0000-0002-8935-9241
Web of Science Researcher ID: http://www.researcherid.com/rid/T-6301-2017 eLIBRARY ID: SPIN-Kog: 5931-1402, AuthorID: 39374
Abstract
Objective: within the framework of RegTech and SupTech technologies, to assess the transformation of model risks and ways to minimize them under the increasing use of artificial intelligence methods.
Methods: a systematic approach to the analysis of the quality of economic models. Historical, logical, and statistical methods of research.
Results: the Russian and foreign experience of accounting for model risks in the financial industry is considered. Theoretical and practical works on the regulation and management of model risks in the activities of financial sector organizations are studied. The role of machine learning and artificial intelligence technologies in solving the modern problems in the functioning and regulation of financial organizations is determined. The key model risks are considered, as well as the directions of changing their specifics as a result of the artificial intelligence technologies development, primarily machine learning, and increasing the capabilities for storage and transmission of a large amount of data. The main methods of data processing and model construction are considered, as well as their advantages in terms of reducing model risks. It is determined that the reduction of model risks using RegTech and SupTech technologies is possible due to the development of artificial intelligence technologies, which will require, among other things, the elaboration of the appropriate legal field.
Scientific novelty: the unique feature of the article is a comprehensive consideration of the problem of model risks in the finance industry and of the impact of artificial intelligence technologies on them in mathematical, legal, economic aspects, as well as the description of the situation in this area both abroad and in Russia.
Practical significance: the information presented in the article can be used by regulatory authorities and commercial banks in the tasks related to minimizing specific model risks in their activities.
Keywords: RegTech, SupTech, Model risks, Artificial intelligence, Machine learning, Cloud technologies, Big Data, Financial market, Commercial banks
Financial Support: The work was carried out with the financial support of RFBR, grant No.20-510-00009 Bel_a "Transformation of the monetary regulation system of Russia and Belarus under the economy digitalization".
The article is in Open Access in compliance with Creative Commons Attribution Non-Commercial License (http://creativecommons.org/ licenses/by-nc/4.0/), stipulating non-commercial use, distribution and reproduction on any media, on condition of mentioning the article original.
п
ISSN 2782-2923 .......................................................................................................................................................................................
IMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIMIIIMIIIMIIMIIIMIIMIIIIIIIIIIIIIIIIMIIIIIIM
For citation: Kirilyuk, I. L. (2022). Model Risks in the FinanciaL Sphere under the Conditions of the Use of Artificial Intelligence and Machine Learning. Russian Journal of Economics and Law, 16 (1), 40-50 (in Russ.). DOI: http://dx.doi. org/10.21202/2782-2923.2022.1.40-50
II III! Mill III! Mill III! Mill III! Mill III! Mill III! Mill III! Mill III! Mill III! Mill Mill III! Mill III! Mill MM
Введение
Актуальность данного исследования обусловлена тем, что функционирование и развитие финансового сектора экономики постепенно становятся более зависимыми от результатов математического моделирования. Если в научных кругах модели часто умозрительны, носят демонстрационный характер и цена ошибок в них невелика, то при практических применениях в финансовой отрасли к используемым математическим моделям предъявляются гораздо более жесткие требования. Там ошибки и несовершенство моделей ведут к потере больших денег. Ряд исторических фактов реализованных модельных рисков на примерах фирм ЫмШвв^ ЬТСМ и других разобран, например, в [1]. Поэтому сейчас разработкой, верификацией и валидацией моделей в банках занимаются особые специалисты, в крупных банках - специальные подразделения. Адекватность моделей, применяемых коммерческими банками, определяет их доходы и конкурентоспособность. Для решения значительной части своих задач у банков есть возможность применять стандартные модели, но конкуренция, трансформация банков в экосистемы, их индивидуальные особенности, необходимость оперативно реагировать на изменения в экономике заставляют их создавать свои уникальные модели. При этом применяется все более совершенный и сложный математический аппарат. Многие процессы автоматизированы с помощью математического моделирования. Это делает востребованным осмысление роли модельных рисков, их трансформации в условиях повышающегося значения высоких технологий, в том числе технологий искусственного интеллекта.
Учитывать модельные риски важно и для регуляторов. От моделей, применяемых центральными банками, зависит финансовая стабильность стран мира. Поэтому они повышают требования к качеству моделей, применяемых контролируемыми ими коммерческими банками. Наличие соответствующего развитого законодательства в ряде стран дополнительно стимулирует финансовые организации разрабатывать
более совершенные модели, поскольку организации могут не только терять свои деньги непосредственно в результате применения некачественных моделей, но также быть оштрафованы регулятором или потерять лицензии, если они не выполняют требования по валидации используемых моделей. Очевидно, предпочтительно, когда надзорные органы предвидят риски и предотвращают проблемы, чем когда они исправляют последствия уже возникших проблем. Центробанкам нужны разнотипные «большие данные» от подконтрольных им банков, чтобы на них обучать свои модели.
Для удобства восприятия дальнейшего изложения приведем здесь несколько определений:
SupTech (Supervisory Technology) - технологии, используемые регуляторами для повышения эффективности контроля и надзора за деятельностью участников финансового рынка
RegTech (Regulatory Technology) - технологии, используемые финансовыми организациями для повышения эффективности выполнения требований регулятора 2.
Технологии искусственного интеллекта подходят для обработки больших данных, поскольку человеческих возможностей может не хватать, а вычислительные способности искусственного интеллекта больше способностей мозга человека. Искусственный интеллект - удобный способ выносить из больших данных ценную информацию, совершенствуя за счет нее прогнозные модели и уменьшая их риски. Финансовая отрасль, как и ее регулирование, порождает большие объемы данных. Сложные правила функционирования финансовой отрасли также делают искусственный интеллект более релевантным, чем использование традиционных подходов, основанных на применении жестко закодированных алгоритмов.
1 Основные направления развития технологий SupTech и RegTech на период 2021-2023 годов. Центральный банк Российской Федерации. 2021. 37 с.
2 Там же.
ISSN 2782-2923 ..........................................................
Целью работы является описание современного состояния проблемы модельных рисков в финансовом секторе, в его регулировании в условиях развития информационных технологий, в первую очередь технологий искусственного интеллекта, анализ способов минимизации модельных рисков, представляющих интерес для повышения устойчивости банковского сектора.
В соответствии с поставленной целью излагаемый далее материал условно разделен на четыре раздела. В первом приводится общая информация о модельных рисках, краткий обзор исследований по модельным рискам в финансовой сфере. Во втором рассматривается применение информационных технологий, технологий искусственного интеллекта в сфере технологий SupTech и RegTech. В третьем описывается проблема модельных рисков в условиях развития методов искусственного интеллекта, в первую очередь машинного обучения. В четвертом рассматриваются пути минимизации модельных рисков на основе перспективных направлений в области анализа данных. В конце статьи на основе перечисленных разделов приводятся выводы и рекомендации.
Обзор исследований по модельным рискам в финансовой сфере
Понятие модельных рисков вошло в употребление в финансовой сфере уже в прошлом веке [2]. Эта разновидность рисков обусловлена тем, что расчеты по математическим моделям могут недостаточно точно отражать описываемые процессы, содержать существенные ошибки [3-4] (хотя сами модели по природе своей разрабатываются для уменьшения рисков). Эти риски обычно относят к группе операционных рисков [5], связанных с выполнением организациями своих функций.
Для уменьшения проблемы разработан ряд нормативных документов, где описаны требования к используемым финансовыми организациями математическим моделям. Впервые детальные предписания по управлению модельными рисками представил официальный документ ФРС США3 от 2011 г. Там обозначена важность обеспечения проверки без-
3 Office of the Comptroller of the Currency. Supervisory guidance on model risk management. SR Letter 11-7. Attachment. April 2011. 21 p.
опасности использования моделей на всех этапах их жизненного цикла с привлечением независимых экспертов. Позже появился ряд других документов с рекомендациями и указаниями, например, в ЕС разработан документ для банков ECB TRIM4. Этой теме уделено внимание и в соглашениях Базельского комитета, где ключевой задачей является повышение качества управления риском в банках и определяются требования к их капиталу, обсуждается валидация финансовых моделей [6].
Управлению модельными рисками посвящены отдельные брошюры четырех крупнейших компаний, предоставляющих аудиторские и консалтинговые услуги [7-10]. Изданы книги, посвященные введению в проблематику модельных рисков в сфере финансов, в которых описывается математический аппарат, необходимый для исследования проблемы, примеры из практики [11-13], также изданы сборники статей [14-15].
В России пока нет документов по рассматриваемой проблеме с подробным уровнем детализации. Термин «модельный риск» закреплен в п. 4.2 Приложения 1 новой редакции Указания Банка России от 15.04.2015 № 3624-У. Также он используется в Положении Банка России от 8 апреля 2020 г. № 716-П5. Банк России ставит отдельной задачей оценку рисков для финансовой стабильности при использовании цифровых технологий на финансовом рынке 6. Также под эгидой Комитета по стандартам Базель II и управлению рисками при Ассоциации российских банков разработан документ [16], где детально расписаны особенности валидации моделей. Представляет интерес подготовка и публикация подобных русскоязычных документов, посвященных Базелю III.
Релевантных российских книг и статей в русскоязычных журналах с использованием термина «модельные риски» очень мало, есть, например,
4 Guide for the targeted review of internal models (TRIM). European Central Bank. 2017. 155 p.
5 Положение Банка России от 08.04.2020 № 716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе» // Вестник Банка России. № 51 (2187). 2 июля 2020. С. 13-62.
6 Основные направления развития финансового рынка Российской Федерации на 2022 год и период 2023 и 2024 годов. Проект для общественного обсуждения от 23.07.2021. Центральный банк Российской Федерации. Москва. 2021. 88 с.
ISSN 2782-2923 ..........................................................
посвященная им статья [4]; теме математических моделей, связанных с Базелем II, посвящена книга [17]. Возможно, это связано с небольшой популярностью словосочетания «модельные риски». Близкими по смыслу темами являются валидация моделей, оценка качества, адекватности, ошибки моделей. Есть удобные для первоначального ознакомления с темой главы, посвященные модельному риску, в отдельных книгах по риск-менеджменту, например, в переводной книге [1] и в книге российских авторов [18].
В недавно вышедшей статье [19] охарактеризовано правовое регулирование модельного риска в Белоруссии, которое там менее проработано, чем в России.
Тема модельных рисков становится предметом обсуждения на крупных мероприятиях. Она была в центре внимания участников круглого стола «Ва-лидация риск-моделей: процессы и лучшие практики российских банков», организованного в ноябре 2018 г. учебным центром Группы «Интерфакс» совместно с проектом RU Data и с PRMIA Russia. В программе XVII Russia Risk Conference 2021 - крупнейшей ежегодной конференции для риск-менеджеров - в перечне заявленных тем фигурируют коррекция моделей кредитного риска и трансформация банковских процессов на основе технологий искусственного интеллекта. Гильдией инвестиционных и финансовых аналитиков и риск-менеджеров (ГИФА) и НП «Русское общество управления рисками» разработан профессиональный стандарт «Специалист по управлению финансовыми рисками». В опубликованной в открытых источниках его версии 2.8 от 07.05.2016 среди перечня направлений указана трудовая функция «Специалист по управлению интегрированными рисками - Агрегированный и модельный риски», для которой перечислен детальный список необходимых знаний.
Искусственный интеллект и машинное обучение в регуляторной и надзорной практике
Понятия искусственного интеллекта и машинного обучения приобрели популярность существенно раньше, чем стала актуальной тема модельных рисков, а также надзорные и регуляторные технологии. Однако благодаря увеличению вычислительных мощностей и развитию методов, таких как глубокое обучение, практическая роль технологий искусственного интеллекта значительно возросла в течение 2010-х гг.
Поэтому продолжает увеличиваться и их влияние на специфику модельных рисков.
Машинное обучение - особо популярное направление в искусственном интеллекте. В отличие от методов искусственного интеллекта, использующих логику и дедукцию, связанных с концепцией экспертных систем, оно больше соотносится с математической статистикой, значит, в этом подходе выше роль случайности. Понятие машинного обучения введено А. Саму-элем в 1950-х гг. В рамках этого подхода задачи решаются не напрямую, а при помощи предшествующего обучения системы посредством решения некоторого количества сходных задач. Понятие машинного обучения не имеет четких границ, поскольку даже в классических численных методах задаются начальные или граничные условия, связывающие теорию с эмпирическими данными. Но типичные методы машинного обучения используют данные гораздо интенсивнее, чем классические численные методы. В рамках этого подхода набор данных, в которых нужно выявить закономерности, делят на обучающую и контрольную выборки. Происходит разметка данных, на которых обучается модель, чтобы затем находить свойства, аналогичные свойствам обучающих данных на новых выборках. Роль автоматического обучения в процессе развития численных методов возрастает. Алгоритмы не просто производят вычисления на основе заданной теории, а могут непрерывно обучаться уже в процессе использования на вновь поступающих данных. Дальнейшим этапом можно назвать развитие технологий AutoML, автоматизированного машинного обучения, где роль человека еще меньше.
Технологии машинного обучения применимы как к обработке чисел, так и к обработке текстовых документов, вытесняя частично человека и из этой области. Автоматическая обработка текстов полезна при мониторинге СМИ, данных социальных сетей, юридических документов и др.
В рамках регуляторных и надзорных технологий решается ряд практических задач, где востребованы методы искусственного интеллекта [20]. Regtech применяется для идентификации клиентов, для управления рисками, для стресс-тестирования7, для
7 Prudential regulatory authority (UK). Model risk management principles for stress testing. Supervisory statement SS3/18. April 2018. 9 p.
ISSN 2782-2923 ..........................................................
планирования капитала и т. д. Suptech используется, например, для упрощения взаимодействия регулятора с финансовыми организациями, для проверки их стабильности, для выявления мошенничества, для противодействия легализации (отмыванию) доходов, полученных преступным путем, финансированию терроризма и финансированию распространения оружия массового уничтожения (ПОД/ФТ/ФРОМУ) [21].
Ключевую роль в деятельности банков играют рейтинговые модели оценки достаточности капитала, с помощью которых организации или физические лица ранжируются по величине рисков для них негативных событий, таких как дефолты. Этим моделям уделяется особое внимание в нормативных документах.
Ранее тема применения искусственного интеллекта в финансовой отрасли обсуждалась в статье автора [22].
Модельные риски, искусственный интеллект и машинное обучение
Выделяют ряд причин, которые могут быть связаны с модельными рисками, например:
- Модель исходно некорректно описывает эмпирические данные. Например, в нее не включены какие-то важные переменные или, наоборот, случайно включены лишние; неправильно выбраны функциональные зависимости, статистические распределения и т. д.
- Модель, хорошо применимую для одних данных, применяют для других данных, для описания которых она менее корректна (например, модель хорошо описывает финансовую систему США, но плохо - российскую реальность). Важно иметь репрезентативную обучающую выборку, вносить данные без ошибок, правильно проводить разметку данных для обучения модели.
- Внешние изменения в моделируемой предметной области изменяют свойства данных и ухудшают свойство модели описывать новые данные.
Более детально классификация причин модельных рисков приведена, например, в [18].
Для разных типов моделей причины и особенности рисков могут существенно различаться, далее рассмотрим трансформацию рисков с развитием технологий искусственного интеллекта.
Модельные риски зависят от доступа к информации, к большим данным (big data). Например, для
обучения нейросетей требуются большие наборы данных. Это дает преимущество тем, у кого этого доступа больше, например, центральным банкам над коммерческими, банкам стран с большой численностью населения над банками стран, где населения мало, старым крупным банкам над новыми, что ставит различные экономические системы в неравные условия. Как правило, большие данные хранятся в облаках, а не на персональных компьютерах пользователей и могут быть доступны сторонним организациям через открытые API. Это делает их хранение более надежным, позволяет осуществлять доступ к ним из разных мест, но вызывает дополнительные риски несанкционированного доступа к данным, потери контроля над данными. Также большие данные очевидно труднее резервировать, что затрудняет их использование, например, в рамках технологий блокчейн.
Способность обучаться на данных позволяет моделям автоматически и более оперативно адаптироваться к различным изменениям, происходящим в описываемых ими финансово-экономических системах. Однако то, что роль человека при этом уменьшается и что в машинном обучении ошибки менее контролируемы, ставит новые проблемы. Предполагается, что технологиями AutoML могут пользоваться люди, лишь слабо владеющие специфическими знаниями и навыками в программировании и в методах обработки данных. Очевидно, это является причиной дополнительных рисков.
Ошибки в алгоритмах машинного обучения могут оказаться менее привычны, чем типичные ошибки человека [23]. Уже не столь очевидно, кто отвечает (в том числе юридически) за ошибки, допущенные такими программами. Ошибки, имеющие отношение к данным, к самой модели, к ее использованию экспертами, непросто различить между собой.
Одним из наиболее известных направлений в рамках технологий машинного обучения являются искусственные нейросети. Они имеют преимущества перед традиционными алгоритмами, когда нет возможности с достаточной точностью аналитически описать закономерности, что характерно для такой сложной системы, как общество, в ситуациях, когда данные зашумлены и изменчивы. При этом даже для эксперта не является очевидным, каким образом в процессе обработки данных нейросетями получаются правильные результаты. И неочевидно, при каких условиях можно
ISSN 2782-2923 ..........................................................
получить неправильные результаты. Более того, результаты могут оказаться неправильными случайно в силу статистического характера моделей.
Одной из проблем в моделях машинного обучения является переобучение. Оно накладывает ограничения на целесообразность усложнения модели свыше определенного уровня. То есть до конкретного уровня сложности (определяемой, например, числом используемых переменных) модель выполняет работу на закономерностях, но слишком сложная модель в условиях ограниченных данных обучается на шуме, в результате чего ее способность к прогнозированию снижается по сравнению с упрощенным оптимальным вариантом.
Особые проблемы создают статистические распределения данных с «тяжелыми хвостами». В отличие от нормальных распределений в них нельзя пренебречь рисками крупных негативных событий. Путаница таких распределений с нормальными уже приводила к реализации модельных рисков. Процессы с такими распределениями часто встречаются в финансовой отрасли и могут приводить к неожиданным эффектам [24]. Тяжелые хвосты нельзя путать с выбросами, если данные, отклоняющиеся от типичных, являются не артефактом, а свойством исследуемого процесса, их нельзя исключать при расчетах. Для достаточно точного определения численных характеристик таких распределений требуется существенно больший объем выборок, чем для аналогичных расчетов с использованием нормальных распределений.
Также нужно учитывать, что, поскольку, например, нейросети требуют больших объемов данных для обучения, алгоритм адаптируется к изменениям в них не сразу и является частично обусловленным устаревшими данными.
Банки с меньшим числом клиентов и с короткой историей существования могут иметь недостаточно накопленных собственных данных для обучения своих моделей, а при работе с чужими данными, даже если таковые доступны, могут остаться неучтенными различия в индивидуальных особенностях банков.
Также проблемой является «предвзятость искусственного интеллекта», когда он, обучившись на человеческом поведении, проявляет «поведение», которое по результатам может быть определено как расизм, сек-сизм и т. п., в частности, значительно чаще отказывает в обслуживании (например, в выдаче банком кредита)
клиентам определенной расы или определенного пола. При использовании моделей важно соблюдать баланс между личной выгодой их хозяев и интересами общества в целом, учитывать этические аспекты, понятные для людей, но не всегда заложенные в алгоритмах.
Минимизация модельных рисков при использовании искусственного интеллекта и машинного обучения
Как видно из истории, кризисные явления, связанные с тем, что существовавшие на какой-то момент времени теории и математические модели экономики не предугадывали какие-либо проблемы, стимулировали развитие качественно новых моделей. Так, кейнсианство возникло по итогам Великой депрессии, мировой кризис 2008 г. показал слабые места моделей того времени, например, моделей DSGE и простимулировал несколько нововведений в экономико-математическом моделировании.
Развитие математических и статистических методов обнаруживало недостатки старых моделей и тем самым позволяло снизить модельные риски. Например, развитие математических методов нелинейной динамики, синергетики позволило корректнее работать с нелинейными процессами, теория коинтеграции изменила подход к моделированию экономических систем с нестационарными временными рядами, появление непараметрических методов Монте-Карло, таких как бутстрапы, перестановочные тесты и другие, позволило корректнее описывать системы, в том числе с малыми выборками данных, где распределения величин отличны от нормального и временные ряды нестационарны [25].
Перечисленные нововведения хороши тем, что они в основном наглядно интерпретируемы. Использование нейросетей, даже если оно улучшает способность к прогнозированию, этой особенности лишено. Ведутся исследования интерпретируемых, объяснимых методов машинного обучения (таких как деревья решений), методов типа shap, позволяющего выявить значение каждого признака в прогнозе, делаются попытки увеличить понимание внутренних механизмов работы нейросетей. Нейросети популярны, но не являются панацеей, с помощью которой можно решить любые задачи лучше, чем другими методами.
Точность расчетов алгоритмом машинного обучения сложнее оценить, чем для программы, где
ISSN 2782-2923 ..........................................................
алгоритм фиксирован. Возникает вопрос, когда можно считать, что модель качественно, адекватно описывает данные, для анализа которых она предназначена [26]. Важнейшим свойством финансовых моделей является их способность давать прогнозы, но это не единственный фактор, поскольку модели имеют разную теоретическую обоснованность, разную сложность, позволяют разную скорость вычислений, могут с разной точностью рассчитывать разные показатели в разных диапазонах данных, иметь различную чувствительность к ошибкам в данных, к выбросам, к несбалансированности выборок, с разной точностью прогнозировать различные эффекты и т. п.
Для таких важных финансовых моделей, как рейтинговые, различают прогнозную (калибровка) и дискриминационную способности.
Для оценки дискриминационной способности, определяющей, насколько способность модели относить объекты к заданным классам лучше случайного угадывания, используются коэффициент Джини, критерий Колмогорова - Смирнова и др.
Для оценки калибровки, определяющей способность предсказать в целом уровень некоторого исследуемого эффекта (например, вероятность дефолта) используются биномиальный тест, тест хи-квадрат и т. д.
Модель может быть хорошо откалибрована, но плохо разделять конкретные объекты и, наоборот, хорошо их различать, но слабо давать общие прогнозы для их совокупности.
Стабильность модели, определяемая репрезентативностью данных, использованных при разработке и валидации модели, соответствием их свойств свойствам актуальных данных измеряется population stability index (PSI).
Отсутствие дисбалансов, т. е. избыточной концентрации объектов в каких-либо интервалах рейтинговой шкалы, определяется индексом Херфиндаля.
О критериях адекватности моделей можно подробнее прочесть, например, в [27, 16].
В рамках машинного обучения ошибки моделей раскладываются на три компоненты: смещение (bias), разброс (variance), неконтролируемая ошибка (irreducible error) [28]. Большое смещение имеют, как правило, недообученные модели, большой разброс -переобученные, и приходится искать компромиссный оптимум.
Для минимизации модельных рисков можно использовать, например, такие методы, как:
- бенчмаркинг - сопоставление модели с лучшими моделями других организаций;
- стресс-тестирование, когда функционирование модели проверяется на устойчивость при редких, но вероятных шоках;
- бэктестинг [29], при проведении которого модель тестируется на исторических данных;
- кроссвалидация (синоним - «скользящий контроль»), когда модель обучается на одних данных, а проверяется на других;
- MPP-подход [30], в рамках которого создается вспомогательная модель, которая следит за качеством работы основной модели, обучаясь на ее ошибках.
В сфере финансовой экономики по-прежнему развиваются как методы машинного обучения, так и более традиционные методы, такие как использование теоретически обоснованных ОЯСБ-моделей, экономе-трические методы. Произойдет ли в ближайшие годы вытеснение каким-либо классом моделей остальных, покажет время. Очевидной тенденцией является развитие комбинирования различных подходов, т. е., возможно, четко различимые классы моделей будут вытесняться гибридными моделями.
В машинном обучении используется метод ансам-блирования, когда некоторое число разных моделей комбинируется для создания единой оптимальной модели. Известными разновидностями получающихся ансамблей являются стекинг, бэггинг, бустинг [31].
Совершенствование математического аппарата и его применения может быть простимулировано увеличением потребности в нем в обществе. Для этого, например, проводятся конкурсы моделей, которые позволяют выявить модели с наименьшим риском. Известные соревнования по исследованию данных и машинному обучению - Kaggle Competitions.
Важно также учитывать мнения экспертов в тех нестандартных, например в кризисных, ситуациях, для которых пока не разработаны стандартные методы решения проблем.
Выводы
Исследования модельных рисков непосредственно связаны с развитием технологий RegTech и SupTech, в основе которых находятся современные финансовые и информационные технологии.
ISSN 2782-2923
Для уменьшения модельных рисков необходимо развивать технологии RegTech и SupTech на основе технологий искусственного интеллекта, обработки больших данных, облачных технологий (стараясь при этом минимизировать возможности появления связанных с ними новых рисков).
Важно доводить в России законодательную базу в области модельных рисков и рисков, связанных с использованием искусственного интеллекта, до уровня передовых стран и до более высокого уровня.
Важно изучать разные аспекты адекватности моделей, продвигать правильное использование критериев адекватности.
Надо учитывать, что может иметь место как переоценка, так и недооценка роли искусственного интеллекта по сравнению с ролью человека. Ошибки и ри-
ски человека и искусственного интеллекта разные, что позволяет считать, что они могут компенсировать друг друга (но есть риск, что в каких-то случаях могут и усиливать друг друга).
Для уменьшения модельных рисков, связанных с искусственным интеллектом, важно уделять внимание его прозрачности и непредвзятости, проводя научные исследования в этом направлении и по их результатам внося изменения в соответствующее законодательство.
Востребованность специалистов по модельным рискам в современной России весьма высока при дефиците материалов по теме учебного характера, учитывающих российскую специфику.
Также следует помнить, что экономика - та область, где есть возможность совершенствовать не только модели, но и сами моделируемые процессы.
III ММ MIM MIM ММ MIM ММ MIM ММ MIM ММ MIM ММ MIM MIM ММ MIM ММ MINIMUME
Список литературы
1. Основы риск-менеджмента / Р. М. Марк, Д. Галэй, М. Круи. Москва: Юрайт, 2015. 390 с.
2. Derman E. Model risk quantitative strategies research notes (April ed.). New York: Goldman Sachs & Co. 1996. 14 p.
3. Model risk of risk models / J. Danielsson, K. R. James, M. Valenzuela, I. Zer // Journal of financial stability. 23. 2016. Pp. 79-91.
4. Тимошенко Ф. С. Контролирование модельного риска: лучшие практики финансового моделирования в процессе бюджетирования // Государственный аудит. Право. Экономика. 2016. № 1. С. 37-42.
5. Бедрединов Р. Т. Управление операционными рисками банка. 1-е изд. Москва: Onebook.ru. 2014. 161 с.
6. Basel committee on banking supervision. International convergence of capital measurement and capital standards. A revised framework comprehensive version. June 2006. 347 p.
7. The Deloitte center for regulatory strategy. Model risk management. Building supervisory confidence. 2018. 24 p.
8. Model risk management of AI and machine learning systems / M. Dodgson, F. Ciais, K. D. Georgiev. PwC, 2020. 28 p.
9. Supervisory expectations and sound model risk management practices for artificial intelligence and machine learning / G. Agarwala, A. Latorre, S. Raffel et al. EY, 2020. 20 p.
10. Ni A. Model risk management. A sound practice for meeting current chalenges. KPMG. 2016. 9 p.
11. Morini. M. Understanding and Managing Model Risk: A Practical Guide for Quants, Traders and Validators. Wiley. 2011. 448 p.
12. Tunaru R. Model risk in financial markets: from financial engineering to risk management. World Scientific. 2015. 383 p.
13. Meyer Ch., Quell P. Risk Model Validation. Risk Books. 3rd edition. 2020.
14. Christodoulakis G., Satchell S. The Analytics of Risk Model Validation. Academic Press. 2007. 216 p.
15. Sheule H., Rösch D. Model Risk: Identification, Measurement and Management. Risk Books. 2010. 500 p.
16. Валидация / В. Битюцкий, О. Патратий, В. Перевицкая и др. Москва: Комитет по стандартам Базель II и управлению рисками, 2013.
17. Анализ математических моделей Базель II / Ф. Т. Алескеров, И. К. Андриевская, Г. И. Пеникас, В. М. Солодков. 2-е изд., испр. Москва: ФИЗМАТЛИТ, 2013. 296 с.
18. Энциклопедия финансового риск-менеджмента / под ред. А. А. Лобанова, А. В. Чугунова. Москва: Альпина Паблишер, 2003. 785 с.
19. Нестеренок Г. Управление модельным риском // Банкаусю весшк: информационно-аналитический и научно-практический журнал Национального банка Республики Беларусь. 2021. № 4 (693). С. 31-38.
20. Big data and machine learning in central banking / S. Doerr, L. Gambacorta, J. M. Serena // BIS Working Papers. March 2021. № 930. Bank for International Settlements. 26 p.
ISSN 2782-2923 .......................................................................................................................................................................................
21. Выявление финансирования терроризма и отмывания доходов с помощью интеллектуального анализа данных / А. Г. Гасанова, А. Н. Медведев, Е. И. Комоцкий // XII Международная конференция «Российские регионы в фокусе перемен». Екатеринбург, 16-18 ноября 2017 г.: сборник докладов. Екатеринбург: Издательство УМЦ УПИ, 2018. Ч. 1. С. 154-166.
22. Кирилюк И. Л. Методы интеллектуального анализа данных и регулирование цифровой трансформации финансового сектора в России и в мире // Вестник Института экономики Российской академии наук. 2020. № 4. С. 152-165.
23. Горбань А. Н. Ошибки интеллекта, основанного на данных // Сборник статей по материалам Международной конференции «Интеллектуальные системы в науке и технике» и Шестой всероссийской научно-практической конференции «Искусственный интеллект в решении актуальных социальных и экономических проблем XXI века» (г. Пермь, 12-18 октября 2020 г.). Пермь: Пермский государственный национальный исследовательский университет, 2020. 654 с.
24. Талеб Н. Н. Черный лебедь. Под знаком непредсказуемости. 2-е изд., доп. Москва: Азбука-Аттикус. 2012. 680 с.
25. Кирилюк И. Л., Сенько О. В. Выбор моделей оптимальной сложности методами Монте-Карло (на примере моделей производственных функций регионов Российской Федерации) // Информатика и ее применения. 2020. Т. 14, Вып. 2. С. 111-118.
26. Лапач С. Н., Радченко С. Г. Основные проблемы построения регрессионных моделей // Математичш машини i системи. 2012. № 4. С. 125-133.
27. Bag D. Model validation under Basel II // CRO. Finsight-Media. 2010. Pp. 10-15.
28. Reconciling modern machine-learning practice and the classical bias-variance trade-off / M. Belkin, D. Hsu, S. Ma, S. Mandal // Proc. Natl. Acad. Sci. 2019. № 32 (116). Pp. 15849-15854.
29. Дедова М. С. Сравнение методов бутстрапа временных рядов для целей бэктестирования моделей оценки банковских рисков // Экономический журнал ВШЭ. 2018. Т. 22. № 1. С. 84-109.
30. MPP-challenge: моделирование прогноза качества модели / С. Афанасьев, Д. Котерева, К. Стародуб // Сборник профессиональных материалов для 9-й межотраслевой конференции Scoring Day. 2021, весна. С. 10-21.
31. Замятин А. В. Интеллектуальный анализ данных: учеб. пособие. Томск: Издательский дом Томского государственного университета, 2020. 211 с.
Ill ММ Mill ММ Mill ММ Mill ММ Mill Mill ММ Mill ММ Mill ММ Mill ММ IM
References
1. Mark, R., Galai, D., Crouhy, M. (2015). Bases of risk management. Moscow, Yurajt (in Russ.).
2. Derman, E. (1996). Model risk quantitative strategies research notes (April ed.). New York, Goldman Sachs & Co.
3. Danielsson, J., James, K. R., Valenzuela, M., Zer, I. (2016). Model risk of risk models, Journal of Financial Stability, 23, 79-91.
4. Timoshenko, Ph. S. (2016). Controlling model risk: best practices in financial modeling in budgeting process, Gosudarstvennyj audit. Pravo. Ekonomika, 1, 37-42 (in Russ.).
5. Bedredinov, R. T. (2014). Bank operational risk management (1 ed.). Moscow, Onebook.ru (in Russ.).
6. Basel committee on banking supervision. (June 2006). International convergence of capital measurement and capital standards. A revised framework comprehensive version.
7. The Deloitte center for regulatory strategy. (2018). Model risk management. Building supervisory confidence.
8. Dodgson, M., Ciais, F., Georgiev, K. D. (2020). Model risk management of AI and machine learning systems. PwC.
9. Agarwala, G., Latorre, A., Raffel, S., Mehta, R., Zhao, J., Nurullayev, A., Clark, B., Tang, R. (2020). Supervisory expectations and sound model risk management practices for artificial intelligence and machine learning. EY.
10. Ni, A. (2016). Model risk management. A sound practice for meeting current chalenges, KPMG.
11. Morini, M. (2011). Understanding and Managing Model Risk: A Practical Guide for Quants, Traders and Validators. Wiley.
12. Tunaru, R. (2015). Model risk in financial markets: from financial engineering to risk management. World Scientific.
13. Meyer, Ch., Quell, P. (2020). Risk Model Validation (3rd ed.).
14. Christodoulakis, G., Satchell, S. (2007). The Analytics of Risk Model Validation. Academic Press.
15. Sheule, H., Rösch, D. (2010). Model Risk: Identification, Measurement and Management. Risk Books.
16. Bityuckij, V., Patratij, O., Perevickaya, V., Pisarenko, V., CHernyshev, O. (2013). Validation. Moscow, Komitet po standartam Basel II i upravleniyu riskami (in Russ.).
17. Aleskerov, F. T., Andrievskaya, I. K., Penikas, G. I., Solodkov, V. M. (2013). Analysis of mathematical models Bazel II (2nd ed.). Moscow, FIZMATLIT (in Russ.).
18. Lobanov, A. A., Chugunov, A. V. (eds.) (2003). Encyclopedia of financial risk management. Moscow, Alpina Pablisher (in Russ.).
19. Nesterenok, G. (2021). Managing the model risk, Bankauski vesnik: informacionno-analiticheskij i nauchno-prakticheskij zhurnal Nacional'nogo banka Respubliki Belarus, 4 (693), 31-38 (in Russ.).
и
ISSN 2782-2923
20. Doerr, S., Gambacorta, L., Serena, J. M. (2021, March). Big data and machine learning in central banking, BIS Working Papers, 930. Bank for International Settlements.
21. Gasanova, A. G., Medvedev, A. N., Komockij, E. (2018). Revealing terrorism and money laundering funding with intellectual data analysis, XII International conference "Russian regions in the focus of changes". Yekaterinburg, 16-18 November 2017: collection of works (pp. 154-166). Ekaterinburg, Izdatel'stvo UMC UPI, 2018, Ch. 1. (in Russ.).
22. Kirilyuk, I. L. (2020). Methods of intellectual data analysis and regulation of the digital transformation of the financial sector in Russia and the world, The Bulletin of the Institute of Economics of the Russian Academy of Sciences, 4, 152-165 (in Russ.).
23. Gorban, A. N. (2020). Errors of a data-based intellect. In Collection of works of the International conference "Intellectual systems in science and technology" and the 6th All-Russia scientific-practical conference "Artificial intelligence in solving the topical social and economic problems of the 21st century" (Perm, 12-18 October 2020). Permskij gosudarstvennyj nacional'nyj issledovatel'skij universitet, Perm.
24. Taleb, N. N. (2012). The Black Swan. The Impact of the Highly Improbable (2d ed.). Moscow, Azbuka-Attikus (in Russ.).
25. Kirilyuk, I. L., Senko, O. V. (2020). Choosing the optimally complex models by Monte-Carlo methods (by the example of the production functions models of the Russian regios), Informatika i ee primeneniya, 14 (2), 111-118 (in Russ.).
26. Lapach, S. N., Radchenko, S. G. (2012). Main problems of constructing regression models, Matematichni mashini i sistemi, 4, 125-133 (in Russ.).
27. Bag, D. Model validation under Basel II. (2010). CRO. Finsight-Media (pp. 10-15).
28. Belkin, M., Hsu, D., Ma, S., Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias-variance trade-off, Proc. Natl. Acad. Sci. 32 (116), 15849-15854.
29. Dedova, M. (2018). A comparison of time-series bootstrap methods in terms of backtesting risk measurement models of banks, The HSE Economic Journal, 22 (1), 84-109 (in Russ.).
30. Afanas'ev, S., Kotereva, D., Starodub, K. (2021). MPP-challenge: modeling the model quality prognosis. In Collection of professional works of the 9th intersectoral conference Scoring Day (pp. 10-21) (in Russ.).
31. Zamyatin, A. V. (2020). Intellectual data analysis, tutorial. Tomsk: Izdatel'skij dom Tomskogo gosudarstvennogo universiteta (in Russ.).
Конфликт интересов: автором не заявлен.
Conflict of Interest: No conflict of interest is declared by the author.
Дата поступления / Received 15.12.2021 Дата принятия в печать /Accepted 10.02.2022
