CC BY-NC-ND
0
10.17323/2587-814X.2024.2.7.21
Применение нейросетевых технологий для оценки компетентности персонала в задачах контроля операционного риска кредитной организации
Е.В. Чумакова
E-mail: catarinach@yandex.ru
Д.Г. Корнеев ©
E-mail: korneev.dg@rea.ru
М.С. Гаспариан G
E-mail: gasparian.ms@rea.ru
И.С. Махов О
E-mail: ilya.makhov.98@list.ru
Российский экономический университет им. Г.В. Плеханова, Москва, Россия Аннотация
Статья посвящена вопросам контроля операционных рисков кредитной организации, связанных с действиями персонала. Контроль операционных рисков является важным аспектом деятельности кредитной организации. Несмотря на то, что Банк России в регламентирующих документах подробно описал набор действий, которые должны проводить банки для контроля операционных рисков, на практике кредитные организации испытывают серьезные трудности в процессе работы с операционным риском, связанным с действиями персонала. Это может объясняться, прежде всего, сложностью идентификации и формализации указанного риска. Одним из основных источников операционных рисков, связанных с действиями персонала, является недостаточная квалификация сотрудников. Это может привести к снижению доступности и качества услуг, предоставляемых кредитными организациями, а также к возможным финансовым и репутационным потерям. Целью проводимых авторами исследований является совершенствование системы контроля операционных рисков кредитной организации с использованием технологий искусственного интеллекта, включающих разработку инструментария оценки в автоматизированном режиме уровня критичности влияния
компетентности персонала на возникновение событий операционного риска. Для достижения поставленной цели была разработана искусственная нейронная сеть (ИНС) с использованием высокоуровневой библиотеки Keras на языке Python. В работе определен набор основных показателей, оказывающих наиболее существенное влияние на возможность возникновения операционного риска, связанного с действиями персонала кредитной организации. В статье приводятся результаты проверки сформированных наборов обучающих и тестовых данных с помощью пакетов прикладных программ, реализующих математические методы, позволяющие дать оценку непротиворечивости сформированных наборов данных. В работе приведены графики, показывающие результаты обучения и тестирования построенной искусственной нейросети. Полученные результаты являются новыми и могут позволить кредитным организациям в значительной степени повысить эффективность своей работы благодаря цифровизации решения задач контроля уровня операционного риска, связанного с действиями персонала.
Ключевые слова: операционные риски, компетентность персонала, искусственная нейронная сеть, машинное обучение, нейронная сеть прямого распространения, высокоуровневая библиотека Кега8
Цитирование: Чумакова Е.В., Корнеев Д.Г., Гаспариан М.С., Махов И.С. Применение нейросетевых технологий для оценки компетентности персонала в задачах контроля операционного риска кредитной организации // Бизнес-информатика. 2024. Т. 18. № 2. С. 7-21. БОТ: 10.17323/2587-814Х.2024.2.7.21
Введение
Понятие «операционный риск» определяется Банком России как риск возникновения прямых и непрямых потерь в результате несовершенства или ошибочности внутренних процессов кредитной организации, действий персонала и иных лиц, сбоев и недостатков информационных, технологических и иных систем, а также в результате реализации внешних событий [1].
В работах [2, 3] авторами были предложены методы применения нейросетей для контроля операционных рисков кредитной организации, возникающих в процессе использования информационных технологий. В данной работе рассматриваются операционные риски, связанные с действиями персонала кредитной организации, такие как непреднамеренные ошибки, умышленные действия или бездействие.
В сфере управления персоналом давно вошло в практику использование для поиска сотрудников нужного профессионального уровня моделей (карт) компетенций, описывающих требуемые знания, навыки и поведенческие индикаторы, необхо-
димые для выполнения конкретных обязанностей. Подобные карты разрабатываются как под определенные должности или функции, так и для отделов или даже организаций в целом [4].
Однако, оказавшись в качестве исполнителя бизнес-процесса, сотрудник, полностью отвечающий всем требованиям, может, в силу различных обстоятельств, демонстрировать уровень компетентности ниже ожидаемого. Наличие подобного фактора будет оказывать негативное влияние на результат бизнес-процесса и приводить к возникновению событий операционных рисков, которые могут повлечь финансовые или репутационные потери [5].
Для своевременного выявления несоответствия демонстрируемого уровня компетентности сотрудником или коллективом сотрудников удобно иметь общий универсальный инструмент оценки действий персонала. Как правило, внутри организаций используют балльные системы [6], которые, к сожалению, не всегда показывают проблемные места из-за несовершенства шкал оценки. Также, часто оценка компетентности подменяется дисциплинарным контролем [7], что, конечно же, важно,
но все же не является комплексной оценкой, определяющей операционные риски, связанные с действиями персонала.
В последние годы набирает популярность применение нейронных сетей для оценки компетентности сотрудников, в частности на основании оценок, проставленных руководителями подразделений [8]. В этом подходе есть существенный недостаток — возможность получения необъективных оценок из-за влияния межличностных отношений. Другая группа подходов связана с применением тестовых систем и систем соответствия требуемым компетенциям [9, 10]. Однако, подобные системы обычно используются либо для предварительного отбора кандидатов, либо для оценивания необходимости повышения и актуализации знаний и умений сотрудников. Следует также отметить, что не существует единого подхода к разработке шкалы для оценки уровня компетентности сотрудника.
Каждый сотрудник является исполнителем бизнес-процесса и оказывает влияние на его функционирование. Это влияние можно оценить достаточно большим набором показателей, характеризующих, в частности, профессиональную компетентность сотрудников и их неспециализированные надпро-фессиональные навыки (soft skills).
Целью исследования, как было указано ранее, является определение на основе применения нейросетевых технологий уровня критичности влияния компетентности персонала на возникновение событий операционного риска кредитной организации.
Для достижения поставленной цели необходимо решить следующие задачи:
1) провести анализ показателей компетентности сотрудников с точки зрения их влияния на возможность возникновения событий операционного риска при выполнении бизнес-процессов;
2) определить ключевые индикаторы, характеризующие уровень компетентности сотрудника, которые будут являться входными параметрами ИНС;
3) определить архитектуру (топологию) ИНС;
4) сформировать обучающие и тестовые наборы данных для ИНС;
5) провести обучение различных архитектур ней-росетей и выполнить их сравнительный анализ.
В соответствии с поставленной целью и решаемыми задачами, структура работы включает введе-
ние, основную часть, заключение и список используемой литературы.
Во введении представлена цель исследования, дается обобщенная характеристика предметной области, а также приводится описание актуальности и значимости исследуемой проблемы.
Основная часть статьи посвящена исследованию возможности применения нейросетевых технологий для оценки компетентности персонала в задачах контроля операционного риска кредитной организации и состоит из нескольких разделов: раздел «Методы», включающий описание дизайна и этапов исследования; раздел «Результаты», включающий описание модели ИНС, анализ обучающей выборки и результаты проведения экспериментов по обучению ИНС определению компетентности сотрудника; раздел «Дискуссия», включающий оценку и интерпретацию полученных результатов, а также подводящий итог проведенного исследования.
Заключение содержит выводы и рекомендации по внедрению результатов исследования для создания интеллектуальных систем мониторинга операционных рисков, связанных с действиями персонала как в кредитных организациях, так и в организациях других отраслей экономики.
1. Методы 1.1. Дизайн исследования
В ходе исследования были проанализированы факторы, влияющие на возникновение операционных рисков, связанных с действиями персонала. Прежде всего, рассматривались факторы, которые обычно анализируются в работах по данной тематике: образование и профессиональные навыки, показатели карьерного роста, пунктуальность, инициативность, обязательность и ответственность, коммуникабельность в коллективе, опыт работы, стремление к достижению цели, возраст, трудовая нагрузка сотрудников [11]. Были дополнительно выделены следующие факторы, оказывающие различный уровень воздействия на бизнес-процессы с точки зрения возможности возникновения событий операционного риска, а именно:
♦ руководство и лидерство в проекте,
♦ вовлеченность и мотивация,
♦ самоконтроль и самоорганизация,
♦ уверенность и убедительность,
♦ снятие напряженности,
♦ стрессоустойчивость,
♦ творческий подход,
♦ ориентированность на результат,
♦ способность согласовывать интересы,
♦ вести переговоры,
♦ способность управлять конфликтами и кризисами,
♦ надежность,
♦ понимание ценностей организации и проекта,
♦ этика поведения,
♦ разрешение проблем,
♦ навыки коммуникации,
♦ клиентоориентированность,
♦ умение работать в команде,
♦ лидерство,
♦ умение организовывать работу,
♦ знание бизнеса,
♦ адаптивность к изменениям,
♦ умение помогать другим сотрудникам в профессиональном развитии,
♦ умение эффективно решать проблемы,
♦ аналитическое мышление,
♦ лояльность организации.
Ввиду большого количества показателей основная их часть была разбита в две группы по характеру воздействия: группа, объединяющая профессиональные критерии (компетентность), и группа надпрофессиональных навыков (soft skills).
Компетентность персонала, вовлеченного в бизнес-процесс, является агрегированным значением компетентности каждого сотрудника. В процессе исследования были определены наиболее значимые показатели профессиональных компетенций, оказывающие существенное влияние на возможность возникновения событий операционного риска. При этом принято допущение, что сотрудник не может занимать должность, не обладая определенным (базовым) набором и уровнем компетенций.
Для определения уровня влияния компетентности персонала на операционные риски бизнес-процесса использовался метод присвоения статуса критичности «красный (критичный) — желтый (средний) — зеленый (слабый)» ("red — amber — green" (RAG)) [12].
В ходе проведения исследования была сформирована база данных с показателями компетентности сотрудника и с итоговой оценкой его компетентности (зеленая, желтая и красная зоны). Прототипом данных для формирования обучающей выборки послужили данные о 4800 сотрудниках в обезличенном виде, которые были предоставлены двумя российскими банками. Была проведена предварительная обработка данных, а именно: определение наличия общих значимых показателей и их обезличивание, очистка данных от пропусков, прореживание избыточных данных для равномерного представления классов объектов, очистка от выбросов и т. п. В результате были получены 2688 записей с обезличенными данными о сотрудниках, которые были в дальнейшем использованы для обучения и тестирования ИНС.
Оценка оказываемого воздействия сотрудника на уровень критичности возникающих событий операционного риска выполнена тремя экспертами в области риск-менеджмента, работающими в Департаменте контроля рисков российских банков и предоставивших данные, вошедшие в выборку. Во время оценивания также проводились консультации с сотрудниками ИЯ-подразделения соответствующего банка. В ходе исследования рассматривалась возможность увеличения численного состава группы экспертов. Было учтено, что от экспертов, проводящих оценку входных данных, требуется придерживаться одинаковых взглядов на оцениваемые данные. В противном случае несколько различных мнений на однотипные события могут привести к появлению противоречивых данных в обучающей выборке. Выходом из подобной ситуации могло бы быть совместное решение по каждому из спорных объектов. Однако, процесс согласования мнений большого количества экспертов может быть достаточно трудоемким и занять значительное время. Следует, отметить, что выборка, сформированная на основе мнения трех привлекаемых экспертов, оказалась достаточной для достижения поставленной цели исследования.
Оценку решено производить на основании следующих категориальных показателей: общего опыта по направлению занимаемой должности, текущего опыта в организации, уровня образования, прохождения дополнительных курсов повышения квалификации, нарушений технологической дисциплины и их последствий, повышений по должности и поощрений, а также частоты смены компа-
нии — места работы. Также было решено учитывать один непрерывно изменяющийся параметр, а именно: средний балл документа, подтверждающего уровень образования.
Анализ полученной обучающей выборки выполнялся с точки зрения наличия зависимостей между выявленными признаками, а также наличия влияния независимых входных признаков-переменных на зависимый выходной. Для качественной характеристики тесноты связи между факторами в массиве данных использовался коэффициент ранговой корреляции Спирмена [13], который оценивался в соответствии со шкалой Чеддока [14]. Количественное определение коэффициента ранговой корреляции Спирмена выполнялось с использованием средств статистического анализа аналитической low-code платформы Loginom. Также было решено провести оценку набора входных параметров с точки зрения оказываемого влияния на определение принадлежности объектов к одному из классов. Для выявления избыточных независимых параметров для каждой входной характеристики строились либо столбчатые диаграммы, либо график плотности вероятности, позволяющий отобразить более гладкое распределение за счет сглаживания изменений параметров. Визуализация графиков выполнялась с использованием библиотек Plotly и Seaborn на языке Python [15].
В качестве моделей ИНС при исследовании эффективности обучения изучались возможности использования многослойного персептрона с двумя и тремя скрытыми слоями (DNN). При этом анализировались архитектуры сетей, рассмотренные, в частности, в работе [3], которые показали наилучшие результаты при решении аналогичных задач. Наличие однотипных по топологии ИНС даст возможность использования предлагаемой ИНС в качестве одного из унифицированных модулей в рамках интеллектуальной системы выявления операционных рисков, связанных с действиями персонала. Моделирование нейронных сетей и их обучение проводились с использованием высокоуровневой библиотеки Keras на языке Python.
1.2. Этапы исследования
На начальном этапе исследования анализировались традиционно используемые для оценки персонала показатели [16]. Изучалось их влияние на бизнес-процессы с точки зрения возможности воз-
никновения событий операционного риска, а также использование различных единиц измерения для оценки указанных показателей. Среди рассматриваемых показателей оценки профессиональных навыков были выделены: опыт работы на текущей позиции, общий трудовой опыт по направлению, уровень образования (превышающий требования/ требуемый), прохождение дополнительных курсов повышений квалификации, средний бал документа, подтверждающего образование, уровень трудовой и технологической дисциплины, совершение ошибок, которые приводили (или могли привести) к финансовым и/или репутационным потерям. Среди дополнительных факторов для оценки компетентности были выделены следующие: наличие долговых обязательств и добросовестность их погашения (процент ежемесячных выплат относительно зарплаты), наличные иждивенцев, возраст сотрудника, группа здоровья. Также рассматривалась группа критериев, для определения надпро-фессиональных навыков (soft skills), таких как коммуникативные навыки, лояльность к компании, управленческие навыки, стрессоустойчивость, эффективность мышления, креативность, ответственность [17].
В данной работе проведено исследование возможности использования ИНС для оценки уровня компетентности персонала, как фактора, влияющего на возникновение событий операционных рисков. Построение ИНС для оценки влияния над-профессиональных навыков (soft skills) было предложено вынести в отдельное исследование и описать в отдельной работе.
При определении перечня входных параметров ИНС для оценки уровня компетентности персонала было принято допущение о том, что организация нанимает на работу сотрудников, полностью отвечающих всем предъявляемым требованиям к навыкам и компетенциям соискателя. Кроме того, организация строго следит за уровнем компетентности своих сотрудников, организуя регулярные курсы повышения квалификации с отслеживанием уровня полученных знаний и навыков [18]. С этой точки зрения все сотрудники должны обладать достаточным уровнем знаний для выполнения своих должностных обязанностей, а уровень компетентности сотрудника при этом предлагается рассматривать как уровень влияния на возможность возникновения событий операционного риска бизнес-процесса: «красный (критичный, требуется воздействие) — желтый (средний) — зе-
леный (слабый)». Таким образом, было выделено 10 входных параметров (нейронов входного слоя), а именно:
♦ текущий стаж работы в организации и по направлению деятельности,
♦ превышение требуемого уровня образования,
♦ средний балл документа об образовании,
♦ наличие сертификатов повышения квалификации при условии их необязательности,
♦ частота нарушения технологической и трудовой дисциплины,
♦ наличие благодарностей/поощрений,
♦ наличие взысканий,
♦ повышение по должности за последние 5 лет,
♦ частота смены работы.
Все параметры, кроме среднего балла документа об образовании, было решено задавать категориальными значениями.
На следующем этапе были сформированы наборы данных и на основании значений указанных показателей компетентности была выполнена экспертная оценка уровня компетентности с точки зрения его влияния на возможность возникновения событий операционного риска. Далее был проведен статистический анализ полученной выборки на наличие взаимосвязи независимых характеристик между собой, а также наличия их влияния на зависимый выходной показатель. Выявление зависимости между входными параметрами позволит говорить об избыточности данных. Оценка корреляции между признаками в массиве данных проводилась с использованием коэффициента ранговой корреляции Спирмена, который относится к показателям оценки тесноты связи. Коэффициент Спирмена определялся попарно для каждого из параметров с использованием low-code платформы Loginom. Количественная мера тесноты связи оценивались по шкале Чеддока, в соответствии с которой значение коэффициента в диапазоне от 0,1 до 0,3 говорит о слабой, а в диапазоне от 0,3 до 0,5 об умеренной связи.
Дальнейший анализ полученной обучающей выборки сводился к оценке наличия влияния каждого из входных параметров на значения агрегированного показателя компетентности сотрудника (выходной параметр ИНС со значениями «красный» — «желтый» — «зеленый»). Для категориальных параметров строились столбчатые диаграммы
с цветовым разделением столбца каждого класса пропорционально количеству зависимых значений. Для оценки непрерывного параметра строился график плотности вероятности, позволяющий отобразить более гладкое распределение за счет сглаживания изменений параметра. Визуализация диаграмм и графиков выполнялась с использованием библиотек Plotly и Seaborn на языке Python [19—21].
В соответствие с результатами, полученными на предыдущих этапах, предложено провести обучение нескольких моделей нейронных сетей, имеющих 2—3 скрытых слоя, вида 10—т—3 и, в соответствии с общими эвристическими рекомендациями, m (число нейронов в скрытом слое) принималось равным m = 15, 20, 25. Обучение проводилось в течение 200 эпох. Используя результаты, полученные в работе [3], для определения компетентности сотрудника, как составляющей оценки возникновения операционного риска, в качестве оптимизатора использовался Adam, реализованный в программной библиотеке Keras. В качестве функции активации скрытого слоя сравнивались функции sigmod, tanh (гиперболический тангенс), в качестве функции активации выходного слоя — softmax. Совместно с оптимизатором использовалась функция потерь MSE (среднеквадратичная ошибка). Обучение производилось на генеральной выборке, разбитой на обучающую выборку, которая составила 80% от общего числа обучающих наборов (2150 наборов), валидационную и тестовую выборки, составляющие по 10%.
2. Результаты 2.1. Модель ИНС
Одним из факторов, приводящих к возникновению операционного риска, являются совершенные действия (или бездействие) персонала при выполнении бизнес-задач. Эти действия во многом определяются профессиональными навыками участников бизнес-процесса. Организации давно следят за уровнем знаний и компетентности сотрудников, проводят собеседования и различные тестирования знаний при приеме на работу, а также организуют различные курсы повышения квалификации в течение трудовой деятельности.
Однако, достаточный уровень знаний сотрудника не может гарантировать полное исключение возможности возникновения операционного риска, связанного с его действиями, как участника
бизнес-процесса. Очень часто на возникновение событий операционного риска оказывают влияние не только низкий уровень профессиональных знаний персонала, но и показатели, косвенно с ним связанные и влияющие на эффективность применения этих знаний. В качестве таких параметров в работе рассматривались показатели уровня образования, общего здоровья, финансовой независимости, семейное положение, личностные качества. Некоторые из рассмотренных параметров оказывают очень незначительное влияние, а порой могут и вовсе не влиять на возможность возникновения событий операционного риска [16]. В результате проведенного анализа были отобраны показатели, оказывающие наибольшее влияние на возможность возникновения событий операционного риска, которые и были использованы в качестве входных параметров ИНС:
1) стаж работы в организации по направлению деятельности (выполнению функционала в рамках бизнес-процесса);
2) общий стаж работы по направлению деятельности (выполнению функционала в рамках бизнес-процесса);
3) образование (в соответствие с требованиями, превышает требования);
4) средний бал документа, подтверждающего образование;
5) наличие сертификатов при условии их необязательности;
6) нарушение технологической дисциплины;
7) наличие взысканий;
8) наличие благодарностей/поощрений;
9) повышение по должности за последние 5 лет;
10) частая смены работы (чаще, чем раз в год).
Количественно средний балл документа об образовании задан как непрерывно изменяющая величина, остальные параметры принято задавать в виде элементов конечного множества. Так, например, для параметров: наличие сертификатов, наличие взысканий, наличие благодарностей/поощрений, повышение по должности за последние 5 лет, частота смены работы определялись значениями «да» (наличие) или «нет» (отсутствие). Уровень образования рассматривался как отвечающий требованиям бизнес-процесса или превышающий данные требования. Трудовой стаж задавался диапазонами значений (лет), исходя из того, что он не может быть меньше требуемого для занимаемой должности значения, а может только удовлетворять
требованиям или превышать их (например, «более чем на 2 года» или «более чем на 5 лет»). Для количественной оценки показателя нарушения технологической дисциплины использовались градации: «редко», «периодически» и «постоянно».
Таким образом, обобщенную модель ИНС для определения влияния компетентности участников бизнес-процесса на возможность возникновения событий операционного риска можно описать входным слоем, содержащим 10 нейронов, и 3 нейронами в выходном слое (уровень риска) со значениями «низкий (зеленый)», «средний (желтый)» и «высокий (красный)». Общий размер генеральной выборки, сформированный экспертами, составил 2688 наборов.
2.2. Анализ обучающей выборки
Для анализа созданных наборов данных на предмет возможности их использования в процессе обучения и тестирования ИНС была использована количественная оценка коэффициента корреляции Спирмена для пар параметров каждый с каждым. Оценка показала, что значение коэффициента корреляции Спирмена варьируется в диапазоне от 0,26 до 0,34, что в соответствии со шкалой Чеддока для качественной характеристики тесноты связи коэффициента ранговой корреляции говорит о слабой силе связи. На рисунке 1а показана зависимость коэффициента корреляции среднего балла от всех остальных. Приведенная на рисунке 1а тенденция характерна практически для всех параметров. Исключение составляет параметр, характеризующий частоту смены работы (рис. 1б), который показывает умеренную зависимость от опыта работы на текущей позиции (коэффициент корреляции равен 0,65).
Также анализировалось влияние каждого из определенных входных независимых параметров на зависимый выходной. Для категориальных параметров были построены столбчатые диаграммы с указанием количества значений данного параметра, входящих в определенный класс. На рисунке 2 приведена диаграмма для частоты нарушения технологической дисциплины на рабочем месте.
Из диаграммы на рисунке 2 видно, что распределение входных значений между выходными классами достаточно равномерное, то есть не наблюдается прямой зависимости только от одного из значений параметра.
Рис. 1. Изменение коэффициента корреляции Спирмена а) средний балл документа об образовании, б) частота смены работы.
242
Количество примеров
900 800 700 600 500 400 300 200 100 0
519
135
525
513
261
347
редко периодически часто
Частота нарушения технологической дисциплины
Компетентность Ц высокая средняя низкая
Рис. 2. Диаграммы уровня компетентности в зависимости от частоты нарушения технологической дисциплины.
На рисунке 3 приведена диаграмма для общего опыта работы по направлению деятельности, из которой видно, что наблюдается смещение в сторону более опытных кадров, что вполне соответствует желанию нанимать более опытных работников, однако однозначная зависимость отсутствует.
Для единственного непрерывно изменяющегося параметра оценки среднего балла документа об образовании был построен график распределения плотности вероятности случайной непрерывной величины (рис. 4).
Из рисунка 4 видно, что сотрудники с более высоким баллом чаще встречаются в группе с высокой компетентностью и наоборот. Однако, полного совмещения графиков не наблюдается, что
Количество примеров
1200 ...................................
1000 800 600 400 200 0
262
128
8
213 163
654
246
690
334
менее 2 лет от 2 до 5 лет более 5 лет опыт в годах
Компетентность высокая средняя низкая
Рис. 3. Диаграммы уровня компетентности в зависимости от общего опыта по текущему направлению.
размер обучающей выборки должен, как минимум, вдвое превышать число настраиваемых параметров. Для самой маленькой из рассмотренных сетей (со структурой 10—15—15—3) это соотношение равно 4, а для самой большой (со структурой 10— 25—25—25—3) равно 2. Более крупные сети в данном случае не исследовались из-за ограниченного размера выборки. Объема используемой выборки оказалось достаточно для исследования принципиальной возможности применения предлагаемого подхода к оценке влияния персонала на возникновение операционного риска исходя из полученных результатов обучения и тестирования ИНС.
Для определения оптимальной структуры сети проведены обучающие эксперименты для сетей прямого распространения с различным числом скрытых слоев и нейронов в скрытом слое, а также с различными параметрами обучения: функциями активации и алгоритмами обновления весов (оптимизаторами). Результаты сведены в таблицу 1, приведенную ниже. Для оптимизатора Adam использовалась функция потерь MSE (среднеквадратичная ошибка).
Приведенные результаты получены при обучении в течение 200 эпох, увеличение числа эпох обучения не приводило к повышению точности сети. Приведенные в таблице показатели точности обучения были получены при размере пакета примеров (batch_size), после которых обновляются весовые коэффициенты, равным 32. Увеличения и уменьшения размера партий обновления весовых коэффициентов приводили к снижению точности.
Таблица 1.
Точность сети на тестовой выборке
Функция активации
sigmoid tanh
Модели DNN Acc. Valid. Test mse Acc. Valid. Test mse
2 скрытых слоя 10-15-15-3 96,65 92,22 92,54 0,04 98,14 93,0 94,03 0,03
10-20-20-3 98,33 93,74 92,54 0,04 99,4 93,48 94,4 0,03
10-25-25-3 99,35 94,37 93,66 0,03 99,86 94,33 95,9 0,023
3 скрытых слоя 10-15-15-15-3 95,86 91,78 92,91 0,04 98,7 94,07 96,64 0,022
10-20-20-20-3 98,23 93,48 92,16 0,036 98,74 95,7 94,4 0,032
10-25-25-25-3 98,88 94,59 94,03 0,033 99,21 95,7 94,5 0,038
Плотность 1,0 -
0,8 -
0,6 -
Рис. 4. График распределения плотности вероятности среднего балла.
говорит о том, что средний балл документа об образовании оказывает влияние на оценку компетентности и может быть использован в качестве входного параметра проектируемой нейросети.
2.3. Обучение ИНС определению компетентности сотрудника
В ходе исследования различных вариантов сетей выбор числа слоев и количества нейронов выполнялся исходя из известной рекомендации, что
При этом эффекта переобучения не наблюдалось.
Из результатов проведенных циклов обучения (табл. 1) видно, что наилучшие показатели точности дает сеть с архитектурой 10—25—25—3 и использованием функции активации гиперболического тангенса. График кривой обучения приведен на рисунке 5.
В целом из таблицы 1 видно, что точность модели сетей выше, чем оценка полученной модели на тестовом наборе. Тенденция сохранилась и после многократного перемешивания данных между выборками и внутри выборок.
3. Дискуссия
В работе описан подход к построению нейронной сети, которая может быть использована для оценки операционных рисков кредитной организации, связанных с действиями персонала, участвующего в бизнес-процессах.
Для оценки компетентности сотрудников в организациях обычно используются следующие методы: опрос (тестирование, выполнение бизнес-кейсов) сотрудника по определенному заранее кругу вопросов; оценка сотрудника его коллегами по определенным критериям. Данные методы в недостаточной степени позволяют оценить влияние уровня компетентности сотрудника на возможность возникновения операционного риска при выполнении бизнес-процесса конкретной кредитной организации. Для более корректной оценки
ошибка модели
эпохи
необходимо учитывать статистические данные об инцидентах, связанных с действиями персонала, участвующего в данном бизнес-процессе, и о наборе значений характеристик этого персонала по определенным критериям.
Более точные оценки влияния уровня компетентности сотрудника на возможность возникновения операционного риска можно получить, используя статистические методы анализа данных. Имея статистику по инцидентам и характеристикам персонала, о которых говорилось выше, можно использовать, например, методы классического (основанного на вычислении мер близости между элементами выборки) кластерного анализа для выявления профилей сотрудников, действия которых при выполнении данного бизнес-процесса наиболее часто приводят к возникновению событий операционного риска. Следует, однако, отметить, что применение статистических методов дает хорошие результаты на наборах дискретных величин и простых (обычно — линейных) зависимостей между ними и затруднено в случае наличия в наборах данных непрерывных величин и сложных нелинейных зависимостей между элементами выборки. В нашем случае, в частности, необходимо учитывать общий стаж работы, стаж работы по специальности, балл документа об образовании, которые являются непрерывными величинами.
В последние годы делаются попытки применения методов искусственного интеллекта, в частности, нечеткой логики и нейронных сетей для решения
эпохи
Рис. 5. Кривые обучения ИНС прямого распространения с архитектурой 10-25-25-3.
задач, связанных оценкой уровня компетентности персонала. Эти методы позволяют во многом избежать недостатков, присущих указанным выше традиционным методам оценки. Анализируя перечисленные выше методы, можно отметить, что сложность применения нечетких алгоритмов заключается в трудности составления базы правил из-за экспоненциального роста количества правил при увеличении числа входных параметров [11].
Пожалуй, единственным недостатком технологии нейронных сетей является трудность в интерпретации полученных результатов. Нейронная сеть моделирует ответы экспертов на некоторую ситуацию, описанную набором входных параметров сети. Здесь возникают вопросы доверия экспертам, оценки которых участвовали в обучении ИНС. В данном случае можно предложить организациям провести дополнительное обучение сети с использованием мнения экспертов этой организации, оценкам которых можно полностью доверять. В этом случае, при формировании дополнительных обучающих и тестовых выборок следует провести анализ на непротиворечивость данных математическими методами, описанными в данной статье.
На основании проведенных исследований можно говорить о возможности использования ИНС в системе индикации возникновения событий операционных рисков, связанных с компетентностью персонала. Полученная тестовая точность построенной ИНС имеет достаточно высокое значение, равное 95%.
Модель сети, показавшей наилучшие результаты, практически аналогична модели, полученной в работе [3], для превентивной индикации возникновения событий операционного риска, связанного с использованием информационных технологий. Разница заключается в используемой функции активации, хотя, и в том, и в другом случае показатели точности очень близки и не отличаются более чем на 2%.
Однородность полученных моделей позволяет сделать предположение о возможности реализации унифицированной модульной (однородной по архитектуре модулей) системы взаимосвязанных нейронных сетей для превентивной индикации всех типов событий и источников возникновения операционных рисков.
В качестве направления для продолжения исследований предполагается рассмотреть возможность построения ИНС для оценки уровня надпрофес-сиональных компетенций (soft skills) сотрудников
и предложить архитектуру ИНС для комплексной оценки персонала кредитной организации с точки зрения возможности возникновения событий операционного риска, связанного с действиями сотрудников, участвующих в бизнес-процессе.
Заключение
В работе на основе применения ИНС предложен метод оценки уровня компетентности сотрудников с точки зрения его влияния на возможность возникновения событий операционного риска, связанного с действиями персонала кредитной организации (непреднамеренные ошибки, умышленные действия или бездействие). Модели ИНС, показавшие наилучшие результаты применительно к оценке уровня компетентности персонала, аналогичны моделям, описанным авторами в работе [3], для оценки операционных рисков, возникающих в процессе использования информационных технологий. Это позволяет сделать вывод о возможном применении системы унифицированных сетевых модулей для комплексной оценки операционных рисков кредитной организации с учетом всех возможных источников операционного риска: несовершенства или ошибочности внутренних процессов кредитной организации; действий персонала и иных лиц; сбоев и недостатков информационных, технологических и иных систем, а также в результате реализации внешних событий.
Результаты исследований, описанные в работе, являются новыми и могут служить основой для создания интеллектуальных систем мониторинга операционных рисков, связанных с действиями персонала кредитной организации. С учетом адаптации, предлагаемые решения могут быть использованы компаниями различных отраслей экономики, в том числе и не относящихся к финансовому сектору.
Благодарности
Данное исследование выполнено в рамках государственного задания в сфере научной деятельности Министерства науки и высшего образования РФ на тему "Модели, методы и алгоритмы искусственного интеллекта в задачах экономики для анализа и стилизации многомерных данных, прогнозирования временных рядов и проектирования рекомендательных систем", номер проекта Б88'^2023-0004. ■
Литература
1. № 3624-У от 15.04.2015 Указание Банка России «О требованиях к системе управления рисками и капиталом кредитной организации и банковской группы» // Банк России. [Электронный ресурс]: https://cbr.ru/faq_ufr/dbrnfaq/doc/?number=3624-y (дата обращения: 10.04.2024).
2. Чумакова Е.В., Корнеев Д.Г., Гаспариан М.С., Махов И.С. Оценка уровня критичности операционного риска банка на основе нейросетевых технологий // Прикладная информатика. 2023. Т. 18. № 2(104). С. 103-115.
3. Chumakova E.V., Korneev D.G., Gasparian M.S., Ponomarev A.A., Makhov I.S. Building a neural network to assess the level
of operational risks of a credit institution // Journal of Theoretical and Applied Information Technologies. 2023. Vol. 101. No. 11. P. 4205-4213.
4. Hasan A., Anika N., Kendezi A., Mahdavian A., Islam S., Sakib S., Nnange M. The impact of knowledge and human resource management on the success of organizations. 2023. [Электронный ресурс]: https://www.researchgate.net/publication/371292735 (дата обращения 10.04.2024).
5. Mainelli M., Yeandle M. Best execution compliance: new techniques for managing compliance risk // Journal of Risk Finance. 2006. Vol. 7. No. 3. P. 301-312. https://doi.org/10.1108/15265940610664979
6. Peng J., Liyuan B. Construction of enterprise business management analysis framework based on big data technology // Heliyon. 2023. Vol. 9(6). Article e17144. https://doi.org/10.1016/j.heliyon.2023.e17144
7. van Liebergen B. Machine learning: A revolution in risk management and compliance? // Journal of Financial Transformation. 2017. Vol. 45. P. 60-67.
8. Bodyanskiy Y.V., Tyshchenko A.K., Deineko A.A. An evolving radial basis neural network with adaptive learning of its parameters and architecture // Automatic Control and Computer Sciences. 2015. Vol. 49. P. 255-260. https://doi.org/10.3103/S0146411615050028
9. Белалов Р.М. Тестирование как метод контроля и оценки сформированное™ компетенций // Вестник «Сознание». 2021. Т. 23. № 1. С. 18-23.
10. Елькина К.В., Пак Г.Ю., Мамонтова Е.О. Теоретические аспекты системы кадрового обеспечения предприятия // Политика, экономика и социальная сфера. 2015. № 1. С. 48-54.
11. Кричевский М.Л., Дмитриева С.В., Мартынова Ю.А. Нейросетевая оценка компетенций персонала // Экономика труда. 2018. Т. 5. № 4. С. 1101-1118.
12. Ashby S. Fundamentals of operational risk management: Understanding and implementing effective tools, policies, and frameworks. London: Kogan Page, 2022.
13. Кошелева Н.Н. Корреляционный анализ и его применение для подсчета ранговой корреляции Спирмена // Актуальные проблемы гуманитарных и естественных наук. 2012. № 2. С. 23-26.
14. Шкала Чеддока-Снедекора. Что это, коэффициент корреляции, оценка детерминации // Хорошее здоровье. [Электронный ресурс]: https://healthperfect.ru/shkala-cheddoka-snedekora.html https://healthperfect.ru/shkala-cheddoka-snedekora.html (дата обращения: 18.02.2024).
15. Peer D., Stabinger S., Rodríguez-Sánchez A. conflicting_bundle.py—A python module to identify problematic layers in deep neural networks // Software Impacts. 2021. Vol. 7. Article 100053. https://doi.org/10.1016/j.simpa.2021.100053
16. Wang H., Mao K., Wu W., Luo H. Fintech inputs, non-performing loans risk reduction and bank performance improvement // International Review of Financial Analysis. 2023. Vol. 90. Article 102849. https://doi.org/10.1016/j.irfa.2023.102849
17. Huang H., Hwang G.-J., Jong M. S.-Y. Technological solutions for promoting employees' knowledge levels and practical skills: An SVVR-based blended learning approach for professional training // Computers & Education. 2022. Vol. 189. Article 104593. https://doi.org/10.1016/jxompedu.2022.104593
18. Романадзе Е.К., Семина А.П. Обзор методов оценки персонала в современных организациях // Московский экономический журнал. 2019. № 1. С. 602-610. https://doi.org/10.24411/2413-046X-2019-11072
19. Wu Y., Cheng S., Li Y., Lv R., Min F. STWD-SFNN: Sequential three-way decisions with a single hidden layer feedforward neural network // Information Sciences. 2023. Vol. 632. P. 299-323. https://doi.org/10.1016/j.ins.2023.03.030
20. Indratmo, Howorko L., Boedianto J.M., Daniel B. The efficacy of stacked bar charts in supporting single-attribute and overall-attribute comparisons // Visual Informatics. 2018. Vol. 2. No. 3. P. 155-165. https://doi.org/10.1016/j.visinf.2018.09.002
21. Aguilera-Martos I., García-Vico Á.M., Luengo J., Damas S., Melero F.J., Valle-Alonso J.J., Herrera F. TSFEDL: A python library for time series spatio-temporal feature extraction and prediction using deep learning // Neurocomputing. 2023. Vol. 517. P. 223-228. https://doi.org/10.1016/j.neucom.2022.10.062
Об авторах
Чумакова Екатерина Витальевна
к.ф.-м.н, доцент;
доцент, кафедра прикладной информатики и информационной безопасности, Российский экономический университет им. Г.В. Плеханова, Россия, 115054, г. Москва, Стремянный пер., д. 36;
E-mail: catarinach@yandex.ru
ORCID: 0000-0001-7231-9502
Корнеев Дмитрий Геннадьевич
к.э.н., доцент;
доцент, кафедра прикладной информатики и информационной безопасности, Российский экономический университет им. Г.В. Плеханова, Россия, 115054, г. Москва, Стремянный пер., д. 36; E-mail: Korneev.DG@rea.ru ORCID: 0000-0001-7260-4768
Гаспариан Михаил Самуилович
к.э.н., доцент;
доцент, кафедра прикладной информатики и информационной безопасности, Российский экономический университет им. Г.В. Плеханова, Россия, 115054, г. Москва, Стремянный пер., д. 36; E-mail: Gasparian.MS@rea.ru ORCID: 0000-0002-6137-7587
Махов Илья Сергеевич
аспирант, кафедра прикладной информатики и информационной безопасности, Российский экономический университет им. Г.В. Плеханова, Россия, 115054, г. Москва, Стремянный пер., д. 36;
E-mail: ilya.makhov.98@list.ru
ORCID: 0000-0002-5096-8867
Application of neural network technologies to assess the competence of personnel in the tasks of controlling the operational risk of a credit institution
Ekaterina V. Chumakova
E-mail: catarinach@yandex.ru
Dmitry G. Korneev
E-mail: korneev.dg@rea.ru
Mikhail S. Gasparian
E-mail: gasparian.ms@rea.ru
Ilia S. Makhov
E-mail: ilya.makhov.98@list.ru
Plekhanov Russian University of Economics, Moscow, Russia
Abstract
The article is devoted to issues of controlling the operational risks of a credit institution associated with the actions of personnel. Operational risk control is an important aspect of a credit institution's business. Despite the fact that the Bank of Russia in regulatory documents described in detail the set of actions that banks should take to control operational risks, in practice credit institutions experience serious difficulties in dealing with operational risk associated with the actions of personnel. This may be explained, first, by the difficulty of identifying and formalizing the specified risk. One of the main sources of operational risks associated with personnel actions is employees' lack of qualifications. This can lead to reduced availability and quality of services provided by credit institutions, as well as possible financial and reputational losses. The purpose of the research conducted by the authors is to improve the system of control of operational risks in a credit institution using artificial intelligence technologies, including the development of tools for assessing in an automated mode the level of criticality of the influence of personnel competence on the occurrence of operational risk events. To achieve this goal, an artificial neural network (ANN) was developed using the high-level Keras library in Python. This paper defines a set of key indicators that have the most significant impact on the possibility of operational risk associated with the actions of the personnel in a credit institution. The article presents the results of checking the generated sets of training and test data using application software packages that implement mathematical methods to assess the consistency of the generated data sets. The paper presents graphs showing the results of training and testing of the artificial neural network that has been constructed. The results obtained are new and may allow credit institutions to significantly increase the efficiency of their work by digitalizing the solution of tasks to control the level of operational risk associated with the actions of personnel.
Keywords: operational risks, personnel competence, artificial neural network, machine learning, direct distribution neural network, high-level Keras library
Citation: Chumakova E.V., Korneev D.G., Gasparian M.S., Makhov I.S. (2024) Application of neural network technologies to assess the competence of personnel in the tasks of controlling the operational risk of a credit institution. Business Informatics, vol. 18, no. 2, pp. 7-21. DOI: 10.17323/2587-814X.2024.2.7.21
References
1. Bank of Russia (2015) No. 3624-U dated 15.04.2015 Proposal of the Bank of Russia "On cooperation with the risk and Capital management system of a credit institution and a banking group". Available at: https://cbr.ru/faq_ufr/dbrnfaq/doc/?number=3624-Y (accessed 10 April 2024) (in Russian).
2. Chumakova E.V., Korneev D.G., Gasparian M.S., Makhov I.S. (2023) Assessment of the level of criticality of operational risk of the bank on the basis of neural network technologies. Applied Informatics, vol. 18, no. 2 (104), pp. 103-115 (in Russian).
3. Chumakova E.V., Korneev D.G., Gasparian M.S., Ponomarev A.A., Makhov I.S. (2023) Building a neural network to assess the level of operational risks of a credit institution. Journal of Theoretical and Applied Information Technologies, vol. 101, no. 11, pp. 4205-4213.
4. Hasan A., Anika N., Kendezi A., Mahdavian A., Islam S., Sakib S., Nnange M. (2023) The impact of knowledge and human resource management on the success of organizations. Available at: https://www.researchgate.net/publication/371292735 (accessed 10 April 2024).
5. Mainelli M., Yeandle M. (2006) Best execution compliance: new techniques for managing compliance risk. The Journal of Risk Finance, vol. 7, no. 3, pp. 301-312.
6. Peng J., Liyuan B. (2023) Construction of enterprise business management analysis framework based on big data technology. Heliyon, vol. 9(6), article e17144. https://doi.org/10.1016/j.heliyon.2023.e17144
7. van Liebergen B. (2017) Machine learning: A revolution in risk management and compliance? Journal of Financial Transformation, vol. 45, pp. 60-67.
8. Bodyanskiy Y.V., Tyshchenko A.K., Deineko A.A. (2015) An evolving radial basis neural network with adaptive learning of its parameters and architecture. Automatic Control and Computer Sciences, vol. 49, pp. 255-260. https://doi.org/10.3103/S0146411615050028
9. Belalov R.M. (2021) Testing as a method of control and assessment of the formation of competencies. Vestnik "Consciousness", vol. 23, no. 1, pp. 18-23 (in Russian).
10. Elkina K.V., Pak G.Yu., Mamontova E.O. (2015) Theoretical aspects of the personnel support system of the enterprise. Politics, Economics and Social Sphere, no. 1, pp. 48-54 (in Russian).
11. Krichevsky M.L., Dmitrieva S.V., Martynova Yu.A. (2018) Neural network assessment of personnel competencies. Labor Economics, vol. 5, no. 4, pp. 1101-1118 (in Russian).
12. Ashby S. (2022) Fundamentals of operational risk management: Understanding and implementing effective tools, policies, andframeworks. London: Kogan Page.
13. Kosheleva N.N. (2012) Correlation analysis and its application for calculating Spearman's rank correlation. Actual Problems of Humanities and Natural Sciences, no. 5, pp. 23-26 (in Russian).
14. Health Perfect (2023) Cheddock-Snedekor scale. What is it, correlation coefficient, determination assessment. Available at: https://healthperfect.ru/shkala-cheddoka-snedekora.html (accessed 10 April 2024) (in Russian).
15. Peer D., Stabinger S., Rodrlguez-Sinchez A. (2021) conflicting_bundle.py—A python module to identify problematic layers in deep neural networks. Software Impacts, vol. 7, article 100053. https://doi.org/10.1016/j.simpa.2021.100053
16. Wang H., Mao K., Wu W., Luo H. (2023) Fintech inputs, non-performing loans risk reduction and bank performance improvement. International Review of Financial Analysis, vol. 90, article 102849. https://doi.org/10.1016/j.irfa.2023.102849
17. Huang H., Hwang G.-J., Jong M. S.-Y. (2022) Technological solutions for promoting employees' knowledge levels and practical skills: An SVVR-based blended learning approach for professional training. Computers & Education, vol. 189, article 104593. https://doi.org/10.1016/j.compedu.2022.104593
18. Romanadze E. K., Semina A. P. (2019) Overview of personnel evaluation methods in modern organizations. Moscow Economic Journal, no. 1, pp. 602-610 (in Russian). https://doi.org/10.24411/2413-046X-2019-11072
19. Wu Y., Cheng S., Li Y., Lv R., Min F. (2023) STWD-SFNN: Sequential three-way decisions with a single hidden layer feedforward neural network. Information Sciences, vol. 632, pp. 299-323. https://doi.org/10.1016/j.ins.2023.03.030
20. Indratmo, Howorko L., Boedianto J.M., Daniel B. (2018) The efficacy of stacked bar charts in supporting single-attribute and overall-attribute comparisons. Visual Informatics, vol. 2, no. 3, pp. 155-165. https://doi.org/10.1016/j.visinf.2018.09.002
21. Aguilera-Martos I., Garcla-Vico A.M., Luengo J., Damas S., Melero F.J., Valle-Alonso J.J., Herrera F. (2023) TSFEDL: A python library for time series spatio-temporal feature extraction and prediction using deep learning. Neurocomputing, vol. 517, pp. 223-228. https://doi.org/10.1016/j.neucom.2022.10.062
About the authors
Ekaterina V. Chumakova
Cand. Sci. (Phys.-Math.);
Associate Professor, Applied Informatics and Information Security Department, Plekhanov Russian University of Economics, 36, Stremyanny Ln., Moscow 115054, Russia; E-mail: CatarinaCh@yandex.ru ORCID: 0000-0001-7231-9502
Dmitry G. Korneev
Cand. Sci. (Econ.);
Associate Professor, Applied Informatics and Information Security Department, Plekhanov Russian University of Economics, 36, Stremyanny Ln., Moscow 115054, Russia; E-mail: Korneev.DG@rea.ru ORCID: 0000-0001-7260-4768
Mikhail S. Gasparian
Cand. Sci. (Econ.);
Associate Professor, Applied Informatics and Information Security Department, Plekhanov Russian University of Economics, 36, Stremyanny Ln., Moscow 115054, Russia; E-mail: Gasparian.MS@rea.ru ORCID: 0000-0002-6137-7587
Ilia S. Makhov
Doctoral Student, Applied Informatics and Information Security Department, Plekhanov Russian University of Economics, 36, Stremyanny Ln., Moscow 115054, Russia; E-mail: ilya.makhov.98@list.ru ORCID: 0000-0002-5096-8867
