CC BY
0
DOI: 10.18287/2542-0461-2023-14-4-186-201 ЮУ
НА УЧНАЯ СТАТЬЯ
УДК 330.115
Дата поступления: 10.07.2023 рецензирования: 22.09.2023 принятия: 30.11.2023
Методология внедрения машинного обучения в банковской сфере
А.Ю. Трусова
Самарский национальный исследовательский университет имени академика С.П. Королева,
г. Самара, Российская Федерация E-mail: a_yu_ssu@mail.ru, ORCID: https://orcid.org/0000-0001-7679-9902
А.И. Ильина
Самарский национальный исследовательский университет имени академика С.П. Королева,
г. Самара, Российская Федерация E-mail: iai.62@mail.ru, ORCID: https://orcid.org/0000-0002-7624-5771
Аннотация: В современном мире работа с обращениями по ИТ-сопровождению собственных пользователей стала неотъемлемой частью работы компаний. Независимо от размера и направления деятельности, каждая компания сталкивается с потоком обращений, связанных с техническими проблемами от своих сотрудников. Решение проблемы, связанной со скоростью и минимизацией подобных обращений, является важным фактором, определяющим качество работы компании и влияющим на уровень удовлетворенности внешних клиентов и собственных сотрудников. Существующие системы автоматической обработки обращений предполагают выполнение фиксированных правил. В настоящее время им свойственно отсутствие возможности адаптироваться к изменяющимся требованиям и постоянно актуализирующимся базам данных программ. Такие системы не могут предоставить высококачественное обслуживание и решение обращений и требуют участия человека, так как не учитывают индивидуальные потребности. Однако развитие технологий машинного обучения и искусственного интеллекта позволяет создавать самообучающиеся системы автоматизации, которые способны адаптироваться к изменяющимся потребностям и предоставлять высококачественное обслуживание. В работе описывается комбинированный подход при изучении вопросов, связанных с улучшением качества работы информационной системы для взаимодействия с внутренними пользователями на примере банковской деятельности. Еще одним значимым достижением в области информационных технологий в банковской сфере стало внедрение технологии блокчейн. Блокчейн позволяет банкам создавать безопасные и прозрачные системы хранения и передачи данных. Особенно следует отметить, что в последние годы банки начали активно использовать искусственный интеллект (ИИ) для улучшения своего обслуживания. ИИ позволяет банкам автоматизировать процессы принятия решений, анализировать данные и предоставлять клиентам персонализированные услуги. Наряду с широким использованием информационных технологий в банковской сфере также происходит и развитие новых угроз и рисков в сфере кибербезопасности. Появляются более сложные методы и угрозы, которые позволяют совершать хищения данных из баз данных банков. Поэтому банки продолжают улучшать системы защиты информации и внедрять новые технологии для борьбы с киберугрозами.
Ключевые слова: машинное обучение; искусственный интеллект; самообучающая система; большие данные; статистический анализ; корреляционный анализ; дисперсионный анализ; регрессионный анализ; банковская деятельность; информационные системы; тренд; прогноз; информационный поток данных.
Цитирование. Трусова А.Ю., Ильина А.И. Методология внедрения машинного обучения в банковской сфере // Вестник Самарского университета. Экономика и управление Vestnik of Samara University. Economies and Management. 2023. Т. 14, № 4. С. 186-201. DOI: http://doi.org/10.18287/2542-0461-2023-14-4-186-201. Информация о конфликте интересов: авторы заявляют об отсутствии конфликта интересов.
© Трусова А.Ю., Ильина А.И., 2023
Алла Юрьевна Трусова — кандидат физико-математических наук, доцент кафедры математики и бизнес-информатики, Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.
Алла Ивановна Ильина - старший преподаватель кафедры математики и бизнес-информатики, Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.
SCIENTIFIC ARTICLE
Submitted: 10.07.2023 Revised: 22.09.2023 Accepted: 30.11.2023
Methodology for implementing machine learning in the banking sector
A.Yu. Trusova
Samara National Research University, Samara, Russian Federation E-mail: a_yu_ssu@mail.ru. ORCID: https://orcid.org/0000-0001-7679-9902
A.I. Ilyina
Samara National Research University, Samara, Russian Federation E-mail: iai.62@mail.ru. ORCID: https://orcid.org/0000-0002-7624-5771
Annotation: In the modern world, working with requests for IT support of own users has become an integral part of the work of companies. Regardless of the size and type of activity, every company is faced with a stream of requests related to technical problems from its employees. Solving the problem of speed and minimizing such requests is an important factor that determines the quality of the company's work and affects the level of satisfaction of external clients and its own employees. Existing systems for automatic processing of requests require the implementation of fixed rules. Currently, they lack the ability to adapt to changing requirements and constantly updated program databases. Such systems cannot provide high-quality service and resolution of requests and require human participation, as they do not take into account individual needs. However, the development of machine learning and artificial intelligence technologies makes it possible to create self-learning automation systems that are able to adapt to changing needs and provide high-quality service. The paper describes a combined approach to studying issues related to improving the quality of an information system for interaction with internal users using banking as an example. Another significant achievement in the field of information technology in the banking sector was the introduction of blockchain technology. Blockchain allows banks to create secure and transparent systems for storing and transmitting data. Of particular note is that in recent years, banks have begun to actively use artificial intelligence (AI) to improve their services. AI allows banks to automate decision-making processes, analyze data and provide personalized services to customers. Along with the widespread use of information technology in the banking sector, new threats and risks in the field of cybersecurity are also developing. More sophisticated methods and threats are emerging that allow data theft from bank databases. Therefore, banks continue to improve information security systems and introduce new technologies to combat cyber threats.
Key words: machine learning; artificial intelligence; self-learning system; big data; statistical analysis; correlation analysis; variance analysis; regression analysis; banking; information systems; trend; forecast; information data flow.
Citation. Trusova A.Yu., Ilyina A.I. Methodology for implementing machine learning in the banking sector.
Vestnik Samarskogo universiteta. Ekonomika i upravlenie Vestnik of Samara University. Economics and Management, 2023, vol. 14, no. 4, pp. 186-201. DOI: http://doi.org/10.18287/2542-0461-2023-14-4-186-201. (In Russ.)
Information on the conflict of interest: authors declares no conflict of interest. © Trusova A.Yu., Ilyina A.I., 2023
Alla Yu. Trusova - Candidate of Economics, associate professor of the Department of Mathematics and Business Informatics, Samara National Research University, 34, Moskovskoe shosse, Samara, 443086, Russian Federation.
Alla I. Ilyina - senior Lecturer of the Department of Mathematics and Business Informatics, Samara National Research University, 34, Moskovskoe shosse, Samara, 443086, Russian Federation.
Введение
Все сферы человеческой жизни и деятельности охвачены в данный исторический период цифро-визацией, развитием информационных технологий. Научная литература отражает теоретические и практические аспекты решения проблем, вызванных ростом цифровизации во всех направлениях [1; 2]. Вопросы развития инновационных технологий также в фокусе научной мысли [3-5]. На пики научного исследования сегодня отмечаются работы, описывающие специфику машинного обучения [6-8], его возможности, а также вопросы внедрения искусственного интеллекта в практическую жизнь людей [9-12]. Вопросы технической поддержки внедрения машинного обучения и искусственного интеллекта находят свое отражение в научных конференциях. [13-15]. Социально-экономическая сфера также находит отражение в научных статьях по вопросам применения технологий машинного обучения [16-18]. Детализация и спецификация проблем, касающихся внедрения технологий машинного обучения отражается в работах [19-22]. Отдельно выделяется банковская сфера, которая активно участвует в использовании информационных технологий [23].
Таким образом, вопросы развития и применения машинного обучения, искусственного интеллекта всегда актуальны, однако следует отметить, что вопросы применения указанных инноваций слабо отражено в научной литературе касательно банковской сферы. В этой связи данная работа представляет научный и практический интерес.
Основная часть
Современные банки в настоящее время стали активно внедрять компьютерные системы и программное обеспечение для автоматизации банковских операций, управления рисками и улучшения обслуживания клиентов. Это позволило банкам повысить эффективность своей работы и сократить затраты на персонал. Одним из наиболее значимых достижений в области информационных технологий в банковской сфере стало активное использование мобильных технологий для обслуживания своих клиентов. Период с 2010 по настоящий момент в банковской сфере можно охарактеризовать как этап цифровизации банковского обслуживания. Сегодня многие банки предоставляют своим клиентам возможность открывать счета, оформлять кредиты и выполнять другие операции через интернет-банк и мобильные приложения. Это позволяет клиентам экономить время и получать доступ к банковским услугам в любое удобное для них время. Банковская сфера, как и многие другие сферы подвержена кризисам, например, кризис, начавшийся в 2020 году. Первые признаки кризиса банковской сферы в России появились еще в 2020 году, когда экономика страны начала падать из-за пандемии COVID-19. Многие компании и предприниматели стали испытывать финансовые трудности, что привело к увеличению количества невозвратных кредитов. Банки начали сталкиваться с проблемами ликвидности и увеличивать резервы на возможные убытки. Санкции, введенные западными странами против России, стали одним из главных вызовов для банковской сферы в 2022 году. Эти санкции оказали негативное влияние на экономику России. Однако, это стало толчком к активному развитию новых информационных технологий и внедрению инновационных технологий в банковской сфере. Например, предоставление банками своим клиентам возможности управлять своими счетами и картами через мобильные приложения и интернет-банк. Бесконтактные технологии. В России все больше банков начинают выпускать бесконтактные карты и терминалы для оплаты. Это удобно и быстро, так как не требуется вводить пин-код или подписывать чек. Цифровые кредиты. Некоторые банки предлагают клиентам оформлять кредиты онлайн, без посещения отделения. Для этого нужно заполнить анкету и предоставить необходимые документы через интернет. Искусственный интеллект. Некоторые банки начинают использовать ИИ для анализа данных и принятия решений. Например, Тинькофф банк - использует ИИ для автоматического анализа кредитных заявок и принятия решений о выдаче кредита. Следующий толчок - это внедрение самообучающихся систем автоматизации. Например, для работы над обращениями пользователей. Такая система может быть разработана на основе алгоритмов машинного обучения, которые будут обучаться на основе данных о пользователях и их обращениях. Эти алгоритмы должны строить модели, которые должны определять типы обращений и автоматически предоставлять решения для каждого конкретного случая. Разработка алгоритмов самосовершенствования на базе процесса обучения позволяет сократить количество проблем связанных с ошибками специалистов при работе, т. к. все ошибки учитываются и повторение ошибки в тех же условиях невозможно. Теоретически система может учитывать не только тип обращения, но и настроение и эмоциональное состояние обращающегося. Для этого возможно использовать анализ тональности текста, который будет определять эмоциональный окрас обращения. Таким образом, си-
стема сможет предоставлять индивидуальные решения для каждого обращения и повышать уровень удовлетворенности работой технической поддержки.
Для обучения системы необходимо будет использовать данные о обращениях пользователей, которые уже имеются в компании, такие как история обращений, данные о зарегистрированных проблемах и систематических ошибках. Кроме того, система должна быть интегрирована с другими системами компании, такими как CRM, чтобы иметь доступ к дополнительным данным о пользователях и своевременно обновлять информацию. Важным аспектом разработки такой системы является ее надежность и безопасность. Система должна быть защищена от взлома и несанкционированного доступа к данным. Также, необходимо проводить регулярное обновление системы и обучение алгоритмов, чтобы они могли адаптироваться к новым требованиям и обеспечивать высокий уровень обслуживания.
Таким образом, современное развитие банковской сферы характеризуется активным внедрением современных информационных разработок.
Актуальность настоящей работы заключается в том, чтобы разрабатывать методологию использования инновационных направлений, а именно самообучающихся систем в банковской сфере. Процесс распространения применения данных систем позволяет упростить различные виды работ и сокращает затраты на производство. В ИТ-сфере самообучающиеся системы автоматизаций упрощают процесс работы над проблемами в программном обеспечении, за счет своевременного сигнализирования об ошибках и их системности, а значит внедрение автоматизированных систем открывает много возможностей в сфере ИТ. Научная новизна данной работы заключается в использовании математического инструментария для разработки методологии формирования этапов создания самообучающейся системы.
В работе описывается комбинированный подход при изучении вопросов, связанных с улучшением качества работы информационной системы для взаимодействия с внутренними пользователями на примере ПАО «ВТБ». В фокусе исследования - методология разработки самообучающей системы для решения проблем внутренних пользователей информационного департамента ПАО «ВТБ». Исходные данные - это показатели обращаемости внутренних пользователей на первую линию технической поддержки ПАО «ВТБ». Рассмотрим основных изменений в банковской сфере за последние 10 лет. Главное изменение - переход к онлайн-банку. Следующим изменением является увеличение количества банкоматов и терминалов самообслуживания. Банки стали более гибкими в своих услугах. Наблюдается переход от стандартных услуг к индивидуальным. Банки внедрили программы лояльности, которые позволяют клиентам получать бонусы и скидки на свои услуги. Рост количества онлайн-платежей и другие. В деятельности ПАО «ВТБ» в информационно технической сфере следует отметить внедрение новых технологий и продуктов, сотрудничество с другими компаниями и развития своей экспертизы в области блокчейн-технологий. Одной из ключевых задач, которые стоят перед ПАО «ВТБ», является повышение уровня безопасности онлайн-банка. Для этого компания активно внедряет такие технологии как двухфакторная аутентификация и биометрическая идентификация. Это позволяет предотвращать мошеннические операции и защищать интересы клиентов. В 2018 году ПАО «ВТБ» запустило новый цифровой банк ВТБ, который предлагает клиентам широкий спектр онлайн-услуг. Также активно работает над развитием своих продуктов и услуг в области криптова-лют и блокчейн-технологий. Компания разрабатывает новые продукты и услуги, которые позволяют клиентам получать доступ к криптовалютам и использовать блокчейн-технологии для управления своими финансами.
ПАО «ВТБ» создал платформу больших данных и лабораторию продвинутой аналитики. Это целая инфраструктура, на базе которой создаются разноплановые продукты. Например, геоплатформа, которая позволяет основе данных по одному городу делать прогнозы о стоимости новостроек в другом похожем городе. Также платформа текстовой аналитики, с помощью которой обучают нейросе-ти для работы в чатах с клиентами. В деятельности банка отмечается стремление к внедрению автоматизированных систем.
В работе рассматривается внутренняя поддержка пользователей ПАО «ВТБ» с помощью созданного отдела «Служба поддержки пользователей», которая является одной из основных точек входа обращений пользователей всего банка. Структура поступления обращений многоканальная, помимо звонков на первую линию поддержки. Сотрудники могут обращаться по почте, либо через единый портал. И если при поступлении через портал обращения могут быть распределены на нужные подразделения поддержки без участия человека, то в случае поступления заявок иным способом для их передачи на необходимое подразделение требуется участие человека. Каждое подразделение обраба-
тывает обращения, связанные только с той системой, отношение к которой оно имеет. На этапе поступления обращений в рамках многоканальной системы приема в задачи «Службы поддержки пользователей» входит определение подразделения, в задачи которого входит решение проблемы внутреннего пользователя и перераспределения поступившей заявки. Параллельно с этой задачей «Служба поддержки пользователей» выполняет и задачу оказания первичной помощи сотрудникам по проблемам, связанным с работоспособностью учетных данных, а также виртуальных машин, на базе которых построена внутренняя система работы. В процессе обработки обращений пользователей, каждое обращение должно фиксироваться. Программный продукт HP Service Manager используется для автоматизации процессов службы поддержки и управления ИТ-услугами. HP Service Manager автоматизирует следующие ИТ-процессы: управление инцидентами, управление обращениями, управление изменениями, управление релизами, управление конфигурациями, управление проблемами, управление уровнем услуг, управление запросами на обслуживание, управление знаниями, управление регламентными работами. Данная система довольно пластична и позволяет внедрять компаниям различные доработки и автоматизации, в том числе самообучающиеся системы автоматизаций.
Самообучающиеся системы автоматизаций
Рассмотрим основные достоинства и недостатки. Самообучающиеся системы автоматизации - это новое поколение программного обеспечения, которое способно обучаться и улучшать свою работу без участия человека. Они обладают свойством хорошей адаптации к изменяющимся условиям. Такие системы способны анализировать данные и принимать решения на основе этого анализа. Кроме того, они могут улучшать свою работу, используя алгоритмы машинного обучения. Банки используют эти системы для кредитования, обработки платежей и других операций. Такие системы могут анализировать данные о клиентах и принимать решения о выдаче кредита или отказе в нем. Кроме того, они имеют способность улучшать свою работу со временем. Эти системы могут анализировать данные и использовать их для улучшения своих алгоритмов. Таким образом, они могут становиться все более эффективными и точными. Самообучающиеся системы автоматизации в своей основе имеют алгоритмы самосовершенствования на базе процесса обучения, а значит эта особенность позволяет сократить количество проблем связанных с ошибками специалистов при работе, т.к. все ошибки учитываются и повторение ошибки в тех же условиях невозможно. Однако, несмотря на все преимущества, самообучающиеся системы автоматизации также имеют свои недостатки. Одним из них является то, что эти системы могут быть дорогими в разработке и внедрении. Кроме того, они могут быть сложными в использовании и требовать специальных знаний и навыков.
Таким образом, основная идея автоматизации процесса - это первичная обработка обращений «Службой поддержки пользователей». На этом этапе решается проблема скорости обработки и перераспределения заявок. Автоматизация на примере ранее созданных обращений должна будет предлагать сотрудникам «Службы поддержки пользователей» варианты решения обращений, либо варианты маршрутизации.
Далее рассмотрим методологию поэтапного создания самообучающейся системы. Первый шаг предполагает провести оценку необходимости внедрения такой автоматизации, т. к. она является дорогостоящей. Второй шаг - разработать критериев для работы системы, а также подобрать данные для обучения системы. На этапе первого и второго шагов используется математический и информационно-технический инструментарий, а именно математический аппарат обработки статистических данных, эконометрическое моделирование. Данная теория достаточно полно описана в научной и учебной литературе. Для практической реализации необходим сбор информации для обучения системы автоматизации, согласованный с техническим заданием. Этот шаг методологии включает: определение цели и требований, описание функциональности, определение архитектуры, определение требований к производительности, описание тестов, описание процедур управления изменениями, определение требований к документации, описание процедуры тестирования и отладки. Дополнительно требуется выборка данных для проведения обучения, которым должна подчиняться требованиям технического задания, в котором задается цель обучения системы и необходимые данные для ее достижения. Выборочные данные - это обращения внутренних пользователей ПАО «ВТБ». Обязательный шаг - это очистка данных от шума и выбросов. Это позволит улучшить качество обучения системы. Следующий шаг - разделение данных на обучающую, тестовую и валидационную выборки. Обучающая выборка используется для обучения системы, тестовая - для проверки качества обучения, а валидационная - для настройки параметров модели. Следующий шаг требует преобразовать данные в формат, который может быть использован для обучения системы. Например, для текстовых
данных это может быть векторизация, для изображений - преобразование в матрицу пикселей и т.д. Следующим шагом будет непосредственно обучение системы на обучающей выборке и настройка ее параметров на основе валидационной выборки. Последним шагом обычно идет проверка качества обучения системы на тестовой выборке. При сборе данных для обучения системы важно отслеживать качество данных. Данные должны быть достаточно качественными и репрезентативными для задачи, которую решает система. Кроме того, данные должны быть разнообразными. Для обучения системы необходимо использовать данные, которые покрывают все возможные варианты входных данных. При классификации необходимо обеспечить баланс классов в обучающей выборке, чтобы система не была смещена в сторону одного класса. А также обеспечить конфиденциальность данных. Если данные содержат конфиденциальную информацию, необходимо обеспечить их защиту и соблюдение законодательства в области защиты персональных данных.
Анализ данных для обоснования требований разработки автоматизации
В работе используются обобщенные сведения, которые могут помочь показать исторические сведения и дальнейшую тенденцию развития с внедрением автоматизации и без внедрения. В таблице 1 представлена информация о потоках данных за 2022 год по количеству поступивших обращений по двум источникам. Согласно имеющимся критериям маршрутизации обращения, поступают на первую линию только по двум точкам входа e-mail и телефон. Данные таблицы 1 - это информация по количеству обращений сотрудников ПАО «ВТБ» на первую линию поддержки пользователей, количеству сотрудников службы поддержки, которые принимали вызовы, а также иные данные, связанные с приемом обращений. Также представлены сведения относительно поступивших обращений на первую линию по источнику e-mail, задача автоматизации упростить процесс обработки любых обращений вне зависимости от того, какая в дальнейшем будет производится работа в рамках обращения.
Таблица 1 - Данные за 2022 год Table 1 - Data for 2022
Месяц Янв арь Февр аль Март Апр ель Май Июнь Июл ь Авгу ст Сентябрь Октябрь Ноябрь Декабрь
Кол-во специалистов 32 35 45 38 51 55 57 54 45 47 48 51
Поступившиевызовы 38326 42752 52086 51497 34649 36955 48145 49014 51668 48151 42236 44711
Обработанные вызовы 20228 25640 38091 35999 30589 34997 43039 45191 45117 42448 39686 42207
Непринятые вызовы 19098 17112 13995 15498 4060 1958 5106 3823 6551 5703 2550 2504
Процент обработки, % 52,78 59,97 73,13 69,91 88,28 94,70 89,39 92,20 87,32 88,16 93,96 94,40
Средняя скорость 0:32: 0:34: 0:33: 0:33: 0:29: 0:29: 0:28: 0:28: 0:29: 0:28: 0:27: 0:26:
обработки обращения 17 12 36 41 33 32 02 25 30 32 54 50
Количество поступивших обращений по e-mail 46961 53321 73375 56841 55880 63172 69670 70917 64259 62426 59250 54024
Значения, представленные в таблице 1, позволяют провести оценку эффективности необходимости внедрения технического решения для реализации процесса по сокращению скорости обработки первично поступивших заявок от пользователей, а также наиболее быстрого и точного процесса маршрутизации заявок на соответствующее техническое подразделение.
Первоначально проводится анализ взаимосвязи данных между количеством специалистов и количеством принятых вызовов. Для этого происходит отбор показателей по месяцам: количество специалистов, поступившие вызовы, обработанные вызовы. Необходимо ответить на вопрос, существует ли связь между данными, и определить не требуется до внедрения пройти шаг с наймом дополнительного количества сотрудников, а также определить, насколько более выгодно внедрение автоматизации
по сравнению с наймом неопределенного количества сотрудников, а также провести сравнительный анализ двух вариантов. Средствами корреляционного анализа установлена значимая статистическая связь между количеством сотрудников «Службы поддержки пользователей» и количеством обработанных вызовов. Это вполне логично, поскольку сотрудники первой линии поддержки не могут повлиять на поток входящего трафика. Также установлено, что изменение количества сотрудников никак не сократило количество обработанных звонков и среднее время обработки обращений. Помимо входящего трафика обращений, поступающих по телефону, в работе учитывается и второй канал поступающих обращений - это обращения по каналу «e-mail». Установлена тесная связь между количеством обработанных обращений, поступивших по типу канала «e-mail» от количества сотрудников способных их обработать. На рисунке 1и 2 представлены графики изменения количества обращений и среднего времени скорости обработки обращений.
Рисунок 1 - Количество обработанных вызовов за 2022 год Figure 1 - Number of processed calls in 2022
Рисунок 2 - Средняя скорость обработки обращений за 2022 год Figure 2 - Average request processing speed for 2022
Как видно из рисунка 1, количество обработанных обращений выросло практически в 2 раза, а время обработки характеризуется его сокращением. На рисунке 3 представлено количество запросов по электронной почте.
80000 70000 60000 50000 40000 30000 20000 10000 О
Рисунок 3 - Количество поступивших обращений по типу е-mail
Figure 3 - The number of received requests by type of е-mail
Как мы видим на представленных графиках, в течение года данные вне зависимости от количества сотрудников меняются, но в целом общий уровень остается практически неизменным. В рамках имеющихся стандартов систем менеджмента качества, важно определить критерии, согласно которым будет определяться качество работы подразделения. В этой ситуации для «Службы поддержки пользователей» как для технического отдела важно повышать уровень удовлетворенности пользователей решениями технических вопросов. Одним из критериев, способных серьезно повлиять на индекс удовлетворенности - это критерий скорости обработки заявки. Так как не во всех случаях отдел «Службы поддержки пользователей» является конечным этапом обработки, в том числе важна будет скорость первичного назначения на ответственную группу сопровождения процесса. В работе была задана величина скорости обработки и среднее время составило 20 минут. Данное время обработки было задано, до формирования одного из каналов обработки заявок, а именно поступающих обращений по типу «Телефон». Фактически после формирования еще одного канала приема обращений потребовался бы пересмотр некоторых показателей и первоначально был пересмотрен количественный уровень сотрудников, которые способны обработать заявки. По данным за 2022 год данное изменение и прирост специалистов «Службы поддержки пользователей» не привел к требуемому результату. При этом были учтены многие показатели, в том числе уровень квалификации сотрудников. Возможно, при увеличении уровня нагрузки данный целевой показатель по среднему времени обработки мог бы быть увеличен, но данное изменение с большой долей вероятности привело бы к негативной реакции со стороны пользователей на данное изменение. Поэтому с учетом того, что уровень индекса удовлетворенности важен для сервисной поддержки, данный критерий не подлежит изменению в большую сторону.
Далее в работе определялось, насколько доработка необходима и способна изменить ситуацию по среднему времени обработки заявок. Для обоснования необходимости малой доработки в системе Service Manager были построены тренды, представленные на рисунках 4 и 5.
Для представленных линий тренда коэффициент аппроксимации составил 0,78 и 0,93. Полученные трендовые модели позволяют провести оценку прогнозных значений изучаемых показателей. Рисунки 6 и 7 отображают такие значения.
Анализируя прогнозные варианты, следует отметить важность данных, согласно которым количество обращений останется на прежнем уровне или вырастет, но при этом скорость обработки обращений снизится или останется на прежнем уровне. Подобный прогноз учитывает только статистические данные и не учитывает возможные внедрения изменений. Учитывая, что автоматизация самообучающейся системы работает с заданной скоростью и имеет простой интерфейс, то внедрение подобной системы с наибольшей вероятностью сдвинет график прогноза относительно скорости обработки обращений в наименее вероятную область со снижением времени. Отметим, что, согласно
прогнозу, подобная тенденция вполне возможна, а значит, можно считать, что разработка применима в текущих условиях и затраты на нее будут обоснованы.
Рисунок 4 - Тренд для показателя количества обработанных вызовов Figure 4 - Trend for the number of processed calls indicator
Рисунок 5 - Тренд для показателя скорости обработки обращений Figure 5 - Trend for the request processing rate indicator
Рисунок 6 - График прогноза по количеству обработанных вызовов Figure 6 - Forecast graph for the number of calls processed
Рисунок 7 - График прогноза по средней скорости обработки обращений Figure 7 - Forecast graph for the average processing speed of requests
Следующий шаг - разработка требований для самообучающейся системы автоматизаций по работе над обращениями внутренних пользователей ПАО "ВТБ". Суть автоматизации -это обработка типовых обращений с определенной тематикой, связанной с простыми проблемами входа, регистрации обращений на портале самообслуживания, и прочими системами, не связанными с внутренним специализированным программным обеспечением банка, второй частью работы автоматизации станет возможность определения ответственной группы, которая способна решить тот ли иной вопрос в зависимости от системы. Определившись с целью автоматизации, требуется составить функциональные требования к доработке, т.е. определить, как должна будет вести себя система. Это необходимо для технического задания. Для автоматизации процесса потребуется, чтобы обращения, созданные в Service Manager (SM) посредством сотрудника и нажатия определенной кнопки в графической оболочке программы автоматически выставляли заданное решение, к примеру, подбирая пять ранжированных решений из базы. Далее приводится описание того, как это будет происходить. Сотрудник открывает обращение, поступившее и назначенное на группу «Служба поддержки пользователей», либо непосредственно наспециалиста, нажимает на кнопку, расположенную на верхней панели в программе после того, как было открыто обращение, справа от поля «Стандартное решение» и искусственному интеллекту передается информация из полей: номер объекта, краткое описание, подробное описание, стандартное решение. В случае если искусственный интеллект затрудняется в подборе решения в течение 10 секунд, то должно появится некое сообщение, укажем, что таким сообщением будет: «Истекло время ожидания ответа от модуля искусственного интеллекта». При этом задается максимальное время для обработки запроса не более 10 секунд, что значительно ниже максимального времени обработки обращения специалистом. При этом поля, в которых отмечается информация об автоматическом подборе решения, будутзаполнены с отметкой об отсутствии подбора.
В другом случае, если искусственный интеллект определил варианты решения, перед сотрудником открывается окно с пятью подобранными решениями, в том порядке в котором ответ пришел от автоматизации. Данные решения подбираются исходя из тех данных, которые были предоставлены в систему для обучения, поэтом получается максимально близкое решение к значениям, принятым системой за исходные. При необходимости переназначения, автоматизация должна срабатывать по другой кнопке, а именно «Определить СЗ» изображенной нарисунке 8, эта автоматизация будет работать в том же порядке, однако будет выдавать сотруднику выбор группы сопровождения с категорией для выбора назначения.
Для сбора статистики система отмечает в заданных полях информацию об успешном или неуспешном осуществлении подбора. Когда система определила значения некорректно, сотрудник покидает окно выбора предложенного варианта искусственным интеллектом по кнопкам «назад», либо «нет подходящего СР», в этом случае в скрытых полях для сбора статистики отобразится информация о неуспешном подборе. В случае если подбор был осуществлен успешно, поле для сбора статистики должно быть заполнено с отметкой об осуществлении успешного подбора. Помимо это-
го, в поля со стандартным решением и группой сопровождения вводятся необходимые данные. Поле «стандартное решение» в нашем случае отвечает за результат, который будет направлен в ответе сотруднику ПАО «ВТБ» по его запросу. Соответственно при сборе статистики работы системы, необходимо будет добавить внутренние дополнительные поля, которые будут заполняться по итогу действий сотрудника. При этом эти поля должны быть отражены в фильтрах для поиска информации.
Определить СЗ
Отображаемое имя Тип ИТ-услуга Категория
Жалоба Консультация по созданию обращений на поотале ЦСПП Пмтплинпр Управление Элемент УД°влетв°Ренностью Запрос на пользователей в обслуживание части жалоб Сопровождение ПО .япоогна Элемент ^г^семападег Уппэипрнмр
□ Q А» I О ?
. информацию Ш Выполнить Определить СЗ
I 3-Среднее"
I 3-Средняя"
уения
Рисунок 8 - Кнопка интерфейса определения назначения группы сопровождения
Figure 8 - Button of the interface for determining the assignment of the support group
Необходимость сбора статистических сведений о действиях самообучающейся автоматизации связана с процессом непрерывного обучения. Для того чтобы определить насколько система обучена и ееработа достигает или не достигает заданной цели, необходимо внедрение полей для сбора информации о работе автоматизации.
Далее должна подключаться команда разработчиков. Для обучения системы потребуются дополнительные данные от нашей группы. Так как система должна автоматически выдавать варианты решения вопроса или проблемы, необходимо демонстрировать, какие случаи могут быть соотнесены с решениями из базы знаний, а соответственно провести первичное обучение искусственного интеллекта для последующей его корректной работы. Для этого необходимо создать выгрузку обращений пользователей и создать отдельную выгрузку данных из базы знаний. Каждая выгрузка должна отражать определенные данные за определенный период времени. Как уже указывалось в техническом задании, автоматизация будет соотносить информацию по краткому описанию и описанию обращения, а значит, что в нашей выгрузке обязательно должна быть отражена данная информация. После выгрузки из двух источников первым шагом будет шаг с соотнесением базы знаний и запросов пользователей по выбранным критериям, а именно полному и краткому описанию в обращении. Данный процесс производится ручным методом, а именно две базы соотносятся по тематикам, и далее распределяются обращения от пользователей по категориям и отмечаются в соответствии с причиной обращений в базе знаний. После того, как эта информация будет направлена на разработчиков, система автоматизации на основе заданных данных будет обучена определять требуемые решения. В случае отсутствия необходимого решения, предварительно потребуется также расширить уже имеющуюся базу знаний, в течении некоторого времени будет проводиться анализ обращаемости пользователей, и при соотнесении с категориями определятся необходимые для добавления тематики ответов. Помимо прочего, процесс самообучения не будет остановлен на имеющейся у системы информации, каждое добавленное нами поле для сбора статистических сведений, будет в том числе помогать системе продолжить процесс обучения, непосредственно в ходе работы сотрудников. А в случае обнаружения новых тематик обращений, либо внедрения новых систем, благодаря сбору аналитики по работе автоматизации мы сможем своевременно обратить внимание на обновившуюся потребности ипроизвести обновление в нашей доработке.
Сравнительный анализ по итогам внедрения разработки
Для определения успешности работы самообучающейся системы автоматизаций, использовались данные по средней скорости обработки обращений за 2022 год, а также с января по март 2023 года (рисунок 9). Создав точку сдвига в виде внедренной доработки, видно изменение линии тренда и снижение средней скорости обработки в значительное количество раз. Как видно, изменился и тип линии тренда, он стал линейным.
Рисунок 9 - Показатель средней скорости обработки обращений за 2022 и 2023 годы Figure 9 - Indicator of the average processing speed of requests for 2022 and 2023
В данном случае, наблюдается увеличение скорости обращений пользователей, однако, как видно на примере 2022 года, тренд не может бытьлинейным и постоянно снижаться до нуля и в дальнейшем очевидно, что тренд вновь станет полиноминальным. Это значит, что будет достигнута определенная точка стабильных колебаний по времени обработки.
Необходимо проверить примере данных о количестве обращений пользователей, связано ли данное событие со снижением обращаемости сотрудников. Рисунок 10 позволяет провести сравнение данных за 2022 год и начало 2023 года.
Рисунок 10 - Количество обращений пользователей за 2022 и 2023 годы Figure 10 - The number of user requests for 2022 and 2023
Как видно из графика, отраженного на рисунке 10, обращаемость пользователей не снизилась, а в некоторых случаях даже возросла, что значит снижение скорости обработки действительно связано именно с внедрением разработки самообучающейся системы автоматизации.
Поскольку внедряемые поля, позволяют не только системе продолжить обучение, но и собирать статистические данные, можно графически проиллюстрировать итог применяемости разработки самообучающейся системы (рисунок 11).
Рисунок 11 - Использование самообучающейся системы автоматизации сотрудниками «Службы поддержки пользователей»
Figure 11 - The use of a self-learning automation system by employees of the «User Support Service»
Как видно из графика на рисунке 11, разработка используется довольно успешно и позволяет определить наибольшее количество ответов из заданных вопросов. Сотрудники успешно используют систему, и предоставляют ответ с заданной скоростью в соответствии с выбранными показателями. Однако, очевидно, что успешность проекта нельзя оценивать только по двум критериям. Необходимо выяснить, каковы результаты относительно корректности работы самой системы, а именно о корректности предоставляемых ответов. Это следует из рисунка 12.
Рисунок 12 - Корректность ответов самообучающейся системы автоматизации
Figure 12 - Correctness of the answers of the self-learning automation system
Как видно, несмотря на все положительные аспекты работы по внедрению автоматизации и успех в достижении показателей, в настоящий момент система недостаточно корректно определяет требуемую информацию. Около 30 % обращений пользователей, которые являются сотрудниками банка, определяются неверно, а значит всеещетребуются сотрудники для ручной обработки заявок и/или маршрутизации этих обращений. Подразделение «Службы поддержки пользователей» работает с техническими проблемами банка, а значит при условии наличия проблемы у сотрудника банка, в первую очередь страдает не только бизнес, но и клиенты банка, что влияет на репутацию в целом.
В дальнейшем важно определить причины, согласно которым примерно 30 % обращений, рассматриваются некорректно, с чем это может быть связано и какие действия необходимо предпринять для того, чтобы можно было бы доработать автоматизацию для дальнейшей ее корректной работы. Для необходимости сокращения информационного потока основной рекомендацией является обучение пользователей работе с системами, данная мера позволит сократить количество ошибок, связанных с новым программным обеспечением, а также помочь повысить уровень знаний по уже внедренным системам.
Заключение
Результатом данной работы является разработка методологии внедрения самообучающейся системы автоматизаций для работы над обращениями внутренних пользователей ПАО «ВТБ». Данная методология многоэтапная, связанная с использованием математического инструментария для обос-
нования необходимости внедрения системы искусственного интеллекта в сферу банковской деятельности. Средствами математической статистики и эконометрического моделирования изучались показатели входного и выходного потоков данных обращений для внутренних пользователей банка. Проведен сравнительный анализ работы самообучающейся системы до и после внедрения разработки.
В результате разработки самообучающейся системы, были достигнуты положительные результаты в области обработки обращений пользователей в ПАО «ВТБ». Система позволяет автоматически выбирать оптимальное решение, обрабатывать обращение и создавать модели, которые способны улучшать свою производительность с каждым новым использованием. Одним из главных преимуществ самообучающейся системы является ее способность к автоматическому обучению. Это означает, что система может улучшать свою производительность без необходимости вмешательства человека. Это позволяет сократить время на обучение и улучшить качество работы системы. В целом, успешная разработка самообучающейся системы является важным шагом в развитии искусственного интеллекта и машинного обучения. Система может быть использована для решения различных задач в различных областях, что позволяет улучшить производительность и эффективность работы. В будущем ожидается дальнейшее развитие и усовершенствование данной технологии, что поможет создать более совершенные и интеллектуальные системы.
Библиографический список
1. Смирнов Е.А., Каштанов В.Г., Сычева С.М. Влияние искусственного интеллекта на управление проектами // Трансформация экономических моделей: циркулярная экономика, «зеленое» управление проектами и искусственный интеллект: материалы Международной научно-практической конференции. Москва, 2022. С. 126-131. URL: https://www.elibrary.ru/item.asp?id=48342758. EDN: https://www.elibrary.ru/gditoq.
2. Нагибин С.С. Применение искусственного интеллекта в практике компаний // Информационные технологии в современном мире - 2022: сборник материалов и докладов XVIII Всероссийской (с международным участием) студенческой конференции. Екатеринбург, 2022. С. 86-90.
3. Иванова В.Г. Развитие информационно-коммуникативных технологий в современное время // Экономика: вчера, сегодня, завтра: сборник статей по материалам II Всероссийской (с международным участием) конференции преподавателей и студентов. Москва, 2021. С. 653-655. URL: https://www.elibrary.ru/ item.asp?id=45797364. EDN: https://www.elibrary.ru/vattzm.
4. Самыкин А.В., Ермаков В.А. От информационных технологий к инновационным технологиям // Передовые инновационные разработки. Перспективы и опыт использования, проблемы внедрения в производство: сборник научных статей по итогам шестой международной научной конференции. Т. 2. Москва, 2019. С. 31-32. URL: https://www.elibrary.ru/item.asp?id=40868371. EDN: https://www.elibrary.ru/uxepza.
5. Беляев А.К., Царькова Е.Г. Техническая диагностика оборудования с применением технологий интеллектуального анализа данных // Информационные технологии в УИС. 2021. № 2. С. 12-22. URL: https://www.elibrary.ru/item.asp?id=46519172. EDN: https://www.elibrary.ru/cipave.
6. Овсянников И.В., Овсянников А.В., Никоненок В.Г. Современные информационные технологии в математическом моделировании // Auditorium. 2023. № 2 (38). С. 8-14. URL: https://cyberleninka.ru/ article/n/sovremennye-informatsionnye-tehnologii-v-matematicheskom-modelirovanii/viewer.
7. Кропачев Р.А., Жидко Е.А. Искусственный интеллект: проблемы и области применения // Информационные технологии в строительных, социальных и экономических системах. 2020. № 3 (21). С. 57-62. URL: https://www.elibrary.ru/item.asp?id=44385620. EDN: https://www.elibrary.ru/pzrddn.
8. Тотухов К.Е., Колотов И.В., Семенов А.А. Применение искусственного интеллекта в бизнесе // Наука. Техника. Технологии (политехнический вестник). 2022. № 4. С. 258-263. URL: https://www.elibrary.ru/ item.asp?id=50215786. EDN: https://www.elibrary.ru/vbwyox.
9. Ломаков А.В. Программное обеспечение классификации данных с использованием базовых и ансамблевых методов // Интеллектуальные информационные системы: труды Международной научно-практической конференции. Воронеж, 2023. С. 45-48. URL: https://www.elibrary.ru/item.asp?id=53759962. EDN: https://www.elibrary.ru/jzpgic.
10. Кошевой Д.О. Применение машинного обучения и других методов анализа данных на примере транспортной компании // Математика и информатика в образовании и бизнесе: сборник материалов международной научно-практической конференции. Москва, 2020. С. 269-274. URL: https:// www.elibrary.ru/item.asp?id=42907481. EDN: https://www.elibrary.ru/myejvb.
11. Садиех С.А. Анализ возможности обоснования работы алгоритмов искусственного интеллекта // Процессы управления и устойчивость. 2023. Т. 10, № 1. С. 331-339. URL: https://www.elibrary.ru/ item.asp?id=54192117. EDN: https://www.elibrary.ru/wgphkk.
12. Юркин В.А., Сараджишвили С.Э. Построение пользовательского интерфейса с использованием интерактивного машинного обучения // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2020. № 3-2. С. 83-85. URL: http://www.nauteh-journal.ru/files/e94b8829-1ce0-4abb-bf6b-f08d3635a0db.
13. Городецкий В.И. Базовые тренды децентрализованного искусственного интеллекта // Двадцатая Национальная конференция по искусственному интеллекту с международным участием, КИИ-2022. Труды конференции: в 2 т. Т. 2. Москва, 2022. С. 275-291. URL: https://www.eHbrary.ru/item.asp?id=50409639. EDN: https://www.elibrary.ru/efbhsv.
14. Дудырев Е.О., Кузнецов С.О. Быстрый поиск оптимальных коротких классификаторов // Двадцатая Национальная конференция по искусственному интеллекту с международным участием: труды конференции. Т. 1. Москва, 2022. С. 266-279. URL: https://www.elibrary.ru/item.asp?id=50229874&pff=1. EDN: https://www.elibrary.ru/olqwzk.
15. Попов Н.В., Шевская Н.В. Методы объяснимого искусственного интеллекта на основе анализа пространства признаков // Международная научная конференция по проблемам управления в технических системах. 2021. Т. 1. С. 298-301. URL: https://www.elibrary.ru/item.asp?id=46684234. EDN: https://www.elibrary.ru/njpbtv.
16. Артамонов В.А., Артамонова Е.В. Проблемы искусственного интеллекта: мифы и реальность // россия: тенденции и перспективы развития: ежегодник. Москва, 2020. С. 330-336. URL: http://itzashita.ru/publications/problemyi-iskusstvennogo-intellekta-mifyi-i-realnost-chast-1.html.
17. Артамонов В.А., Артамонова Е.В. Искусственный интеллект и безопасность: проблемы, заблуждения, реальность и будущее // Россия: тенденции и перспективы развития: eжегодник: материалы XXI Национальной научной конференции с международным участием. Выпуск 17. Ч. 1 / отв. ред.
B.И. Герасимов. Москва, 2022. С. 585-594. URL: https://www.elibrary.ru/item.asp?id=49542614. EDN: https://www.elibrary.ru/jcybic.
18. Татьянок В.Г., Воронина П.В. Сравнительный анализ методов машинного обучения // Информационно-аналитические и интеллектуальные системы в промышленности и социальной сфере: сборник научных трудов общеуниверситетской конференции студентов и молодых ученых / отв. ред. В.О. Новицкий. Москва, 2019.
C. 135-146. URL: https://www.elibrary.ru/item.asp?id=41289359. EDN: https://www.elibrary.ru/ijuayt.
19. Мухамадиева К.Б. Машинное обучение в совершенствовании образовательной среды // Образование и проблемы развития общества. 2020. № 4 (13). С. 70-77. URL: https://www.elibrary.ru/ item.asp?id=44569489. EDN: https://www.elibrary.ru/ommvvl.
20. Николаев С.А. Структура СУБД для алгоритма кластеризации и поиска изображений // Защита информации. Инсайд. 2023. № 2 (110). С. 76-80. URL: https://www.elibrary.ru/item.asp?id=50453962. EDN: https://www.elibrary.ru/xondac.
21. Якунькин В.Р., Панин Е.А. Машинное обучение с учителем // Оригинальные исследования. 2022. № 3. С. 5-9. URL: https://ores.su/media/filer_public/96/ae/96ae34b7-a7fd-4c6a-8153-2903df56c534/ 1mashinnoe_obuchenie_s_uchitelem.pdf.
22. Гулаков А.В. Искусственный интеллект для повышения конкурентоспособности предприятий // Автоматизация в промышленности. 2017. № 9. С. 3-4. URL: https://avtprom.ru/article/iskusstvennyi-intellekt-dlya-pov?ysclid=lrc5p3kejx895338717; https://www.elibrary.ru/item.asp?id=30505981. EDN: https://www. elibrary.ru/zropxp.
23. Антипова Т.С. Развитие инновационных технологий в банковском секторе в России // Тинчуринские чтения - 2021 «Энергетика и цифровая трансформация»: материалы Международной молодежной научной конференции: в 3 т. Т. 3. Казань, 2021. С. 9-11. URL: https://www.elibrary.ru/item.asp?id=46401657. EDN: https://www.elibrary.ru/gjeumz.
References
1. Smirnov E.A., Kashtanov V.G., Sycheva S.M. The influence of artificial intelligence on project management.
In the collected book: Transformation of economic models: circular economy, green project management and artificial intelligence: materials of the International research and practical conference. Moscow, 2022. pp. 126-131. Available at: https://www.elibrary.ru/item.asp?id=48342758. EDN: https://www.elibrary.ru/gditoq. (In Russ.)
2. Nagibin S.S. Application of artificial intelligence in the practice of companies. In the book: Information technologies in the modern world - 2022: collection of materials and reports of the XVIII All-Russian (with international participation) student conference. Yekaterinburg, 2022, pp. 86-90. (In Russ.)
3. Ivanova V.G. Development of information and communication technologies in modern times. In the collected book: Economics: yesterday, today, tomorrow: collection of articles based on the materials of the II All-Russian (with international participation) conference of teachers and students. Moscow, 2021, pp. 653-655. Available at: https://www.elibrary.ru/item.asp?id=45797364. EDN: https://www.elibrary.ru/vattzm. (In Russ.)
4. Samykin A.V., Ermakov V.A. From information technologies to innovative technologies. In the collected book: Advanced innovative developments. Prospects and experience of use, problems of implementation in production: collection of scientific articles based on the results of the sixth international scientific conference. Volume Part 2. Moscow, 2019, pp. 31-32. Available at: https://www.elibrary.ru/item.asp?id=40868371. EDN: https://www.elibrary.ru/uxepza. (In Russ.)
5. Belyaev A.K., Tsarkova E.G. Technical diagnostics of equipment with the use of technologies data mining. Informatsionnye tekhnologii v UIS, 2021, no. 2, pp. 12-22. Available at: https://www.elibrary.ru/ item.asp?id=46519172. EDN: https://www.elibrary.ru/cipave. (In Russ.)
6. Ovsyannikov I.V., Ovsyannikov A.V., Nikonenok V.G. Modern information technologies in mathematical modeling. Auditorium, 2023, no. 2 (38), pp. 8-14. Available at: https://cyberleninka.ru/article/n7sovremennye-informatsionnye-tehnologii-v-matematicheskom-modelirovanii/viewer. (In Russ.)
7. Kropachev R.A., Zhidko E.A. Artificial intelligence: problems and applications. Information technologies in construction, social and economic systems, 2020, no. 3 (21), pp. 57-62. Available at: https://www.elibrary.ru/item.asp?id=44385620. EDN: https://www.elibrary.ru/pzrddn. (In Russ.)
8. Totukhov K.E., Kolotov I.V., Semenov A.A. The application of artificial intelligence in business. Science. Engineering. Technology (polytechnical bulletin), 2022, no. 4, pp. 258-263. Available at: https://www.elibrary.ru/item.asp?id=50215786. EDN: https://www.elibrary.ru/vbwyox. (In Russ.)
9. Lomakov A.V. Software for data classification using basic and ensemble methods. In the collected book: Intelligent information systems: proceedings of the International research and practical conference. Voronezh, 2023, pp. 45-48. Available at: https://www.elibrary.ru/item.asp?id=53759962. EDN: https://www.elibrary.ru/jzpgic. (In Russ.)
10. Koshevoy D.O. Using machine learning and other data analysis methods on the example of a transport company. In the collected book: Mathematics and computer science in education and business: collection of materials of the international research and practical conference. Moscow, 2020, pp. 269-274. Available at: https://www.elibrary.ru/item.asp?id=42907481. EDN: https://www.elibrary.ru/myejvb. (In Russ.)
11. Sadiekh S.A. Analysis of the possibility of explaining the work of artificial intelligence algorithms intelligence. Control processes and stability, 2023, vol. 10, no. 1, pp. 331-339. Available at: https://www.elibrary.ru/item.asp?id=54192117. EDN: https://www.elibrary.ru/wgphkk. (In Russ.)
12. Yurkin V.A., Saradgishvili S.E. User interface designing with using interactive machine learning. Modern Science: actual problems of theory & practice, a series «Natural and Technical Sciences», 2020, no. 3-2, pp. 8385. Available at: http://www.nauteh-journal.ru/files/e94b8829-1ce0-4abb-bf6b-f08d3635a0db. (In Russ.)
13. Gorodetskiy V.I. Basic trends in decentralized artificial intelligence. In the collected book: Twentieth National Conference on Artificial Intelligence with international participation, KII-2022. Proceedings of the conference. In 2 vols. Vol. 2. Moscow, 2022, pp. 275-291. Available at: https://www.elibrary.ru/item.asp?id=50409639. EDN: https://www.elibrary.ru/efbhsv. (In Russ.)
14. Dudyrev E.O., Kuznetsov S.O. Quick search for optimal short classifiers. In the collected book: Twentieth National Conference on Artificial Intelligence with international participation. conference proceedings. Vol. 1. Moscow, 2022, pp. 266-279. Available at: https://www.elibrary.ru/item.asp?id=50229874&pff=1. EDN: https://www.elibrary.ru/olqwzk. (In Russ.)
15. Popov N.V., Shevskaya N.V. Explainable artificial intelligence methods based on feature space analysis. International scientific conference on control problems in technical systems, 2021, vol. 1, pp. 298-301. Available at: https://www.elibrary.ru/item.asp?id=46684234. EDN: https://www.elibrary.ru/njpbtv. (In Russ.)
16. Artamonov V.A., Artamonova E.V. Problems of artificial intelligence: myths and reality. In the collected book: Russia: trends and development prospects: yearbook. Moscow, 2020, pp. 330-336. Available at: http://itzashita.ru/publications/problemyi-iskusstvennogo-intellekta-mifyi-i-realnost-chast-1.html. (In Russ.)
17. Artamonov V.A., Artamonova E.V. Artificial intelligence and security: problems, misconceptions, reality and future. In the collected book: Gerasimov V.I. (Ed.) Russia: trends and development prospects: yearbook: materials of the XXI National scientific conference with international participation. Issue 17. Part 1. Moscow, 2022, pp. 585-594. Available at: https://www.elibrary.ru/item.asp?id=49542614. EDN: https://www.elibrary.ru/jcybic. (In Russ.)
18. Tatyanok V.G., Voronina P.V. Comparative analysis of machine learning methods. In the collected book: Novitskiy V.P. (Ed.) Information-analytical and intelligent systems in industry and social sphere: collection of scientific papers of the university-wide conference of students and young scientists. Moscow, 2019, pp. 135-146. Available at: https://www.elibrary.ru/item.asp?id=41289359. EDN: https://www.elibrary.ru/ijuayt. (In Russ.)
19. Mukhamadiyeva K.B. Machine learning in improving the educational environment. Education and problems of development of society, 2020, no. 4 (13), pp. 70-77. Available at: https://www.elibrary.ru/item.asp?id= 44569489. EDN: https://www.elibrary.ru/ommvvl. (In Russ.)
20. Nikolayev S.A. DBMS structure for the clustering and image search algorithm. Zasita informacii. Inside, 2023, no. 2 (110), pp. 76-80. Available at: https://www.elibrary.ru/item.asp?id=50453962. EDN: https://www.elibrary.ru/xondac. (In Russ.)
21. Yakunkin V.R., Panin E.A. Supervised Learning. Original research, 2022, no. 3, pp. 5-9. Available at: https://ores.su/media/filer_public/96/ae/96ae34b7-a7fd-4c6a-8153-2903df56c534/1mashinnoe_obuchenie_s_uchitelem.pdf. (In Russ.)
22. Gulakov A.V. Artificial intelligence for increasing the competitiveness of enterprises. Automation in Industry, 2017, no. 9, pp. 3-4. Available at: https://avtprom.ru/article/iskusstvennyi-intellekt-dlya-pov?ysclid=lrc5p3kejx895338717; https://www.elibrary.ru/item.asp?id=30505981. EDN: https://www.elibrary.ru/zropxp. (In Russ.)
23. Antipova T.S. Development of innovative technologies in the banking sector in Russia. In the collected book: Tinchurin readings - 2021 «Energy and digital transformation»: materials of the International youth scientific conference. In 3 vols. Vol. 3. Kazan, 2021, pp. 9-11. Available at: https://www.elibrary.ru/item.asp?id=46401657. EDN: https://www.elibrary.ru/gjeumz. (In Russ.)
