CC BY
35МАТЕМАТИКА И ИНФОРМАТИКА
УДК 51-77
ПРИМЕНЕНИЕ АЛГОРИТМА «КЛАСТЕРИЗАЦИЯ» ДЛЯ АНАЛИЗА ДАННЫХ ПОТЕНЦИАЛЬНЫХ КЛИЕНТОВ БАНКА
И.А. Задворная, О.М. Ромакина
ФГБОУ ВО «Саратовский национальный исследовательский государственный университет
имени Н.Г. Чернышевского»
Статья посвящена применению алгоритма Data Mining «Кластеризация» для анализа данных потенциальных клиентов банка при проведении маркетинговых кампаний. Авторами рассматриваются различные варианты и возможности работы данного алгоритма. В настоящей работе ставится задача по выявлению персональных характеристик, которые влияют на желание человека стать клиентом банка. Для решения поставленной задачи создается многомерная структура, к данным которой применяется алгоритм «Кластеризация», анализируются особенности его применения к данным подобного типа.
Ключевые слова: интеллектуальный анализ данных, кластеризация, клиентские данные, анализ данных, многомерная структура данных, хранилище данных, данные большого объёма, алгоритм К-средних, алгоритм кластеризации Microsoft.
В настоящее время наблюдается резкое увеличение объемов информации, хранящейся в базах данных. Экспоненциальный рост размера собственно баз данных и необходимость выявления скрытых знаний из данных становятся проблемами, решение которых важно для разработки эффективных систем поддержки принятия решений. Среди целей интеллектуального анализа данных можно выделить две основные: предсказание на основе имеющейся информации и её изучение. Для «предсказания» используют информацию, существующую в базе данных, чтобы предсказать неизвестные или актуализировать и верифицировать суще -ствующие записи. «Изучение» в свою очередь сосредоточено на поиске шаблонов, описывающих данные и последующем их представлении для интерпретации пользователям. Существует множество методов, служащих этим целям. Например, классификация, кластеризация, правила ассоциации, последовательное обнаружение и анализ шаблонов [1]. В данной работе рассматривается алгоритм «Кластеризация» для обнаружения знаний и его применение к выбранному набору данных. Также проводится интерпретация полученных результатов и анализ их возможного применения в рамках рассматриваемой области.
Алгоритм «Кластеризация» является мощным методом интеллектуального анализа данных (Data Mining), целью которого является поиск скрытых знаний в имеющемся наборе данных [2]. Другими словами, целью разработки правил и поиска взаимосвязей между параметрами является обнаружение интересных шаблонов, существующих в базе данных, но неочевидных из-за их большого объёма.
Персональные данные клиентов играют важную роль в современном мире. Предприятия собирают огромные объемы данных от отдельных лиц, используя их для персонализации клиентов. Работа с такими большими массивами данных представляет для компаний и исследователей большую сложность. О возможностях применения интеллектуального анализа данных к исследованию персональных данных, в частности данных клиентов банка, использующих кредитные карты, было проведено исследование, представленное в сборнике статей
[3].
Набор банковских данных [4], рассматриваемый в данной статье представляет собой записи, содержащие различные характеристики потенциальных клиентов. Данный набор состоит из персональных данных, таких, как информация о возрасте, семейном положении, образовании, а также предыдущих кредитных историях и взаимодействиях клиента с банком в
прошлом. Необходимо проанализировать данные для выявления тех характеристик клиентов, которые наиболее ёмко описывают клиентов, успешно взаимодействующих с банком.
Кластеризация - это способ группировки схожих объектов данных. Объекты данных в одних и тех же кластерах подобны друг другу и отличаются от элементов другого кластера. Для группировки потенциальных клиентов банка с аналогичными характеристиками нам нужно обеспечить высокую скорость вычислений и плотность кластеров. Алгоритм K-mean, рассматриваемый в рамках данной статьи, удовлетворяет этим требованиям [5]. Данный алгоритм производит кластеры с высоким внутриклассовым сходством, но низким в сравнении самих кластеров. Сходство кластеров измеряется относительно среднего значения объектов в кластере, которое можно рассматривать как центроид кластера или его центр тяжести. Рассмотрим подробнее базовые принципы, лежащие в основе данного алгоритма.
Кластеризацией определяется процесс идентификации объектов данных, имеющих сходные характеристики [6]. Основываясь на результатах кластерного анализа, мы можем выделить группы клиентов со сходными характеристиками (как персональными, так и описывающими взаимодействие с банком). Используя эти результаты можно оптимальным образом выстраивать маркетинговые кампании банка.
Входом для модели кластеризации является набор выборок и мера сходства между этими наборами. В результате анализа данных на выход модели попадает количество кластеров. Из полученного набора кластеров образуется новая структура данных. К каждому кластеру также прикладывается его подробная характеристика, состоящая из конкретных значений изучаемых параметров или их диапазона для детального изучения отдельных групп клиентов. Таким образом, методология кластеризации подходит для исследования взаимосвязей для предварительной оценки структуры первоначальной выборки данных.
Для алгоритма Data Mining «Кластеризация» рассмотрим основные обозначения для математического описания процесса работы. Элементы кластеризации представляют собой точки в многомерном пространстве [7]. В качестве входных параметров модели установим упорядоченную пару: (X,s), где X - набор описаний выборок, а s - меры для сходства или несходства расстояния между элементами. Выходным параметром модели выступает разбиение первоначальной выборки A = {Kj,K2,...,Kn}, где k = 1,n - подмножество элементов X, а элементы K1,K2,...,Kn - кластеры. При этом выполняется следующее условие (1).
Ki UK2 U.UKn = X,Ki ПKj = 0,i * j (1)
При этом члены выборки A формируются в процессе кластеризации, включая набор различных характеристик элементов.
Рассмотрим метод отбора кластеров по критерию среднеквадратичной ошибки. Для получения наиболее оптимального набора кластеров ошибку необходимо минимизировать.
Зададим множество в многомерном пространстве Rn, состоящее из N элементов и содержащее K кластеров. Обозначим их соответственно K1, K2,..., Kk. Каждый такой кластер будут содержать щ элементов, где k = 1, K. Каждый из этих элементов содержится только в одном кластере: ^% = N (сумма количества элементов в каждом кластере равна общему количеству кластеров).
Определим центроид кластера согласно формуле (2) как средний вектор кластера Kk,
где xik - i -й элемент Kk [8].
( 1
M =
1 ins
Jik (2)
V nk J i=1
С помощью центроида определим понятие среднеквадратичной ошибки как сумму квадратов евклидовых расстояний между элементами и их центроидами. Для получения ве-
личины отклонения всего кластерного пространства вычислим сумму согласно формуле (3) по к среднеквадратичных ошибок каждого кластера.
El IZMk -Mt )2 (3)
Одним из алгоритмов кластеризации, построенным на основе метода среднеквадратичной ошибки является K-mean (или K-средних) алгоритм [9]. На вход данного алгоритма подаются два параметра: к - количество кластеров и D - набор данных. А на выходе работы алгоритма получается набор из к кластеров Kx,K2,...,Kk, который минимизирует рассмотренную функцию среднеквадратичной ошибки El2.
Ход работы алгоритма, в процессе которого входные параметры преобразуются в выходной набор кластеров, состоит из следующих этапов:
1. Выбирается начальное разбиение А, содержащее к кластеров со случайно выбранными элементами. Для данного начального разбиения вычисляется значение центроидов для каждого кластера Ык.
2. Создается новое разбиение. Элементы на втором шаге попадают в кластеры, к центру одного из которых они наиболее близки.
3. Вычисляются новые центры кластеров как центроиды Mi для новых к сформированных кластеров.
4. Повторяются шаги 2 и 3 до тех пор, пока не будет достигнуто оптимальное значение среднеквадратичной ошибки или на двух смежных итерациях не будет изменяться внутрикластерное расстояние.
Анализ результатов работы данного метода зависит от среднеквадратичной ошибки между элементами кластеров и их центроидами. Уменьшение суммы квадратов евклидовых расстояний между элементами и их центроидами повышает эффективность итогового набора кластеров.
Рассмотренный алгоритм кластеризации используется для анализа персональных данных потенциальных клиентов банка. Для упрощения работы алгоритма исходные данные предварительно помещаются в многомерную базу данных. Данные описывают ход прямых маркетинговых кампаний (проводимых с помощью телефонных звонков) португальского банковского учреждения. Необходимо выяснить характеристики тех клиентов, которые соглашаются открыть депозитный счет в данном банке после предложения данной услуги.
На основе построенной многомерной базы данных можно проводить статистический анализ с помощью алгоритма кластеризации с целью выявления тенденций к результативности предоставления услуг банка. В построенной многомерной базе данных содержатся следующие клиентские данные: возраст, образование, работа, семья, кредитная история, банковская история и время.
Алгоритм кластеризации Microsoft представляет собой алгоритм сегментации, который выполняет итерации по случаям в наборе данных для группировки их в кластеры, которые содержат сходные характеристики [10]. Используемый алгоритм реализует все описанные ранее этапы алгоритма кластеризации K-mean. Алгоритм выполняет итерации этого процесса, пока он может улучшить результат за счет переопределения кластеров.
В рамках исследования имеющихся данных с помощью описанного алгоритма проводятся две различные кластеризации.
Каждый раз при проведении кластеризации выполняются следующие этапы: создаётся новая структура анализа данных, выбирается метод Data Mining (Microsoft Clustering) и представление источника данных (многомерная база данных) [11]. В качестве выходного параметра рассматривается результат проведённой маркетинговой кампании, хотя данный параметр не является обязательным при проведении кластеризации.
Рис. 1. Результат разбиения данных по итогам первой кластеризации.
Первую кластеризацию будем проводить на основе всех основных данных клиента: информация о возрасте клиента, его образовании, типе работы, количество произведенных звонков в период текущей маркетинговой кампании, день недели для текущего звонка, длительность разговора с клиентом, время в днях с момента последнего обращения клиента в банк, результативность предыдущей кампании для конкретного клиента, количество звонков за весь период времени. База для анализа получается довольно обширная. Но проведение подобной кластеризации позволяет оценить общую ситуацию с типичными элементами выборки.
В результате процесса кластеризации образовалось 10 кластеров (рис. 1). Кластер №7 оказывается в системе обособленным (это определяется тем, что он вбирает в себя элементы выборки с провальной предыдущей маркетинговой кампанией). Вероятность соглашения на предложенную услугу банка уменьшается с каждым неуспешным контактом. Также несвязанными с остальными оказались кластеры №9 и №10 (они относятся к успешному проведению маркетинговой кампании для клиента в прошлые периоды). В данном случае вероятность согласия клиента на предложенную услугу максимальная.
Первоначально сложно понять, по какому признаку были выделены кластеры. Для понимания принципа выделения кластеров, необходимо рассмотреть все их основные характеристики (рис. 2).
По результатам проведенной кластеризации наиболее перспективными для банка оказываются те клиенты, для которых успешно закончилось проведение предыдущей маркетинговой кампании и с количеством звонков от 1 до 3 в течение данной, при этом остальная информация (в том числе и персональная) может быть различной.
Для наглядной оценки достоверности построенной модели используем график точности прогноза [11]. Он имеет следующий вид: ось X представляет собой процентную долю из набора данных, выбранных для прогноза, а на оси Y указывается процент точных прогнозов для этих данных. На таком графике отражаются две линии: синяя характеризует стандарт идеальной модели (строится как прямая, исходящая из начала координат по углом 45 градусов), а красная показывает поведение реальной построенной модели. Максимальное отклонение по первой модели не превышает 12% (рис. 3).
Рис. 2. Расшифровка разбиения результатов первой кластеризации.
Рис. 3. Диаграмма точности прогнозов для первой кластеризации.
Вторую кластеризацию для определения перспективности взаимодействия с новыми клиентами проведем на основе личной информации о клиентах: об их возрасте, образовании, типе работы и семейном положении. Подобная кластеризация позволит оценить типичные группы клиентов банка и вероятность удачной работы с ними.
Рис. 4. Результат разбиения данных по итогам второй кластеризации.
В данной системе слабосвязанным оказывается кластер №10, характеризующийся содержанием самой возрастной группы клиентов (рис. 4). Вероятность их положительного отклика на предложенную услугу достаточно высока.
Рис. 5. Расшифровка разбиения результатов второй кластеризации.
По результатам данной модели (рис. 5) наиболее перспективными для банка клиентами оказываются те, что подходят под одни из следующих характеристик:
1. Возраст от 23 до 30, оконченный университет, работа в администрации, любое семейное положение.
2. Возраст от 20 до 29, оконченная школа, любая работа, не замужем/не женат.
3. Возраст старше 51, образование и работа могут быть различными, замужем/женат. Для оценки достоверности используем график точности прогнозов (рис. 6), как и в
первом случае. Максимальное отклонение по второй модели не превышает 15%.
Диаграмма точности прогнозов для структуры интеллектуального анализа данных: Marketing Campaign
Общее заполнение %
Рис. 6. Диаграмма точности прогнозов для второй кластеризации.
Системы интеллектуального анализа данных успешно применяются в различных областях деятельности. Наиболее широко технология интеллектуального анализа используется в бизнес-приложениях. Интеллектуальный анализ дает возможность выявить закономерности в данных, проанализировать существующие тенденции, выявить проблемы в работе организации и их причины, подготовить дальнейшие решения.
В данной работе был проведен анализ данных банковской маркетинговой компании с помощью алгоритма «Кластеризация». Были найдены разрезы данных, которые впоследствии использовались для более подробного исследования и выявления частных взаимосвязей среди параметров. В результате исследования сделан вывод о возможности применения алгоритма «Кластеризация» для изучения данных потенциальных клиентов банка. Также были определены группы клиентов, являющихся наиболее перспективными в рамках данной маркетинговой кампании. Данное исследование может быть полезным для дальнейшего изучения влияния личных характеристик клиентов на использование ими различных банковских продуктов с целью улучшения действующей маркетинговой политики банка.
Список литературы
1. Pyle D. Business Modeling and Data Mining. - Waltham: Morgan Kaufmann Publishers, 2003. - 650 p.
2. Zaki M.J., Ho C.-T. Large-Scale Parallel Data Mining. - Berlin: Springer, 2000.
- 270 p.
3. Задворная И.А., Ромакина О.М. Применение алгоритмов Data Mining для анализа данных в сфере кредитования // Математическое и компьютерное моделирование в экономике, страховании и управлении рисками: Материалы VII Международной молодежной научно-практической конференции. - Саратов: Изд-во «Научная книга». - 2018. - С. 61-66.
4. Moro M., Cortez P., Rita P. UCI Machine Learning Repository. A Data-Driven Approach to Predict the Success of Bank Telemarketing. Decision Support Systems, Elsevier, 2014 [Electronic resource]. - URL: http://archive.ics.uci.edu/ml/datasets/Bank+Marketing (online; accessed: 03.08.2018).
5. Wang L., Fu X. Data Mining with Computational Intelligence. - Berlin: Springer, 2005.
- 294 p.
6. Wang J. Encyclopedia of data warehousing and mining. - Hershey: Idea Group Inc, 2005. - 1279 p.
7. Witten I. H., Frank E., Hall M. A. Data Mining: Practical Machine Learning Tools and Techniques. - Waltham: Morgan Kaufmann, 2016. - 654 p.
8. Kantardzic M. Data Mining: Concepts, Models, Methods, and Algorithms. - N.Y.: John Wiley and Sons, 2003. - 343 p.
9. Han J., Kamber M. Data Mining: Concepts and Techniques. - Waltham: Elsevier, 2006. - 772 p.
10. MacLennan J., Crivat B. Data Mining with Microsoft SQL Server 2008. - N.Y.: John Wiley and Sons, 2009. - 672 p.
11. Microsoft Clustering Algorithm [Electronic resource]. - URL: https://docs.microsoft.com/en-us/sql/ana^lysis-ser^vices/data-mining/microsoft-clustering-algorithm? view=sql-server-2017 (online; accessed: 22.07.2018).
12. Lift Chart (Analysis Services - Data Mining) [Electronic resource]. - URL: https://docs.microsoft.com/en-us/sql/analysis-services/data-mining/li/t-chart-analysis-services-data -mining?view=sql-server-2017 (online; accessed: 09.08.2018).
Сведения об авторах
Задворная Ирина Александровна - магистрант кафедры математического и компьютерного моделирования, ФГБОУ ВО «Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского», e-mail: zadvornayaia@gmail.com.
Ромакина Оксана Михайловна - кандидат физико-математических наук, доцент кафедры математического и компьютерного моделирования, ФГБОУ ВО «Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского», e-mail: romakinaom@gmail.com.
APPLICATION OF THE ALGORITHM «CLUSTERING» TO ANALYSIS OF DATA ON POTENTIAL BANK CLIENTS
I.A. Zadvornaya, O.M. Romakina
Saratov State University
The article is devoted to the use of the Data Mining «Clustering» algorithm for analyzing the data of pote n-tial bank customers during marketing campaigns. The exponential growth of the size of databases and the need to identify hidden knowledge from data are problems that are important for the development of effective decision support systems in many industries. The authors consider various options and possibilities of the «Clustering» algorithm, which solves part of the described problem. Algorithm «Clustering» is a developed method of data mining. Its purpose is to search for hidden knowledge in an existing data set. This article sets the task of identifying personal characteristics that influence a person's desire to become a bank customer. The main goal is the need to analyze the data in order to identify those customer characteristics that best describe clients interacting with the bank most successfully. A multidimensional data structure is created using Microsoft's automated tools for analyzing big data. The article discusses two sequential approaches to the analysis of personal data. The first clustering is carried out based on all the basic customer data. The second selective clustering is carried out based on personal information about clients: age, education, type of work and marital status. Graphs of forecast accuracy are plotted to visually evaluate the performance of both models. The maximum deviation of each model from the ideal did not exceed 15%. As a result, the detected data cuts were subsequently used for more detailed research and identification of private relationships among the parameters. Because of the study, it was concluded that the «Clustering» algorithm could be used to study the data of potential bank customers. The study identified the groups of clients that are the most promising within the framework of this marketing campaign. This study may be useful for further study of the influence of personal characteristics of customers on their use of various banking products in order to improve the current marketing policy of the bank.
Keywords: data mining, clustering, client data, data analysis, multidimensional data structure, data warehouse, big data, K-means algorithm, Microsoft clustering algorithm
References
1. Pyle D. Business Modeling and Data Mining. - Waltham: Morgan Kaufmann Publishers, 2003. - 650 p.
2. Zaki M.J., Ho C.-T. Large-Scale Parallel Data Mining. - Berlin: Springer, 2000. - 270 p.
3. Zadvornaia I.A. Romakina O.M. Primenenie algoritmov Data Mining dlia analiza dannykh v sfere kreditovaniia // Matematicheskoe i komp'iuternoe modelirovanie v ekonomike, strakhovanii i upravlenii riskami: Materialy VII Mezhdunarodnoi molodezhnoi nauchno-prakticheskoi konferentsii. - Saratov: Izd-vo «Nauchnaia kniga». - 2018. - P. 61-66.
4. Moro M., Cortez P., Rita P. UCI Machine Learning Repository. A Data-Driven Approach to Predict the Success of Bank Telemarketing. Decision Support Systems, Elsevier, 2014 [Electronic resource]. - URL: http://archive.ics.uci.edu/ml/datasets/Bank+Marketing (online; accessed: 03.08.2018).
5. Wang L., Fu X. Data Mining with Computational Intelligence. - Berlin: Springer, 2005. - 294 p.
6. Wang J. Encyclopedia of data warehousing and mining. - Hershey: Idea Group Inc,
2005. - 1279 p.
7. Witten I. H., Frank E., Hall M. A. Data Mining: Practical Machine Learning Tools and Techniques. - Waltham: Morgan Kaufmann, 2016. - 654 p.
8. Kantardzic M. Data Mining: Concepts, Models, Methods, and Algorithms. N.Y.: John Wiley and Sons, 2003. - 343 p.
9. Han J., Kamber M. Data Mining: Concepts and Techniques. - Waltham: Elsevier,
2006. - 772 p.
10. MacLennan J., Crivat B. Data Mining with Microsoft SQL Server 2008. - N.Y.: John Wiley and Sons, 2009. - 672 p.
11. Microsoft Clustering Algorithm [Electronic resource]. - URL: https://docs.microsoft.com/en-us/sql/ana^lysis-ser^vices/data-mining/microsoft-clustering-algorithm? view=sql-server-2017 (online; accessed: 22.07.2018).
12. Lift Chart (Analysis Services - Data Mining) [Electronic resource]. - URL: https://docs.microsoft.com/en-us/sql/analysis-services/data-mining/lift-chart-analysis-services-data -mining?view=sql-server-2017 (online; accessed: 09.08.2018).
About authors
Zadvornaya I.A. - graduate student of the Department of Mathematical and Computer modeling, Saratov State University, e-mail: zadvornayaia@gmail.com.
Romakina O.M. - PhD, Associate Professor of Department of Mathematical and Computer modeling, Saratov State University, e-mail: romakinaom@gmail.com.
