CC BY
111[Электронный ресурс] / В.Л. Макаров, Е.Д. Сушко, А.Р. Бахтизин. - Режим доступа: http://abm.center/puЫicatюns/?ГО=278.
4. Сушко, Е.Д. Мультиагентная модель региона: концепция, конструкция и реализация
[Текст] / Е.Д. Сушко: препринт # WP/2012/292. -М.: ЦЭМИ РАН, 2012. - 54 с.
5. Фаттахов М.Р. Агентно-ориентированная модель социально-экономического развития Москвы // Экономика и математические методы. - 2013. - №2. - С 30-42.
V V ===================================
УДК: 519.25:319.13
СЕГМЕНТАЦИЯ ПОТРЕБИТЕЛЕЙ: АКТУАЛЬНЫЕ ПРОБЛЕМЫ И АЛГОРИТМЫ ИХ РЕШЕНИЯ
Солдаткина М.В., к.ф. -м.н.
Финансовый университет при Правительстве Российской Федерации, Москва, Россия
Аннотация. Статья посвящена актуальной на сегодняшний день экономической задаче анализа данных -сегментации потребителей, позволяющей направленно проводить маркетинговые стратегии для удовлетворения потребностей конкретного сегмента. В работе представлен обзор зарубежного опыта последних лет в применении современных алгоритмов сегментации потребителей.
Ключевые слова: сегментация потребителей, анализ данных, аналитические подходы к сегментации, обзор сегментации.
CUSTOMER SEGMENTATION: ACTUAL PROBLEMS AND ALGORITHMS OF
THEIR SOLUTIONS
Soldatkina M.V., Ph.D.
Financial University under the Government of the Russian Federation, Moscow
Abstract: The article is concerned with such a current economic issue of data analysis as customer segmentation that allows to pursue direct marketing strategies in order to meet the requirements of concrete segment. The article contains an outlook of last years' foreign experience in modern customer segmentation algorithms implementation.
Key words: customer segmentation, data mining, analytical approaches to segmentation, segmentation overview.
1. Понятие, цели и этапы сегментации потребителей В настоящее время на высокой скорости происходит цифровизация бизнеса, меняются процессы взаимодействия с клиентами, ускоряется развитие бизнеса и, следовательно, высоко возрастает конкуренция. В таких условиях выстраивание эффективных взаимоотношений с клиентами (CRM) является основным фактором успеха бизнеса. Задача сегментации клиентов стала на этом поприще одной из ключевых из-за своей роли в оптимизации маркетинговых стратегий,
направленных на понимание потребностей и предпочтений потребителей. Разделение клиентов на сегменты (например, по их демографическим характеристикам,
социальному статусу, покупательскому поведению и т.д.) и формирование отдельных бизнес-стратегий в каждой группе позволяют не только основываться при обслуживании на нуждах конкретного сегмента, но и привлекать новых клиентов. Качественно новых результатов в этом помогла добиться используемая в настоящее время технология интеллектуального анализа данных (Data Mining).
В рамках проведения сегментации потребителей перед аналитиками встает следующий ряд задач.
1. Определение конечной цели сегментации. Например, разделить клиентов для предложения только новых продуктов или же разделить клиентов для построения долговременной бизнес-стратегии, охватывающей все разделы бизнеса: от привлечения потенциальных клиентов и организации коммуникации с ними до финансового планирования работы с каждым сегментом.
2. Выявление необходимых атрибутов для сегментации. В число стандартных атрибутов входят демографические характеристики (пол, возраст), социальный статус (доход, наличие автомобиля), а также для эффективной сегментации необходимо использовать данные, описывающие покупательское поведение (данные о транзакциях клиента) и интернет-активность (социальные сети).
3. Получение, предварительная обработка, консолидация и сведение данных. Эта задача является наиболее трудоемкой и порой занимает не менее 70% общего времени работы аналитика.
4. Непосредственная сегментация потребителей алгоритмическими средствами.
5. Интерпретация полученных сегментов и построение бизнес-стратегий.
6. Модернизация модели и актуализация структуры сегментов.
Развитие методов интеллектуального анализа данных (Data Mining) открывает широкие возможности для проведения сегментации потребителей. В данной статье представлен обзор зарубежного опыта последних лет в применении таких современных методик, как классический центроидный метод, деревья решений, метаэвристические подходы, метод самоорганизующихся карт, DBSCAN (плотностной алгоритм пространственной кластеризации), использование «деревьев покупок», моделирование конечной смеси и бикластеризация. В основе большинства методов сегментации лежит кластеризация. Общим
подходом алгоритмов кластеризации является следующее: установить меру сходства между объектами данных и попытаться сгруппировать их таким образом, чтобы внутри каждого кластера объекты были максимально близки между собой и одновременно максимально отличались от объектов других кластеров. При этом результат кластеризации должен отвечать поставленным целям, которые преследуют конкретные исследования. В рассмотренных в данном обзоре работах методы кластеризации анализируются по степени этого соответствия.
2. «Сущность» кластера. Сравнение метода k-средних и деревьев решений Основная проблема, которая появляется после проведенной аналитической сегментации, это выявление так называемой «сущности» [10] сегмента и маркировка его маркетологом (например, выделение сегмента «Богатые одинокие активные покупатели,
заинтересованные в аксессуарах»). При работе с достаточно большими клиентскими базами такая маркировка будет весьма сложной и потребует построения некоторых автоматических описаний кластеров. С одной стороны, для упрощения интерпретации маркетологи могут предпочесть конкретные описательные методы
кластеризации, но с другой из-за чрезмерного упрощения такие методы могут приводить к некорректному определению «сущности» кластера. В работе [10] H.F. Witschel, S. Loo, K. Riesen выясняют, какие подходы демонстрируют наибольшую легкость понимания и приводят к наиболее правильной интерпретации
«сущности» кластера. Авторами был проведен эксперимент, в котором множество потребителей сегментировали стандартными методами кластеризации и проверили гипотезы о точности описания «сущности» кластера этими методами. Подходы к формированию кластеров структурированных объектов со смешанными типами атрибутов, какими являются данные клиентов (бинарные, категориальные, числовые и др.), можно условно разделить на два направления. Одно из них объединяет в себе подходы, которые суммируют распределения
значений атрибутов внутри кластеров. В качестве примера в статье приводится популярный алгоритм k-средних, использующий так называемые центроиды кластеров. Центроид — это вектор значений атрибутов, где каждый элемент является средним значением признаков, вычисленным по всем записям кластера. К этому же классу относятся подходы к кластеризации, использующие более подробные данные распределений, особенно для категориальных атрибутов. Например, алгоритм COBWEB, использующий так называемые концептуальные кластера, представляет сегменты с помощью набора условных вероятностей. Использование же вместо вероятностей простых частот приведет к ЕМ-алгоритму, основанному на методике итеративного вычисления оценок максимального правдоподобия. Второе направление подходов основано на изучении интерпретируемых человеком моделей-классификаторов,
способных различать индуцированные кластера. В рамках этого направления в статье рассматривается дерево решений, построенное на кластеризованных данных. Для этого данные сначала кластеризуются, а затем происходит обучение дерева решений с целью прогнозирования кластера для неизвестных объектов данных. При необходимости полученное дерево решений может быть проверено человеком. Дерево решений упорядочивает атрибуты следующим образом: для кластера Ck объекты классифицируются в «Ck» или «не Ck», и самый верхний атрибут дерева в наибольшей степени способствует уменьшению неопределенности в отношении вопроса, является ли объект принадлежащим Ck или нет. Это означает, что обычно самый верхний атрибут более полно описывает «сущность» кластера. В результате проведенного эксперимента было обнаружено, что, используя центроидный метод, трудно определить атрибуты, которые в наибольшей степени способствуют выявлению «сущности» кластера, однако аргументом в пользу центроидов выступает то, что они позволяют легко сравнивать несколько кластеров. Деревья
решений выигрывают в простоте понимания и популярны, когда речь заходит о том, насколько легко «сущность» кластера может быть выведена из представления. Таким образом, для выявления «сущности» кластера и маркировки сегмента деревья решений имеют преимущество перед представлением центроидами.
3. Метаэвристические подходы к сегментации В работе «An Iterated Greedy Heuristic for a Market Segmentation Problem with Multiple Attributes» [4] авторы описывают, как методы сегментации можно разделить на описательные, прогностические, а также многоцелевые метаэвристические подходы. Описательные методы включают методы кластеризации, такие как метод k-средних и его вариации, иерархическую кластеризацию, p-медианную кластеризацию и метод самоорганизующихся карт. К методам прогнозной сегментации клиента (например, для моделирования отклика) относятся модель кластерной регрессии [8], модель смешанной регрессии и др. Предиктивные методы обычно приводят к хорошей прогностической модели для отдельного сегмента, однако внутрисегментная однородность предикторов является
относительно низкой. В статье выделяются метаэвристические методы, направленные на создание многоцелевой сегментации. Так в работе рассматривается задача сегментации рынка для работы фирмы по продаже напитков, при этом используется итерированный жадный алгоритм (Iterated Greedy Heuristic), который особым образом применяет локальный поиск, фокусируясь на пространстве решений, являющихся локально оптимальными. Алгоритм генерирует последовательность решений путем итерации по жадным конструктивным эвристикам с использованием двух основных этапов: разрушение и реконструкция. На этапе разрушения некоторые элементы удаляются из ранее завершенного решения-кандидата (разделения, полученного с использованием алгоритма k-средних). Затем на этапе реконструкции применяется жадная
конструктивная эвристика для восстановления разделения. Этот процесс происходит до тех пор, пока не будет выполнен некоторый критерий остановки. Выбор начальной конфигурации центроидов происходит посредством
использования модификации известного алгоритма k-средних, основанной на жадной рандомизированной адаптивной процедуре поиска (GRASP), когда на каждом шаге жадной эвристики элементы, еще не включенные в текущее частичное решение, оцениваются с помощью эвристической функции, и лучшие элементы сохраняются в ограниченном списке кандидатов. Один из элементов затем случайно выбирается из этого списка и включается в частичное решение [1]. Чтобы улучшить полученное разбиение, после фазы реконструкции используется известная мета-эвристика: процедура локального поиска с чередующимися окрестностями (Variable Neighborhood Search - VNS). Основная идея поиска с чередующимися окрестностями (VNS) [7] состоит в последовательном изучении набора предопределенных окрестностей для получения лучшего решения. Проведенные в данный работе вычислительные эксперименты и статистический анализ показали, что предлагаемая метаэвристика является конкурентноспособным и надежным методом кластеризации.
4. Алгоритм DBSCAN и бикластеризация В статье «A Novel Approach for Customer Segmentation Based on Biclustering» [3] рассматривается алгоритм DBSCAN (Density-based spatial clustering of applications with noise -плотностной алгоритм пространственной кластеризации с присутствием шума), который классифицирует клиентов компании в три группы (первый, второй и третий класс). В отличие от основных алгоритмов кластеризации, опирающихся на минимизацию расстояния точки до центра кластера и создающих таким образом кластеры, по форме близкие к сферическим, авторы DBSCAN (Ester M., Kriegel H.P., Sander J., XiaoweiXu) предложили алгоритм, способный распознавать кластеры различной формы, опираясь на то, что внутри кластера плотность
объектов значительно превышает плотность снаружи. Бикластеризация базируется на теории решёток замкнутых множеств (решёток формальных понятий или решёток Галуа). Суть метода заключается в построении иерархической структуры формальных понятий (бикластеров), позволяющей отразить их таксономические свойства в удобном для аналитика виде. Поиск ассоциативных правил при этом выполняется при помощи алгоритма Frequent-Pattern Tree -дерева популярных предметных наборов, преобразующего базу транзакций в компактную древовидную структуру. Результаты
эксперимента, проведенного авторами на данных авиакомпании, показали, что бикластеризация может сегментировать клиентов более точно и тщательно, а использование Frequent-Pattern Tree эффективно для больших объемов данных.
5. Постсегментационные задачи.
Миграция клиентов по сегментам.
Самоорганизующиеся карты
Продолжая идею предыдущих разделов о недостаточности формального получения вычислительными методами сегментов, рассмотрим один из ранее перечисленных этапов проведения сегментации потребителей: модернизация модели и актуализация структуры сегментов. Помимо важного вопроса характеризации полученных сегментов для предложения возможных бизнес-стратегий, также появляются «постсегментационные» задачи, такие как прогнозирование отклика сегментов на данные предложения или последующая миграция клиентов из сегмента в сегмент. Последняя рассматривается Z. Yao, P. Sarlin, T. Eklund в [9].
После получения сегментации клиентов и проведения различных маркетинговых кампаний, направленных по сегментам, основным становится следующий естественный вопрос: будет ли конкретный клиент с течением времени или под влиянием различных факторов менять сегмент? В зависимости от обстоятельств фирма может на некоторое время фиксировать сегмент с целью завершения проводимых мероприятий, а также накладывать ряд ограничений на повышение или
понижение сегмента клиента, если сегментам присвоен некоторый ранг. Однако, исследовать поведение клиента и его миграцию по сегментам необходимо, как для улучшения самой модели, так и для понимания эффективности проводимых мероприятий. В [9] авторы рассматривают метод самоорганизующихся карт (SOM - self-organizing map) для сегментации клиентов фирм с объемом клиентской базы более 1 миллиона.
Самоорганизующаяся карта (SOM) является широко известным и широко используемым методом визуальной кластеризации. В отличие от большинства традиционных алгоритмов кластеризации, которые требуют последующей обработки для понимания кластерных структур, SOM объединяет возможности кластеризации и прогнозирования. SOM представляет собой нейронную сеть с обучением без учителя, которая проецирует многомерное пространство данных в двумерное. Преимуществами использования SOM по сравнению с альтернативными методами являются возможности взаимодействия между
кластеризацией и проектированием,
предварительно определенная сетка для связывания визуализаций, гибкость при отсутствии данных и наличии выбросов, а также вычислительная эффективность. Кроме того, алгоритм позволяет аналитикам исследовать структуру кластера на двумерной сетке SOM. Поэтому результаты кластеризации могут предоставляться в формате, который легко понять и интерпретировать исследователям. Функционирование SOM можно разделить на два этапа. Сначала случайным образом выбирается выходное расположение кластеров. Далее на каждом шаге при подаче вектора из обучающей выборки определяется кластер-победитель, и для этого кластера производится коррекция весовых коэффициентов таким образом, чтобы он оказался еще ближе ко входному вектору. Чаще всего также корректируются веса нескольких соседей кластера-победителя.
Вероятности миграции клиентов для кластеров могут быть визуализированы на решетках SOM. Вероятность миграции (Pis(t + 1)) от сегмента i к
сегменту s равна числу клиентов, перешедших с сегмента i на сегмент s (щ3), деленному на сумму перешедших клиентов из сегмента i в любой другой сегмент [9] :
Вероятность перехода на определенный сегмент для каждого узла в собственной сетке отображается его цветовым кодом. Таким образом, разбивая сперва на кластеры, затем исследуя миграцию клиентов по сегментам, рассматриваемая система обеспечивает целостное представление о моделях поведения покупателей.
6. Сегментация потребителей на основе данных о транзакциях
Рассматривая различные методы сегментации клиентов, важно понимать не только определенную цель исследования, но и возможности конкретной фирмы, а именно вычислительные мощности, квалификацию аналитиков, а главное - качество и объем данных, на которых требуется строить сегментацию. Говоря о последнем, необходимо отметить, что на сегодняшний день все крупные компании оперируют BIG DATA - понятием, включающим в себя как объемы данных, так и новые способы хранения и обработки данных. Сегодня такие компании, как Oracle и SAP предлагают комплексные решения внедрения технологий BIG DATA в бизнес. Однако перед исследователями встает вопрос, какие именно данные лучше использовать в анализе. Например, это могут быть данные социальных сетей (как в статье «Use of a High-Value Social Audience Index for Target Audience Identification on Twitter» [6]), данные поисковых запросов и интернет-активности. Наиболее удобными и уже в какой-то степени структурированными данными, используемыми для сегментации потребителей, являются данные о транзакционной активности клиента, то есть данные о его покупках с использованием электронных платежных систем.
Y. Jin, G. Rumantir в [5] предлагают программную платформу для создания модели кластеризации клиентов розничного бизнеса крупного банка в Австралии. Информационной базой являются данные, полученные от электронной платежной системы в торговых точках, которая переводит деньги со счета клиента на счет розничного продавца при совершении транзакции. Анализ этих данных может быть использован банком при создании бизнес-стратегий. Особый интерес представляют данные о типах услуг, на которые тратят деньги клиенты, наиболее часто используемые способы оплаты и т.д. Для удовлетворения этого интереса клиенты сегментируются, используя
информацию, собранную в нескольких категориях транзакций. В данном исследовании клиентские сегменты основываются на вероятностях генерации ими различных категорий транзакций. Естественно, возникают две задачи: вывод различных категорий транзакций и определение вероятности генерирования клиентом каждой категории транзакции. Для решения первой проблемы выполняется кластеризация транзакций на основе модели конечной смеси распределений, а результирующие кластеры интерпретируются как категории транзакций. Что касается второй проблемы, то в контексте модели конечной смеси распределений вероятность того, что клиент создаст определенную категорию транзакций, будет рассчитываться как общая доля транзакций, сделанных клиентом в этой категории. При этом каждый клиент определяется как единый вектор, компоненты которого представляют собой общие доли индивидуальных транзакций в соответствующих категориях транзакций. Моделирование конечной смеси (FMM - Finite Mixture Model) -один из подходов статистического моделирования, который рассматривает смесь параметрических распределений, служащую для обнаружения кластеров. Вопрос определения такой смеси и вычисления вероятности принадлежности наблюдения к тому или иному кластеру решается благодаря ЕМ-алгоритму,
основанному на максимальной
(логарифмической) оценке правдоподобия. Для каждого этапа кластеризации оптимальное количество кластеров определяется на основе критерия минимальной длины сообщения. Критерий минимальной длины сообщения в этом случае оценивает каждую модель смеси для определения наилучшей на каждом этапе с точки зрения компромисса между модельной сложностью и качеством данных. В работе используется алгоритм имитации отжига для определения, когда модель-кандидат заменяет текущую модель, если ее оценка минимальной длины сообщения меньше, чем у текущей модели, и принимается с определенной вероятностью, если ее оценка минимальной длины сообщения больше или равны ей. Исходя из предпосылки, что наиболее ценным сегментом клиентов является сегмент, генерирующий наиболее ценные категории транзакций, сегменты оцениваются на основе их соответствующих совместных вероятностей с наиболее ценной категорией транзакций. Таким образом, мы можем выявить относительную ценность каждого сегмента клиентов. Данный алгоритм достаточно просто, но в то же время эффективно представил большие объемы данных о транзакциях клиентов в легко интерпретируемые категории покупок, дающие качественные характеристики для сегментации.
Использование данных о транзакциях рассмотрено также в более поздней статье «PurTreeClust: A Clustering Algorithm for Customer Segmentation from Massive Customer Transaction Data» [2], где используется алгоритм множественной кластеризации, называемый PurTreeClust, и записи транзакций клиента представляются через построение «дерева покупок» (purchase tree). Таким образом, множество клиентов трансформируется в множество деревьев покупок, которое затем кластеризуется. Авторы провели серию экспериментов на десяти реальных наборах данных транзакций, и экспериментальные результаты показывали достаточно высокую производительность предлагаемого метода.
Заключение
Как мы видим, возможностей и подходов для проведения сегментации клиентов очень много, начиная с классических методов: центроидов и деревьев решений, заканчивая итеративными метаэвристическими подходами.
Основополагающими аспектами выбора какого-либо подхода должны быть, во-первых, цель проводимого исследования (например, для учета последующей миграции клиентов специалисты могут учесть опыт с саморганизующимися картами, рассмотренный в раздел п.5 данного обзора) и, во-вторых, возможности фирмы, т.е. объем и качество данных, уровень квалификации сотрудников и наличие каких-либо вычислительных средств и статистических программных продуктов. В частности, естественной для банков является сегментация клиентов с учетом данных о транзакциях. При этом необязательно пользоваться довольно сложными
статистическими алгоритмами, как
моделирование конечной смеси и затем EM-алгоритмом, но можно рассматривать эти данные и в рамках самых распространенных методов сегментации, как метод k-средних. Таким образом, простого ответа на вопрос, какой метод лучше для сегментации, нет. Он решается в каждом конкретном проекте по-своему, следовательно, будут появляться примеры использования все новых алгоритмов для сегментации.
Список использованных источников
1. Щербина О.А. Метаэвристические алгоритмы для задач комбинаторной оптимизации (обзор) / О.А Щербина // Таврический вестник информатики и математики. - 2014. - 24(1). - С. 56-57.
2. Chen X. PurTreeClust: A Clustering Algorithm for Customer Segmentation from Massive Customer Transaction Data / X. Chen, Y. Fang, M. Yang, F. Nie, Z. Zhao, J. Z. Huang // IEEE Transactions on
Knowledge & Data Engineering. 2018. - Vol. 30(3).
- P. 559-572.
3. Hu X. A Novel Approach for Customer Segmentation Based on Biclustering / X. Hu, H. Zhang, X. Wu, J. Chen, X. Yu, X. Yun, T. Li // Web Information Systems Engineering - WISE 2013 Workshops 2013. Lecture Notes in Computer Science. Springer. Berlin. Heidelberg. - 2014. - Vol 8182. - P. 302-312.
4. Huerta-Muñoz Diana L. An iterated greedy heuristic for a market segmentation problem with multiple attributes / D.L. Huerta-Muñoz, R.Z. Ríos-Mercado, R. Ruiz // European Journal of Operational Research. - 2017. - 261 (1). - P. 75-87.
5. Jin Y. A Two Tiered Finite Mixture Modelling Framework to Cluster Customers on EFTPOS Network / Y. Jin, G. Rumantir //Advances in Artificial Intelligence. Lecture Notes in Computer Science. Springer. Cham. - 2015. - Vol 9457. -P.276-284.
6. Lo S.L. Use of a High-Value Social Audience Index for Target Audience Identification on Twitter / S.L Lo., D. Cornforth, R. Chiong //Artificial Life and Computational Intelligence. ACALCI 2015. Lecture Notes in Computer Science. Springer. Cham.
- 2015. - Vol 8955. - P.323-336.
7. Mladenovi c N. Variable neighborhood search / N. Mladenovi c, P. Hansen // Computers and Operation Research. - 1997. - 24. - P. 1097-1100.
8. Spath H. Clusterwise linear regression. / H. Spath. // Computing. - 1979. - 22(4). - P.367-373.
9. Yao Z. Combining visual customer segmentation and response modeling / Z. Yao, P. Sarlin, T. Eklund // Neural Comput & Applic. -2014.- 25. - P. 123-134.
10. Witschel H.F. How to Support Customer Segmentation with Useful Cluster Descriptions / H.F. Witschel, S. Loo, K. Riesen //Advances in Data Mining: Applications and Theoretical Aspects. ICDM 2015. Lecture Notes in Computer Science. Springer. Cham. - 2015. - Vol 9165. - P.17-31.
V V
