CC BY
21УДК: 65.011.56
СЕРВИС ПО ПРОГНОЗИРОВАНИЮ ПОВТОРНЫХ ПРОДАЖ
ТУРИСТИЧЕСКИХ УСЛУГ
Голованова Д.А.
Финансовый университет при Правительстве Российской Федерации, Москва, Россия
E-mail: daria.golovanova23@gmail.com
Аннотация. Цель данного исследования - создание сервиса по прогнозированию повторных продаж туристических услуг. Для этого разрабатываются модели машинного обучения в студии Microsoft Azure. Первая модель, бинарной классификации, прогнозирует, купит ли существующий клиент туристические услуги компании повторно. Для данной модели ключевой метрикой становится Recall, которая составляет 74,15%. Вторая модель прогнозирует, какой тип услуг, возможно, приобретет клиент. Результирующей метрикой в данной модели является Precision (40,69%), которая позволяет менеджерам предлагать на 70% типов программ меньше. Авторами было доказано, что главным финансовым результатом использования сервиса является сокращение упущенной выручки компании на 74%. Дополнительная польза от использования моделей состоит в возможности прогнозирования выручки, сокращении временных издержек, улучшении работы маркетингового отдела, дополнительном анализе целевой аудитории компании.
Ключевые слова: финансовые технологии, финтех, машинное обучение, прогнозирование, туризм, продажи.
SERVICE FOR PREDICTING REPEAT SALES OF TRAVEL SERVICES
Golovanova D.A.
Financial University under the Government of the Russian Federation, Moscow, Russia
E-mail: daria.golovanova23@gmail.com
Abstract. The purpose of this research is creating a service for predicting repeat sales of travel services. To do this, we develop machine learning models in Microsoft Azure Studio. The first model is binary classification, which predicts whether an existing customer will buy the company's travel services again. The key metric for this model is Recall, it amounts 74.15%. The second model predicts what type of services the customer will probably purchase. The resulting metric in this model is Precision (40.69%), which allows managers to offer 70% fewer program types. The authors proved that the main financial result of using the service is a reduction of the company's lost revenue by 74%. Additional benefits of using models include the ability to forecast revenue, reduce time costs, improve the work of the marketing Department and conducting additional analysis of the company's target audience.
Key words: financial technologies, fintech, machine learning, predicting, tourism, sales. 1. ВВЕДЕНИЕ повторных продаж туристических услуг; - анализ
Финансовые технологии в современном мире - эффективности ее использования. стремительно развивающаяся сфера деятельности, 2. ПОСТРОЕНИЕ МОДЕЛИ одно из перспективных направлений экономики [1, Для решения обозначенной проблемы было С. 1]. Актуальность данной работы состоит в том, решено разработать модели машинного обучения что интеграция финтеха в сферу туризма может в Azure Machine Learning Studio [6] для как повысить эффективность туристических туристической компании, которая организует компаний, так и упростить процесс самих походы на больших парусниках и различные путешествий [2, С. 2]. Проблема, для которой яхтенные программы. Для разработки моделей разрабатываются последующие решения, состоит был подготовлен набор данных, состоящий из 6139 в том, что туристические компании часто не строк - заказов клиентов. Каждый заказ включает уделяют должного внимания повторным продажам в себя следующую информацию (16 столбцов): ID существующим клиентам или у менеджеров заказа; год похода (для анализа были использованы просто не хватает на это времени. Цель данного данные за 2017-2019 года); тип судна, на котором исследования - создание сервиса по осуществлялся поход (парусник Крузенштерн, прогнозированию повторных продаж парусник Седов, парусник Херсонес, яхта Bavaria,
туристических услуг. Исходя из поставленной яхта Wind Dancer); продолжительность похода в цели, разработаны следующие задачи: - разработка днях (7, 14, 21 и 30 дней); география похода модели машинного обучения по прогнозированию (Россия, Европа, весь мир); сезон похода (теплый
или холодный); инструктор похода (7 человек); стоимость похода в рублях (от 80000 руб. до 850000 руб.); менеджер, который вел заказ (4 человека); источник заявки (сарафанное радио, Yandex Direct, Facebook); пол участника (мужской, женский); город проживания участника; информация о том, оставил ли клиент отзыв после похода (да или нет); возраст клиента (от 14 до 80 лет); информация о том, приобрел ли клиент после данного похода услуги повторно (да или нет); и если да - в какой поход отправился повторно (8 типов). Данные в формате xlsx были предварительно обработаны и разделены на две
части примерно по 70% (4298 строк) и 30% (1841 строка) - для тренировки модели и сравнения прогнозируемых данных с реальными данными, которых модель еще не встречала и должна предсказать с последующей проверкой в Excel.
Первой задачей, решаемой в Azure ML в рамках данной работы, является прогнозирование повторных продаж туристических услуг. Для этого разрабатывается модель бинарной классификации [5], так как необходимо спрогнозировать одно из двух решений существующего клиента - пойдет ли он в поход еще раз («Да») или откажется («Нет») (рис. 1).
Рис. 1. Модель бинарной классификации по прогнозированию повторных продаж туристических услуг
Для анализа точности модели были проанализированы по следующим показателям [3]: Accuracy - общая точность (доля правильных ответов алгоритма), Recall - полнота (доля объектов положительного класса из всех объектов положительного класса), Precision - точность (доля объектов, названных классификатором
Таблица 1. Годовая инфляция в Российской Федерации
положительными и при этом действительно являющимися положительными), F-мера (гармоническое среднее между точностью и полнотой). Для сопоставления результатов моделей с разными модулями классификации была составлена сопоставляющая таблица (табл. 1).
TP TN FP FN Recall Precision Accuracy F-мера
Two-Class Neural Network 152 1409 227 53 74,15% 40,11% 84,79% 52,05%
Two-Class Boosted Decision Tree 169 1395 210 67 71,61% 44,59% 84,95% 54,96%
Two-Class Logistic Regression 195 1362 184 100 66,10% 51,45% 84,57% 57,86%
Анализируя таблицу, можно заметить, что каждая из моделей показывает лучшую точность по определенной метрике. Two-Class Neural Network [10] - по показателю полноты (Recall) -74,15%, Two-Class Boosted Decision Tree [8] - по показателю общей точности (Accuracy) - 84,95%, Two-Class Logistic Regression [9] - по показателю точности (Precision) - 51,45% и F-меры - 57,86%. Для компании важнее не упустить клиентов, которые могут повторно пойти в поход, чем потратить время на «ложно-позитивные» заявки, так как прибыль от покупки туристического
похода одним клиентом не сопоставима с тратой времени (которую можно перевезти в издержки по зарплате клиенту) на один неуспешный звонок клиенту. В связи с этим для нас показательной мерой точности является Recall и выбрана модель, использующая в качестве классификации модуль Two-Class Neural Network.
Вторая модель, построенная в Azure ML, предсказывает тип туристической услуги, который стоит предложить клиенту для повторного похода (рис. 2).
Рис. 2. Модель множественной классификации В ходе экспериментов было выявлено, что
наилучшую точность показывает модель с
модулем Multiclass Decision Forest [7]. Лучшие
результаты показала модель при
прогнозировании только по типу похода, на
который клиент ходил ранее. Это больше всего
предопределяет его будущие предпочтения.
Результаты данной модели были выгружены и
сопоставлены с реальными данными. Для модели
по прогнозированию типа туристическои услуги по прогнозированию типа туристической услуги
наиболее важным является показатель точности
прогнозирования precision, который составил
40,69%. Для удобной работы менеджеров с
моделями был создан сервис, который
прогнозирует решение существующего клиента о
повторной покупке туристических услуг и
возможном типе похода (рис. 3).
Год ЦТип судна НПроН ГеографкД Сезон В ИнструкДСтоимостьО Менеджер Источник Пол Q Город проЦОтзыЦ ВозргЦ КупитДТиН
2018 Яхта Bavaria 7 Европа Теплый Родштейн120000 Елизавета Сарафанно Мужск Новосибирс Нет 47 Нет 0
2019 Херсонес 7 Россия Холодный Ибкин 30000 Алексей Facebook Мужск Ангарск Да 32 Нет 0
2019 Крузенштерн 7 Европа Теплый Попов 130000 Екатерина Facebook Мужск Санкт-Петер Нет 58 Да 6
2018 Крузенштерн 7 Европа Теплый Родштейн120000 Елизавета Facebook Женею Москва Нет 70 Да 3
2019 Яхта Wind Dan 30 Мир Холодный Попов 850000 Зоя Yandex Dire Мужск Санкт-Петер Да 40 Нет 0
2018 Крузенштерн 14 Мир Теплый Попов 205000 Екатерина Facebook Мужск Москва Нет 62 Да 6
2018 Седов 7 Европа Теплый Болдин 120000 Зоя Facebook Женею Москва Да 45 Нет 0
2019 Крузенштерн 7 Европа Теплый Родштейн130000 Екатерина Сарафанно Женею Новосибирс Да 47 Да 5
2018 Седов 7 Европа Теплый Родштейн 120000 Елизавета Facebook ЖенсюТамбов Нет 42 Нет 0
2018 Яхта Bavaria 7 Европа Теплый Казак 120000 Зоя Yandex Dire Женею Магнитогор Нет 43 Нет 0
2019 Крузенштерн 7 Европа Теплый Родштейн130000 Алексей Facebook Мужск Москва Нет 55 Нет 0
2019 Яхта Bavaria 7 Европа Теплый Родштейн 120000 Зоя Сарафанно Мужск Липецк Нет 38 Нет 0
2019 Крузенштерн 7 Европа Теплый Родштейн130000 Елизавета Facebook Мужск Москва Да 34 Да 6
2019 Крузенштерн 7 Европа Теплый Родштейн 130000 Алексей Facebook Мужск Пенза Да 65 Нет 0
2018 Седов 7 Европа Теплый Попов 120000 Зоя Сарафанно Женею Магнитогор Да 52 Нет 0
Рис. 3. Сервис по прогнозированию решения существующего клиента о повторной покупке туристических услуг и
возможном типе похода
3. АНАЛИЗ ЭФФЕКТИВНОСТИ
ИСПОЛЬЗОВАНИЯ СЕРВИСА
Для анализа эффективности использования модели в денежном выражении стоит отметить, что чаще всего выручка от купленного туристического похода составляет 170000 рублей. Прибыль компании в данном случае составляет 55000 рублей. Исходя из данных прошлых лет, среднем повторно готовы приходить около 19% от общего числа клиентов, если компания не «забывает» о них. В 2019 году клиентами были куплены 3267 тура. Допустим три варианта развития событий.
Вариант первый. Менеджеры не будут связываться с имеющимися клиентами из-за большого количества заявок новых потенциальных клиентов, которые приходят благодаря новой активной рекламной кампании. Тогда упущенная выгода, исчисляемая в выручке, составит 3267*0,19*170000 = 105.524.100 рублей. Если исчислять данную величину в прибыли, то она составит 3267*0,19*55000 = 34.140.150 рублей.
Вариант второй. Менеджеры будут связываться с каждым из нынешних клиентов. В среднем один звонок, при котором клиент, который знает о компании, отказывается от услуги, занимает 2 минуты. Звонок с положительным исходом для такого клиента - 5 минут. Учитывая то, что около 19% клиентов готовы прийти повторно, на положительные звонки менеджеры потратят 3267*0,19*5 = 3104 минуты, на отрицательные -3267*(1-0,19)*2 = 5293 минут. Итого 140 часов. В
среднем в день при новой рекламной кампании приходит около 20 новых заявок на опытного менеджера и 15 на рядового менеджера. Звонок новому клиенту с учетом занесения данных в СЯМ-систему опытным менеджером занимает около 20 минут. Новые заявки у менеджеров в приоритете, поэтому 6.6 из 8 рабочих часов в день будут занимать новые заявки. 0.4 часа необходимо отнести к времени отдыха менеджера. Итого для звонков существующим клиентам у опытного менеджера остается 1 час в рабочий день. Таких менеджеров в компании 2 человека. Для рядовых менеджеров показатель по затрате времени для обработки новой заявки составляет 25 минут. В день на 15 заявок такой менеджер тратит 6.25 часов в день. Также 0.4 часа отнесем к «личному времени» менеджера на работе. На звонки существующим клиентам рядовым менеджерам остается 1.35 часа. Рядовых менеджеров в компании также 2 человека. В день всеми менеджерами в сумме может быть уделено максимум 1.35*2+1*2 = 4.7 часа на звонки существующим клиентам. Итого на обзвон 2019 года уйдет 140/4.7 = 30 рабочих дней, что соответствует примерно 1.5 месяцу, за которые клиент может уже приобрести туристические услуги другой компании. При этом в расчетах показывается идеальная ситуация, когда новые клиенты, оставившие заявки, берут трубки с первого раза и принимают решение о походе с первого раза, а условия походов не меняются и менеджерам не надо повторно звонить клиентам для информирования и принятия решений. Так как
туристические морские походы имеют высокие риски в связи с политическими и погодными условиями, такие ситуации встречаются часто и у менеджеров может не хватать времени на звонки даже по новым заявкам. Для осуществления звонков по подобным причинам искусственно занижается количество новых заявок в день, и потенциальная выручка компании падает. Как следствие, у менеджеров не остается времени и для звонков существующим клиентам. В этом случае упущенная выгода будет приравниваться к варианту 1. По экспертному мнению работников компании вероятность первого исхода составляет 20%, второго - 80%. Средняя зарплата менеджера в месяц составляет 60000 рублей за 22 рабочих дня по 8 рабочих часов. Для расчета финансового показателя можно использовать математическое ожидание: (60.000/22/8*140)*0,2+105.000.000*0,8 = 84.009.545 рублей выручки или (60.000/22/8* 140)*0,2+34.000.000*0,8 = 27.209.545 рублей прибыли.
Вариант третий - это использование модели машинного обучения, прогнозирующей повторные продажи туристических услуг. Модель с точностью 74,15% верно предсказывает положительное решение клиента, то есть только 25,85% из звонков будут спрогнозированы как положительные, но иметь отрицательный результат. 3267*0,19*0,7415 = 460 человек примут положительное решение, что составит от 460*120000 = 55.200.000 рублей до 460*220000 = 101.200.000 рублей выручки. При выражении в прибыли данная сумма составит от 460*40.000 = 18.400.000 рублей до 460*70.000 = 32.200.000 рублей. При этом затраты менеджеров во времени составят не 5 минут на положительный звонок (в который предлагается 8 типов программ), а меньше благодаря тому, что модель с 40% точностью предсказывает тип похода, на который пойдет клиент. С помощью показателей Scored Probabilities [4] менеджеры смогут выбрать три наиболее вероятных программы, на которые может пойти клиент. Если ранее тратилось в среднем по 0.5 минут на рассказ о 8 типах программ (4 минуты) и 1 минута на рассказ подробностей о выбранной программе, то сейчас это время
сократится до 0.5*3+1 = 2.5 минут. При этом False Positive звонков будет 3267*0,19*0,2585 = 160 штук. 160*2 = 320 минут в целом или по 80 минут при распределении на 4 менеджеров. То есть каждый из менеджеров потратит на звонки, которые не принесут прибыль, по 80 минут (1.33 часа) в один из рабочих дней или по 40 минут в два рабочих дня. В переводе на зарплату менеджеров издержки, составят 1.33*(60.000/21)/8 = 475 рублей на менеджера, что в сумме составит 1900 потерянных рублей. Так как показатель полноты модели составил 74,15%, упущенная выручка в данном варианте составит 105.000.000*(1-0,7415) = 27.142.500 рублей выручки или 34.000.000*(1-0,7415) = 8.789.000 рублей. Издержки, потраченные на неудачные звонки, оказываются несопоставимыми с прибылью, которую принесут положительные звонки. Также модель поможет прогнозировать будущую выручку от старых клиентов, исходя из прогноза типов похода, что поможет компании правильно распоряжаться своими финансовыми средствами. Также она поможет отделу маркетинга усовершенствовать email рассылки и другие типы рекламы, направленные на существующих клиентов, сделав их более таргетированными.
Также в ходе работы был проведен анализ собранных данных. Он показал, что на повторное решение о выборе типа программы сильно влияет тип судна. Также тип судна является одним из важнейших факторов о принятии решения повторно отправится в поход. Так, после походов на паруснике Крузенштерн участники чаще всего повторно покупают туристические услуги компании, часто возвращаясь на тот же парусник или пробуют походы на паруснике Седов. Можно сделать вывод, что стоит организовывать больше походов именно на паруснике Крузенштерн, так как после него люди оказываются «влюбленными в море» и готовы дальше участвовать в подобных программах. После похода на паруснике Херсонес клиенты возвращаются в компанию реже. После походов на яхте Bavaria практиканты часто продолжают участие именно в яхтенных программах - на яхте Wind Dancer.
Анализ продолжительности походов показал,
что чаще всего первый поход клиента минимален по количеству дней - его продолжительность составляет всего неделю. Но повторные походы часто осуществляются уже на более продолжительный срок - 14 дней и более. Это говорит о постепенном привыкании к морю, а также о том, что первоначально люди не так сильно доверяют программам компании, но после первого похода готовы уходить в море на более долгий срок. То есть клиентам, которые приходят в первый раз, стоит предлагать программы с небольшой продолжительностью.
Анализ сезонности показал, что после похода на паруснике Херсонес в холодное время года клиенты повторно покупают только походы в теплый сезон. При этом «продвинутые» клиенты, которые часто участвуют в походах, готовы после теплых продолжительных походов переходить на длинные походы в холодный сезон (например, пойти в поход в Антарктиду на месяц). Этот факт говорит о том, что в холодный сезон стоит организовывать только эксклюзивные программы для опытных яхтсменов и участников походов.
Также немаловажным критерием при решении о повторном приобретении туристических услуг в компании является инструктор, который являлся руководителем практики в первом походе. Была выявлена следующая закономерность: чаще всего клиенты возвращались за повторным приобретением услуг после походов с определенными инструкторами. Это говорит о хорошей работе инструкторов и умением вовлечь людей в активную морскую жизнь на судне.
Аналогичная ситуация была выявлена и с менеджерами, которые ведут клиентов от первого звонка непосредственно до начала похода. Лучшие результаты работы (по повторным заявкам клиентов) были показаны определенными менеджерами. При этом другие менеджеры сильно отстают по данному показателю. Можно сделать вывод о том, что от работы «на берегу» результат также сильно зависит. Поэтому стоит принимать решения о поднятии квалификации отстающих менеджеров с помощью различных тренингов и кураторства опытных менеджеров/руководителя.
Пол человека и тот факт, оставил ли участник
похода отзыв, не оказывают значительного влияния на решение о повторной покупке туристических услуг в компании. При этом женщины занимают примерно 30% мест в походах, а мужчины - 70%. Город проживания отчасти коррелирует с доходами клиента и влияет на стоимость первоначального похода. Участники из городов-миллионников чаще повторно покупают туристические услуги в «Морской Практике». В программах принимают участие люди от 14 до 80 лет, средний возраст участников составляет 46 лет, больше всего участников в возрастной группе от 35 до 55 лет. 4. ЗАКЛЮЧЕНИЕ
Авторами работы была подтверждена эффективность от возможного внедрения сервиса по прогнозированию повторных продаж туристических услуг в компанию. Данный сервис также может быть использован другими туристическими компаниями. Польза от его внедрения возможна и в других отраслях, компаниям в которых важно понимать, насколько актуальна повторная продажа их продукта существующим клиентам. Например, сервис можно адаптировать с учетом особенностей других туристических компаний, а также для использования в В2В секторе.
Подводя итоги, можно сказать, что модели машинного обучения показывают достаточную точность на тестовых выборках, польза от их возможного использования доказана. Модели могут быть внедрены в работу компании, это поможет сократить временные издержки менеджеров, не упустить возможную выручку от существующих клиентов, усовершенствовать работу маркетингового отдела, а дополнительный анализ собранных данных может помочь лучше узнать целевую аудиторию. В ходе исследования были выполнены все поставленные задачи с использованием методологической базы и достигнута цель работы.
Список используемых источников
[1] Голованова, Д.А. Анализ основных рыночных тенденций на рынке платежных услуг. - М.: Финансовый менеджмент: записки молодых ученых; ООО «Научные технологии» 2020. - 1 с.
[2] Голованова, Д.А. Интеграция финансовых технологий в сфере туризма. - М.: Будущее российских корпораций:
стратегическое развитие и эффективное управление финансами; КНОРУС, 2019. - 2 с.
[3] Метрики в задачах машинного обучения. [Электронный ресурс]. URL: https://habr.com/ru/company/ods/blog /328372/ (дата обращения: 16.04.2020)
[4] Интерпретация результатов модели в Студии машинного обучения Azure. URL: https://docs.microsoft.com/ru-ru/azure/machine-learning/studio/interpret-model-results (дата обращения: 17.04.2020).
[5] Classification. [Электронный ресурс]. URL: https://docs.microsoft.com/en-us/azure/machine-learning/ studio-module-reference/machine-learning-initialize-model-classification/ (дата обращения: 15.04.2020).
[6] Microsoft Azure. URL: https://azure.microsoft.com/ru-ru/services/machine-learning/ (дата обращения: 14.04.2020).
[7] Multiclass Decision Forest. [Электронный ресурс]. URL: https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/multiclass-decision-forest (дата обращения: 17.04.2020).
[8] Two-Class Boosted Decision Tree. [Электронный ресурс]. URL: https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/two-class-boosted-decision-tree (дата обращения: 16.04.2020).
[9] Two-Class Logistic Regression. [Электронный ресурс]. URL: https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/two-class-logistic-regression (дата обращения: 16.04.2020).
[10] Two-Class Neural Network. [Электронный ресурс]. URL: https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/two-class-neural-network (дата обращения: 16.04.2020).
V V
