РАЗРАБОТКА МОДЕЛИ РЕЙТИНГОВОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПРЕДОСТАВЛЯЕМЫХ ВОДИТЕЛЯМИ УСЛУГ В КОМПАНИЯХ - АГРЕГАТОРАХ ТАКСИ Текст научной статьи по специальности «Компьютерные и информационные науки»

БИЗНЕС-ИНФОРМАТИКА Т. 16 № 4 - 2022 DOI: 10.17323/2587-814X.2022.4.68.81

Разработка модели рейтинговой системы оценки качества предоставляемых водителями услуг в компаниях - агрегаторах такси

Т.Я. Шевгунов a ©

E-mail: [email protected]

Ж.А. Вавиловаa

E-mail: [email protected]

Т.К. Кравченкоb О

E-mail: [email protected]

Л.Л. Левченко b

E-mail: [email protected]

Московский авиационный институт (национальный исследовательский университет) Адрес: Россия, 125993, г. Москва, Волоколамское шоссе, д. 4

Ь Национальный исследовательский университет «Высшая школа экономики» Адрес: Россия, 101000, г. Москва, ул. Мясницкая, д. 20

Аннотация

В статье рассматривается задача количественного описания и повышения качества оказания услуг компаниями — агрегаторами такси, работающими на российском рынке. Данная проблема в целом недостаточно освещена в научной литературе в связи с ее высокой специфичностью, хотя отдельные исследования, направленные на поиск метрик качества сервиса, были проведены для зарубежных компаний. Целью проведенного исследования является математическая формализация рейтинговой системы оценки качества водителя, позволяющая сформировать параметрически адаптируемую модель. Разработанная математическая модель рейтинговой системы описывается с помощью графа состояний, переход между вершинами которого выполняется при выполнении условий, формулируемых в явном виде. Показано, что расчет рейтинга водителя, находящегося в системе в активном рабочем состоянии, может быть выполнен на основе цифровой фильтрации временного ряда оценок, выставляемых пассажирами каждому водителю после завершения поездки. Предложены рекомендации по выбору импульсной характеристики такого цифрового фильтра. С помощью А/В-теста, проведенного на группе водителей, работавших с компанией-

|агрегатором, удалось подтвердить тот факт, что интегральная метрика качества оказания услуг чувствительна к изменению параметров разработанной рейтинговой системы, что непосредственно выразилось в сокращении доли поездок с негативным клиентским опытом. Предложенная модель рейтинговой системы направлена на повышение качества предоставляемых агрегатором услуг, достигаемого более эффективной дифференциацией водителей, а последующая оптимизация параметров рейтинговой системы может служить одним из инструментов достижения показателей в рамках стратегических целей компании-агрегатора.

Ключевые слова: агрегатор такси, водительский рейтинг, рейтинговая система, цифровая обработка сигналов, линейная фильтрация, граф состояний

Цитирование: Шевгунов Т.Я., Вавилова Ж.А., Кравченко Т.К., Левченко Л.Л. Разработка модели рейтинговой системы оценки качества предоставляемых водителями услуг в компаниях — агрегаторах такси // Бизнес-информатика. 2022. Т. 16. № 4. С. 68-81. Б01: 10.17323/2587-814Х.2022.4.68.81

Введение

Сфера услуг современного мегаполиса существует и развивается в условиях острой конкуренции и борьбы за потребителя. Компании должны внимательно отслеживать настроения в пользовательских предпочтениях активных и потенциальных клиентских групп, быстро реагировать на изменения, проводить постоянный контроль качества предоставляемых услуг, искать направления дальнейшего развития и повышения потребительской ценности своих продуктов. Рынок пассажирских автоперевозок, или, более кратко, пассажирских такси, достаточно емок, разнообразен по клиентским сегментам и имеет свою собственную историю. С начала двухтысячных годов продвижение компаний — агрегаторов такси неумолимо теснит и постепенно заменяет собой классический сервис такси с таксопарком и оператором на телефоне. Безусловным стимулом этого является развитие цифровых технологий, выражающееся в повсеместной доступности мобильного интернета в городах. Исторически первым агрегатором такси в России был Uber, вышедший на рынок в 2009 г., далее в 2011 г. появились Яндекс.Такси и Gett-такси. На протяжении следующих десяти лет рынок агрегаторов в России постоянно расширялся, появлялись новые компании, в том числе региональные и локальные.

Говоря в целом, агрегатор такси — это компания, которая предоставляет услугу по организации поездок такси с использованием информационно-технической платформы, позволяющей в ре-

жиме реального времени удовлетворять спрос со стороны пассажиров предложением со стороны водителей [1]. Ключевая стратегия типичной ком-пании-агрегатора состоит в поддержке позитивной ценности бренда среди клиентов и поставщиков услуг, достигаемого за счет высокого качества предоставляемых услуг, поскольку высокая лояльность бренду позволяет удерживать генерирующую выручку клиентскую аудиторию как можно дольше. При этом необходимо подчеркнуть, что компании критически важно поддерживать лояльность как пассажиров, так и водителей; для чего требуется учитывать одновременно интересы обеих групп. Поскольку водители являются одним из ключевых генерирующих прибыль ресурсов в бизнес-модели агрегаторов такси, компании заинтересованы в применении различных методов, направленных на привлечение квалифицированных водителей, которые способны предоставлять качественный сервис пассажирам, и последующее удержание их в компании. Одним из действенных инструментов взаимодействия с водителем является рейтинговая система (РС), которая для большинства агрегаторов такси служит основным способом контроля качества сервиса, предоставляемого водителями. Значение рейтинга, сформированное в такой РС, влияет непосредственно на доход водителя и подтверждает его возможность последующей работы в сервисе, становясь таким образом ключевым фактором самооценки для большинства водителей. В работе [2] отмечается, что агрегаторы такси используют РС в качестве инструмента прямой мотивации водителей для

поддержания установленного компанией уровня качества сервиса, в качестве источника оценок которого выступают не эксперты компании, а пассажиры — ее непосредственные клиенты.

Необходимость принимать во внимание важность РС как для формирования клиентской лояльности пассажиров с одной стороны, так и привлечения, удержания и мотивации водителей с другой, существенно повышает сложность задачи разработки водительской РС. В практическом случае, водители хотели бы использовать понятную РС с ясными правилами расчета рейтинга, чувствительного к факторам и действиям, зависящим от их собственных усилий. В свою очередь, для пассажиров будет иметь ценность иллюстративная РС, представляющая возможности предварительной оценки качества услуг предлагаемых им водителей. Наконец, компания-агрегатор заинтересована в получении РС, повышающей мотивацию водителей за счет награждения их действий по улучшению уровня сервиса и наказания их за нарушения ими правил качества и безопасности. Также РС должна обеспечивать агрегато-ру получение интерпретируемых, количественно измеримых сигналов обратной связи от пассажиров, последующая обработка которых может быть использована для подготовки и проведения изменений в регламентах сервиса, предоставляемого агрегатором.

Для основных вышеперечисленных сторон модель близкой к идеальной РС должна отвечать следующим требованиям:

♦ оказывать влияние на водителя как фактор мотивации: поощрения и наказания;

♦ предоставлять скалярный показатель, порядок расчета которого понятен и может иметь предметное обоснование;

♦ иметь возможность параметризации и настройки;

♦ предоставлять специальный стартовый период адаптации для новых водителей;

♦ обеспечивать сигнал обратной связи для обоснования последующего совершенствования сервиса;

♦ обладать высокой чувствительностью к изменениям в поведении водителя: при изменении водителем сервисного поведения, РС должна отследить это за короткий промежуток времени.

Дальнейшее совершенствование РС должно обеспечивать потенциал для повышения качества

сервиса, предоставляемого агрегатором, и эффективности дифференциации водителей, что способствуют формированию универсальной комфортной рабочей среды для водителей.

Цель разработки РС в рамках настоящей статьи — это увеличение эффективности дифференциации водителей по качеству предоставляемого ими сервиса и, как следствие, повышение общего качества сервиса и уровня удовлетворенности клиентов.

Необходимо отметить, что в научной литературе проблеме разработки РС для агрегаторов такси уделяется незначительный интерес, что обусловлено достаточно узкой специализацией такой темы исследования. Так, в работах [3, 4] рассмотрен выбор показателей для чувствительной количественной оценки пассажирских предпочтений при оценке качества сервиса такси. В работе

[5] предложен выбор метрик для оценки качества работы сервиса на основе энтропии, а в работе

[6] обсуждается влияние используемых показателей качества сервиса на поведение пассажиров. Отдельного внимания заслуживает анализ регионального рынка пассажирских перевозок в мегаполисе Ближнего Востока [7].

Ключевым источником информации для представленного в настоящей статье исследования служит работа одного из соавторов настоящей статьи [8], в которой проведено комплексное исследование вопроса разработки РС в интересах одного из агрегаторов такси, работающего на российском рынке. Сформированная информационная база этого исследования использована в обезличенном виде в рамках настоящего исследования.

1. Качество сервиса агрегатора такси

Поскольку одной из стратегических целей большинства компаний, работающих в конкурентной среде, является получение большей доли рынка, каждая из них заинтересована в создании способов эффективного привлечения новых водителей и пассажиров и поддержания высокого уровня их удовлетворенности и лояльности для последующего удержания. Типичная компания-агрегатор не реже одного раза в квартал осуществляет комплексный анализ, направленный на исследования текущей лояльности бренду с использованием онлайн-опросов клиентов. Одним из наиболее простых и распространенных методик, формирующих количественный показатель лояльности бренду, явля-

ется индекс потребительской лояльности NPS (Net Promoter Score). Индекс NPS определяет лояльность бренду как намерение пользователей услуг рекомендовать сервис; иными словами, готовность транслировать собственный позитивный опыт отношений с компанией на своих знакомых — новых потенциальных клиентов. Опрашиваемым клиентам предлагается дать оценку готовности порекомендовать сервис другим людям по шкале от 0 до 10 баллов, где 0 означает неготовность рекомендовать, а 10 — максимальную готовность рекомендовать. В зависимости от ответов респонденты впоследствии делятся на три группы: 1) промоутеры (9-10 баллов по шкале); 2) нейтралы (7-8 баллов по шкале); 3) критики (0-6 баллов). Количественно индекс NPS может быть рассчитан по формуле (1):

NPS = P — P , (1)

p c ' v '

где Pp — процент промоутеров от общего числа опрошенных;

Pc — процент критиков от общего числа опрошенных.

Получаемые значения безразмерного индекса NPS лежат в интервале [-100%, 100%]. В общем случае, чем показатель NPS выше, тем в большей доле существующие клиенты готовы рекомендовать сервис, что говорит об их удовлетворенности брендом и большей лояльность к нему. Популярность данной метрики определяется ее сравнительной простотой: респондентам задается единственный вопрос и предлагается интуитивно понятная числовая шкала оценивания. Необходимо также отметить, что данная метрика имеет подтвержденную корреляцию с ростом компании в долгосрочном периоде [9], и создает предпосылки для ее включения в стратегические показатели результативности, количественно измеряющие повышение лояльности бренду.

Еще одной специализированной метрикой, позволяющей измерить уровень удовлетворенности клиентов является показатель удовлетворенности клиентов CSI (Customer Satisfaction Index), который определяет,насколько оцениваемый сервис в целом отвечает требованиям заинтересованных лиц и ожиданиям рынка, а также в какой количественной мере клиенты сервиса чувствуют себя удовлетворенными от долгосрочного сотрудничества с компанией. В расчет индекса берутся определенные компанией атрибуты, например, имидж компании, воспринимаемая ценность, клиент-

ские ожидания, субъективно воспринимаемое качество — все в совокупности, отражающие меру удовлетворенности потребителя и, как следствие, его лояльность к бренду компании. Оценка по каждому атрибуту выставляется респондентом по 5-балльной шкале. При расчете интегрального индекса каждый атрибут имеет свой вес, определяющий его относительную важность среди всей совокупности атрибутов:

СЛШ(2) л

где K — количество анализируемых атрибутов; W — вес атрибута; P. — оценка атрибута.

Значения индекс CSI принимает на отрезке [0%, 100%]; чем выше значение CSI, тем более удовлетворенными от взаимодействия с компанией рассматриваются ее клиенты.

В большинстве практических случаев комплексного изучения лояльности клиентов к бренду метрики показателей NPS и CSI следует рассматривать в комбинации. Кроме того, следует отметить, что можно выделить два вида метрика NPS и CSI — рассчитанные по рынку и по собственной клиентской базе компании. Расчет рыночных NPS и CSI проводится на основе данных, полученных от клиентов всех компаний рынка, прошедших опрос на специально подготовленной для этого информационной платформе, как правило, размещаемой в виде сервиса в сети интернет. Расчет рыночных показателей позволяет оценить позицию компании относительно своих конкурентов. По собственной базе NPS и CSI рассчитываются на основе ответов пользователей единственного сервиса; они позволяют оценить изменения в отношении к компании со стороны наиболее активной клиентской аудитории.

Опрос, проведенный по собственной базе водителей выявил, что индекс CSI у лидеров рынка — компаний, работающих под брендами: Яндекс. Такси, Uber, Сити-Мобил на протяжении 6 месяцев с декабря 2020 года по июнь 2021 года сохранялся на примерно одинаковом уровне 40—50%. Подробнее их динамика представлена на рис. 1, где также можно отметить, что во втором полугодии 2021 года происходило некоторое снижение индекса компаний Uber и Сити-Мобил по отношению к ведущему агрегатору Яндекс.Такси.

% 60 -•

40 -.....»

20 -

—I-1-i-1-1-1-1-i-i-1-1-1-1—

12/20 1/21 2/21 3/21 4/21 5/21 6/21 7/21 8/21 9/21 10/21 11/21 12/21

Дата

Сити-Мобил

Uber

Яндекс.Такси

0

Рис. 1. CSI пассажиров по собственной базе c декабря 2020 по декабрь 2021.

На рис. 2 представлена динамика за период с декабря 2020 по декабрь 2021 года для метрики NPS, рассчитанная по собственной базе водителей Сити-Мобил, Uber, Яндекс.Такси. Представленные графики позволяют отметить, что индекс NPS компаний Яндекс и Uber значительно выше, чем Сити-Мобил, что свидетельствует о том, что удовлетворенность работы водителей Сити-Мобил с агрегатором является ниже, чем у конкурентов. В детальных опросах водители, работающие с Сити-Мобил, наиболее часто отмечают следующие недостатки: дешевые тарифы, и, как следствие, низкий заработок, частые проблемы с диспетчеризацией и субъективно меньшее (по сравнению с Яндекс.Такси и Uber) число предлагаемых заказов в целом.

Рассмотренные выше индексы формируют оценки воспринимаемого качество сервиса на основании обработки результатов однократных опросов, проводимых агрегатором такси. Однако для оценки качества сервиса в компании оказывается жела-

тельным использование метрики, которая может быть рассчитана в любой момент времени с использованием динамически получаемых данных, к которым компания имеет доступ.

По завершении поездки в клиентском мобильном приложении пассажиру предлагают дать оценку поездке с использованием пятибалльной шкалы, от 1 до 5 звезд. При этом клиенты имеют возможность как поставить оценку непосредственно после поездки, так и вернуться к оцениванию некоторое время спустя. С использованием такой последовательности клиентских оценок качество сервиса в динамике по дням или по неделям может быть оценено метрикой рейтинг неудачных поездок BTR (Bad Trips Rate), которая рассчитывается по формуле:

BTR = PBT, (3)

где PBT — процент неудачных поездок от всех поездок, совершенных некоторым водителем.

%

40 -■

0 -

-200

"Т"

"Т"

т

"Т"

т

"Т"

т

"Т"

"Т"

т

"Т"

т

"Г

Дата

12/20 1/21 2/21 3/21 4/21 5/21 6/21 7/21 8/21 9/21 10/21 11/21 12/21 —•— Сити-Мобил —•— Uber Яндекс.Такси

Рис. 2. NPS водителей по собственной базе c декабря 2020 по декабрь 2021

Неудачными поездками признаются все поездки, для которых выполняется хотя бы одно условие: 1) пассажир поставил оценку от 1 до 3 по пятибалльной шкале, поскольку такие оценки следует воспринимать как сигнал о негативном клиентском опыте использования сервиса; 2) пассажир обратился в поддержку компании с проблемой, подпадающей в категорию «Нарушение стандартов качества» и/или «Нарушение стандартов безопасности». В эти категории входят все проблемы, которые связаны с поведением и навыками водителя, например, хамство, агрессия, курение в салоне, нарушение ПДД, болезнь, невнимательность на дороге; проблемы с состоянием машины, например, грязный салон, неприятный запах, технические проблемы; проблемы с заказом, например, обман клиента при расчете стоимости, отсутствие поездки, невыплата сдачи.

В целом BTR, принимающая значения на отрезке [0%, 100%], представляет иллюстративную метрику оценки качества сервиса в динамике. Меньшие значения BTR говорят о лучшем водительском поведении. Однако, использование данной метрики в качестве показателя результативности отдельно -го водителя затруднительно, поскольку она имеет тенденцию снижаться с номером поездки водителя: чем больше водитель совершил поездок, тем, в общем случае, оказывается ниже его BTR.

Оценку качества сервиса отдельного водителя без влияния количества совершенных им поездок возможно провести с использованием еще одной специализированной метрики: CAD (Conversion after Driver), которая характеризует конверсию клиентов в совершение ими следующей поездки в рамках компании после поездки с отдельным водителем:

ИР

CAD = —— * 100% , (4)

N*

где nsd — число пассажиров, совершивших свою следующую поездку менее чем через 60 дней после поездки с водителем d;

Nd — общее число пассажиров, совершивших поездки с водителем d.

В результате анализа данной метрики удается отделить две особые группы водителей с максимальным различием по направлению их воздействия на лояльность пассажиров.

Одну группу составляют водители с высокой конверсией: CAD е [80%, 100%]. Такие водители принимают заказы с высокими тарифами, работая при этом 6 и менее часов в день, избирательны в

выборе предлагаемых поездок, но, главное, что они постоянно совершают поездки, оцениваемые пассажирами как высококачественные. Такие водители типично работают долго в компании-агрегаторе и обеспечивают устойчивую генерацию выручки.

Другую группу составляют водители, имеющие низкую конверсию: CAD е [0%, 20%]. Водители этой группы имеют меньший средний заработок, работают 7 и более часов в день, менее избирательны при выборе поездок, но совершают менее качественные поездки, по отзывам и оценкам пассажиров. Такие водители остаются работать в агрегаторе меньше других водителей, а гарнируемая ими выручка трудно прогнозируема.

Проведенное исследование водительского отношения к рейтингу [8] показало, что около 60% водителей ежедневно следят за собственным рейтингом, так как понимают его значимость для продолжения своей успешной работы. В число предпринимаемых ими действий, направленных на удержание высокого рейтинга, входят поддержание чистоты салона и внешнего корпуса автомобиля, обеспечение приемлемого запаха, проявление вежливости и корректного поведения, аккуратное вождения и забота о пассажире. Однако исследование выявило, что в тех случаях, когда водители не имеют возможности разобраться, по каким именно причинам пассажиры поставили им те или иные низкие оценки, они проявляют негативное отношение к идее рейтинга. Необоснованное по мнению водителей снижение рейтинга существенно снижает уровень мотивации и не стимулирует выполнять свою работу качественно.

2. Модель рейтинговой системы

Работающие в настоящее время на российском рынке крупные компании — агрегаторы такси применяют собственные РС оценки водительского сервиса. Как правило расчет показателей в них основан на классических подходах анализа временных рядов, как множества наблюдений, генерируемых некоторым случайным процессом последовательно во времени [10]. Так, получаемые от пассажиров оценки отдельного водителя d являются случайными величинами, которые формируют дискретный случайный временной ряд rd[t], rd е {1, 2, 3, 4, 5}. В данном исследовании мы не делаем предположений о характере исследуемого процесса, в частности о его стационарности или более сложном нестационарном поведении [11, 12].

Зададим ось дискретного текущего времени t, целочисленные значения отсчетов которой имеют смысл номеров поездок, совершенных водителями. Обозначим через Rd [t] рейтинг водителя d в момент времени t. Значение Rd [t] формируется на основе обработки временного ряда оценок rd[t] с учетом следующих переменных: Sd[t] — состояние водителя в РС; Amd [t] — число амнистий водителя в момент времени t;

TH — пороговое значения Rd[t], при котором водитель может работать в сервисе; TAd [t] — момент времени последней амнистии водителя после снижения его рейтинга ниже порогового значения;

MA — максимальное число амнистий водителя;

NA — длительность интервала адаптации и восстановления;

RN — рейтинг новичка на период адаптации; RA — рейтинг водителя сразу после амнистии, действующий в течение периода восстановления.

2.1. Учет состояний водителя в сервисе

Переменная, описывающая состояния водителя, учитываемое в РС, принимает значения из конечного алфавита {N, A, B, С}:

N (newbie) — водитель работает в сервисе, считается новичком;

A (active) — водитель работает в сервисе в режиме расчета рейтинга;

B (blocked) — водитель заблокирован: оказывается в этом состоянии, когда на очередном шаге Rd [t] < TH;

С (correction) — водитель работает в сервисе на интервале исправления, т.е. в течение некоторого времени после амнистии.

На рисунке 3 представлен граф конечного автомата, реализующего переход водителя между состояниями. В квадратных скобках указаны условия перехода в другое состояние. При невыполнении ни одного условия перехода состояние водителя сохраняется: Sd [t ] = Sd [t - 1].

{N, A, С } образует подмножество состояний, при нахождении в которых водителю разрешено совершать поездки, при этом с каждой совершенной поездкой время t увеличивается на 1. Состояния указанного подмножества различаются способом

расчета рейтинга и измеренной числом поездок длительностью времени, которое водитель может оставаться в каждом из состояний. В активном состоянии А водитель потенциально может оставаться бесконечно долго, если не сработает условие выхода, обусловленное низким рейтингом. При начале работы каждого уникального водителя й в системе производится инициализация: Атй [?] = 0, ТАД?] = 0. Поглощающим состоянием графа является состояние В, в котором водитель теряет возможность совершать поездки, если число предоставленных ему амнистий не превысило максимальное число амнистий МА, установленных в системе. Если число предоставленных водителю амнистий не превышает МА, то водитель может покинуть это состояние, если подаст запрос на амнистию. Через ЯЕОА обозначена булева переменная, принимающая истинное значение при подаче водителем такого запроса. Чтобы получить амнистию и продолжить свою работу в сервисе, водитель, как правило, должен пройти дополнительное обучение по качеству обслуживания, предоставляемое агре-гатором. Однако, процесс такого обучения не является предметом анализа настоящей работы, и в графе состояний это отражается непосредственно так, что после амнистии водитель продолжает работу в состоянии С.

[REQA&(Amd[t]<M4)]

{TAd[t] = f,

Amd[t] =Amd[t] + 1}

Рис. 3. Граф состояний водителя в рейтинговой системе.

2.2. Линейная модель расчета рейтинга

Простым, но эффективным способом обработки временного ряда оценок, поставленных водителю пассажирами, является линейная цифровая фильтрация. Такая процедура позволяет эффективно выполнить сглаживание последовательности оценок, сформировав усредненный показатель. Это

позволяет ослабить влияние случайных ситуативных факторов на общий рейтинг водителя.

Формула расчета текущего значения рейтинга Яа [?], зависящая от состояния водителя Sd[t], представлена выражением (5):

|>[и]/^-л], (ад =лмад =£);

(5)

где ^[я] — коэффициенты взвешивающей функции, совокупность которых составляет импульсную характеристику (ИХ) эквивалентного линейного инвариантного во времени (ЛИВ) фильтра [13], преобразующего входной цифровой сигнал гл [^ в выходной Яа ^ ] посредством линейной цифровой свертки.

Выбор ИХ ^[я] полностью определяет поведение ЛИВ-фильтра, и в ряде случаев, при некотором довольно общем качественном описании желаемого преобразования, оказывается возможным задать требования к ИХ. Так для формирования рейтинга водителя Я. [^ в его активном состоянии (А) на основе наблюдения за его оценками г{(] за некоторый предшествующий интервал времени, формирующий ЛИВ-фильтр, должен выполнять сглаживающее преобразование. В этом случае к его ИХ предъявляются следующие требования.

Во-первых, используемый ЛИВ-фильтр должен быть каузальной системой [14], т.е. при я < 0: ^[я] = 0, что обусловлено невозможностью знать значения входного сигнала в будущие моменты времени при расчете выходного значения в текущий момент времени.

Во-вторых, отсчеты ИХ должны быть неотрицательными: Уя : ^[я] > 0, что обусловлено смысловым содержанием рейтинга как результата накопления временного ряда оценок.

Третьим требованием к ИХ фильтра является условие его нормировки:

2>[И]=1,

(6)

которое позволяет получать значения рейтинга Rd [?] в диапазоне значений оценок rd [?].

Наиболее простым для расчета и смысловой интерпретации выбором ИХ может служить ИХ, реализующая сглаживающий фильтр простого скользящего среднего (Simple Moving Average, SMA), вычисляемого на основе W последних отсчетов входного сигнала:

w[n] = SMAJn] =

—, 0 < л < W-1, W (7)

О ,n>W.

В таблице 1 представлены способы расчета водительского рейтинга, которые применялись крупными компаниями — агрегаторами такси, работавшими на российском рынке по состоянию на январь 2022 г. [8].

3. Пример расчета рейтинга водителя

В качестве примера рассмотрим следующие параметры рейтинговой системы: используется окно простого скользящего среднего (7) с параметром W = 200, величина порога ТН = 4,6, длительность интервал адаптации МА = 30 и максимальное число амнистий МА = 3. На рисунке 4 представлен временной ряд рейтинга водителя, относящегося к группе водителей с высокой конверсией. Можно отметить, что рейтинг такого водителя не опускался ниже порогового значения, отмеченного пунктирной линией на графике. Начальный участок постоянного рейтинга 4,9 обусловлен периодом адаптации. До-

Таблица 1.

Способы расчета рейтинга крупных такси-агрегаторов в январе 2022 г.

Компания-агрегатор Способ сглаживания Ширина окна усреднения W Значение порога TH Интервал адаптации NA

«Яндекс.Такси» [16] Взвешенное скользящее среднее 150 4,4 50

«Uber» [17] Простое скользящее среднее 500 4,6 100

«Gett» [18] Простое скользящее среднее 150 4,6 50

«Сити-Мобил» [19] Простое скользящее среднее 200 4,6 30

Рейтинг, Яа Щ 5,0 -[-:

4,94,84,7-

4,6 —

-Г"

50

100

150

200

Актуальный рейтинг Расчетный рейтинг

250 300 Номер поездки, t

Рис. 4. Изменение рейтинга водителя с высокой конверсией.

полнительно на графике показано значение расчетного рейтинга, который получается при использовании первой строки формулы (5) без учета фактического состояния, в котором водитель находится в системе.

На рисунке 5 представлен временной ряд рейтинга водителя, относящегося к группе водителей с низкой конверсией. Можно отметить, что актуальный рейтинг такого водителя опустился ниже порогового значения, отмеченного пунктирной линией на графике, сразу после окончания периода адаптации. После проведенной амнистии начался период коррекции, в пределах которого рейтинг водителя был установлен равным значению ЯЛ = 4,7.

Рейтинг, Я^ [?] 5,0

4,5-г

4,0

3,5-:/

3,0---

—Г"

50

100 150 200

Номер поездки, t

Актуальный рейтинг Расчетный рейтинг

Рис. 5. Изменение рейтинга водителя с низкой конверсией.

4. Оценка эффективности рейтинговой системы

Для проверки того, насколько ожидания эффектов от внедрения новой рейтинговой системы подтверждается реальными изменениями метрик качества, был проведен А/В-тест [15] на группе водителей «Сити-Мобил», каждый из которых совершил не менее 250 поездок за период с ноября 2021 по январь 2022 в Санкт-Петербурге [8]. Тест общей продолжительностью пять недель позволил водителям получить достаточное количество оценок для достоверного расчета их рейтинга и оценки статистической значимости собранных наблюдений.

Рейтинг водителей тестовой группы «А» рассчитывался с использованием РС с параметрами: W = 100, Т = 4,6, Л = 2, а для водителей контрольной группы «В» с использованием ранее параметров: W= 200, Т = 4,6, Л = 3. Выбор ВТЯ водителя в качестве основной метрики, изменение которой тестировалось, обосновывается примерно одинаковым количеством поездок у водителей, отобранных для проведения теста. Гипотеза проверяемая в А/В-тесте сформулирована так: значение ВТЯ статистически значимо снизится в тестовой группе. Это объясняется тем, что рейтинг станет более чувствительным из-за уменьшения ширины окна скользящего среднего, вследствие чего водители станут лучше следить за качеством услуг. При этом основные показатели водителей такие, как среднее количество поездок у водителя в день или доля принятых водителем заказов от всех предложенных, не изменятся.

Отобранные водители были разделены в пропорции 50/50 на группы «А» и «В» случайным образом. Проведенный спустя пять недель анализ результатов показал, что в тестовой группе «А» метрика оказалась ниже на 23,5% по сравнению с контрольной группой «В». На рисунке 6 представлены значения основной метрики по группам.

Проверка статистической значимости наблюдаемого различия позволит убедиться в его неслучайном характере. Для этого следует проверить нулевую гипотезу о равенстве средних двух распределений {ВТЯ}Л и {ВТЯ}В, т.е. Н0: теап(ВТЯЛ) = теап(ВТЯв), с использованием ^критерия Стьюдента. Рассчитанное значение р = 0,034 свидетельствует о том, что нулевая гипотеза отвергается при выборе типичного уровня значимости а = 0,05, т.к. р < а.

Статистически значимые различия в метрике по группам: теап(ВТЯ^) > теап(ВТЯВ) позволяют сде-

0

0

ВТЯ, %

25 — 20 — 15 — 10 — 5 — 0 —

теая(ВТЯ_А) тваи(ВТЯВ)

Рис. 6. Средние значения ВТЯ для двух групп водителей.

лать заключение о том, что рассмотренный в работе подход позволяет построить рейтинговую систему, изменение параметров которой способно оказывать статистически значимое воздействие на качество сервиса, предоставляемое агрегатором такси.

Заключение

Предложенная модель рейтинговой системы имеет в своей основе граф состояний водителя, в рамках которого реализуется его переход между состояниями при выполнении ясно определенных условий. Способ расчета рейтинга водителя зависит от того, в каком именно состоянии находится водитель. Показано, что для основного активного состояния водителя задача может быть формализована как задача определения цифрового фильтра, описываемого своей импульсной характеристикой. В основе цифровой фильтрации временного ряда оценок лежит процедура сглаживания, направленная на сформирование показателя, интегрально отражающего качество сервиса, предоставляемо-

го водителем, за некоторый промежуток времени. Это позволяет ослабить влияние случайных и ситуативных факторов на общий рейтинг водителя. Преимущество полученной модели рейтинговой системы состоит в том, что ее адаптация может быть достигнута с использованием ограниченного набора параметров, которые определяют ее функционирование: форма импульсной характеристики цифрового фильтра и ее длительность, пороговое значение рейтинга, допустимое число амнистий, длительности периодов адаптации и коррекции водителя после амнистии.

Результаты анализа эффективности предложенной РС, проведенного с помощью А/В-теста на реальных данных, собранных для группы водителей, показали, что ожидаемое увеличение качества сервиса в компании может составить не менее 5% при настройке параметров предложенной РС. Это потенциально улучшит такой показатель как долговременная ценность компании за счет привлечения новых водителей и пассажиров. Необходимо отметить, что разработка математически формализуемой модели РС является важным этапом, открывающим возможность дальнейших исследований в этом направлении, а именно: оптимизации параметров рейтинговой системы, направленной на достижение показателей качества, обеспечивающих достижение стратегических бизнес-целей компании — агрегатора такси. ■

Благодарности

Теоретические результаты, использованные в настоящем исследовании, были получены в рамках государственного задания Министерства науки и высшего образования Российской Федерации: проект № Р8РБ-2020-0015.

Литература

1. Аналитический отчет о состоянии конкуренции на рынке услуг по оказанию информационного взаимодействия пассажиров и водителей такси (рынок агрегаторов такси) / Федеральная Антимонопольная Служба. [Электронный ресурс]: https://fas.gov.ru/documents/678673 (дата обращения: 10.04.22).

2. Rosenblat A., Stark L. Algorithmic labor and information asymmetries: A case study of Uber's drivers // International Journal of Communication. 2016. Vol. 10. P. 3758-3784. https://doi.org/10.2139/ssrn.2686227

3. Yao Z.-G., Ding X.-D. Measuring passenger's perceptions of taxi service quality with weighted SERVPERF // Applied Mechanics and Materials. 2011. Vol. 97-98. P. 1181-1184. https://doi.org/10.4028/www.scientific.net/AMM.97-98.1181

4. Alonso B., Barreda R., dell'Olio L., Ibeas A. Modelling user perception of taxi service quality // Transport Policy. 2018. Vol. 63. P. 157-164. https://doi.org/10.1016/j.tranpol.2017.12.011

5. Li Q.-H., Song W. Service quality evaluation model for taxi industry based on entropy weight and TOPSIS method // Proceedings of International Conference on Machine Learning and Cybernetics (ICMLC 2011). Guilin, China, 10-13 July 2011. Vol. 3. P. 1043-1047. https://doi.org/10.1109/ICMLC.2011.6016914

6. Techarattanased N. Service quality and consumer behavior on metered taxi services // International Journal of Economics and Management Engineering. 2015. Vol. 9. No. 12. P. 4242-4246. https://doi.org/10.5281/zenodo.1338558

7. Shaaban K., Kim I. Assessment of the taxi service in Doha // Transportation Research. Part A: Policy and Practice. 2016. Vol. 88. P. 223-235. https://doi.org/10.1016/j.tra.2016.04.011

8. Левченко Л.Л. Разработка рейтинговой системы для оценки качества работы водителей для агрегатора такси. ВКР (Бакалавриат). М.: НИУ ВШЭ. 2022 [Электронный ресурс]: https://www.hse.ru/ba/bi/students/diplomas/page12.html/624082719 (дата обращения 01.10.2022).

9. Reichheld F. The one number you need to grow // Harvard Business Review. 2013. [Электронный ресурс]: https://hbr.org/2003/12/the-one-number-you-need-to-grow (дата обращения: 01.10.22).

10. Box G., Jenkins G., Reinsel G., Ljung G. Time series analysis: Forecasting and control. Fifth Edition. Wiley, 2015.

11. Guschina O. Cyclostationary analysis of electric power in a resonant circuit under periodic excitation // Proceedings of the 2022 Systems of Signals Generating and Processing in the Field of on Board Communications. Moscow, Russia, 15-17 March 2022. P. 1-5. https://doi.org/10.1109/IEEEC0NF53456.2022.9744264

12. Efimov E. On the effect of a signal delay on cross-spectral correlation function // Proceedings of the 2022 Systems of Signals Generating and Processing in the Field of on Board Communications. Moscow, Russia, 15-17 March 2022. P. 1-6. https://doi.org/10.1109/IEEEC0NF53456.2022.9744308

13. Holton T. Digital signal processing: Principles and applications. Cambridge, UK: Cambridge University Press, 2021. https://doi.org/10.1017/9781108290050

14. Oppenheim A., Schafer R. Discrete-time signal processing, 3rd ed. Pearson, 2009.

15. Kohavi R., Tang D., Xu Y. Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge, UK: Cambridge University Press, 2020.

16. Раздел «Рейтинг» из базы знаний для водителей такси приложения Яндекс Про // Яндекс Про. [Электронный ресурс]: https://pro.yandex/ru-ru/ufa/knowledge-base/taxi/app/raiting (дата обращения: 08.05.22).

17. Как работает система оценок // Uber. [Электронный ресурс]: https://www.uber.com/cz/ru/drive/basics/how-ratings-work/ (дата обращения: 08.05.22).

18. Рейтинг // Gett. [Электронный ресурс]: https://driver.gett.ru/information/rating/ (дата обращения: 06.05.22).

19. Рейтинг в Ситимобил // Ситимобил. [Электронный ресурс]: https://ct-mobil.ru/rating/ (дата обращения: 08.05.22).

Об авторах

Шевгунов Тимофей Яковлевич

кандидат технических наук;

доцент кафедры «Теоретическая радиотехника», Московский авиационный институт (национальный исследовательский университет), 125993, г. Москва, Волоколамское шоссе, д. 4; E-mail: [email protected] ORCID: 0000-0003-1444-983X

Вавилова Жанна Александровна

кандидат технических наук;

доцент кафедры «Теоретическая радиотехника», Московский авиационный институт (национальный исследовательский университет), 125993, г. Москва, Волоколамское шоссе, д. 4; E-mail: [email protected]

Кравченко Татьяна Константиновна

доктор экономических наук, профессор;

профессор департамента бизнес-информатики, Высшая школа бизнеса, Национальный исследовательский университет «Высшая школа экономики», 101000, г. Москва, ул. Мясницкая, д. 20; E-mail: [email protected] ORCID: 0000-0002-6479-6250

Левченко Любовь Леонидовна

студентка магистратуры Высшей школы бизнеса, Национальный исследовательский университет «Высшая школа экономики», 101000, г. Москва, ул. Мясницкая, д. 20;

E-mail: [email protected]

Development of a rating system assessing the quality of the service provided by drivers in a taxi aggregator company

Timofey Ya. Shevgunov a

E-mail: [email protected]

Zhanna A. Vavilova a

E-mail: [email protected]

Tatiana K. Kravchenko b

E-mail: [email protected]

Liubov L. Levchenko b

E-mail: [email protected]

a Moscow Aviation Institute (National Research University) Address: 4, Volokolamskoe Shosse, Moscow 125993, Russia

b HSE University Address: 20, Myasnitskaya Street, Moscow 101000, Russia

Abstract

This paper deals with the problem of quantitative description and improvement of the quality of the service provided by taxi aggregator companies working on the Russian market. This problem seems to be insufficiently addressed in open research publications due to its high specificity, though some research aiming at searching the quality metrics have been conducted for some companies worldwide. The goal of the current research is mathematical formalization of a rating system assessing the driver service quality that allows one to design a parametrically tunable model. The proposed mathematical model of the rating system is described by means of a state graph where the transition from a vertex to another happens when the explicitly written conditions are satisfied. We show that the rating evaluation for a driver remaining in the active can be carried out by means of linear filtration performed as digital signal processing of the time series consisting of the scores which are given to the driver by their passengers. The type and waveform of the filter impulse response is suggested. The A/B-test conducted for the group of drivers working with a taxi aggregator proved the fact that the integral metric of service quality is sensitive to changes in the parameters of the proposed rating system; this eventually led to a decrease in the rate of taxi rides accompanied with a negative client experience. The rating system model developed can be utilized to increase the quality of the service provided by the taxi aggregator by means of more effective differentiation of the drivers, while the subsequent optimization of the rating system parameters can serve as a tool for achieving indicators supporting the strategic goals of the company.

Keywords: taxi aggregator, driver rating, rating system, digital signal processing, linear filtering, state graph

Citation: Shevgunov T.Ya., Vavilova Z.A., Kravchenko T.K., Levchenko L.L. (2022) Development of a rating system assessing the quality of the service provided by drivers in a taxi aggregator company. Business Informatics, vol. 16, no. 4, pp. 68-81. DOI: 10.17323/2587-814X.2022.4.68.81

References

1. Analytical report on market competition of information exchange between passengers and taxi driver (taxi aggregator market). The Federal Antimonopoly Service of Russia. Available at: https://fas.gov.ru/documents/678673 (accessed 10 October 2022) (in Russian).

2. Rosenblat A., Stark L. (2016) Algorithmic labor and information asymmetries: A case study of Uber's drivers. International Journal of Communication, vol. 10, pp. 3758-3784. https://doi.org/10.2139/ssrn.2686227

3. Yao Z.-G., Ding X.-D. (2011) Measuring passenger's perceptions of taxi service quality with weighted SERVPERF. Applied Mechanics and Materials, vol. 97-98, pp. 1181-1184. https://doi.org/10.4028/www.scientific.net/AMM.97-98.1181

4. Alonso B., Barreda R., dell'Olio L., Ibeas A. (2018) Modelling user perception of taxi service quality. Transport Policy, vol. 63, pp. 157-164. https://doi.org/10.1016/j.tranpol.2017.12.011

5. Li Q.-H., Song W. (2011) Service quality evaluation model for taxi industry based on entropy weight and TOPSIS method. Proceedings of the International Conference on Machine Learning and Cybernetics (ICMLC 2011). Guilin, China, 10—13 July 2011, vol. 3, pp. 1043-1047. https://doi.org/10.1109/ICMLC.2011.6016914

6. Techarattanased N. (2015) Service quality and consumer behavior on metered taxi services. International Journal of Economics and Management Engineering, vol. 9, no. 12, pp. 4242- https://doi.org/4246. 10.5281/zenodo.1110471

7. Shaaban K., Kim I. (2016) Assessment of the taxi service in Doha. Transportation Research. Part A: Policy and Practice, vol. 88, pp. 223-235. https://doi.org/10.1016/j.tra.2016.04.011

8. Levchenko L.L. (2022) Development of a rating system to evaluate quality of drivers' performance for a ride-hailing company. Diploma dissertation. Moscow: HSE University. Available at: https://www.hse.ru/ba/bi/students/diplomas/page12.html/624082719 (accessed

10 October 2022) (in Russian).

9. Reichheld F. (2013) The one number you need to grow. Harvard Business Review. Available at: https://hbr.org/2003/12/the-one-number-you-need-to-grow (accessed 1 October 2022).

10. Box G., Jenkins G., Reinsel G., Ljung G. (2015) Time series analysis: Forecasting and control. Fifth Edition. Wiley.

11. Guschina O. (2022) Cyclostationary analysis of electric power in a resonant circuit under periodic excitation. Proceedings of the 2022 Systems of Signals Generating and Processing in the Field of on Board Communications. Moscow, Russia, 15—17 March 2022. P. 1-5. https://doi.org/10.1109/IEEECONF53456.2022.9744264

12. Efimov E. (2022) On the effect of a signal delay on cross-spectral correlation function // Proceedings of the 2022 Systems of Signals Generating and Processing in the Field of on Board Communications. Moscow, Russia, 15—17 March 2022. P. 1-6. https://doi.org/10.1109/IEEECONF53456.2022.9744308

13. Holton T. (2021) Digital signal processing: Principles and applications. Cambridge, UK: Cambridge University Press.

https://doi.org/10.1017/9781108290050

14. Oppenheim A., Schafer R. (2009) Discrete-time signal processing, 3rd ed. Pearson.

15. Kohavi R., Tang D., Xu Y. (2020) Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge, UK: Cambridge University Press.

16. Section "Rating" of the knowledge base for taxi driver in application Yandex.Pro. Yandex.Pro. Available at: https://pro.yandex/ru-ru/ ufa/knowledge-base/taxi/app/raiting (accessed 8 May 2022) (in Russian).

17. How does the rating work. Uber. Available at: https://www.uber.com/cz/ru/drive/basics/how-ratings-work/ (accessed 8 May 2022) (in Russian).

18. Rating. Gett. Available at: https://driver.gett.ru/information/rating/ (accessed 6 May 2022) (in Russian).

19. Rating of Citymobile. Citimobile. Available at: https://ct-mobil.ru/rating/ (accessed 8 May 2022) (in Russian).

About the authors

Timofey Ya. Shevgunov

Cand. Sci. (Eng.);

Associate Professor, Radio Engineering Department, Moscow Aviation Institute (National Research University), 4, Volokolamskoe Shosse, Moscow 125993, Russia; E-mail: [email protected] ORCID: 0000-0003-1444-983X

Zhanna A. Vavilova

Cand. Sci. (Eng.);

Associate Professor, Radio Engineering Department, Moscow Aviation Institute (National Research University), 4, Volokolamskoe Shosse, Moscow 125993, Russia; E-mail: [email protected]

Tatiana K. Kravchenko

Dr. Sci. (Econ.), Professor;

Professor, Department of Business Informatics, Graduate School of Business, National Research University Higher School of Economics, 20, Myasnitskaya Street, Moscow 101000, Russia;

E-mail: [email protected]

ORCID: 0000-0002-6479-6250

Liubov L. Levchenko

MSc Student, Graduate School of Business, National Research University Higher School of Economics, 20, Myasnitskaya Street, Moscow 101000, Russia;

E-mail: [email protected]