CC BY
115
УДК 65.015.3
инженерная методика количественной оценки удовлетворенности потребителей
В. А. Тушавин,
канд. экон. наук, ассистент
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Рассматривается практический подход к менеджменту качества службы технической поддержки и управлению инцидентами с использованием показателя удовлетворенности потребителей.
Ключевые слова — управление инцидентами, качество оказания услуг, удовлетворенность пользователей, каппа-статистика.
Введение
Процесс управления инцидентами, являющийся одним из наиболее важных процессов управления услугами в области информационных технологий, требует тесного взаимодействия с пользователями. Его фокусной точкой является служба Service Desk, которая играет роль центра контакта пользователей с «внутренними» коллективами технических служб [1].
Практические рекомендации и сборники лучших практик подчеркивают, что одна из главных метрик службы Service Desk — удовлетворенность клиентов, которая оценивается в диапазоне от 0 до 5 в момент закрытия либо для каждой заявки, либо для некоторой выборки заявок [2]. С другой стороны, ГОСТ Р ИСО 90002008 «Системы менеджмента качества. Основные положения и словарь» в п. 3.1.4 содержит понятие «удовлетворенность потребителей» (customer satisfaction), которое означает восприятие потребителей степени выполнения их требований, где требования — «потребность или ожидание, которое установлено, обычно предполагается или является обязательным» (п. 3.1.2). Там же, в п. 3.3.5, разъясняется, что потребитель — это организация или лицо, получающие продукцию (в данном случае — услуги). К потребителям относятся клиенты, заказчики, конечные пользователи и т. д. На основе изложенного возникает практический вопрос, кто же в данном случае является клиентом, поскольку в его качестве можно рассматривать руководство предприятий, с которыми заключены договоры сервисного обслуживания, руководство соответствую-
щих ИТ-служб или конечных пользователей. Ответ на этот вопрос следует искать в другом стандарте. Так, согласно СоЫТ 4.1, перед службой технической поддержки и управления инцидентами ставится цель обеспечить удовлетворенность конечных пользователей предложением услуг и уровнем обслуживания и в качестве метрики предлагается использовать такой показатель, как доля пользователей, удовлетворенных оперативной поддержкой (службой поддержки или базой знаний) [3]. Исходя из всего сказанного, в настоящей статье под удовлетворенностью потребителя будем подразумевать удовлетворенность конечных пользователей оперативной поддержкой.
Методика измерения удовлетворенности клиентов
Существует несколько методов измерения удовлетворенности потребителя, построенных на анкетировании: распространение анкет, телефонный опрос, интернет-опрос и т. д. Для измерения удовлетворенности нами была предложена следующая процедура. В момент закрытия обращения в адрес конечного пользователя автоматически формируется электронное письмо, которое содержит ссылку на его личную страницу на корпоративном портале. Названная страница содержит перечень всех обращений пользователя за последние полгода, можно выставить оценку выполненного обращения в диапазоне от 1 до 5.
Подобная оценка работы службы поддержки пользователей с помощью интернет-сайта применяется большинством сервисных компаний, но
■ Рис. 1. Контрольная u-карта неудовлетворенности потребителей
нами была применена новация, заключающаяся в том, что при отображении заявки на мониторе пользователя ей автоматически присваивается оценка 3 (удовлетворительно), если она не была ранее оценена. Пользователь может в любой момент изменить оценку как в большую, так и в меньшую сторону. Потребитель считается удовлетворенным, если у обращения стоит оценка 3 и более, и неудовлетворенным, если оценка 2 и менее. Ежемесячные замеры в 2008-2010 гг. на предприятии с внедренной системой предложенного измерения удовлетворенности потребителя показали, что данный алгоритм позволяет устойчиво поддерживать долю оцененных заявок на уровне 35 % при среднем уровне 3000 обращений в месяц.
На основании таких изменений можно строить контрольную u-карту (рис. 1) и осуществлять мониторинг и контроль за степенью неудовлетворенности конечных пользователей оказываемыми услугами.
Как видно на представленном рисунке, удовлетворенность находится в пределах 99 %, что является достаточно неплохим результатом, но при этом возникает вопрос его достоверности. Для его разрешения необходимо определить, во-первых, достаточность выборки 35 % инцидентов при заданном уровне критерия значимости, во-вторых, надежность такой оценки.
Обоснование применимости предложенной методики
Предположим, что из 3000 обращений потребитель неудовлетворен в 15 случаях или 0,5 %. Размер выборки составляет 1050 обращений (35 %). Как известно, совокупность вероятностей того, что в выборке имеется ровно m обращений с низкой оценкой при m = 0, 1, 2, ..., n, описывается дифференциальной функцией гипергеометриче-ского распределения. Используя функцию ГИ-ПЕРГЕОМЕТ программы Microsoft Excel, нетрудно построить график P(m) вероятностей того, что в выборке ровно m обращений с низкой оценкой. Как видно на графике (рис. 2), вероятность необ-наружения достаточно мала.
0,25 о 0,2
О
£.
а
£ 0,15 к
? о-1
аГ
0,05
2 4 б 8 10 12
Число обращений с низкой оценкой, т
■ Рис. 2. Дифференциальная функция гипергеоме-трического распределения
Определим минимально допустимый уровень выборки. Размер выборки для дискретных данных определяется формулой
\2
Р(1-Р),
П =
1,96
h
где п — минимальный размер выборки; h — уровень точности; Р — доля обращений с низкой оценкой [4].
Для Р = 0,005 и h = 0,005 получаем п = 765, что составляет 25,5 % от 3000 обращений. Таким образом, выборка 35 % является достаточной для надежного определения неудовлетворенности потребителя.
Существует и вторая проблема определения фактического уровня удовлетворенности конечного пользователя, поскольку автоматическое выставление оценок «удовлетворительно» может приходиться на заявки с явным нарушением сроков или содержания, при наличии риска неизме-нения впоследствии оценки потребителем, иными словами, возможны следующие варианты некорректной оценки оказанных услуг конечным пользователем (таблица).
Для определения адекватности оценки можно применить такой инструмент анализа методов измерений, как каппа-анализ [5]. Для этого нами было отобрано 30 обращений, в которых пользователь был удовлетворен, и 30 обращений, в которых пользователь поставил оценку 2 и ниже (методика расчета каппа-статистики подразумевает выборку в диапазоне 20 -г- 50 для каждого варианта). На основании записей журнала обработки обращения, а также анализа соблюдения контрольных сроков оценки были откорректированы независимым экспертом. Результаты показаны на рис. 3, а.
Данные рис. 3, а пересчитаны в доли от общего числа оцененных обращений (рис. 3, б).
Каппа для дискретных данных рассчитывает-
Р — Р
ся по формуле К = —------, где Р0 — доля оценок,
1 — Рс
в которых мнения эксперта и пользователей со-
■ Возможные отклонения в оценке конечного пользователя
Оценка выставлена потребителем Оценка подразумевается Вид ошибки Пример
Неуд. Уд. Субъективный подход Требования потребителя в принципе невыполнимы, например из-за корпоративной политики безопасности
Уд. Неуд. Невнимательность Субъективный подход Пользователь поставил оценку или не стал менять выставленную автоматически, при этом обращение выполнено с существенным нарушением сроков и/или выполнено не в полном объеме
а)
Оценка потребителя
Удовле- творен Неудовле- творен
Экспертная Хорошо 29 З З2
оценка Плохо 1 27 28
ЗО ЗО
б)
Оценка потребителя
Удовлет- ворен Неудовле- творен
Экспертная Хорошо О,48 О,О5 О,5З
оценка Плохо О,О2 О,45 О,47
О,5О О,5О
■ Рис. 4. Матрица оценок в абсолютном (а) и относительном (б) выражении
впали (иными словами: сумма по диагонали, см. рис. 3, б), а Рс — доля оценок пользователя «удовлетворительно», умноженная на долю оценок эксперта «хорошо», плюс доля пользовательских оценок «неудовлетворительно», умноженная на долю оценок, низко оцененных экспертом.
Отсюда получаем Р0 = 0,48 + 0,45 = 0,93, Рс = = 0,53 х 0,50 + 0,47 х 0,50 = 0,50. Следовательно, К = 0,87, что выше минимально допустимого уровня 0,7 и находится на уровне лучших практик (0,85). По данному результату можно сделать
вывод, что используемая измерительная система является приемлемой.
Заключение
Таким образом, предложенная методика количественной оценки удовлетворенности потребителей является допустимой и может быть применена для решения как рассмотренной, так и аналогичных задач управления качеством услуг.
Литература
1. ИГ Сервис-менеджмент. Вводный курс на основе ITIL. 2-е изд. — Amersfoort: Wilco Printers, 2005. — 292 с.
2. Брукс П. Метрики для управления ИТ-услугами: пер. с англ. — М.: Альпина Бизнес Букс, 2008. — 283 с.
3. CoblT 4.1. — USA: The IT Governance Institute, 2007. — 197 p.
4. Brusee W. Statistics for six sigma made easy. — USA: McGraw-Hill, 2004. — 252 p.
5. George M., Rowlands D., Price M., Maxey J. The Lean Six Sigma Pocket Toolbook: A Quick Reference Guide to Nearly 100 Tools for Improving Process Quality, Speed, And Complexity. — USA: George Group, 2005. — 282 p.
