CC BY
713
Разработанные виды интегрированных образовательных учреждений позволят в ближайшей перспективе внести существенный вклад в решение
проблемы обеспечения потребностей экономики в высококвалифицированных кадрах для решения инновационных задач развития.
О.А. МАЛЫГИНА, доцент Московский государственный институт радиотехники, электроники и автоматики
Использование NPS-технологии для оценки качества обучения
Одной из актуальных педагогических проблем является проблема оценки качества обучения. Современные исследователи связывают её решение с использованием математических методов. В данной работе рассматривается применение NPS-подхода при оценке результатов обучения. Описывается математическая модель, построенная на основе теории вероятности, которая позволяет оценить эффективность обучения.
Ключевые слова: качество обучения, чистый коэффициент лояльности NPS (Net Promoter Score), детрактор, промоутер, нейтрал, доверительный интервал, динамика NPS.
В современных психолого-педагогических исследованиях разрабатываются различные качественные и количественные критерии оценки результатов обучения. В работах, опирающихся на деятельностный подход к обучению, предлагается система качественных параметров формируемой деятельности учащихся [1]. О системности знаний как о важном качественном критерии обучения идет речь в статьях Л.Я. Зориной и З.А. Решето-вой [2]. В исследованиях М.Н. Скатки-на и В.В. Краевского рассматривается система качества знаний, включающая полноту и глубину, осознанность и прочность, конкретность и обобщенность, системность и систематичность, оперативность и гибкость, свернутость и развернутость. Отмечается, что для формирования каждого параметра необходима специальная система заданий.
Вопросам использования информационных технологий при оценке качества обучения отводится значительное внимание в исследованиях Г.В. Ивши-
ной [3]. Многие авторы отмечают, что наряду с качественными критериями следует вводить и статистические оценки полученных результатов обучения, подтверждающие (или нет) эффективность обучения, его практическую значимость. Использование математических методов позволяет делать аргументированные выводы о качестве обучения, судить о достоверности исследования, эффективности новых моделей обучения, новых педагогических технологий, обосновывать рекомендации по внедрению результатов в практику обучения [4].
Перспективным направлением в использовании математических методов при оценке результатов обучения является применение NPS-подхода.
Опишем кратко предысторию создания данной методики, которая первоначально связывалась с проблемой измерения удовлетворенности клиентов и с разработкой коэффициента лояльности. Понятие чистого коэффициента лояльности NPS (Net Promoter Score) было введено Ф. Райхельдом [5].
Автор отмечает, что лояльность клиента является важным фактором успеха компании в бизнесе. Посредством построения тесного взаимодействия между персоналом компании и клиентами удалось сделать успешными многие компании. Результаты исследований показывают, что с успешностью компании в наибольшей степени коррелирует не просто лояльность клиентов, а ответ на единственный вопрос: «Порекомендует ли клиент компанию своим друзьям и знакомым?». Такая рекомендация является наилучшим индикатором лояльности и позволяет рассматривать клиента не просто как лояльного, а активно лояльного.
В зависимости от ответа на ключевой вопрос - вопрос о рекомендации компании - клиенты разбиваются на три группы: детракторы (Detractors) -противники компании, оценившие вероятность рекомендации как очень низкую; промоутеры1 (Promoters) - клиенты, оценившие вероятность рекомендации как очень высокую; нейтралы (Passives) - пассивные клиенты, оценившие вероятность рекомендации как среднюю. Появляющаяся таким образом шкала называется шкалой чистого индекса промоутеров (Net Promoter Score - NPS). Исследования показывают, что во многих отраслях индустрии (финансовые услуги, телефония, персональные компьютеры, автострахование, провайдеры Интернет-услуг) наблюдается большая степень корреляции между уровнем роста и развития компании и долей промоуте-ров, т.е. клиентов, активно рекомендующих компанию.
В качестве метрического коэффициента NPS, характеризующего лояльность, традиционно рассматривают разность между долей промоутеров и долей детракторов. Вводится специальная числовая шкала для разделения трех категорий клиентов. В вопросе
клиенту предлагается оценить вероятность рекомендации компании своим знакомым по шкале от 0 до 10. При этом, например, клиент, оценивший вероятность рекомендации от 0 до 6 баллов, рассматривается как детрак-тор, от 7 до 8 баллов - как нейтрал, от 9 до 10 баллов - как промоутер.
Коэффициент NPS можно использовать также как внешний показатель положения компании на рынке. Происходит оценка конкурентов и определение места компании относительно рынка в целом и каждого из выбранных конкурентов в частности. Результаты показали, что имеется явное соответствие между NPS и средним уровнем роста компании. Таким образом, из обыкновенного мониторинга NPS превращается в реальный инструмент повышения качества обслуживания клиентов. Примеры использования NPS-подхода в основном относятся к сфере бизнеса, но отмечается, что «предлагаемая система измерения может быть использована самыми разными организациями, начиная со школ, больниц, благотворительных организаций и заканчивая государственными предприятиями и организациями» [5].
Применение NPS-подхода к решению проблем в образовательной сфере предполагает модернизацию этого подхода с учетом специфики образовательной системы. В данной статье рассматриваются возможности использования NPS-подхода для оценки качества обучения. Построение NPS-технологии начинается с разработки ключевого вопроса. Во-первых, ключевой вопрос составляется в соответствии с целями и задачами обучения, во-вторых, он должен быть достаточно простым и понятным, в-третьих, ответы на него должны допускать возможность интерпретации в терминах некоторой числовой шкалы. Приведем пример ключевого вопроса. В разраба-
тываемой автором экспериментальной модели обучения высшей математике студентов наукоемких технических направлений для оценки качества обучения и эффективности предлагаемой модели проводится опрос учащихся и его обработка по NPS-технологии [6]. В качестве ключевого вопроса анкеты предлагается следующий: «Порекомендуете ли Вы своим друзьям и знакомым обучение высшей математике на основе системно-деятельностной технологии?». Отдельно предлагается аргументировать свой ответ. При этом в качестве группы опрашиваемых могут выступать как студенты, так и выпускники высшего учебного заведения. Отметим, что опрос может проводиться и среди школьников.
Следующим моментом в разработке NPS-технологии является создание адекватной числовой шкалы и ее интерпретация. Наиболее простым вариантом является использование уже описанной выше шкалы. При этом возникают следующие вопросы. Прежде всего, насколько правильно выбрано разбиение на группы: от 0 до 6 - детракто-ры, от 7 до 8 - нейтралы, от 9 до 10 -промоутеры? В рамках данной шкалы близкие ответы опрашиваемых часто оказываются в разных группах (например, человек, поставивший при ответе на ключевой вопрос 8 баллов, относится к группе нейтралов, а 9 - уже соответствует промоутерам). Если такая ситуация не устраивает исследователя, то возникает вопрос о «сглаживании» шкалы без изменения ответов и усложнения их интерпретации. Наконец, актуальной задачей является разработка методики оценки надежности результата, получаемого по NPS-тех-нологии. Здесь важно знать, насколько сильно изменится NPS, если к группе опрашиваемых добавить еще несколько человек, насколько большой должна быть группа опрашиваемых,
чтобы получить значение NPS с заданной точностью, как можно сравнивать значения NPS, полученные при опросах в различные моменты времени одной и той же категории опрашиваемых, отличающейся, возможно, только численностью.
В целях совершенствования методики использования NPS в педагогических исследованиях потребовалось осуществить некоторую формализацию и построить обобщения.
NPS - это случайная величина, а результат измерения - это оценка этой случайной величины. Введем более строгое, в отличие от традиционного подхода, определение этого коэффициента, связанное с понятием вероятности, а не доли. В качестве генеральной совокупности будем рассматривать множество всех учащихся, задействованных в рассматриваемой модели обучения. Вероятность появления промоутера определяется как отношение числа промоутеров во всей генеральной совокупности к объему всей генеральной совокупности. Аналогично вводится понятие вероятности появления нейтрала и детрактора.
Определение. Коэффициентом NPS будем называть разность между вероятностью появления промоутера и дет-рактора.
Таким образом, традиционное определение коэффициента NPS как разницы между долей промоутеров и дет-ракторов среди общего количества опрошенных клиентов в рамках данного подхода надо рассматривать как способ получения оценки для коэффициента NPS. Можно показать, что это несмещенная и состоятельная оценка.
Оценку для коэффициента NPS удобно представлять в виде суммы независимых и одинаково распределенных случайных величин. Введем семейство полиномиально распределенных случайных величин, которые опреде-
ляются равенствами: случайная величина равна единице, если опрошенный клиент - промоутер; соответственно, равна минус единице, если опрошенный клиент - детрактор, и равна нулю, если опрошенный клиент - нейтрал.
Тогда оценка NPS может быть записана как выборочное среднее значение (выборочный момент 1-го порядка) этого семейства полиномиально распределенных случайных величин. Такой взгляд позволяет построить обобщенное понятие NPS. Будем приписывать каждой оценке от 0 до 10, полученной в результате опроса, некоторое число (вес) в промежутке от -1 до 1. Таким образом, традиционный подход, когда оценкам от 0 до 6 соответствует вес «минус единица», оценкам от 7 до 8 - «нуль», а оценкам от 9 до 10 - «единица », является частным случаем. Введение промежуточных весов позволяет сгладить оценочную шкалу, т.е. решить ранее обозначенную проблему. При этом такой подход не усложняет вычисления.
Интерпретация NPS в виде выборочного среднего значения позволяет при анализе и, в частности, при построении доверительного интервала для коэффициента NPS использовать нормальную аппроксимацию для суммы большого числа случайных величин. Отметим, что для большинства практических приложений аппроксимация с помощью нормального распределения приводит к хорошим оценкам. Согласно центральной предельной теореме сумма достаточно большого числа случайных величин, а следовательно, и среднее значение нормально распределены даже тогда, когда слагаемые распределены не нормально. Распределение средних значений случайных выборок хорошо изучено в теории вероятностей. Было доказано, что для любой совокупности с конечным средним квадратическим отклонением рас-
пределение выборочного среднего значения стремится к нормальному распределению при увеличении объёма выборки [7].
При анализе NPS в случае конечной генеральной совокупности используются подходы и результаты из работ У. Кокрена и Г. Шварца [8, 9]. Доверительный интервал строится следующим образом. Центр доверительного интервала совпадает с оценкой NPS> а его длина определяется как произведение квадратного корня из выборочной дисперсии, квантили нормального распределения, соответствующей заданной доверительной вероятности, деленное на квадратный корень из объема выборки. В случае конечной генеральной совокупности нужно еще ввести корректирующий множитель, определяемый по доле выборки.
На основе вышеизложенного предлагается следующий алгоритм обработки результатов анкетирования по ключевому вопросу:
1) тип опрашиваемого субъекта (промоутеры, нейтралы, детракторы);
2) уровень рекомендации (балльная шкала от 0 до 10);
3) распределение опрошенных в зависимости от ответа по категориям (детракторы, нейтралы и промоутеры) во времени по результатам нескольких опросов (например, по неделям, семестрам, курсам);
4) доля промоутеров, нейтралов, детракторов;
5) оценка NPS;
6) точность;
7) нижняя граница доверительного интервала NPS;
8) верхняя граница доверительного интервала NPS;
9) динамика NPS (ростили падение, например, по неделям, семестрам, курсам);
10) рекомендации (коррекция обу-
чения, аргументация эффективности модели обучения).
Обычно проведение статистических опросов и их последующая обработка занимают много времени и являются дорогостоящим мероприятием. Применение NPS-технологии существенно экономит ресурсы. Программа вычисления NPS и границ доверительного интервала достаточно проста, а результатом ее выполнения является описание динамики NPS. Именно изменения данного коэффициента позволяют связать количественные данные о результатах обучения с его качественными характеристиками, быстро оценить ситуацию и внести коррективы. Фактически данная технология позволяет проводить оценку качества обучения в режиме реального времени. Применение NPS-технологии к оценке результатов обучения существенно снижает уровень субъективности, активизирует контрольно-кор-рекционную функцию, дает наглядную картину продуктивности обучения и решает вопрос «обратной связи».
MALYGINA O. NPS TECHNOLOGY FOR QUALITY EVALUATION IN EDUCATION
The article aims at proposing the application of NPS-approach to quality
evaluation in education. It also describes the mathematical model based on the probability theory which allows to estimate the effectiveness of education.
Литература
1. См.: Талызина Н.Ф. Управление процессом
усвоения знаний. М.: Изд-во МГУ, 1975. -342 с.
2. См.: Формирование системного мышления
в обучении / Под ред. Решетовой З.А. М.: Единство, 2002. 344 с.
3. Ившина Г.В. Новые информационные тех-
нологии в учебном процессе. Казань, 2006. - 98 с.
4. См.: Попков В.А., Коржуев А.В. Теория и
практика высшего профессионального образования. М.: Академический проект, 2004. - 426 с.
5. Reichheld F.F. The Ultimate Question: Driving
Good Profits and True Growth. Harvard Business School Press, 2006. 210 с.
6. См.: Малыгина О.А. Изучение математи-
ческого анализа на основе системно-дея-тельностного подхода. М.: URSS, 2007. -412 с.
7. См.: Ивченко Г.И, Медведев Ю.И., Чистя-
ков А.В. Задачи с решениями по математической статистике. М.: Дрофа, 2007.318 с.
8. Кокрен У. Методы выборочного исследо-
вания. М.: Статистика, 1976. - 438 с.
9. Шварц Г. Выборочный метод: Руководство
по применению статистических методов оценивания. М.: Статистика, 1978. - 212 с.
С.А. КАРПОВ, доцент Северская государственная технологическая академия
Социальное партнерство в сфере профессионального образования Росатома1
По мнению автора, главным условием нашего лидерства в атомной энергетике является воспроизводство кадрового потенциала, основанного на естественнонаучной и гуманистической образовательных парадигмах и принципе социального партнерства. Особенности применения этого принципа для подготовки специалистов ядерно-технического профиля представлены в данной статье.
1 Статья подготовлена к публикации в рамках реализации Комплексной программы развития образования ЗАТО «Северск» до 2010 г.
