CC BY
19^ Вестник ФГБОУ ВПО РГАТУ, № 3 (23), 2014 tj - -
ТРИБУНА МОЛОДЫХ УЧЁНЫХ
АНАЛИЗ МЕТОДОВ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ ПОТРЕБИТЕЛЯМИ
ОБРАЗОВАТЕЛЬНЫХ УСЛУГ
БОРЫЧЕВ Сергей Николаевич, д-р техн. наук, профессор, Рязанский государственный агротех-нологический университет имени П.А. Костычева
Включение потребителей образовательных услуг в оценку деятельности системы образования через развитие механизмов независимой оценки качества образования является важным и актуальным вопросом. В статье приведен обзор методик оценки удовлетворенности образовательными программами потребителей образовательных услуг.
Ключевые слова: образовательные услуги, оценка качества образования, оценка удовлетворенности потребителя, тестовые методики, мониторинг, критерии качества, интегральный индекс, коэффициенты весомости.
Существуют различные подходы к измерению удовлетворенности потребителя. Для оценки данного показателя в государственном масштабе разработаны национальные индексы удовлетворенности клиентов (американский, швейцарский и европейский). В рамках подготовки к вступлению в ВТО создан российский индекс удовлетворенности потребителя. В России действует EPSI RUS - подразделение международной исследовательской компании EPSI Research Services, основной специализацией которой является измерение нефинансовых показателей деятельности компаний и организаций разных отраслей и профилей. Проект EPSI Rating данной организации направлен на измерение удовлетворенности потребителей. В формате обзора отрасли в данном проекте отмечается важность исследования образования с целью мониторинга индексов удовлетворенности заинтересованных групп.
Одной из задач подпрограммы 3 «Развитие системы качества образования и информационной прозрачности системы образования» государственной программы Российской Федерации «Развитие образования на 2013 - 2020 годы, принятой Постановлением правительства от 15 апреля 2014 года № 295, является «... включение потребителей образовательных услуг в оценку деятельности системы образования через развитие механизмов независимой оценки качества образования...»[1]. Учитывая вышесказанное при оценке качества об© Борычев С.
разования, мнение потребителей образовательных услуг крайне важно.
Необходимость учитывать мнение потребителей образовательных услуг - студентов, выпускников, работодателей - отмечают многие авторы. Е.В. Кузнецова считает, что изучение и анализ их мнения, своевременная реакция в виде корректирующих действий - одно из важных звеньев функционирования системы [4]. Такого мнения придерживается большинство авторов. Например, при апробации методики выявления и учета удовлетворенности потребителей процессами образовательной деятельности в ВоГТУ потребители были разделены на внешних и внутренних. К внешним потребителям были отнесены абитуриенты, студенты, выпускники, родители, попечители, работодатели, государство; а к внутренним - работники университета (профессорско-преподавательский состав, высшее руководство, административно-управленческий персонал, учебно-вспомогательный персонал) [8]. Популярны тестовые методики, позволяющие провести мониторинг и оценку не только конечного результата, но и самого процесса обучения [4].
В основе большинства методов исследования удовлетворенности студентов и выпускников лежит анкетирование по критериям и показателям удовлетворенности качеством образовательного процесса [2,5,7]. За рубежом для оценки удовлетворенности студентов также популярно анкетиро-., 2014г.
Трибуна молодых учёных
вание. Так, на факультете Liverpool John Moores университета бизнеса и права для измерения удовлетворенности студентов разработаны и успешно используются вопросники [5]. Основными критериями удовлетворенности для анкетирования, как правило, выбираются такие критерии, как качество обучения, удовлетворенность слушателей качеством преподавания, удовлетворенность организацией обучения, удовлетворенность слушателей учебной программой и подкритерии, раскрывающие соответствующий критерий [8]. Методика оценки удовлетворенности студентов преподаванием дисциплин, применяемая в Курском ГТУ, включает в себя в качестве «инструментов» графики, контрольные листки, причинно-следственные диаграммы, диаграммы разброса, диаграммы Порето, контрольные карты [7].
Группа исследователей в лице Задорина И.В., Шубиной Л.В. и др. разработала проект эффективной методики и организационной технологии измерения «качества вуза»: уровень предоставляемого вузом образования, востребованность той или иной образовательной идеологии и практики. Методика состоит из двух этапов: разработка базовой модели интегрального индекса «качество вуза» (основные понятия, компоненты индекса - параметры, виды индекса, перечень непосредственно измеряемых показателей) и проекта методики измерения (операционализация параметров, определение источников информации, технология измерения).
В Брянском государственном техническом университете предложена планарная модель качества образовательного процесса, разработанная с применением лепестковой диаграммы, осями которой являются основные показатели качества образовательной деятельности. Предложено проводить оценку качества образовательного процесса с позиций потребителя с помощью обобщенной характеристики, представляющей собой площадь лепестковой диаграммы, ограниченную значениями достигнутого уровня удовлетворенности студентов с учетом соответствующих коэффициентов весомости показателей качества.
Зарубежные методики предлагают включать такие критерии, как актуальность навыков на рабочем месте, степень их практической применимости (методология оценки Financial Times) [3]. Большинство вузов при оценке степени удовлетворенности используют пяти-десятибалльную шкалу с крайними градациями «удовлетворен - неудовлетворен». В Волгоградском государственном техническом университете и результаты анкетирования оценивались по шкале оценок значимости и уровня реализации видов деятельности, что является более объективной оценкой с учетом личного мнения респондента [8]. Применение в ВоГТУ анализа коэффициентов ранговой корреляции Спир-мена оценок удовлетворенности респондентами
качеством процесса образовательной деятельности позволяет наблюдать расхождения в оценке у различных групп респондентов. Определенный интерес представляют методики оценки, учитывающие вес критерия в общем рейтинге [3,9].
Для выявления удовлетворенности студентов образовательной услугой рядом исследователей используется мультиатрибутивная модель Фиш-байна [5]. В данной модели потребности потребителя заменены на характеристики исследуемого объекта. Отношение потребителя к объекту есть сумма произведений мнения покупателя о характеристике продукта и оцениваемая потребность в данной характеристике товара для покупателя. Это универсальная модель используется не только в образовании.
Для исследования лояльности студентов популярна методика Ф. Райхельда. Уникальность методики Ф. Райхельда, впервые анонсируемая им в статье The One Number You Need to Grow, опубликованной в Harvard Business Review в декабре 2003 года, состоит в том, что он предложил измерения лояльности потребителей заменить одним показателем. Будучи очень простым (он понятен, легко рассчитывается и его легко получить), этот показатель имеет практическую применимость на всех уровнях - от генеральных директоров до торговых агентов. По оценкам Ф.Райхельда и его коллег, низкий уровень лояльности в деловой среде снижает показатели эффективности экономической деятельности на 25-50%, а иногда и более процентов [5]. При исследовании потенциальной и сформировавшейся лояльности студентов 4-го курса различных факультетов одного из экономических ВУЗов Москвы, по данным С.С. Львовской, первично была применена модель Ф. Райхельда, согласно которой наилучший способ измерять лояльность - это задавать людям один простой вопрос: «Какова вероятность того, что Вы порекомендуете нас друзьям/знакомым/коллегам?». Далее была применена методика выявления доли «нетто-промоутеров» среди студентов «Академии». Респондентам для ответа на данный вопрос была предложена 10-балльная порядковая шкала от 0 до 10. Когда студенты с энтузиазмом рекомендуют «Академию» другу, знакомому или коллеге, они выставляют наивысшую из возможных оценок, т.е. 9 или 10, и, таким образом, попадают в число «Промоутеров» «Академии». Если студенты отмечают цифры 7 или 8 на шкале, их можно отнести к числу «Нейтралов», а те, кто поставил 6 или менее, соответственно, к числу «Критиков».
В 8-м пункте анкеты был задан открытый вопрос о том, что должен сделать ВУЗ, чтобы увеличить удовлетворенность процессом обучения [5].
Рядом авторов используется методика SERVQUAL для определения уровня удовлетворенности продуктами/услугами и качества сервиса, она позволяет выявить причины падения
Вестник ФГБОУ ВПО РГАТУ, № 3 (23), 2014
спроса на работы/услуги. Предложенная в 1985 г. Парасураманом, Берри и Цайтамл, она представляет собой анкету, разработанную на основе обобщения данных, собранных по пяти различным видам услуг и включающую 22 пары вопросов со шкалой Лайкерта.
Организация мониторинга суждений работодателей о наличии у выпускников необходимых профессиональных и личностных качеств, по мнению А.В. Смирнова, является одним из первых этапов реализации модели кластера. Автор считает, что мониторинг позволяет определять потребности и ожидания как внешних, так и внутренних потребителей образовательных услуг; сопоставлять ожидания и оценивать качество профессиональной подготовки; своевременно корректировать и определять перспективные векторы развития социального партнерства, позволяющие улучшить качество подготовки специалистов с одной стороны, а с другой стороны удовлетворить потребности заказчиков на рынке труда. За рубежом популярна рейтинговая методика оценки образовательных программ, основанная на собственной методологии оценки Financial Times, учитывающая вес критерия в общем рейтинге. Общей характеристикой методик, оценивающих удовлетворенность потребителя-работодателя, является количественная оценка: расчет коэффициента возврата инвестиций в методике Филипса, расчет показателя эффективности образования в методике ОАО «Автомобильный завод «Урал» и т.д. Критериями для определения удовлетворенности являются, как правило, такие, как применение полученных знаний, умений и навыков в профессиональной деятельности, рост качества продукции, актуальность навыков на рабочем месте, степень их практической применимости, применение знаний работника для совершенствования производства. При оценке работодателями образовательных программ в ЧитГУ было предложено оценивать качество подготовки специалистов - выпускников ЧитГУ. При этом важнейшим показателем являлся уровень практической подготовки специалиста. Кроме того, большое внимание уделялось профессионализму, т.е. наличию профессиональных компетенций - способности к научной, аналитической, творческой работе, рационализм, изобретательность. В омском филиале ГОУ ВПО Российского государственного торгово-экономического университета при оценке удовлетворенности работодателя для формирования опросника учитывали рекомендации работодателей. Работодатели сами сформировали профессионально важные компетенции, по которым и были проведены экспертные оценки.
Интересен опыт проведения мониторинга удовлетворенности работодателей качеством подготовки выпускников в Южно-Уральском государственном университете. Кафедры универ-
ситета формируют список наиболее значимых профессиональных компетенций и отражают их в «оценочных листах» - отзывах работодателя, которые включены в список документов на практику. В «оценочных листах» по результатам работы студента работодателем дается оценка значимости представленных кафедрой компетенций и отражается уровень владения ими практикантов. Все данные обобщаются в университетской системе и предоставляются факультетам для выявления и анализа причин низкого уровня знаний и умений студентов с целью внесения корректив в систему подготовки специалистов [6].
Однако, учитывая вышесказанное, нет единого мнения в расчете уровня удовлетворенности. В основном данный показатель вычисляется путем умножения средних значений удовлетворенности потребителя отдельными факторами, включенными в общий показатель качества услуг, на соответствующие коэффициенты весомости (важности). Значения обоих параметров выражаются, как правило, в баллах. Для измерения используется порядковая шкала или видоизмененная шкала Лейкерта. Единого четкого подхода к определению того, какой уровень удовлетворенности можно считать приемлемым, не выработано. Каждый исследователь предлагает свою интерпретацию ситуации: если в одном случае средней считается удовлетворенность, составляющая 75%, то в другом достаточным является показатель 40%.
Как показывает анализ литературы, в настоящее время отсутствует единый подход и не существует единого мнения в определении того, какой уровень удовлетворенности можно считать приемлемым, к вычислению обобщающей характеристики, отражающей удовлетворенность потребителей предоставляемыми им услугами.
Таким образом, при оценке удовлетворенности потребителей образовательного продукта большинство авторов склоняется к сравнению образовательных программ.
Однако возникает необходимость в обобщении опыта исследователей в данном направлении и разработке объективной методики оценки образовательных программ, учитывающей интересы всех стейкхолдеров образовательного процесса.
Список литературы
1. Государственная программа Российской Федерации «Развитие образования на 2013-2020 годы» /Постановление Правительства РФ от 15.04.2014 г. №295 // Собрание законодательства Российской Федерации. - 2013.- №21.- ст. 2671
2. Борычев, С.Н. Анализ моделей кластерного образования в России и за рубежом/ С.Н. Борычев // Инициативы 20 века. - 2013.- № 3.- С. 29-31.
3. Земсков А. Опыт оценки эффективности программ обучения [Электронный ресурс] - Режим доступа: www. radar - research/ru
4. Кузнецова, Е.В. Внутренний мониторинг
Трибуна молодых учёных
качества реализации образовательных программ в вузе [Текст] / Е.В Кузнецова // Сибирский педагогический журнал. - 2011.- № 3.- С. 37-44.
5. Методическая инструкция «Удовлетворенность студентов качеством преподавания дисциплин» Северного государственого медицинского университета [Электронный ресурс]. - Режим доступа: http:www.nsms.ru
6. Мониторинг удовлетворенности работодателей качеством подготовки выпускников [Электронный ресурс] - Режим доступа: http://www.job. susu.ac.ru
7. Статистический анализ удовлетворенности студентов преподаванием дисциплин на
кафедре Управление качеством. Курсовая работа [Электронный ресурс] - Режим доступа: http:// www.xreferat.ru
8. Тритенко, А.Н. СМК вуза: практика выявления удовлетворенности потребителей. Компетентность / А.Н.Тритенко, О.В. Сафронова // Менеджмент. - 2012.- №3
9. Лазуткина, Л.Н. Пути повышения эффективности послевузовского и дополнительного профессионального образования преподавателей высшей школы/ Л.Н. Лазуткина, М.А. Низиков // Мир образования - образование в мире. - 2012.-№ 2.- С. 160-168.
ANALYSIS OF METHODS FOR EDUCATIONAL PROGRAMS ASSESSMENT BY EDUCATIONAL
SERVICES CONSUMERS
Borychev Sergey Nikolaevich, Doctor of Engineering, Professor, Ryazan State Agrotechnological University Named after P.A. Kostychev
Engagement of educational services consumers in assessment of educational system activities through development of mechanisms for independent assessment of education quality is an important and urgent issue. The article provides review of methods for assessment of consumer satisfaction with educational programs.
Key words: educational services, assessment of education quality, assessment of consumer satisfaction, test methods, monitoring, quality criteria, integral index, importance rations)
References
1. State Program of the Russian Federation "Development of Education for 2013-2020" /Decree by the Government of the Russian Federation of 15.04.2014 № 295 // Collection of Laws of the Russian Federation. - 2013. - № 21. - 2671.
2. Borychev, S.N. Analysis of Cluster Education Models in Russia and Abroad / S.N. Borychev// The 20th Century Initiatives. - 2013. - № 3. - P. 29-31.
3. Zemskov, A. Experience of Training Programs Efficiency Assessment [Digital resource] - Access mode: www.radar-research.ru
4. Kuznetsova, E.V. Internal Monitoring of Quality of Educational Programs Implementation in a Higher Education Institution [Text] / E.V. Kuznetsova // Siberian Pedagogical Journal. - 2011. - № 3. - P. 37-44.
5. Methodology Instruction "Student Satisfaction with Quality of Disciplines Teaching" of Northern State Medical University [Digital resource] - Access mode: www.nsms.ru
6. Monitoring of Employers' Satisfaction with Quality of Graduates' Qualification [Digital resource] - Access mode: http://www.job.susu.ac.ru
7. Statistic Analysis of Students' Satisfaction with Disciplines Teaching at the Department of Quality Management. Term Paper [Digital resource] - Access mode: http://www.xreferat.ru
8. Tritenko, A.N. Higher Education Institution Quarter Management System: Practice of Consumer Satisfaction Identification. Competence /A.N. Tritenko, O.V. Safronova //Management. - 2012. - № 3.
9. Lazutkina, L.N. Ways for Increasing Efficiency of Post-graduate and Additional Professional Education of Higher Education Institutions Lecturers /
L.N. Lazutkina, M.A. Nizikov // The World of Education - Education in the World. - 2012. - № 2. - P. 160168
