CC BY
85
УДК: 004.89: 004.9
ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ ОПРОСОВ ПРИ ОЦЕНКЕ УДОВЛЕТВОРЕННОСТИ
КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ
Филичева Т.А.
Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации, Брянский филиал
В статье предложен метод мониторинга качества профессиональной подготовки, позволяющий оценить степень удовлетворенности качеством профессиональной подготовки на основе экспертных опросов и использования лингвистических переменных. Описывается реализация метода оценки удовлетворенности качеством профессиональной подготовки в рамках информационно-аналитической системы мониторинга качества как подсистемы общей информационной системы образовательного учреждения.
Ключевые слова: профессиональное образование, информационно-аналитическая система, лингвистическая переменная, функция принадлежности, удовлетворенность качеством, информационное обеспечение, мониторинг, образовательная система
Проблема мониторинга качества и эффективности отечественной системы образования остается актуальной, прежде всего, по причине сложности данной социальной системы. Состояние качества образования определяется не только непосредственными результатами учебной деятельности, но и результатами воздействий со стороны внешней среды (прежде всего, со стороны изменяющегося рынка труда) [1, 2]. Можно считать, что в этих условиях действенная система мониторинга качества и эффективности образовательных услуг практически отсутствует. Между тем именно развитие информационно-аналитического обеспечения мониторинга качества образования призвано обеспечить гибкость и эффективность управления образовательным учреждением, оперативность реагирования на вызовы современного рынка как со стороны работодателей, так и со стороны потребителей образовательных услуг (общества, государства).
Качество образовательных услуг определяется не только внутренними показателями (результатами учебной деятельности, которые в известной степени единообразны для всей системы высшего образования), но и внешними воздействиями (со стороны изменяющегося рынка труда, запросов потребителей, особенностей соответствующей отрасли) [1, 3]. Внешние субъективные показатели (удовлетворенность различных групп потребителей качеством предоставляемых образовательных услуг) позволяют учесть опыт людей, оценить степень удовлетворенности, выяснить причины сложившейся ситуации. Таким образом, эти субъективные показатели представляются важными для понимания мнений работодателей, выпускников, потенциальных абитуриентов в отношении качества образовательных услуг.
Анализ работ по исследованию образовательных систем [2-5] приводит к выводу, что все большее количество авторов склоняется к необходимости применения в данной области методов теории нечетких множеств с возможностью осуществления перехода от классических вероятностных моделей и экспертных оценок к нечетко-множественным описаниям. Удовлетворенность качеством образовательных услуг выпускников и работодателей может быть измерена только нечетко в виде понятий естественного языка (через анкетные опросы выпускников по удовлетворенности качеством образовательных услуг, анкетные опросы работодателей по удовлетворенности качеством подготовки выпускников, анкетные опросы сотрудников и профессорско-преподавательского состава по удовлетворенности качеством образовательных услуг).
Кроме того, следует учитывать, что какими бы совершенными ни были мониторинговые процедуры, они не дают прямой информации и несут в себе долю субъективизма, отражающего личное мнение экспертов, а также оценку влияния внешних факторов. Несмотря на то, что эксперт осознает неоднородность условий наблюдений (меняющиеся внешние воздействия: рынок труда, требования, запросы потребителей), все же, оценивая достаточное количество наблюдений, он делает выводы о типичности тех или иных показателей или су-
щественных отклонений. Таким образом, эксперт классифицирует свои наблюдения нечетким, лингвистическим способом.
Целью описываемого в данной статье исследования является разработка подсистемы оценки удовлетворенности качеством образовательных услуг на основе экспертных опросов и использования лингвистических переменных.
При разработке модели оценки удовлетворенности качеством образовательных услуг определены субъекты удовлетворенности (рис. 1), классифицированные по двум укрупненным группам (потребители, сотрудники) с последующей детализацией. При детализации осуществляется дальнейшая классификация по виду потребностей (внутренние и внешние) и ожиданий (для потребителей), по типу или характеру выполняемой работы (для сотрудников).
Рис. 1. Классификация субъектов удовлетворенности качеством образовательных услуг
Группа потребителей подразделяется в зависимости от интересов и методов, применяемых при измерении удовлетворенности, на внутренних потребителей (студенты, слушатели, выпускники, аспиранты, докторанты, соискатели) и внешних потребителей (родители, абитуриенты, работодатели, учебные заведения, выступающие в роли партнеров совместной деятельности и потенциальных поставщиков абитуриентов) [2, 5].
В целях получения наиболее полной информации о степени удовлетворенности качеством образовательных услуг при индивидуальном методе применяется заочный способ опроса экспертов (субъектов удовлетворенности качеством). Суть метода экспертных оценок заключается в усреднении различными способами мнений респондентов (экспертов по рассматриваемым вопросам). Построение иерархической структурной схемы комплексных критериев удовлетворенности качеством образовательных услуг также выполняется с привлечением экспертов. Для определения и проведения экспертной оценки используются существующие методы в соответствии с ГОСТ 23554.1-79 [6].
Оценка удовлетворенности качеством образовательных услуг базируется на анализе информации, касающейся всех заинтересованных сторон образовательных услуг (внешних потребителей, внутренних потребителей, сотрудников), и выполняется с помощью глобального критерия К, вычисляемого по формуле:
К _ увнешквнеш ^внутквнут ^сотрксотр
где увнеш, увнУт , усотр - весовые коэффициенты важности соответствующих комплексных оценок, которые удовлетворяют условию увнеш +увнут +усотр=1; Квнеш, Квнут, Ксотр - комплексные оценки степени удовлетворенности качеством образовательных услуг, формируемые субъектами удовлетворенности (соответственно, внешними потребителями, внутренними потребителями, сотрудниками) и вычисляемые с помощью комплексного иерархического критерия по формуле:
кс = , к=1
где Кс - индекс (значение) комплексного иерархического критерия удовлетворенности с-го
субъекта удовлетворенности качеством; с = (внеш, внут, сотр) - обозначение субъекта удовлетворенности качеством образовательных услуг (соответственно, внешних потребителей,
внутренних потребителей, сотрудников); Кск - оценка (значение) к-го частного критерия на соответствующем уровне иерархии с-го субъекта удовлетворенности качеством; к = 1, 2, ..., п - обозначение уровня иерархии комплексного критерия; п - число частных критериев на
к-м уровне иерархии комплексного критерия; у1 - весовой коэффициент, показывающий важность на к-м уровне иерархии комплексного критерия удовлетворенности для с-го субъекта удовлетворенности качеством образовательных услуг (сумма весовых коэффициентов на каждом уровне иерархии равна единице).
Для оценки удовлетворенности по критериям с учетом иерархии субъектов удовлетворенности качеством образовательных услуг (каждой отдельной категории потребителей и сотрудников) используется вербальная шкала, включающая в себя следующие значения:
6 - абсолютно удовлетворен;
5 - удовлетворен;
4 - скорее удовлетворен;
3 - частично удовлетворен и частично не удовлетворен;
2 - скорее не удовлетворен;
1 - не удовлетворен;
0 - абсолютно не удовлетворен.
Данные значения являются лингвистическими значениями лингвистической переменной «Удовлетворенность», то есть образуют ее терм-множество А(Х), представляющее множество названий лингвистических значений лингвистической переменной Х, каждое из которых представляет собой нечёткую переменную со значениями из универсального множества и с базовой переменной и.
Для каждого нечёткого подмножества, характеризующего определенное лингвистическое значение лингвистической переменной, задается функция принадлежности. Функция принадлежности ¡Лл(и) каждому значению базовой переменной и ставит в соответствие число из интервала [0, 1], символизирующее совместимость этого значения с нечётким ограничением.
Как правило, в теории нечётких множеств применяется несколько видов функций принадлежности, которые в основном представляют собой частные случаи функций типа (Ь-К) [7-9]. Функции принадлежности нечетких множеств (Ь-К)-типа задаются с помощью невозрастающих на множестве неотрицательных действительных чисел функций действительной переменной Ь(и) и К(и), удовлетворяющих свойствам:
1) Ь(-и) = Ь(и), К(-и) = К(и);
2) Ь(0) = К(0).
В случае применения функции принадлежности (Ь-К)-типа общий вид функции принадлежности /лА(и) следующий:
Ма (и) =
а1 - и
V аь J
и - а
Л
2
V aR
при и < а1 , аь > 0 ;
при и > а 2 , aR > 0 ; при и е [а1 ; а2 ] /
Здесь [а1, а2] - интервал толерантности, где значение принадлежности равно 1, а точки аь и ак - соответственно левые и правые коэффициенты нечеткости; функция /иА(и) изменяется от нуля до единицы.
Значение лингвистической переменной, которое определяет степень удовлетворенности, представляет собой ограничение на значения базовой переменной и в универсальном множестве и (и = [0, 6]). При этом базовая переменная и лингвистической переменной «Удовлетворенность» рассматривается как некоторая числовая переменная удовлетворенность, которая принимает значения 0, 1, 2, ..., 6, а множество и представляет собой базовую шкалу оценок, по которой производится измерение степени удовлетворенности.
Функции принадлежности термов лингвистической переменной «Удовлетворенность» в обобщенном виде можно представить следующим образом:
М
удовлетворен
(и) = <
2(и - а )2
Т-ОТ'
1 2(и -1)2
если 0 < и < а;
а +1
если а < и <
2 а +1
если -< и < а,
2
где а е [0, 1] - параметр, определяющий носители нечетких множеств «удовлетворен» и «не удовлетворен». Для нечёткого множества «удовлетворен» носителем будет интервал (а, 1], а для нечёткого множества «не удовлетворен» - [0, а).
Вид функций принадлежности ц для каждого нечёткого подмножества, характеризующего определенное значение лингвистической переменной, и значения параметров этой функции определяются экспертным методом.
Введение комплексных критериев для субъектов удовлетворенности качеством образовательных услуг и глобального критерия удовлетворенности для всех групп субъектов позволяет провести анализ удовлетворенности качеством подготовки, определить степень соответствия требованиям и ожиданиям субъектов с учетом различных категорий и групп, установить приоритетные направления для улучшения деятельности образовательного учреждения, а также планирование улучшений.
Схема взаимодействия методов и моделей мониторинга качества образовательных услуг (рис. 2) позволяет отобразить функциональную структуру объекта (то есть производимые действия и связи между этими действиями), источники и получателей данных, взаимодействие и связи групп, лиц и подразделений, задействованных в мониторинге качества образовательной деятельности.
Ядром информационного обеспечения информационно-аналитической системы мониторинга качества (ИАС МК) является совокупность взаимосвязанных хранилищ данных: базы знаний, содержащей набор продукционных правил по степени достижения целей в области качества, повышению удовлетворенности качеством образовательных услуг, а также когнитивную карту оценки рисков снижения качества, и базы данных справочников, сведений о студентах, сотрудниках, работодателях и прочих количественных показателей деятельности образовательного учреждения.
0
Сбор информации о процессах
Служба качества
Соор информации об удовлетворенности качеством
Сопоставление с контрольными данными
Слу жба качества
С оц^-т тжо а
Эксперты
Аналитики
Аналитики
ЛПР
ю
Степень достижения цели (продукции)
Текущее состояние
Предыдущее состояние
Обработка и анализ результатов анкетирования
Удовлетворенность качеством (продукции)
Текущее состояние
Предыдущее состояние
Построение н модификация КК
Построение н модификация продукционных правит
Матрица смежностиКК
Исходная Результатов
к
Совокупность продукцийКК
Исходные Текущие
Формирование рекомендации ч
Формирование аналитических отчетов по запросам
БД
справочных данных, обработанной информации таолитг, форм отчетов
Рис. 2. Схема взаимодействия методов и моделей мониторинга качества образовательных услуг
Функционирование ИАС МК образовательных услуг определяется видами аналитической информации, которая требуется администрации для определения степени достижения поставленных целей и рисков снижения качества образовательных услуг, методами и моделями мониторинга, реализующими анализ качества образовательных услуг по соответствующим характеристикам, а также требованиями совместимости с информационной системой образовательного учреждения.
Реализация описанной модели выполнена в виде подсистемы оценки удовлетворенности качеством образовательных услуг входящей в ИАС МК. Подсистема выполняет проведение опросов посредством Web-сайта (рис. 3), обработку анкет, выработку рекомендаций, формирование отчетов, обеспечивает согласованные действия групп пользователей ИАС МК с целью определения степени удовлетворенности качеством предоставляемых образовательных услуг, позволяет проанализировать степень удовлетворенности качеством образовательной деятельности.
Анкета для оценки удовлетворенности работодателей
Уважаемые члены экспертной группы, оцените степень удовлетворенности работодателей (органы власти, администрации, службы занятости) по каждому из ниже приведенных критериев, используя следующую систему оценок: 6 - абсолютно удовлетворен; 5 — удовлетворен: 4 - скорее удовлетворен: 3 — частично удовлетворен и частично не удовлетворен; 2 — скорее не удовлетворен: 1 - не удовлетворен: 0 — абсолютно не удовлетворен
Наименование Вашей организации"
Nt №тшеж1Л1ине критериев Оценка
1. Уровень подготовки специалистов в вузе
1.1 Подготовка вузом А - скорее удовлетворен V
специалистов по требуемым специ альностям.
1.2 Практические навыки 4 - скорее удовлетворен *
выпускников, полученные в вузе.
1.3 Теоретическая подготовка 5 ■ удовлетворен V
выпускников
1.4 Соответствие знаний 4 - скорее удовлетворен V
выпускников современным требованиям менеджмента
1.5 Формирование вузом А - скорее удовлетворен V
личностных качеств выпускника (ответственность, активность. трудолюбие, желание дальнейшего развития и тп.).
1.6 Переп од готовка и повышение квалификации кадров организации.
3 - частично удовлетворен и частично не удовлетворен *
Рис. 3. Фрагмент Web-страницы анкеты для оценки степени удовлетворенности работодателей
Группы пользователей ИАС МК при реализации подсистемы удовлетворенности качеством образовательных услуг характеризуются следующим образом:
Служба качества - является организатором процесса сбора и анализа информации по удовлетворенности качеством образовательных услуг в соответствии с регламентами по контролю качества, контролирует основные этапы и осуществляет импорт данных и их конвертацию (рис. 4).
Рис. 4. Страница импорта и конвертации подсистемы определения степени удовлетворенности качеством образовательных услуг
Импорт результатов анкетного опроса субъектов удовлетворенности качеством образовательных услуг может выполняться по каждому субъекту в отдельности или по группе субъектов: внутренние потребители, внешние или сотрудники (рис. 5). При импорте данных указывается субъект удовлетворенности и прописывается путь к файлу с информацией.
Рис. 5. Страница оценки степени удовлетворенности качеством образовательных услуг
Социологическая служба:
- выполняет разработку анкетных опросов для определения степени удовлетворенности субъектов удовлетворенности качеством образовательных услуг в соответствии с поставленными требованиями и направлениями исследования, анализ информации (рис. 5), полученной при анкетном опросе;
- вносит рекомендации по совершенствованию анкет и анализа результатов опроса;
- консультирует сотрудников службы качества и аналитиков по вопросам организации и проведения социологических опросов.
Аналитики:
- проводят анализ степени удовлетворенности субъектов удовлетворенности качеством образовательных услуг (рис. 5);
- выполняют построение отчетов (субъект удовлетворенности, степень удовлетворенности по критериям, графическое отражение степени удовлетворенности по критериям) для более подробного анализа причин неудовлетворенности;
- анализируют рекомендации по повышению удовлетворенности качеством предоставляемых образовательных услуг для всех субъектов удовлетворенности;
- вносят предложения по повышению удовлетворенности качеством образовательных услуг для лица, принимающего решение (ЛИР), в том случае, если степень удовлетворенности «частично удовлетворен и частично не удовлетворен» или ниже (рис. 6).
1-а Модуло удовлетворенности —-»» 1" ^ •)
| Ст. удовлетворенности субъектов Удовлетворенность для ЛПР Рекомендации п о повыш. удовлетверенности | Импорт |
Родители ■ _1
Студенты (очи.) | Проф.-преод. состав |
Студенты (заочн.) [ Администрация
Работодатели | Партнеры |
Выпускники | Обслуж. персонал |
Варианты льготного поступления для | I скорее удовлетворен выпускников -• 1 Рекомендуется провести предупреждающие действия и абитуриентов; - разработать программы подготовительных и репетиционных курсов - организовать встречи (круглые столы, конференции, семинары и т.д.) преподавателей кафедр вуза с преподавателями школ, техникумов, лицеев и т.д.
Рекламно-информационная деятельность удовлетворен
Наличие подготовительной базы для 1 частично удовлетворен и абитуриентов _| частично не удовлетворен
Соответствие уровня школьной программы с 1 частично удовлетворен и требуемой при поступлении _] частично не удовлетворен
1__11
Рис. 6. Страница рекомендаций по повышению степени удовлетворенности качеством
образовательных услуг
Для степени удовлетворенности, начиная со «скорее не удовлетворен», формируются рекомендации по принятию корректирующих действий. Совокупность рекомендаций по критериям удовлетворенности разрабатывается экспертами и вносится в базу знаний. Данная совокупность рекомендаций может обновляться при внесении изменений в направления деятельности и цели в области качества.
ЛПР - является заключительным звеном в процессе принятия решений по повышению удовлетворенности качеством предоставляемых образовательных услуг. Информация для ЛИР представляется в графическом виде с использованием трехбалльной вербальной шкалы. Графическое отражение информации в виде радарной диаграммы позволяет проследить степень удовлетворенности для субъектов, а также по критериям удовлетворенности для каждого субъекта (рис. 7).
Рис. 7. Графическое представление степени удовлетворенности качеством образовательных
услуг для администрации
Графическое отражение степени удовлетворенности качеством образовательных услуг позволяет наглядно отразить удачно реализуемые направления деятельности образовательного учреждения и те направления деятельности, которые требуют проведения корректирующих или предупреждающих действий со стороны ЛПР [1, 2, 5]. Красная круговая линия на радарной диаграмме соответствует степени удовлетворенности «удовлетворен» и рассматривается в качестве целевого показателя по степени удовлетворенности качеством образовательных услуг.
Для ЛПР предназначена и страница рекомендаций по повышению удовлетворенности качеством образовательных услуг (рис. 6). Предложенными рекомендациями ЛПР может воспользоваться самостоятельно при принятии решений или учесть перечень рекомендаций, который сформирован аналитиками.
Анализ степени удовлетворенности для субъектов удовлетворенности качеством образовательных услуг, выполняемый в рамках общего мониторинга качества, позволяет установить приоритетные направления для улучшения деятельности образовательного учреждения.
Список литературы
1. Митин, А.И. Информационно-аналитическая система мониторинга качества профессиональной подготовки / А.И. Митин, Т.А. Филичева // Наука и образование. - 2013. -№ 4. - С. 46-51.
2. Митин, А.И. Мониторинг качества профессиональной подготовки: информационно-аналитический подход / А.И. Митин, Т.А. Филичева // Информатизация образования и науки. - 2014. - № 1. - С. 82-100.
3. Добряков, А.В. Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода / А.В. Добряков, В.М. Милова // Качество. Инновации. Образование. - 2007. - № 1. - С. 36 -41.
4. Майорова, В.И. Системный анализ проблем и моделирование процесса подготовки элитных специалистов инженерного профиля (на примере ракетно-космических специальностей): в 2-х ч. Ч. 2 / В.И. Майорова. - М.: Изд-во МГОУ, 2007. - 222 с.
5. Филичева, Т.А. Информационно-аналитический подход к проблемам мониторинга качества и эффективности системы профессиональной подготовки / Т.А. Филичева // Вестник славянских вузов. - 2015. - № 4. - С. 120-130.
6. ГОСТ 23554.1-79. Система управления качеством продукции. Экспертные методы оценки качества промышленной продукции. Организация и проведение экспертной оценки качества продукции. - М.: Изд-во стандартов, 1980. - 70 с.
7. Штовба, С.Д. Введение в теорию нечётких множеств и нечёткую логику [Электронный ресурс]. - Режим доступа: http://matlab.exponenta.ru/fuzzylogic/book1/index.php (дата обращения 05.11.2012).
8. Рыжов, А.П. Элементы теории нечётких множеств и ее приложений [Электронный ресурс]. - Режим доступа: http://intsys.msu.ru/staff/ryzhov/FuzzySetsTheoryApplications.htm (дата обращения 05.11.2012).
9. Рожков, Н.Н. Квалиметрия и управление качеством. Математические методы и модели / Н.Н.Рожков. - СПб.: ИПЦ СПГУТД, 2007. - 185 с.
Сведения об авторе
Филичева Татьяна Алексеевна - кандидат технических наук, доцент, доцент кафедры математики и информационных технологий ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», Брянский филиал, filta@yandex. ru.
THE USE OF EXPERT SURVEYS IN ASSESSING SATISFACTION WITH THE QUALITY OF EDUCATIONAL SERVICES
Filicheva T.A.
The Russian Presidential Academy of National Economy and Public Administration, Bryansk filial
The article proposes a method of monitoring the quality of professional training, allowing to estimate the degree of satisfaction with quality of professional training on the basis of expert surveys and the use of linguistic variables. Describes the implementation of the method of assessment of satisfaction with quality of training in the framework of the information-analytical system of monitoring of quality as subsystem of the General information system of educational institution.
Key words: professional education, information-analytical system, linguistic variable, membership function, satisfaction with the quality, monitoring, information support, educational system.
References
1. Mitin A.I., Filicheva T.A. Information-analytical system of monitoring of quality of vocational training. Nauka i obrazovanie, 2013, No. 4, pp. 46-51.
2. Mitin A.I., Filicheva T.A. Monitoring the quality of professional training: awareness-analytical approach. Informatizatsiya obrazovaniya i nauki, 2014, No. 1, pp. 82-100.
3. Dobryakov V.A., Milov V.M. Expert-analytical method of assessing the quality of educational systems based on fuzzy-set approach. Kachestvo. Innovatsii. Obrazovanie, 2007, No. 1, pp. 36 -41.
4. Mayorova V.I. System analysis problems and the simulation of the process of training elite engineering specialists (for example, rocket and space programs), Part 2. Moscow, Publishing house of MGOU, 2007. 222 p.
5. Filicheva T.A. Information-analytical approach to the problems of monitoring the quality and effectiveness of the system of professional training. Vestnik slavyanskikh vuzov, 2015, No. 4, pp. 120-130.
6. GOST 23554.1-79 Quality management System products. Expert methods of assessing the quality of industrial products. Organization and conduct of expert assessment of the quality of the products. Moscow, Izdatelstvo standartov, 1980. 70 p.
7. Shtovba S.D. Introduction to the theory of fuzzy sets and fuzzy logic. Available at: http://matlab.exponenta.ru/fuzzylogic/book1/index.php (accessed 05.11.2012).
8. Ryzhov A.P. The elements of fuzzy set theory and its applications. Available at: http://intsys.msu.ru/staff/ryzhov/FuzzySetsTheoryApplications.htm (accessed 05.11.2012).
9. Rozhkov N.N. Qualimetry and quality management. Mathematical methods and models. Saint-Petersburg, CPI SPGUTD, 2007. 185 p.
Author' information
Tatiana A. Filicheva - Candidate of Technical Sciences, Associate professor of Department of Mathematics and Information Technologies at The Russian Presidential Academy of National Economy and Public Administration, Bryansk filial, filta@yandex.ru.
