Модель оценки удовлетворенности качеством профессиональной подготовки и ее практическая реализация Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

УДК 004942 А.И. Митин, Т.А. Филичева

ВАК 05.25.05 '

РИНЦ 20.23.25

Модель оценки удовлетворенности качеством профессиональной подготовки и ее практическая реализация

В статье предложен метод мониторинга качества профессиональной подготовки, позволяющий оценить степень удовлетворенности качеством профессиональной подготовки на основе экспертных опросов и использования лингвистических переменных. Описывается реализация метода оценки удовлетворенности качеством профессиональной подготовки в рамках информационно-аналитической системы мониторинга качества как подсистемы общей информационной системы образовательного учреждения.

Ключевые слова: профессиональное образование, информационно-аналитическая система, Web-опрос, лингвистическая переменная, функция принадлежности, удовлетворенность качеством, информационное обеспечение.

MODEL OF AN ASSESSMENT OF SATISFACTION WITH QUALITY OF PROFESSIONAL TRAINING AND ITS PRACTICAL REALIZATION

In article the method of monitoring of quality of the professional training, allowing to estimate degree of satisfaction with quality of professional training on the basis of expert polls and use of linguistic variables is offered. Realization of a method of an assessment of satisfaction by quality of professional training within information-analytical system of monitoring of quality as subsystem of the general information system of educational institution is described.

Keywords: professional education, information-analytical system, Web poll, linguistic variable, belonging function, satisfaction with quality, information support.

Введение

Основные субъекты образовательной деятельности (обучающиеся, преподаватели, администрация, работодатели, общество) представляют собой взаимосвязанные и взаимообусловленные во взаимодействии составляющие, позволяющие существовать данной системе как целой, относительно обособленной.

Качество профессиональной подготовки определяется не только внутренними показателями (результатами учебной деятельности, которые в известной степени единообразны для всей системы высшего образования), но и внешними воздействиями (со стороны изменяющегося рынка труда, запросов потребителей, особенностей соответствующей отрасли) [1].

Внешние субъективные показатели (удовлетворенность различных групп потребителей качеством предоставляемых образовательных услуг) позволяют учесть опыт людей, оценить степень удовлетворенности, выяснить причины сложившейся ситуации. Таким образом, эти субъективные показатели представляются важными для понимания мнений работодателей, выпускников, потенциальных абитуриентов в отношении качества образовательных услуг.

Данное исследование, акцентированное на проблеме оценки степени удовлетворенности качеством профессиональной подготовки, развивает методы, применяемые в работах [2] (учет показателей компетентности обучающихся и воспитательной

работы) и [3] (учет результатов послевузовской деятельности обучающихся). Анализ работ по исследованию факторов, влияющих на качество образовательных систем [2-5], приводит к выводу о необходимости применения в данной области методов теории нечетких множеств с возможностью осуществления перехода от классических вероятностных моделей и экспертных оценок к нечетко-множественным описаниям.

Эта необходимость обусловливается тем, что внешние факторы, не управляемые со стороны образовательного учреждения, создают дополнительную неопределенность анализируемой информации, которая порождает ограничения возможностей однозначной иден-

Александр Иванович Митин,

д.пед.н., к. ф.-м. н., профессор Эл. почта: mitin_ai@mail.ru Московский городской психолого-педагогический университет (МГППУ) www.mgppu.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru

Alexander I. Mitin,

Doctor of Pedagogy, Ph. D. BC., Professor E-mail: mitin_ai@mail.ru Moscow State University of Psychology & Education (MSUPE) www.mgppu.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru

тификации текущих состояний и прогнозирования будущих требований к специалистам.

Удовлетворенность качеством образовательных услуг выпускников и работодателей может быть измерена только нечетко в виде понятий естественного языка (через анкетные опросы выпускников по удовлетворенности качеством образовательных услуг, анкетные опросы работодателей по удовлетворенности качеством подготовки выпускников, анкетные опросы сотрудников и профессорско-преподавательского состава по удовлетворенности качеством образовательных услуг).

Кроме того, следует учитывать, что какими бы совершенными ни были мониторинговые процедуры, они не дают прямой информации и несут в себе долю субъективизма, отражающего личное мнение экспертов, а также оценку влияния внешних факторов. Несмотря на то что эксперт осознает неоднородность условий наблюдений (меняющиеся внешние воздействия: рынок труда, требования, запросы потребителей), все же, оценивая достаточное количество наблюдений, он делает выводы о типичности тех или иных показателей или существенных отклонений. Таким образом, эксперт классифицирует свои наблюдения нечетким, лингвистическим способом.

Целью описываемого в данной статье исследования является разработка подсистемы оценки удовлетворенности качеством профессиональной подготовки, функционирующей на основе экспертных опросов и использования лингвистических переменных и входящей в информационно-аналитическую систему мониторинга качества профессиональной подготовки [1].

Новизна исследования выражается в следующем:

1. Разработан метод анализа данных мониторинга качества профессиональной подготовки, позволяющий оценить степень удовлетворенности качеством профессиональной подготовки на основе экспертных опросов и использования лингвистических переменных.

2. На основе формализованных экспертных оценок создана база знаний, позволяющая формировать предложения по улучшению качества профессиональной подготовки.

3. Разработан и внедрен экспериментальный вариант подсистемы оценки удовлетворенности качеством профессиональной подготовки, входящей в информационно-аналитическую систему мониторинга качества профессиональной подготовки, который позволяет реализовать решение экспертно-аналитических задач оценки удовлетворенности качеством профессиональной подготовки и формирование рекомендаций для администрации вуза по повышению качества.

1. Модель оценки удовлетворенности качеством профессиональной подготовки

При разработке модели оценки удовлетворенности качеством профессиональной подготовки определены субъекты удовлетворенности качеством профессиональной подготовки (рис. 1), классифицированные по двум укрупненным группам (потребители, сотрудники) с последующей детализацией. При детализации осуществляется дальнейшая классификация по виду потребностей (внутренние и внешние) и ожиданий (для потребителей), по типу или характеру выполняемой работы (для сотрудников).

Группа потребителей подразделяется в зависимости от интересов и методов, применяемых при измерении удовлетворенности, на внутренних потребителей (студенты, слушатели, выпускники, аспиранты, докторанты, соискатели) и внешних потребителей (родители, абитуриенты, работодатели, учебные заведения, выступающие в роли партнеров совместной деятельности и потенциальных поставщиков абитуриентов).

В целях получения наиболее полной информации о степени удовлетворенности качеством профессиональной подготовки при индивидуальном методе применяется заочный способ опроса экспертов

Татьяна Алексеевна Филичева, к.т.н.

Эл. почта:filta@yandex.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru

Tatyana A Filicheva,

PhD in Technical Sciences E-mail: filta@yandex.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru

(субъектов удовлетворенности качеством). Суть метода экспертных оценок заключается в усреднении различными способами мнений респондентов (экспертов по рассматриваемым вопросам). Построение иерархической структурной схемы комплексных критериев удовлетворенности качеством профессиональной подготовки также выполняется с привлечением экспертов. Для определения и проведения экспертной оценки используются существующие методы в соответствии с ГОСТ 23554.1-79 [4].

Оценка удовлетворенности качеством профессиональной подготовки базируется на анализе информации, касающейся всех заинтересованных сторон профессиональной подготовки (внешних потребителей, внутренних потребителей, сотрудников), и выполняется с помощью глобального критерия К, вычисляемого по формуле

К = увнешКвнеш + ^внут^внут + + усотрКсотр

где увнеш, увнут, усотР - весовые коэффициенты важности соответствующих комплексных оценок, которые удовлетворяют условию увнеш +

+ увнут + усотр = 1* Квнеш Квнут К°отр —

комплексные оценки степени удовлетворенности качеством профессиональной подготовки, формируемые субъектами удовлетворенности (соответственно, внешними потребителями, внутренними потребителями, сотрудниками) и вычисляемые с помощью комплексного иерархического критерия по формуле

к=1

где К - индекс (значение) комплексного иерархического критерия удовлетворенности с-го субъекта удовлетворенности качеством; с = (внеш, внут, сотр) - обозначение субъекта удовлетворенности качеством профессиональной подготовки (соответственно внешних потребителей, внутренних потребителей, сотрудников); Кк - оценка (значение) к-го частного критерия на соответствующем уровне иерархии с-го субъекта удовлетворенности качеством; к = 1, 2, ..., п -обозначение уровня иерархии комплексного критерия; п - число частных критериев на к-м уровне иерархии комплексного критерия; уск - весовой коэффициент, показывающий важность на к-м уровне иерархии комплексного критерия

Рис. 1. Классификация субъектов удовлетворенности качеством профессиональной подготовки

удовлетворенности для с-го субъекта удовлетворенности качеством профессиональной подготовки; сумма весовых коэффициентов на каждом уровне иерархии равна единице.

Для оценки удовлетворенности по критериям, с учетом иерархии субъектов удовлетворенности качеством профессиональной подготовки (каждой отдельной категории потребителей и сотрудников), используется вербальная шкала, включающая в себя следующие значения: 6 - абсолютно удовлетворен; 5 - удовлетворен; 4 - скорее удовлетворен; 3 - частично удовлетворен и частично не удовлетворен; 2 - скорее не удовлетворен; 1 - не удовлетворен; 0 - абсолютно не удовлетворен. Данные значения являются лингвистическими значениями лингвистической переменной «Удовлетворенность», то есть образуют ее терм-множество А(Х), представляющее множество названий лингвистических значений лингвистической переменной Х, каждое из которых представляет собой нечёткую переменную со значениями из универсального множества и с базовой переменной и.

Для каждого нечёткого подмножества, характеризующего определенное лингвистическое значение лингвистической переменной, задается функция принадлежности. Функция принадлежности цА(и) каждому значению базовой переменной и ставит в соответствие число из интервала [0, 1], символизирующее совместимость этого значения с нечётким ограничением.

Как правило, в теории нечётких множеств применяется несколько видов функций принадлежности, которые в основном представляют собой частные случаи функций типа (Ь-К) [3, 6, 7]. Функции принадлежности нечетких множеств (Ь-К)-типа задаются с помощью невозрастающих на множестве неотрицательных действительных чисел функций действительной переменной Ь(и) и К(и), удовлетворяющих свойствам: 1) Ь(-и) = Ь(и), К(-и) = К(и); 2) Ь(0) = К(0).

В случае применения функции принадлежности (Ь-К)-типа общий вид функции принадлежности /иА(и) следующий:

М.А (и)

а1 - и

>

а

ь

при и < а1, аЬ > 0;

Я

при и > а2, аЯ > 0;

1 при и е а2 ].

Здесь [аь а2] - интервал толерантности, где значение функции принадлежности равно 1, а точки аЬ и аК - соответственно левые и правые коэффициенты нечеткости; функция ]иА(и) изменяется от нуля до единицы.

Значение лингвистической переменной, которое определяет степень удовлетворенности, представляет собой ограничение на значения базовой переменной и в универсальном множестве и (и = [0, 6]). При этом базовая переменная и лингвистической переменной «Удовлетворенность» рассматривается как некоторая числовая переменная удовлетворенность, которая принимает значения 0, 1, 2, ..., 6, а множество и представляет собой базовую шкалу оценок, по которой производится измерение степени удовлетворенности.

Функции принадлежности термов лингвистической переменной «Удовлетворенность» в обобщенном виде можно представить следующим образом:

0,

если 0 < и < а; 2(и - а)2

(1 - а)2 '

если а < и <

, 2(и - а)2 1 -^,

а +1

(1 - а )2

а +1

2

< и < а,

В частности, функция принадлежности для нечеткого множества А (удовлетворен) описывается формулой вида:

0, если и < а; 2 (и - а)2

Му (и,а,в,у) =

(-а) ' если а < и < в; 2 (и -у)2

1 -

(Г-а)2

если в < и < у, 1, если и > у,

где в = а + У - точка перехода, то 2

есть такое значение и е и, степень принадлежности которого множеству А(Х) равна 0,5.

Установив экспертным путем значения а= 4,13, у = 5,87, можно найти в = 5.

Для установления вида функции принадлежности нечёткого множества А(абсолютно удовлетворен) было принято предположение, что модификатор «абсолютно» действует как оператор повышения «чёткости» нечёткого подмножества А(удовлетворен) в виде двойного концентрирования, то есть:

А(абсолютно удовлетворен) = = СОМ(СОМ(А (удовлетворен))) = = (А (удовлетворен))4,

или

_ 4 МаУ = МУ ■

Функция принадлежности для нечёткого множества А(скорее удовлетворен) описывается формулой

, 2( - г)2 в

1 —---2т- , если и > в.

(Г-а)

МсУ =

2(и - у)

(Г-а)2 0,

если а < и < в;

если и < а.

где а е [0, 1] - параметр, определяющий носители нечетких множеств «удовлетворен» и «не удовлетворен». Для нечёткого множества «удовлетворен» носителем будет интервал (а, 1], а для нечёткого множества «не удовлетворен» - [0, а).

Вид функций принадлежности ^ для каждого нечёткого подмножества, характеризующего определенное значение лингвистической переменной, и значения параметров этой функции определяются экспертным методом.

Экспертным путем определяются значения а = 1, у = 5 и в = 3.

Функция принадлежности для нечеткого множества А (не удовлетворен) описывается формулой вида: 1, если и < У;

2(и -у)2 (а-у)2 ' если у < и < в; 2 (и - а)2

МнУ [и,а,в,у) =

1-

(а-у)2 ' если в < и < а; 0, если и > а,

Ь

2

если

где в = а+ У - точка перехода.

2

Установив экспертным путем значения а = 2,2, у = 1, можно получить в = 1,6.

Для установления вида функции принадлежности нечёткого множества А(абсолютно не удовлетворен) было принято предположение, аналогичное предположению для нечёткого множества А(абсолютно удовлетворен), то есть

_ 4

МанУ = МнУ ■

Функция принадлежности для нечёткого множества А(скорее не удовлетворен) описывается формулой вида:

1 - 2(и если и < в;

МснУ =

2(и -

а)

(г-а 0,

, если в < и < а;

если и > а.

МчУчнУ =

если и < а; если а < и < в;

1 --

1 -

(-а)2 2(и - е)2

(Г-а)2 ' 0,

если и < у если и = у\ если и < д;

если д < и < е; если и > е.

тывая, что в =

а+ у

и д =

е + у

К °'9

Р

0

£ о,з

1

1 0,7

Е 0,6

1)

£ о."

5

1> 0,3

а

£ о,: 1

и од о

Г 0 — 1 1~ 2 Г , Г 4 ч Г-

и/ч

\у \/

Экспертным путем установлены значения а = 4,5, у = 0,9 и в = 2,7.

Функция принадлежности для нечёткого множества А(частично удовлетворен и частично не удовлетворен) описывается формулой вида:

0,

2 (и - а)2

2(и -у)2

(у-а)2 1,

2(и -у)2

О 0,20,40,60,8 1 1,21.41,013 2 2,22,¿2,02,В 5 3,23,4 3,0,8 4 4,24,44,04,8 5 5,25,45,05,3 й

Базовая шкала

Рис. 2. Функции принадлежности лингвистической переменной « Удовлетворенность» (6 - абсолютно удовлетворен; 5 - удовлетворен; 4 - скорее удовлетворен; 3 - частично удовлетворен и частично не удовлетворен; 2 - скорее не удовлетворен; 1 - не удовлетворен; 0 - абсолютно не удовлетворен)

Анкета для оценки удовлетворенности работодателей

Уважаемые члены экспертной группы, оцените степень удовлетворенности работодателей (органь власти, администрации, службы занятости) пи каждому из ниже приведенных критериев, не польз у! следующую систему оценок 6 - абсолютно удовлетворен: 5 - удовлетворен: 4 - скоре< удовлетворен: 3 - частично удовлетворен к частично не удовлетворен: 2 - скорее н< удовлетворен; 1 - не удовлетворен: 0 - абсолютно не удовлетворен

Наименование Вашей оргаНИЗЗЦИИ*'

Установив экспертным путем значения а = 2, в = 5, у = 8 и учи-

2 2 ' можно получить вид функции принадлежности для различных значений базовой переменной и.

Вся совокупность графиков функций принадлежности представлена на рис. 2. Следует отметить, что графики функций принадлежности термов «абсолютно удовлетворен» и «абсолютно не удовлетворен» представляют собой зеркальные отображения.

Введение комплексных критериев для субъектов удовлетворенности качеством профессио-

N° Наименование критериев Оценка

1,1 1-Урове Подготовка вузом специалистов по требуемым специальностям нь подготовки специалистов е вузе

4■скорее удовлетворен *

1.2 Практические навыки выпускников, полученные в вузе.

4•скорее удовлетворен «

1.3 Теоретическая подготовка выпускников

5■ удовлетворен V

1.4 Соответствие знании выпускников современным требованиям менеджмента

4•скорее удовлетворен *

1.5 Формирование вузом личностных качеств выпускника (ответственность, активность, трудолюбие, желание дальнейшего развития и тп.).

4■скорее удовлетворен V

1.6 Переподготовка и повышение квалификации кадров организации.

3 - частично удовлетворен и частично не удовлетворен у

Рис. 3. Фрагмент веб-страницы анкеты для оценки степени удовлетворенности работодателей

Рис. 4. Страница импорта и конвертации подсистемы определения степени удовлетворенности качеством ППГС

нальной подготовки и глобального критерия удовлетворенности для всех групп субъектов позволяет провести анализ удовлетворенности качеством профессиональной подготовки, определить степень соответствия требованиям и ожиданиям субъектов с учетом различных категорий и групп, установить приоритетные направления для улучшения деятельности образовательного учреждения. После определения приоритетных направлений проводится планирование улучшений, которые необходимы для увеличения удовлетворенности качеством профессиональной подготовки.

2. Реализация подсистемы оценки удовлетворенности качеством профессиональной подготовки

Реализация описанной модели выполнена в виде подсистемы оценки удовлетворенности качеством профессиональной подготовки, входящей в информационно-аналитическую систему мониторинга качества (ИАС МК). Подсистема на рис. 3 выполняет проведение опросов

посредством веб-сайта, обработку анкет, выработку рекомендаций, формирование отчетов, обеспечивает согласованные действия групп пользователей ИАС МК с целью определения степени удовлетворенности качеством предоставляемых

образовательных услуг, позволяет проанализировать степень удовлетворенности качеством образовательной деятельности.

Группы пользователей ИАС МК при реализации подсистемы удовлетворенности качеством профессиональной подготовки характеризуются следующим образом:

Служба качества - является организатором процесса сбора и анализа информации по удовлетворенности качеством профессиональной подготовки в соответствии с регламентами по контролю качества профессиональной подготовки, контролирует основные этапы и осуществляет импорт данных и их конвертацию, что отражено на рис. 4.

Импорт результатов анкетного опроса субъектов удовлетворенности качеством профессиональной подготовки (рис. 5) может выполняться по каждому субъекту в отдельности или по группе субъектов: внутренние потребители, внешние или сотрудники. При импорте данных указывается субъект удовлетворенности и прописывается путь к файлу с информацией. Социологическая служба: - выполняет разработку анкетных опросов для определения степени удовлетворенности субъектов удов-

Рис. 5. Страница оценки степени удовлетворенности качеством профессиональной подготовки

Рис. 6. Страница рекомендаций по повышению степени удовлетворенности качеством профессиональной подготовки

летворенности качеством профессиональной подготовки в соответствии с поставленными требованиями и направлениями исследования, анализ информации (см. рис. 5), полученной при анкетном опросе;

- вносит рекомендации по совершенствованию анкет и анализа результатов опроса;

- консультирует сотрудников службы качества и аналитиков по вопросам организации и проведения социологических опросов.

Аналитики:

- проводят анализ степени удовлетворенности субъектов удовлетворенности качеством профессиональной подготовки (см. рис. 5);

- выполняют построение отчетов (субъект удовлетворенности, степень удовлетворенности по критериям, графическое отражение степени удовлетворенности по критериям) для более подробного анализа причин неудовлетворенности;

- анализируют рекомендации по повышению удовлетворенности качеством предоставляемых образовательных услуг для всех субъектов удовлетворенности;

- вносят предложения по повышению удовлетворенности качеством профессиональной подготовки для лица, принимающего решение (ЛПР), в том случае, если степень удовлетворенности «частично удовлетворен и частично не удовлетворен» или ниже (рис. 6).

Для степени удовлетворенности начиная со «скорее не удовлетворен» формируются рекомендации по принятию корректирующих действий. Совокупность рекомендаций по критериям удовлетворенности разрабатывается экспертами и вносится в базу знаний. Данная совокупность рекомендаций может обновляться при внесении изменений в направления деятельности и цели в области качества.

ЛПР - является заключительным звеном в процессе принятия решений по повышению удовлетворенности качеством предоставляемых образовательных услуг с использованием ИАС МК. Информация для ЛПР представляется в графическом виде с использованием трехбалльной вербальной шкалы. Графическое отражение информации в виде диаграммы (рис. 7) позволяет проследить степень удовлетворенности для субъектов,

Рис. 7. Графическое представление степени удовлетворенности качеством профессиональной подготовки для администрации

а также по критериям удовлетворенности для каждого субъекта.

Графическое отражение степени удовлетворенности качеством профессиональной подготовки позволяет наглядно отразить удачно реализуемые направления деятельности образовательного учреждения и те направления деятельности, которые требуют проведения корректирующих или предупреждающих действий со стороны ЛПР. Красная

круговая линия на диаграмме соответствует степени удовлетворенности «удовлетворен» и рассматривается в качестве целевого показателя по степени удовлетворенности качеством ППГС.

Для ЛПР предназначена и страница рекомендаций по повышению удовлетворенности качеством ППГС (см. рис. 6). Предложенными рекомендациями ЛПР можно воспользоваться самостоятельно

при принятии решений или учесть перечень рекомендаций, который сформирован аналитиками.

Анализ степени удовлетворенности для субъектов удовлетворенности качеством профессиональной подготовки, выполняемый в рамках общего мониторинга качества, позволяет установить приоритетные направления для улучшения деятельности образовательного учреждения.

Список литературы:

1. Митин А.И., Филичева Т.А. Информационно-аналитическая система мониторинга качества профессиональной подготовки // Открытое образование. - 2013. - № 4.

2. Добряков А.А., Милова В.М. Экспертно-аналитический метод оценки качества образовательных систем на основе нечётко-множественного подхода // Качество. Инновации. Образование. - 2007. - № 1. - С. 36-41.

3. Майорова В.И. Системный анализ проблем и моделирование процесса подготовки элитных специалистов инженерного профиля (на примере ракетно-космических специальностей): в 2 ч. Ч. 2. - М.: Изд-во МГОУ 2007. - 222 с.

4. ГОСТ 23554.1-79 Система управления качеством продукции. Экспертные методы оценки качества промышленной продукции. Организация и проведение экспертной оценки качества продукции. - М.: Изд-во стандартов, 1980. - 70 с.

5. Рожков Н.Н. Квалиметрия и управление качеством. Математические методы и модели. - СПб.: ИПЦ СПГУТД, 2007. - 185 с.

6. Штовба С.Д. Введение в теорию нечётких множеств и нечёткую логику [Электронный ресурс]. - Режим доступа: http://matlab.exponenta.ru/iuzzylogic/book1/index.php (дата обращения 05.11.2012).

7. Рыжов А.П. Элементы теории нечётких множеств и ее приложений. [Электронный ресурс]. - Режим доступа: http://intsys.msu.ru/staif/ryzhov/FuzzySetsTheoryApplications.htm