CC BY
178
О. А. Граничина
ИСПОЛЬЗОВАНИЕ СОВРЕМЕННЫХ КВАЛИМЕТРИЧЕСКИХ МЕТОДОВ ПРИ ОЦЕНИВАНИИ КАЧЕСТВА ОБРАЗОВАНИЯ В ВУЗЕ
В работе представлен современный подход к построению обобщенной оценки качества образования в вузе. Используются современные квалиметрические методы.
Ключевые слова: качество образования, квалиметрические методы оценивания, обобщенная оценка качества.
О. Granichina
THE APPLICATION OF THE MODERN QUA LI METRICAL METHODS AT THE EDUCATION QUALITY EVALUATION AT THE UNIVERSITIES
The theses deal with the modern approach to the construction of the generalized evaluation of the education quality at the universities. The modern qualimetrical methods are used.
Key words: the quality of the education, qaulimetrical methods of the evaluation, the generalized evaluation of the quality.
Современное управление образовательным учреждением требует перех ода от субъективных описаний явлений и процессов к более строгим и объективным их оценкам. Поэтому необходимость в использовании квалиметрических методов при осуществлении контрольно-оценочных процедур уже не является предметом дискуссий.
Практически все описанные в литературе методы решения задач измерения — это поиски комплексного, компромиссного решения с помощью построения так называемых обобщенных показателей качества, которые также называют целевыми или критериальными функциями.
Общая технология оценивания качества образования в вузе реализуется в три этапа.
1. Выделяется совокупность частных показателей, связанных с обобщенным
показателем качества, на основе методов моделирования системы управления качеством образования.
2. Подбираются или создаются методики, позволяющие с заданной степенью достоверности оценивать (прогнозировать) значение соответствующего показателя.
3. Пр оводится агрегация оценок отдельных показателей в обобщенный показатель качества образования с помощью некоторого правила «свертки».
Предметом рассмотрения данной статьи выступает преимущественно третий этап представленной технологии, а именно — построение интегральных оценок качества.
Для решения задачи построения интегральных оценок качества необходимо выполнить ряд действий.
1. Обеспечить равномерное распределение в рамках диапазона возможных зна-
чений исследуемых показателей баллов, которые эксперты выставляют при оценке качественных показателей.
2. Осуществить нормирование полученных значений качественных и количественных показателей.
3. Применить к полученным показателям методы последовательной свертки с целью получения обобщенных показателей.
В различных источниках предлагаются разнообразные подходы к свертыванию частных показателей в обобщенные. Среди них можно выделить: аддитивный способ, мультипликативный способ, логическое свертывание и пр. |1|. Однако общее для всех этих подходов — то. что свертывание единичных показателей в обобщенный осуществляется путем разбиения множеств значений показателей одиночных (частных) свойств на подмножества допустимых и недопустимых значений. В практике оценивания чаще всего используют аддитивную свертку. В предлагаемой статье предлагается применять мультипликативную свертку, так как, по мнению автора, она позволяет избежать ряда проблем, которые возникают при аддитивной свертке. Например, в случае, когда «западает» один из важных для оценки показателей, при аддитивной свертке он может быть компенсирован другим показателем, значение которого оказывается существенно выше кри-териатъного. Но это принципиально неверно, если речь идет о системе значимых показателей. В мультипликативной свертке такая ситуация невозможна, так как на значение инт егрального показателя качества влияют значения всех показателей, из которых он агрегируется.
Решение проблемы выбора весовых коэффициентов — отдельная значительная проблема, связанная с неопределенностью этого процесса. Обычно для исследователя затруднительно указать точные числовые значения вектора весовых коэффициентов. Поэтому для определения численных значений весовых коэффициентов часто используют экспертный под-
ход, можно также определять их значения с помощью вычисления энтропии [2]. В данной статье предлагается современный метод расчета значимости показателей качества на основе экспертного оценивания и последующего применения метода вычисления рандомизированных сводных показателей.
Предлагаемый метод основывается на результатах исследований, выполненных автором в ходе реализации мероприятий инновационной образовательной программы РГПУ им. А. И. Герцена «Создание инновационной си стемы подготовки спе-циатастов в области гуманитарных технологий в социальной сфере».
На первом этапе было проведено выборочное обследование. В ходе опроса руководителям высшего звена 15 вузов было предложено оценить по 7-балльной шкале значимость ключевых факторов качества деятельности вузов, сформулированные в результате общего системного анализа образова тельного процесса [3].
Результаты обработки полученных данных представлены в таблицах:
Полученные результаты позволили сделать следующие выводы:
• все перечисленные показатели были расценены респондентами как значимые факторы для оценки качества образования в вузе;
• степень значимости показателей различная, что диктует необходимость учета этого факта при построении интегратьных оценок;
• рейтинги показателей — величина изменчивая, зависящая от внешних и внутренних потребностей системы образования, и нуждается в периодической корректировке.
Для расчета значений весовых коэффициентов, соответствующих показателям качества образования в вузе, автором были применены следующие подходы.
Первый подход. На основании результатов изучения значимости отдельных показателей был получен их рейтинг, что по-
Таблица 1
Качество условий осуществления деятельности вуза
Ключевые факторы качества условий Оценка значимости Рейтинг 1 фактора ;
! Потенциал абитуриентов вуза 4 4
, Кадровый потенциал Учебно-методическое и дидактическое обеспечение образовательных : программ (основных и дополнительных) 7 2 1 6
1 Информационный и библиотечный ресурсы 5 3
| Социальные условия дтя студентов и сотрудников 1 7
Материально-техническое обеспечение 3 5
] Научный и инновационный потенциал 6 2
Качество процессов вуза Таблица 2
] Ключевые факторы качества процессов вуза Оценка значимости Рейтинг фактора
Обеспечение лидирующей роли руководства вуза в вопросах качества и постоянного улучшения всех аспектов деятельности вуза 6 2
Обеспечение соответствия миссии, видения, основных ценностей политики и стратегии вуза поставленным целям 5,3 3
! Качество реализации образовательных программ (основных и дополнитель-: ных] 7 1
1 Уровень академической мобильности 0,9 8
Качество воспитательной работы 1,75 7
Качество различных видов практик студентов 2,6 6
Качество общего менеджмента в вузе, включая управление персоналом, инфраструктурой, материальными и информационными ресурсами, техноло-■ гиями и т. п. Обеспечение внутренней гарантии качества 4.4 3.5 4 5
зволило упорядочить их по важности. Рассмотрим, к примеру, группу показателей потенциала вуза (7 штук). Таким образом, нам надо сгенерировать 7 чисел, которые в сумме дают 1, и приписать их в качестве коэффициентов значимости соответствующим показателям. В соответствии с идеей рандомизации, случайно выбираем число, принадлежащее интервалу (0,1). Назовем его ц.,,. Затем выбираем случайно Р-21 е (0; 1 — ц.,,) и так далее вплоть до имитационного определения ц.61, а значение ц71 определяется однозначно из уело вия равенства / суммы всего набора. Этот набор упорядочиваем по убыванию, переобозна-
чая индексы соответственно. Моделирование первого варианта наборов коэффициентов на этом заканчивается. Повторяем указанную процедуру 1000 раз и получаем набор циооо, ^ цТЩШ- в силу
принципов имитационного моделирования Монте-Карло средние значения коэффициентов, стоящих в полученных наборах на 1, 2, . 7-м местах, приблизи-
тельно равны математическим ожиданиям ■^иЛЕ\гп )• Это и есть эвристические значения соответствующих весовых коэффициентов для первой группы показателей, упорядоченных на основе рейтинга. Аналогично поступаем для второй и треть-
Таблица 3
Качество результатов деятельности вуза
Ключевые факторы качества результатов Оценка значимости Рейтинг фактора
Результативность набора студентов 5,25 4
Результативность научных исследований и инновационной деятельности 2,3 9
Эффективность учебно-методической деятельности 1,2 11
Международное признание вуза в образовательной деятельности 0,6 12
Обеспечение качества подготовки студентов вуза 6,4 2
Обеспечение качества подготовки выпускников 7 1
Эффективность подготовки научно-педагогических кадров высшей квалифи- 1,75 10
кации (кандидатов и докторов наук)
Эффективность финансово-экономической деятельности вуза 3 8
Удовлетворенность потребителей 3,5 7
Влияние вуза на общество 4 6
Результаты, которых добился вуз в отношении запланированных целей повы- 4,7 5
шения качества подготовки специалистов
ей группы показателей, используя моделирование наборов из восьми и двенадцати значений соответственно.
Имитационное моделирование весовых коэффициентов на основе метода Монте-Карло дало следующие результаты:
Результаты проведенного моделирования наглядно показывают одну существенную особенность этого подхода. По сути, только несколько первых показателей оказывают реальное влияние на итоговое значение интегрально го показате-
ля, значимость же остальных показателей, таким образом, нив елируется. Поэтому при необходимости учета в итоговых интегральных показателях всех частных показателей можно и нужно описанный выше подход к формированию весовых коэффициентов модернизировать.
Вместе с тем в условиях дефицита времени и финансовых ресурсов проводят обычно мониторинг лишь по отдельным показателям. Приведенные расчеты свидетельствуют о том, что мониторинг по
Значения весовых коэффициентов показателей потенциала Таблица 4 вуза
Показатели потенциала вуза м
Кадровый потенциал Научный и инновационный потенциал ^Информационный и библиотечный ресурсы 0,613655 0,21546 0,0911481
Потенциал абитуриентов вуза 0,0430256
Материально- техническое обеспечение 0,0212974
Учебно-методическое и дидактическое обеспечение образовательных программ (основных и дополнительных) 0,0107386
- Социальные условия для студентов и сотрудников 0,0046753
Таблица 5
I
Значения весовых коэффициентов показателей процессов вуза Показатели качества процессов вуза
Качество реализации образовательных программ (основных и дополнительных)
Обеспечение лидирующей роли руководства вуза в вопросах качества и постоян-I ного улучшения _всех аспектов деятельности вуза____________________________________
\ Обеспечение соответствия миссии, видения, основных ценностей политики и ! стратегии вуза поставленным целям__________________________________________________
Качество общего менеджмента в вузе
Обеспечение внутренней гарантии^качества Качество различных видов практик студентов
Качество воспитательной работы _ ____
Уровень академической мобильности
0.Ш7392
0,209024
0,0863439
0,0401122
0,0195254
0,0101542
0,0051493
0,0022990
Таблица 6
Значения весовых коэффициентов показателей результативности деятельности вуза
Показатели результативности
'■ Обеспечение качества подготовки выпускников______ _____________________________
Обеспечение качества подготовки студентов вуза ____________________________ ________
^ Удовлетворенность персонала и обучающихся __________________________________________
Результативность набора студентов ___ _ ___ ______________________________________
; Результаты, которых добился вуз в отношении запланированных целей повышения качества подготовки специалистов___________________________________________ ________
; Влияние вуза на общество____________________________________________________________
Удовлетворенность потребителей____________________________
Эффективность финансово-экономической деятельности вуза
Результативность научных исследований и инновационной деятельности_______ ______
Эффективность подготовки научно-педагогических кадров высшей квалификации I (кандидатов и докторов наук)_________________________________________________________
Эффективность учебно-методической деятельности_______________________________________
; Международное признание вуза в образовательной деятельности
___ п. ! 0,634879 0,205632 0,084428
0,0389549
0,0185204
0,00891485
0,0043968 0,00220471 _ 0,00108653 0,00058067 \
0,00028153
0,00012061
трем первым по значимости показателям качества дает вполне адекватную оценку качества оцениваемого направления.
В том случае, когда мониторинг необходимо провести гго всем значимым показателям качества, применяют другой подход для расчета весовых коэффициентов.
Второй подход. Принципиальное его отличие от первого подхода закл ючается в том, что из всей группы показателей выбирается тот, который стоит в конце списка
(самый незначимый по мнению экспертов, или в соответствии с управленческой стратегией). Для него экспертно назначается значение весового коэффициента (самое маленькое) ря, где п - количество показателей данной группы. Очевидно, что для величины ц\„ должно выполняться \
неравенство ц,„ < —. А затем это значение п
приписывается всем остальным показателям. После этого оставшаяся невязка до
единицы 1 — ц,. • п распределяется на все весовые коэффициенты в соответствии с первым подходом.
При отсутствии четкой дополнительной информации о рекомендуемом уровне ц„ достаточно оправданным является выбор в качестве самого маленького коэффициента и„ = —. В этом случае в результа-‘ п " '
те пересчета получаются такие значения весовых коэффициентов:
На следующем этапе вычисления интегральных оценок качества образования в
Таблица 7
Значения модифицированных весовых коэффициентов показателей качества потенциала вуза
Показатели потенциала вуза “1 Я
Кадровый потенциал 0,378256073
Научный и инновационный потенциал 0,17915857
Информационный и библиотечный ресурсы 0,11700262
Потенциал абитуриентов вуза 0,09294137
Материально-техническое обеспечение 0,08207727
Учебно-методическое и дидактическое обеспечение образовательных программ (основных и дополнительных) 0,07679787
Социальные условия для студентов и сотрудников 0,073766127
Таблица 8
Значения модифицированных весовых коэффициентов показателей
качества процессов вуза
Показатели качества процессов вуза Л
Качество реализации образовательных программ (основных и дополнительных) Обеспечение лидирующей роли руководства вуза в вопросах качества и постоянного улучшения всех аспектов деятельности вуза 0,376196 0,167012
Обеспечение соответствия миссии, видения, основных ценностей политики и стратегии вуза поставленным целям 0,1056719
Качество общего менеджмента в вузе 0,0825561
Обеспечение внутренней гарантии качества 0,0722627
Качество различных видов практик студентов 0,0675771
Качество воспитательной работы 0,0650747
Уровень академической мобильности 0,0636495
вузе строится мультипликативная свертка частных показателей:
• интегральный показатель качества потенциала вуза:
л
-Шт.
• интегральный показатель качества процессов вуза
8
= 1
Таблица 9
Значения модифицированных весовых коэффициентов показателей качества результативности деятельности вуза
Показатели результативности Обеспечение качества подготовки выпускников И, 0,35910616
Обеспечение качества подготовки студентов вуза 0,14448266
Удовлетворенность персонала и обучающихся 0,08388066
Результативность набора студентов " “_ " Н 0,06114411
Результаты, которых добился нуз в отношении запланированных целей повышения качества подготовки специалистов 0,05092686
Влияние вуза на общество . 0,0461241
Удовлетворенность потребителей 0,0438651
Эффективность фина? 1сово-экономической деятельности вуза 0,04276902
Результативность научных исследований и инновационной деятельности 0,04220993
Эффективность подготовки научно-педагогических кадров высшей квалификации 0,04195700
(кандидатов и докторов наук)
Эффективность учебно-методической деятельности
Международное признание вуза в образовательной деятельности
' 0,04180743
1
' 0,04172697
• интегральный показатель качества результатов деятельности вуза:
Н=ЛРГ .
г-.]
где Pt — значение частного показателя, стоящего на ^м месте в рейтинге показателей данной группы, ц,- — значение весового коэффициента частного показателя, стоящего на ^м месте в рейтинге показателей данной группы.
Следует отдельно заметить, что весовые коэффициенты, используемые для построения интегральных функционалов качества, являются математическим аналогом важности этих компонентов и поэтому являются регулирующими элементами. При помощи этих элементов модель может быть настроена таким образом, чтобы она в наибольшей степени соответствовала целям вуза. Искусственно меняя значения этих коэффициентов, усиливая зна-
чимость тех показателей, по которым вуз не показывает достаточного уровня качества, и уменьшая значимость стабильных по уровню показателей, субъект управления осознанно стимулирует активность объектов контроля в соответствии со стратегическими планами. В этом смысле представленная модель контроля качества образовательного процесса в вузе является гибкой, адаптивной моделью. Это особенно важно в условиях постоянных внешних и внутренних изменений в системе образования. Таким образом, применение математических моделей позволяет оперативно и адекватно реагировать на эти изменения, корректируя параметры моделей, что дает возможность своевременно и надежно управлять процессами контроля качества профессионального образования в вузе. При этом принципиально важно то, что сама модель не претерпевает существенных изменений.
Существует, по крайней мере, два подхода к использованию значений интегральных показателей.
1. Первый подход применяют в тех случаях, когда ставится задача сопоставления результатов оценки качества ОП вуза в текущий момент с результатами его оценки, полученной на предыдущих этапах (часто такой подход называют нормативно-ориентированный подходом). Такое сопоставление нередко проводят в европейских образовательных учреждениях. По мнению европейских исследователей, в условиях отсутствия единых эталонов качества образовательного процесса, средний прогресс этих показателей можно рассматривать как относительную норму. В соответствии с таким подходом, отслеживают динамику показателей /,, /2, /, в вузе через заданные промежутки времени и сравнивают ее со средним значением.
2. Второй подход предполагает сопоставление уровня качества образования в вузе с уровнем качества образования в других однопрофильных вузах (критериально-ориентированный подход). Рассмотрим для примера интегральный показатель, характеризующий качество потенциала вуза. Всю совокупность однопрофильных вузов будем делить на четыре группы.
Обозначим I — среднее значение 7, по всем однопрофильным вузам, L — среднее значение отклонений /, от 7 по всем однопрофильным вузам. Назовем 7-L — нижней границей интервала стабильности качества, 7 +L — верхней границей интервала стабильности качества.
Тогда
• если /, >7 + Ь, то вуз находится в поле роста качества;
• если7л7, л7 + Ь, то вуз находится в поле стабильности качества;
• если 7- Ь < 7, < 7, то вуз находится в поле критической стабильности качества;
• если 0 А /, ' 7- Ь, то вуз находится в
поле снижения качества.
Аналогично можно сопоставлять вузы по уровням качества реализации образовательного процесса, по уровням качества результативности ОП.
Такой подход к оценке качества ОП в вузе несет в себе много позитивных моментов. Во-первых, он позволяет соотнести успехи, достигнутые данным учебным заведением с успехами аналогичных вузов, во-вторых, при условии отсутствия эталонов качества структурных элементов ОП, тем не менее, описать процедуру измерения их.
Большое количество параметров в структуре качества ОП, которые трудно поддаются формализации, объясняет необходимость широкого использов ания экспертных оценок. Хотя стоит признать, что существенный недостаток данного метода — это высокая зависимость результатов измерений от мнения эксперта, которое всегда в определенной степени субъективно. Тем не менее, приоритет интегрированных методов оценки обеспечивает достаточную объективность процедуры и сводит субъективизм к минимуму.
СПИСОК ЛИТЕРАТУРЫ
1. Храничина О. А. Математические модели контроля качества образовательного процесса в учреждениях высшего профессионального образования. - СПб.: Изд-во ВВМ, 2008.
2. Граничина О. А. Математические модели управления качеством образовательного процесса в вузе с активной оптимизацией // Стохастическая оптимизация в информатике. Вып. 2. - СПб.: Изд-во СпбГУ, 2006. - С.77-108.
3. Васильева Е. Ю, Граничина О. А., Трапицын С. Ю. Рейтинг преподавателей, факультетов и кафедр в вузе. - СПб.: ООО «Книжный дом», 2007.
