CC BY
60
ТД. Карминская, С.П. Семенов, О.Ф. Шапкина, П.И. Ципорин
Современный подход к построению рейтингов образовательных учреждений
Приведена методика рейтингования учреждений профессионального образования для выявления методов организашш управления и контроля, государственного регулирования в сфере профессионального образования, получения объективных и независимых данных относительно качества образования, конкурентоспособности и адаптации выпускников на рынке труда. Методика разработана на основе комплексного подхода, объединяющего количественные и качественные характеристики, а также показатели социальной эффективности деятельности и общественной значимости образовательного учреждения.
Введение
В настоящее время задача построения рейтингов как интегральной оценки качества деятельности образовательных учреждений {ОУ) и образовательных программ стала глобальным явлением. Подготовкой рейтингов и разработкой новых методик оценки эффективности деятельности ОУ занялись средства массовой информации, профессиональные ассоциации и правительственные органы управления образованием.
Рейтинги являются средством обеспечения информационной прозрачности образования и ориентированы на различные группы потребителей:
• на выпускников средних школ (и их родителей) для выбора будущего места продолжения образования, а также на студентов, решивших поменять специальность или вуз;
• на органы управления высшим образованием и обществом в целом для обоснования выделения государственных и негосударственных средств на содержание и развитие ОУ;
• на работодателей для выбора будущих работников из числа выпускников ОУ.
Начало ранжирования университетов и отдельных образовательных программ было положено публикацией в 1983 г. журналом U.S. News and World Report ежегодных рейтингов ♦Лучшие колледжи Америки» [1]. Данный вопрос привлек внимание ведущих средств массовой информации различных стран [1,2]. В 2001 г. Министерство образования Российской Федерации инициировало разработку методики рейтинга университетов [3]. Первый всемирный рейтинг университетов составлен в 2003 г. Рейтинги вузов стали частью системы национальной отчетности и оценки качества, и все больше стран, вероятно, будет приобщаться к развитию своих систем определения рейтингов.
Таким образом, вопрос качества методологии при составлении рейтинга является актуальным как в России, так и в мировой практике.
В настоящее время в нашей стране проводятся различные виды рейтингов, включая региональные. Наибольшую известность получили следующие:
• рейтинг университетов, публикуемый журналом «Карьера» (http://www.kariera.idr.ru);
• методика рейтинга университетов, утвержденная приказом Министра образования Российской Федерации № 631 от 26 февраля 2001 г. «О рейтинге высших учебных заведений»;
»рейтинги вузов, составляемые независимым рейтинговым агентством в сфере образования «РейтОР» (http://www.reitor.ru).
Признавая актуальность систем рейтингования для оценки качества образования, многие эксперты, тем не менее, подвергают существующие рейтинги активной критике [1, 2, 4-6]. Основные моменты, на которые указывают критики, заключаются в том, что схемы ранжирования базируются в целом на сходных принципах и подходах, но существенно различаются в деталях. В большинстве рейтингов используются весовые коэффициенты критериев, рассчитанных авторами методик, что вносит субъективный момент. Расхождения проявляются также в способах оценки качества образования, персонала и подбора показателей для определения уровня материально-технического оснащения, т.е. ресурсов. Изначально различные цели отдельных схем оценки, отличие систем и культур высшего образования, а также разная достоверность и. доступность данных приводят к расхождению рейтингов.
Цель настоящей работы — создание методики рейтингования учреждений профессионального образования для получения объективных и независимых данных относительно качества образования, конкурентоспособности и адаптации выпускников на рынке труда, а также выявления эффективных методов организации управления и контроля, государственного регулирования в сфере высшего профессионального образования.
В работе предложен подход к построению рейтингов образовательных учреждений, позволяющий объединить количественные и качественные характеристики деятельности ОУ, показатели социальной эффективности и значимости образовательных услуг. По мнению авторов, такой подход позволит сформировать базу для разработки систем определения рейтингов ОУ различного уровня образования и распространения их как на национальном уровне, так и в региональных масштабах. Методика предлагается к использованию в качестве инструмента мониторинга деятельности ОУ, направленного не только на повышение качества профессионального образования, но и на гармонизацию деятельности ОУ с учетом требований рынка труда и потребностей общества.
Постановка задачи
Хорошо понятные и интерпретируемые системы определения рейтингов ОУ способствуют определению качества образования в конкретном регионе, дополняя тщательную работу по оценке качества, которую проводят различные общественные и государственные органы.
Основные проблемы процедуры рейтингования:
• четкое представление групп потребителей рейтинга;
• тип рейтинга (ОУ или отдельные образовательные программы);
• выбор показателей, участвующих в определении рейтинга ОУ;
• выбор алгоритма расчета рейтинга.
При составлении рейтинга необходимо четко представлять, для кого он предназначен. В процессе исследования выделены следующие группы потребителей рейтинга:
• абитуриенты и их родители;
• студенты;
• преподаватели;
• работодатели;
• государственные органы управления образованием;
• образовательные учреждения.
Выбор показателей имеет решающее значение при подготовке рейтинга. Рейтинги различаются по источникам данных и по качеству (важности, весомости) показателей. Показатели выбираются, исходя из потребностей потенциальных потребителей рейтинга. Поскольку не существует четкой и повсеместно признанной меры качества высшего образования, каждая рейтинговая схема основана на доступном наборе наглядных показателей, каждый из которых грубо характеризует определенный аспект качества; эти показатели затем агрегируются по формуле, которую можно оспорить как с точки зрения составляющих, так и с точки зрения метода агрегирования.
Рейтинги как метод представления результатов оценки зачастую подвергаются критике на том основании, что незначительные различия в баллах между отдельными университетами или дисциплинами обусловлены не фактической разницей в качестве, а, скорее, статистическими шумами.
Пожалуй, самый уязвимый аспект рейтингования заключается в присвоении весовых коэффициентов различным показателям. Весовые коэффициенты определяются субъективно и произвольно, без какого-либо теоретического или эмпирического обоснования.
Одним из решений данной проблемы может служить метод экспертных оценок, имеющий свою логику, теоретическое обоснование и методическое обеспечение. Метод экспертных оценок представляет собой процедуру, позволяющую группе экспертов приходить к общему согласию. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры и определенной компетенции экспертов.
В настоящей работе применен подход к ранжированию ОУ, основанный на понятии информационной энтропии. Использование подхода на основе информационной энтропии позволит осуществлять мониторинг деятельности ОУ с целью выработки и принятия управленческих решений в сфере образования, а также для использования различными группами потребителей информации.
Методика построения рейтинга ОУ, основанная на статистике качества
За основу проведенных исследований приняты подходы к оценке качества образования и ранжированию образовательных учреждений, изложенные в монографии [7].
1, Формализация задачи построения рейтинга
Пусть имеется т ОУ, которые характеризуются п общими для этих объектов показателями. Требуется проранжировать исследуемые объекты в порядке их приоритета. Исходную информацию можно представить в виде следующей матрицы:
41
42
Чи
42
121
12п
(1)
от!
*"т2
где т — количество объектов; п — число общих для этих объектов показателей (признаков); х,1 — значение /-го показателя для г-го объекта.
Заметим, что среди показателей Хц могут присутствовать как количественные, так и качественные величины. Например, доля штатных профессоров — количественный показатель, а успеваемость студентов, выраженная в традиционной 4-балльной шкале, является качественным показателем.
Итак, требуется определить рейтинг каждого объекта (референта) в общей системе £>(0 образовательных учреждений в данный момент времени (.
Вначале рассмотрим, пожалуй, самый распространенный в отечественной и зарубежной практике метод, который часто называют экспертно-балльным. Этот метод используется при определении рейтингов вузов по методике Минобразования РФ и журнала «Карьера». Эксперту или группе независимых экспертов поручают определить в весовых коэффициентах \я} значимость каждого из п показателей. Затем простым суммированием определяют рейтинг /-го образовательного учреждения:
л п
= где Е ш/ =
У=1 У=1
Достаточно очевидны проблемы данного подхода. На самом деле с помощью весовых коэффициентов делается попытка сравнивать различные по своей сути показатели деятельности ОУ.
Например, во сколько компьютеров можно оценить одного профессора или доцента? Какой вес присвоить выступлению студента на региональной или международной конференции? Сколько дать баллов за изданную преподавателем монографию и сколько за защиту диссертации? ^
С другой стороны, количественные и качественные показатели изменяются во времени и соответственно меняется их значимость. Показатель, который сегодня является малозначимым, завтра может стать значимым, и наоборот.
2. Схема ранжирования, основанная на статистике качества
Основные этапы расчета рейтинга по данной схеме можно представить следующим образом.
Этап 1. Сбор исходных показателей и построение матрицы ХЦ).
Этап 2. Перевод всех показателей х1 (количественных и качественных) в качественные аналоги и приведение их к общему основанию N (Ы — число уровней качества). Оперировать с величинами (вычислять суммы, сравнивать друг с другом) можно только тогда, когда они соизмеримы, т.е. сведены к единой мере. Статистика качества выбирает как общее основание, единую меру для всех показателей категорию качества и добивается соизмеримости величин, переводя значения показателей в их качественные аналоги. Для перевода размах значений каждого показателя разбивается на одно и то же число интервалов; номер интервала, в который попадает значение показателя, определяет значение качественного аналога данного показателя. Число интервалов, используемых для перевода значений в качественные аналоги, не является фиксированной величиной и определяется характером решаемой задачи. Число уровней качества (число качественных уровней) N может быть равно любому числу; от 2 до числа, равного общему количеству показателей.
У = (01,Уг»-.0т)Г» где Т — операция транспонирования.
Область изменения показателя ограничена значениями ¡/т1п и утах. При оценке качества деятельности ОУ данные значения могут совпадать с наименьшим и наибольшим значениями соответствующего показателя либо управляющий орган нормативно устанавливает эти значения. Число уровней качества в данной задаче выбирается равным N.
Например, пусть N=5 и значения у„ 1=1, 2, 6, количественного показателя У указаны в табл. 1.
Таблица 1
Исходные данные количественных характеристик показателей
1 1 2 3 4 5 6
yt 125 231 457 61 199 326
Качественные аналоги U количественных значений показателя У вычисляются по формуле
+ 1 (2)
Утах У min
и приведены в табл. 2.
\ Таблица 2
^ Качественные аналоги количественных показателей
i 1 2 3 4 5 6
Vi 125 231 457 61 199 326
щ 1,65 2,72 5,00 1,00 23,39 3,68
Качественные аналоги показателей могут получать как целые, так и дробные значения. Использование дробных значений ничем не ограничивается. Обычно качественные оценки округляют до целых значений, поскольку на практике принято оценивать качество целыми числами. Кроме того, при округлении происходит сглаживание неточностей, изначально присущих численным значениям признаков.
В табл. 3 приведены округленные качественные аналоги анализируемых показателей.
Таблица 3
Округленные качественные аналоги количественных показателей
i 1 2 3 4 5 6
yt 125 231 457 61 199 326
ut 2 3 5 1 2 4
Значения последней строки табл. 3 представляют собой качественные аналоги предшествующих им чисел, поэтому оценку 3 следует понимать как принадлежность исходного числа к третьему уровню качества, а не как привычную «тройку», выставляемую за ответ. Качественные значения количественных показателей можно устанавливать относительно любых границ (относительные оценки), при этом вычисления также проводятся по формуле (1).
Пусть утш = 50 и утах = 600, тогда для данных табл. 2 и N = 5 получаем значения, представленные в табл. 4.
Таблица 4
Данные пересчета качественных значений относительно установленных границ изменений количественных показателей
i min 1 2 3 4 5 6 max
У1 50 125 231 457 61 199 326 600
"i 1 2 2 4 1 2 3 5
Изменение данных при изменении границ не влияет на методику расчетов, поскольку все вычисления, конечно же, должны проводиться при неизменных граничных условиях. Качественные показатели также следует перевести по формуле (1) в качественные аналоги, поскольку их исходные значения задаются, как правило, на шкалах с различным числом уровней качества. Согласно сказанному выше, мы сможем оперировать качественными показателями, если отобразим их на качественную шкалу с одним и тем же числом уровней качества. Если в вычислениях одновременно участвуют как количественные, так и качественные показатели, то их следует отображать на общую шкалу, т.е. число уровней качества у качественных аналогов должно быть одним и тем же.
Итак, для определения качества деятельности ОУ устанавливаются для каждого признака верхняя и нижняя границы изменения. Границы изменения показателей следует периодически пересматривать, вместе с тем сохраняя их постоянными в течение определенного периода времени. Число уровней качества заранее устанавливается управляющим органом (либо профессиональным сообществом) и сохраняется неизменным в течение всего цикла рейтинго-вания.
Этап 3. Построение матрицы качества Я- Применительно к исходной задаче (1) формула (2) выглядит следующим образом:
X • ~ X ■ -тан; тШ|
где хтаХ1 и — соответственно границы изменения показателя устанавливаемого либо эмпирически после сбора информации по всем ОУ, либо нормативно органом управления.
Обозначим матрицу качества
гЯп ?12 — 9и л
Я21 Ягг ••• Я'2п
9т1 Ят2
(4)
где т — количество объектов; /г — число общих для этих объектов качеств; q^■¡ — значение У-го качества для ¿-го объекта.
Этап 4. Определение значимости качественных показателей. Для определения значимости качественных показателей использована функция информационной энтропии [7]:
Величина Н дает количество информации о событии, вероятность наступления которого равна рк. Таким образом, количество информации о событии определяется как величина, обратно пропорциональная вероятности наступления события. Чем больше вероятность наступления события, тем меньше информации несет сообщение о его наступлении, и наоборот.
Предлагается использовать функцию информационной энтропии для определения меры неупорядоченности образовательного процесса или системы образования (степень разброса оценок по каждому показателю) и с помощью ее подсчитывать значимость отдельных характеристик образовательного процесса.
Рассмотрим пример (табл. 5).
Таблица 5
Данные расчета рейтинга ОУ
ОУ <?1 я2 я3 Я* о5 <?б Яг Я 9 «10 Д
ОУ1 4 4 5 4 4 2 4 3 5 5 4,0
0У2 5 3 3 4 5 5 3 4 5 3 4,0
ОУЗ 4 4 4 4 4 4 4 4 4 4 4,0
0У4 4 4 5 4 3 5 4 4 5 2 4,0
0У5 2 4 5 4 5 5 4 5 2 4 4,0
ОУ6 5 4 5 4 5 2 4 3 3 5 4,0
ОУ7 3 3 3 4 3 4 5 5 5 5 4,0
ОУ Q г Q* Qa Qb <?9 Q: <?9 Qio Ri
ОУ8 5 5 3 4 2 4 4 5 3 5 4,0
ОУ9 4 5 3 4 4 5 4 4 3 4 4,0
ОУЮ 4 4 4 4 5 4 4 3 5 3 4,0
Среднее 4 4 4 4 4 4 4 4 4 4 4
Примечание. В таблице строки — это объекты (т- 10); столбцы — показатели, переведенные в качественные оценки (п = 10).
Предположим, что нет никакой дополнительной информации о значимости показателей. Тогда, следуя логике экспертно-балльной методики, возьмем равные веса tVj = 1/10. Соответственно получим одинаковые рейтинги
= 4,1 = 1,...ДО,
которые занесены в последний столбец таблицы. Таким образом, делается вывод о том, что все обследованные ОУ идентичны. На самом деле, очевидно, это не так.
Воспользуемся формулой К. Шеннона: ;
\ 5 1
И} = Е Рь)1п—■ j = 1.....10-
\ fc=l Phi
Определим степень разброса оценок по каждому показателю Qj Вместо вероятности будем использовать относительную частоту (частость) появления случайной величины (оценки) по каждому из показателей Q. Например, для показателя Qt энтропия будет определяться следующим образом:
Я, = — In—+ —In—+ —1п10 = 1,16828. 1 10 3 10 5 10
Аналогично находятся значения энтропии для остальных признаков (табл. 6).
Таблица б
Энтропия показателей
Я! н2 НА Н7
1,16828 0,95027 1,05492 0,00000 1,27985 1,05492 0,63903 1,08890 1,16828 1,27985
Таким образом, не субъективно, а объективно все характеристики получили свою значимость.
Важной особенностью этой методики является то, что качественные оценки могут изменяться во времени, соответственно изменится их значимость.
Заметим, что Я4 = 0, и это понятно, так как все оценки для этого показателя одинаковы для всех ОУ, т.е. данный показатель не несет никакой информации об ОУ, следовательно, его значимость равна нулю. Если показатель обладает высокой энтропией, то разброс в качественных оценках фактора велик и потому велика его значимость. Поэтому ОУ, получившие высокие оценки по фактору с высокой энтропией, обладают большим интегральным ¡ячеством.
ОУ как система характеризуется интегральными показателями, которые нельзя непосредственно вывести из качеств компонентов, образующих ее, и не является просто суммой этих
компонентов. Принцип целостности образовательной системы можно выразить формулой
ВД) = =
/=1
где Н! — энтропия (значимость) ;-го показателя; Я(Л',) — интегральное качество объекта X/.
Этап 5. Построение интегрального качества (рейтинга) для каждого ОУ по аддитивной модели с учетом значимости анализируемого показателя. Результаты вычисления интегрального качества К(Х^) занесем в табл. 7.
Таблица 7
Рейтинг ОУ, определенный на основе функции информационной энтропии
ОУ Сумма качеств Интегральное качество Рейтинг ОУ
0У1 40 39,04158 3
ОУ2 40 39,48453 1
ОУЗ 40 38,73726 5
ОУ4 40 38,17582 10
ОУ5 40 38,54273 6
ОУ6 40 39,15315 2
ОУ7 40 38,46001 8
0У8 40 38,44166 9
0У9 40 38,51925 7
ОУЮ 40 38,81665 4
Таким образом, предложенная методика позволяет отказаться от весовых коэффициентов, которые могут быть субъективны и приводить к ошибкам в оценке качества образования. Вместо весовых коэффициентов введено понятие значимости образовательных характеристик, определяемое с помощью функции информационной энтропии. Чем меньше значение энтропии, тем меньше информации несет данный показатель в интегральную оценку ОУ. Если энтропия какого-либо показателя равна нулю, то это означает, что по нему ОУ неразличимы на данный период времени.
В случае равного у всех образовательных учреждений низкого рейтинга по какому-либо важному показателю расчетный вес показателя по формуле Шеннона будет равняться нулю, что не стимулирует образовательное учреждение к его повышению. Однако этот момент позволяет принудительно стимулировать образовательные учреждения по выбранному показателю путем «управленческого» повышения показателя в определенном ОУ.
Представленная методика с использованием информационной энтропии реализована в виде программного комплекса и апробирована в Югорском государственном университете (г. Ханты-Мансийск).
Заключение
Предложенный подход с использованием информационной энтропии позволяет проводить всесторонние исследования эффективности функционирования ОУ и является одним из инструментов управления качеством процессов. Методика рекомендуется для мониторинга деятельности ОУ с целью выработки и принятия управленческих решений в сфере образования, а также для использования различными группами потребителей информации. Методика также позволяет получить комплексное представление об уровне развития образования в регионах и обеспечить сравнительную оценку эффективности управленческой деятельности исполнительных органов власти субъектов Российской Федерации по модернизации образования. Универсальность подхода к определению рейтинга позволяет использовать методику для решения различных задач с применением как количественных, так и качественных индикаторов.
Литература
1. Мерисотис Д. О рейтинге вузов [Электронный ресурс] // Высшее образование в Европе (ЮНЕСКО - СЕПЕС). - 2002. - Т. XXVII, № 4. - Режим доступа : http://www.aha.ru/ -moscow64/educational_book/Hee_xxvii_4_2002.zip, свободный.
2. Системы и методы ранжирования в высшем образовании {Электронный ресурс] // Высшее образование в Европе (ЮНЕСКО - СЕПЕС). - 2005. - Т. XXX, № 2. - Режим доступа : http: //www.aha.ru/~moscow64/educational book/Hee xxx 2_2005.zip, свободный.
3. Приказ Министра образования Российской Федерации Кг 631 от 26 февраля 2001 г. «О рейтинге высших учебных заведений» [Электронный ресурс]. - Режим доступа: http:// www .businesspravo.ru/Docum/DocumShow_DocumID_26336.html,свободный.
4. Чепурных Е.Е. Рейтинг заблуждения или заблуждения рейтинга / Е.Е. Чепурных, А.Н. Майоров // Вопросы образования. - 2007. - № 2, - С, 251-268.
5. Ковалева Н.В. Эксперимент продолжается / Н.В. Ковалева // Вопросы образования. -2007. - № 2. - С. 258-275.
6. Ашер А. Глобальные рейтинги и рейтинговые таблицы / А. Ашер, М. Савино; пер. с англ. Б. Покатович // Вопросы образования. - 2007. - № 4. - С. 201-216.
7. Васильев В.И. Оценка качества деятельности образовательного учреждения / В.И. Васильев, В.В. Красильников, С.И. Плаксий, Т.Н. Тягунова. - М. : ИКАР. - 2005. - 320 с.
Кармингкая Татьяна Дмитриевна
Канд. техн. наук, доцент, проректор по учебной работе ГОУ ВПО «Югорский государственный университет»
Тел.: (34671) 57 05 07 (р.), (34671) 3 41 16 (факс), 8 912 902 10 15 (моб.) Эл. почта: ktd@mail.ru
Семенов Сергей Петрович
Канд. физ.-мат. наук, доцент, начальник управления информатизации ГОУ ВПО «Югорский государственный университет»
Тел.: (34671) 5 77 15 (р.), (34671) 5 78 17 (факс), 8 906 896 08 76 (моб.) Эл. почта ssp@ugrasu.ru
Шапкииа Ольга Федоровна
Канд. техн. наук, ст. науч. сотрудник, начальник учебно-методического управления ГОУ ВПО
• Югорский государственный университет»
Тел.: (34671) 5 78 17 (факс), 8 912 902 10 37 (моб.)
Эл. почта: ofsh@list.ru
Ципорин Павел Игоревич
Аспирант ГОУ ВПО «Югорский государственный университет», ведущий специалист Комитета по "Информационным ресурсам Администрации Губернатора Ханты-Мансийского автономного округа
Тел.; (34671) 9 25 02 (факс), 8 908 881 60 87 (моб.) Эл. почта: CiporinPI@admhmao.ru
T.D. Karminskaya, S.P. Semenov, О.F. Shapkina, P.I. Ciporin
Modern Approach to the Creation of the Rating System of Educational Institutions
The methodic of professional educational institutions rating is given with the aim of the revelation of the methods of management and control process, governmental regulation in the sphere of professional education, receiving the objective and independent data concerning the education quality, competitiveness and adaptation of the graduates at the labour market. The methodic is created on the base of complex approach that includes quality and quantity characteristics, as weil as the factors of social activity's effectiveness and public significance of the educational institution.
