CC BY
10Ю. С. Степанов, М. И. Рабинович. Рейтинговые оценки деятельности в вузе Ю. С. Степанов, М. И. Рабинович
С
О ПРОБЛЕМАХ ПОЛУЧЕНИЯ РЕЙТИНГОВЫХ ОЦЕНОК ДЕЯТЕЛЬНОСТИ ПРЕПОДАВАТЕЛЕЙ, КАФЕДР И ФАКУЛЬТЕТОВ ВО ВНУТРИВУЗОВСКОЙ СИСТЕМЕ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ
Y. S. Stepanov, M. I. Rabinovich
A problem of reception rating by instructor's function, departments and faculties inside the system of university quality management
The article considers different kindes of systems of rating's calculation, using in Russian universities for assessment of instructors', departments' and faculties' activity. The author devotes special attention the next question: the used schemes of activities in work gives rightful rating assessment, doesn't it? The most high rating always gets university with objective best activities in work, doesn't it? In the article was used the experience of employment for different schemes of rating's internal university's calculation in the Orel State Technical University.
настоящее время во многих вузах Российской Федерации проводятся работы по созданию и внедрению систем оценки и управления качеством образования. Актуальность данных работ обусловлена рядом правительственных решений, определивших создание общенациональной системы оценки качества образования одной из основных задач российской образовательной политики. Так, с 2005 г. эффективность внутривузов-ской системы обеспечения качества образования включена в перечень показателей деятельности и критериев государственной аккредитации высших учебных заведений [1].
Работы по созданию систем оценки и управления качеством образования ведутся как в направлении создания концептуальных моделей внутри-вузовских систем управления качеством, так и в направлении поэтапной разработки и внедрения элементов этих систем. Одним из важных элементов внутривузовских систем управления качеством является рейтинговая система оценки результатов деятельности преподавателей и коллективов преподавателей, осуществляющих учебный процесс.
За последние годы во многих российских вузах были разработаны и внедрены системы получения рейтинговых оценок кафедр, факультетов и отдельных преподавателей. И хотя каждый вуз использует свой собственный перечень исходных данных и свою собственную систему расчета рейтингов, все рассмотренные нами системы можно разделить на две группы.
© Ю. С. Степанов, М. И. Рабинович, 2006
В одну группу входят системы, в которых рейтинговые оценки определяются по принципам рейтинговых оценок вузов и специальностей [2], которые используются Министерством образования и науки Российской Федерации. В таких системах расчета рейтингов для приведения разнородных данных к одной размерности применяется нормализация. Подобные системы действуют, например, в Санкт-Петербургском государственном электротехническом университете, Томском политехническом университете, Петрозаводском государственном университете, Брянском техническом университете и других вузах страны [3-5].
В другую группу включены системы, в которых рейтинговые оценки вычисляются на основе суммы баллов, начисляемых преподавателям (кафедрам, факультетам) за единицу выполненных работ. Такие системы расчета рейтинга используются, например, в Московском автомобильно-дорожном институте, Волгоградском техническом университете, Новгородском госуниверситете, Ульяновском госуниверситете и других вузах [6-8].
При рассмотрении обоих типов систем расчета рейтинга нас интересовал следующий вопрос: действительно ли применяемые схемы свертывания показателей работы позволяют получить справедливую рейтинговую оценку? Иначе говоря, всегда ли более высокий рейтинг получит тот, у кого объективно лучше показатели работы?
При изучении этого вопроса мы использовали опыт применения различных схем расчета внут-
ривузовских рейтингов, которые использовались в Орловском государственном техническом университете (ОрелГТУ) начиная с 1999 г.
Методики расчета рейтингов, использующие нормализацию исходных данных
Методика расчета рейтинга вузов Минобрна-уки, положенная в основу систем расчета внутри-вузовских рейтингов этого типа, имеет иерархическую структуру. На верхнем уровне иерархии рейтинг представлен совокупностью рейтинга потенциала и рейтинга активности вуза. Каждый из этих рейтингов вычисляется как взвешенная сумма рейтингов по разделам. В свою очередь рейтинги по разделу вычисляются как взвешенная сумма нормализованных рейтингов по подразделам этого раздела. И наконец, рейтинги по подразделу (в методике он называется локальным критерием) вычисляются по формулам, содержащим исходные данные.
Например, рейтинг активности содержит разделы «Подготовка кадров» и «Производство и апробация знаний и технологий». Раздел «Подготовка кадров» содержит подразделы «Подготовка специалистов» и «Эффективность аспирантуры» (и некоторые другие), которые характеризуются соответственно общим количеством студентов и количеством защит кандидатских диссертаций на одного обучающегося студента. В силу несопоставимости таких числовых показателей их нормализуют путем деления каждого показателя отдельного вуза на максимальное значение этого показателя по всем вузам. Все нормализованные показа-
тели принимают значения от нуля до единицы, что позволяет сопоставлять их значения.
Рассмотренные нами методики расчета внут-ривузовских рейтингов не используют уровень рейтингов подразделов. Данное упрощение сделано, по-видимому, из-за значительно меньшего количества исходных данных, используемых для определения внутривузовских рейтингов. Рейтинг определяется как взвешенная сумма рейтингов по разделам, а рейтинг по разделу определяется как взвешенная сумма нормализованных показателей работы.
Чаще всего используются следующие разделы для определения внутривузовских рейтингов:
• кадровый потенциал,
• учебно-методическая работа,
• научно-исследовательская работа,
• прирост основных фондов и зарабатываемые средства.
В табл. 1 приведены некоторые «популярные» показатели работы кафедры, которые присутствуют во всех без исключения рассмотренных нами методиках определения рейтингов.
Рассмотрим тривиальные примеры для того, чтобы продемонстрировать, что методики этого типа вовсе не гарантируют получение справедливых рейтинговых оценок.
Предположим, что нам необходимо вычислить рейтинги кафедр на факультете. Предположим также, что на факультете есть всего две кафедры и их показатели работы отличаются только по двум позициям: на первой кафедре опубликовано два учебника, а на второй — один учебник и одно учебное пособие. Для простоты расчетов будем считать, что все остальные показатели равны нулю. Расчет рейтинга кафедр приведен в табл. 2.
Примеры показателей для расчета рейтинга кафедр
Таблица 1
№ Показатель Весовой
п/п коэффициент
Учебно-методическая работа 1,0
1 Количество учебников с грифом Минобрнауки, УМО вузов и НМС Минобрнауки 1,0
2 Количество учебных пособий с грифом Минобрнауки, УМО вузов и НМС Минобрнауки 0,6
... (прочие показатели)
Зарабатываемые средства 1,0
1 Объем госбюджетных работ, выполняемых собственными силами, руб. 1,0
2 Объем хоздоговорных работ, выполняемых собственными силами, руб. 1,0
... (прочие показатели)
Ю. С. Степанов, М. И. Рабинович. Рейтинговые оценки деятельности в вузе
С
Очевидно, что полученный рейтинг явно несправедливо поставил кафедру 2 выше кафедры 1. Чтобы понять, почему так происходит, приведем еще один пример.
Предположим, что показатели работы двух кафедр отличаются только по двум позициям: на первой кафедре выполнен объем госбюджетных работ в размере 100 тыс. руб., а на второй — объем, равный одному рублю госбюджетных и одному рублю хоздоговорных работ. Все остальные показатели примем равными нулю. Расчет рейтинга кафедр при таких исходных данных приведен в табл. 3.
Мы получили абсурдные значения рейтингов: кафедра, заработавшая 2 руб., поставлена выше кафедры, заработавшей 100 тыс. руб. (при прочих равных показателях работы).
Почему мы легко можем судить о несправедливости или абсурдности таких рейтинговых оценок? Потому что показатели работы, которые отличались у двух кафедр, сопоставимы друг с другом в абсолютных значениях.
Поняв это, легко понять, почему в наших примерах мы получили некорректные оценки: нормализация, которую выполняют для достижения сопоставимости разнородных показателей, была выполнена над показателями, которые и так сопо-
ставимы друг с другом. А при выполнении нормализации над такими показателями теряется степень их различия в абсолютных значениях [9].
Отсюда следует одно из простых правил, как избежать получения несправедливых или даже абсурдных рейтинговых оценок в методике данного типа: до проведения нормализации показателей работы все сопоставимые показатели должны быть сгруппированы в один интегральный показатель (в виде взвешенной суммы).
В табл. 4 содержится расчет рейтингов кафедр, в котором сопоставимые показатели работы сгруппированы в два интегральных показателя — «Опубликовано» и «Заработано».
Такая рейтинговая оценка работы кафедр представляется нам вполне справедливой.
Заметим также, что в реальной ситуации присутствует гораздо большее количество ненулевых показателей работы. Это маскирует появление несправедливых рейтинговых оценок, связанных с неправильной группировкой показателей работы.
Можно также отметить, что ни в одной из вузовских методик определения рейтинга (использующих нормализацию данных), с которыми мы имели возможность ознакомиться, правило группировки сопоставимых показателей не соблюдалось. Даже в методике определения рейтинга ву-
Пример расчета рейтинга кафедр внутри факультета
Таблица 2
Показатель Кафедра 1 Кафедра 2
Учебники 2 1
Учебные пособия 0 1
Учебники (нормализовано) 2 / 2 = 1 1 / 2 = 0,5
Учебные пособия (нормализовано) 0 / 1 = 0 1 / 1 = 1
Расчет рейтинга с использованием весовых коэффициентов из табл. 1 1,0 х 1 + 0,6 х 0 1,0 х 0,5 + 0,6 х 1
Рейтинг кафедры 1,0 1,1
Пример расчета рейтинга кафедр внутри факультета
Таблица 3
Показатель Кафедра 1 Кафедра 2
Госбюджетные работы 100 000 1
Хоздоговорные работы 0 1
Госбюджетные работы (нормализовано) 100 000 / 100 000 = 1 1 / 100 000 = 0,00001
Хоздоговорные работы (нормализовано) 0 / 1 = 0 1 / 1 = 1
Расчет рейтинга с использованием весовых коэффициентов из табл. 1 1,0 х 1 + 1,0 х 0 1,0 х 0,00001 + 1,0 х 1
Рейтинг кафедры 1,0 1,00001
Таблица 4
Пример расчета рейтинга кафедр с использованием интегральных показателей
Показатель Кафедра 1 Кафедра 2
Учебники 2 1
Учебные пособия 0 1
Госбюджетные работы 100 000 1
Хоздоговорные работы 0 1
Интегральный показатель «Опубликовано» 1,0 х 2 = 2,0 1,0 х 1 + 0,6 х 1= 1,6
Интегральный показатель «Заработано» 100 000 2
Рейтинг по разделу «Учебно-методическая работа» (после нормализации) 1,0 0,8
Рейтинг по разделу «Зарабатываемые средства» (после нормализации) 1,0 0,00002
Рейтинг кафедры 2,0 0,80002
зов и специальностей (Минобрнауки) не все сопоставимые показатели работы вузов сведены в интегральные показатели [2].
Методики расчета рейтингов, использующие систему баллов
Методики расчета рейтинга, использующие систему баллов, построены по следующему принципу: все показатели работы сотрудников (кафедр, факультетов) собраны в общую таблицу. Каждый показатель работы имеет свою единицу измерения и количество баллов, начисляемое за единицу этой работы. Например, издание монографии может измеряться в печатных листах и оцениваться по 5 баллов за один печатный лист. Участие в республиканской выставке может измеряться в экспонатах, поданных на выставку, и оцениваться по 2 балла за один экспонат.
В некоторых вузах, использующих систему баллов для определения рейтинга, все показатели работы делятся на показатели потенциала и показатели активности. Рейтинг вычисляется как взвешенная сумма рейтинга потенциала и рейтинга активности, а рейтинги потенциала и активности определяются по балльной системе.
На первый взгляд может показаться, что такая схема расчета позволит получить вполне справедливые значения рейтингов. Причем степень справедливости рейтинговых оценок зависит только от полноты списка используемых показателей работы и продуманного соотношения баллов между различными показателями. На самом деле все обстоит сложнее, и балльная система расчета рейтингов содержит серьезный изъян.
Приведем один пример, взятый нами из базы данных значений показателей работы для расчета
внутривузовских рейтингов нашего университета. Одна из кафедр университета в силу своей специфики ежегодно участвует в выставках с большим количеством несложных экспонатов (хлебопекарные изделия). Количество этих экспонатов в один год превысило триста единиц. Другая кафедра в силу специфики работы со студентами ежегодно выпускает около ста методических указаний объемом не более одного листа формата А4. Если бы для расчета рейтинга в ОрелГТУ использовалась бы балльная система, то обе эти кафедра за счет только одного показателя своей работы занимали бы одно из первых мест, причем независимо от того, каковы были бы их показатели по остальным направлениям деятельности.
Разумеется, данную ситуацию некорректно разрешить за счет уменьшения значимости (количества баллов за единицу) определенных показателей работы. Правила определения победителей (методика расчета) должны быть утверждены до начала соревнования.
А теперь стоит вспомнить, какую роль должна играть система определения рейтингов во внут-ривузовской системе управления качеством образования. Рейтинговая система создается для того, чтобы получить данные для текущего внутриву-зовского менеджмента, для материального и морального поощрения лучших по совокупности учебной, учебно-методической, научно-исследовательской и других видов деятельности преподавателей и преподавательских коллективов. Поощрять следует за хорошие результаты по совокупности всех видов внутривузовской деятельности, а не за «выдающиеся» достижения в одном, часто второстепенном показателе работы.
Балльные системы используют линейный (не иерархический) принцип расчета рейтингов. В та-
Ю. С. Степанов, М. И. Рабинович.
Рейтинговые оценки деятельности в вузе
С
ких системах невозможно предотвратить бесконечное возрастание рейтинга за счет бесконечного возрастания одного показателя.
В этом состоит главный недостаток балльных систем расчета по сравнению с иерархическими системами, использующими нормализацию на уровне интегральных показателей работы. В системах с нормализацией максимальный вклад одного показателя в общий рейтинг не может превысить величины весового коэффициента (значимости) соответствующего интегрального показателя работы, а высокий рейтинг может быть достигнут только за счет хороших результатов по многим показателям работы.
Итак, в статье рассмотрены лишь некоторые проблемы, возникающие при создании методики определения внутривузовских рейтинговых оценок.
За семь лет использования рейтинговой системы в ОрелГТУ были опробованы различные методики расчета рейтингов. Детальное обсуждение всех проблем, с которыми мы столкнулись, решая задачу получения справедливых рейтинговых оценок, выходит далеко за рамки этой работы.
С нашей точки зрения, иерархическая, использующая нормализацию система расчета внутриву-зовских рейтингов является достаточно гибкой. При соблюдении правила группировки сопоставимых показателей в общие интегральные показатели (до выполнения нормализации) она хорошо противостоит появлению несправедливых рейтинговых оценок.
Что касается системы расчета рейтинга по совокупности баллов, то применение ее можно было бы рекомендовать только при условии наличия механизма, препятствующего бесконечному возра-
станию рейтинга при бесконечном возрастании одного показателя работы.
В любом случае к созданию методики расчетов внутривузовских рейтингов следует подходить осторожно. Если в соответствии с рейтинговой оценкой предусмотрено материальное и моральное поощрение лучших преподавателей и кафедр (как это имеет место в большинстве вузов), то появление несправедливых рейтинговых оценок может дискредитировать всю внутривузовскую систему управления качеством образования.
Литература
1. Об утверждении показателей деятельности и критериев государственной аккредитации высших учебных заведений: Приказ Федеральной службы по надзору в сфере образования и науки № 1938 от 30.09.2005.
2. О внесении изменений в приказ Минобразования России от 26.02.2001 №№ 631 «О рейтинге высших учебных заведений»: Приказ Минобразования России №№ 593 от 19.02.2003.
3. Сайт Санкт-Петербургского государственного электротехнического университета (ЛЭТИ) [Электрон. ресурс]. Режим доступа: http://www.etu.ru
4. Сайт Томского политехнического университета [Электрон. ресурс]. Режим доступа: http://www.tpu.ru
5. Лагерев А. В., Горленко О. А. Система рейтинговых оценок факультетов, кафедр, преподавателей, студентов и студенческих групп. Брянск, 2005. 74 с.
6. Сайт Московского автомобильно-дорожного института [Электрон. ресурс]. Режим доступа: http://test.madi.ru/ mformation/rate2005.shtm]
7. Сайт Волгоградского государственного технического университета [Электрон. ресурс]. Режим доступа: http:// www.vstu.ru
8. Сайт Новгородского государственного университета [Электрон. ресурс]. Режим доступа: http://admin.novsu.ac.ru/ uni/uni.nsf/all/doci
9. СтепановЮ. С., РабиновичМ. И., Рабинович С. Ю. О построении функций свертывания информации для оценки деятельности подразделений и сотрудников высших образовательных учреждений // Technology-2001: Сб. науч. тр. междунар. дистанцион. науч.-техн. конф. Орел, 2001. С. 270272.
