CC BY
60
РЕЙТИНГ ВУЗОВ: ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ СОСТАВЛЕНИЯ (российская практика)
И.В. Троцук
Кафедра социологии Российский университет дружбы народов ул. Миклухо-Маклая, 10/2, Москва, Россия, 117198
Статья представляет собой вторую часть аналитического обзора идеологии, методологии и реальной практики составления рейтингов вузов (первая часть, касающаяся зарубежного опыта, опубликована во втором номере журнала за 2008 г.). Автор рассматривает сложившуюся на сегодняшний день в России ситуацию с ранжированием вузов и конкретных образовательных программ. В частности, в статье выделены основные подходы к подготовке рейтингов, специфика которых обусловлена прежде всего «статусом» составителей и «заказчиков» рейтингов и соответствующими целями ранжирования вузов.
Во многих странах деятельность по составлению рейтингов вузов и учебных программ с применением разнообразных методов и технологий ведется достаточно давно, тогда как в России лишь в 2001 г. Министерство образования инициировало разработку методики составления рейтинга высших учебных заведений, участие в котором сегодня обязательно для всех аккредитованных вузов и их филиалов. Основу рейтинга составляют девятнадцать локальных критериев, которые агрегируются в интегральные и глобальные и определяются по сорока одному значению исходных данных, характеризующих все базовые направления деятельности вузов. К критериям «потенциала вуза» относят: квалификацию и перспективность профессорско-преподавательского состава, его связь с академической наукой; материальную и информационную базу (обеспеченность учебно-лабораторной, инструментальной и компьютерной базами, библиотечными фондами); социальнокультурную базу (обеспеченность местами в общежитии, общественным питанием, санаторно-профилактической базой, крытыми спортивными сооружениями и т.д.). К критериям «активности и результативности деятельности вуза» — подготовку кадров (контингент студентов и аспирантов, эффективность аспирантуры); производство и апробацию новых знаний и технологий (объем госбюджетных и хоздоговорных научных работ, внебюджетные средства, учебники и пособия с грифами федеральных органов и т.д.). Значения критериев суммируются по головному вузу и филиалам и делятся на суммарный контингент студентов.
Рейтинг Министерства образования и науки России считается наиболее объективным рейтингом в стране, однако содержит ряд значимых ограничений, в частности, таблицы исходных данных заполняются работниками вузов, что приводит к необъективности и недостоверности итогов ранжирования (Министерство полагается на честность вузов и объективность информации не проверяет); рейтинг составлен в интересах крупных вузов (университетов) — количественные показатели (и «измерения») здесь доминируют; столь большое используемое при составлении рейтинга количество показателей приводит к тому, что, во-первых, вуз может обеспечить себе высокий ранговый номер в итоговом списке за счет умеренно
высоких второстепенных показателей в ущерб главным; во-вторых, внутренние связи целого ряда показателей искажают итоговый результат; и, наконец, нарушается логика агрегирования показателей в интегральную оценку.
В последние несколько лет всевозможные рейтинги вузов получили широкое распространение в России. И хотя очевиден социальный заказ на составление рейтингов — в них заинтересованы абитуриенты, будущие работодатели, государственные организации и общественность в целом, до сих пор не выработано общего понимания того, кто должен выполнять ранжирование вузов, на основе какой методологии и методики. Очевидны и сложности формирования рейтингов именно в области высшего образования. Они связаны с тем, что, во-первых, качество образовательной услуги невозможно измерить мгновенно и инструментально — оно проявляется со временем. Во-вторых, сторонним (для сферы образования) экспертам сложно оценить ход и результативность образовательного процесса, поэтому оценку обычно проводят работники самой системы, т.е. оценивают сами себя, — это предсказуемо приводит к необъективности и недостоверности.
Несмотря на указанные сложности, сегодня в России сложилось три модели построения рейтингов в области высшего образования. Первая модель — это уже упоминавшийся государственный рейтинг — ранжированный ряд здесь формируется по итогам бюрократизированной процедуры агрегирования мнений квалифицированных экспертов и различных статистических показателей. По сути, данный рейтинг сфокусирован на многомерной оценке качества образования. Он составляется отдельно по университетам, по вузам и по негосударственным аккредитованным вузам с количеством студентов-«дневников» меньше 700 человек и больше 700 обучающихся. Кроме того, составляются субрейтинги — ранжирование проводится для вузов, подразделенных на категории: технические, педагогические, экономические, сельскохозяйственные, права, государственной службы, архитектурные и художественные, медицинские и т.д.
Помимо уже отмеченных ограничений рейтинга Министерства образования и науки, выделим также тот факт, что некоторые вузы просто не передают необходимые для подсчета рейтинга данные (по распоряжению министра список вузов-«должников» ежегодно публикуется), причем лишь у незначительного числа вузов есть тому уважительные причины, тогда как оправдания большинства «должников» обычно не выдерживают никакой критики (отсутствие специалистов по информатике, способных перенести необходимую документацию на электронные носители; опоздания с подачей необходимых данных и т.д.). Кроме того, зачастую вузы сознательно идут на сокрытие той информации, которая связана с работой их филиалов: нередко филиалы столь слабы, что серьезно тянут учебное заведение в низ ранжированного ряда, поэтому руководство ряда вузов пытается не представлять требуемую информацию по подобным своим подразделениям, иногда ссылаясь на их молодость.
Вторая модель рейтингов в высшем образовании используется профессиональными ассоциациями. Многие ассоциации в сфере образования отказались участвовать в подготовке и составлении рейтингов, опасаясь втягивания в конкурентную борьбу, и ограничиваются проведением аккредитации. Технически рейтинг и аккредитация схожи, но результаты их существенно различаются: в случае
аккредитации речь идет не о ранжировании, а просто о факте прохождении таковой. С одной стороны, рейтинги профессиональных ассоциаций характеризует высокий профессионализм, с другой — смещения вследствие замкнутости профессиональных групп и конфликтов интересов. Кроме того, рассматриваемые рейтинги обычно направлены на достаточно узкую аудиторию и не показывают общей ситуации в высшем профессиональном образовании. Например, Благотворительный фонд В. Потанина составляет рейтинг ведущих российских вузов по итогам собственной Федеральной стипендиальной программы, используя в качестве критериев ранжирования интеллектуальный и личностный потенциал студентов и профессиональный уровень молодых преподавателей (хотя на первом этапе отбора кандидатов на получение стипендий, «лучших», рекомендуют сами вузы). Инвестиционное агентство «Финам» формирует рейтинг экономических вузов России с точки зрения инвесторов, оценивающих качество подготовки вузами специалистов фондового рынка (проводится опрос экспертов) — оценивается не только «качество» подготовки будущих участников фондового рынка, но и узнаваемость экономических вузов (экспертам предлагается список вузов, вошедших в рейтинг экономических вузов Министерства образования и науки).
И, наконец, третья условная модель ранжирования вузов — это разнообразные рейтинги, составляемые средствами массовой информации. В эту группу также входят рейтинги, разрабатываемые независимыми рейтинговыми агентствами в противовес официальному рейтингу Министерства образования и науки. Данная модель представляет собой достаточно независимую оценку образования (под независимостью подразумевается свобода от давления «образовательной» корпоративной культуры, конфликта интересов и конкурентной борьбы за «потребителей» образовательных услуг), однако и она подвержена существенным смещениям по причине пристрастности и низкого уровня профессионализма «оценщиков», а потому может нанести вред престижу и репутации ранжируемых вузов.
Одно из самых известных рейтинговых агентств России — агентство «РейтОР» — ранжирует вузы по показателям престижа (успешности трудоустройства и карьер выпускников). Оценку проводят работодатели, представители средств массовой информации и сами выпускники. Работодатели, в частности, оценивают: уровень заработной платы выпускника вуза при устройстве на работу, скорость карьерного роста молодого специалиста, его корпоративные умения и навыки (в первую пятерку московских вузов, по версии интегрального рейтинга агентства, в последние годы входят МГУ им. М.В. Ломоносова, МГТУ им. Н.Э. Баумана, Российская Академия им. Г.В. Плеханова, Финансовая академия при Правительстве РФ и МГИМО). Результаты ранжирования вузов по отдельным критериям разнятся весьма существенно. Например, в 2006 г. рейтинг предпочтений работодателей практически совпадает с интегральным рейтингом «РейтОРа», но лидер интегрального рейтинга — МГУ — по рейтингу вузовской общественности занимает второе место, пропуская вперед Экономическую академию им. Г.В. Плеханова, а по уровню зарплат выпускников — только девятое место (по уровню зарплат лидерами являются выпускники МГИМО, обрастающие за годы обучения хорошими личными связями, благодаря которым со временем уходят из государственных структур в совместные или иностранные компании, где
и получают высокие заработные платы). Кроме того, «РейтОР» построил рейтинг вузов на основе данных о первом высшем образовании представителей бизнес-элиты России — лидерами здесь стали МГУ им. М.В. Ломоносова, МАИ, Финансовая академия при Правительстве РФ, Экономическая академия им. Г.В. Плеханова, Московский государственный институт стали и сплавов.
Помимо агентства «РейтОР» в России работает «Национальное рейтинговое аттестационное агентство» (НРАА), которое, в частности, подготовило общественно-профессиональный рейтинг негосударственных аккредитованных вузов (оценочные критерии — трудоустройство выпускников по специальности, уровень их заработной платы и скорость продвижения по карьерной лестнице, процент выпускников, работающих в бюджетной сфере, муниципальном и государственном управлении; методы формирования оценки — выборочный опрос выпускников, работодателей и сотрудников кадровых агентств), и агентство «Росрей-тинг», при составлении рейтингов использующее одновременно статистическую информацию и опросы студентов, профессорско-преподавательского состава вузов, работодателей и бывших выпускников (показатели — стоимость обучения, репутация академического персонала, уровень абитуриентов, качество программ, уровень материального обеспечения вуза и востребованность выпускников).
Журнал «Финанс» готовит рейтинг российских бизнес-школ, выбрав в качестве ключевого показателя ранжирования качество преподавательского и студенческого состава (например, качество преподавательского состава оценивается по таким параметрам, как процент действующих бизнес-консультантов, процент проходивших практику в зарубежных учебных заведениях, процент авторов учебников, по которым ведется обучение в бизнес-школе, и процент имеющих научную степень кандидата или доктора наук). Журнал «Карьера» и образовательный портал Abituru.ru составляют рейтинг ста лучших вузов России (исходя из критериев оценки, важных для абитуриентов), дифференцированные рейтинги вузов по специальностям подготовки и рейтинг лучших московских вузов. Кроме того, журнал «Карьера» провел опрос крупнейших работодателей, чтобы выявить лучшие университетские бренды (когда встает вопрос о приеме на работу вчерашнего выпускника со скромным практическим опытом, компании-работодатели ориентируются на его потенциал, «измеряемый» репутацией его диплома): таковыми оказались МГУ, Санкт-Петербургский государственный университет и МГИМО; с не меньшим удовольствием берут на работу выпускников Финансовой академии, Российской экономической школы им. Г.В. Плеханова, Государственного университета экономики, статистики и информатики, ГУ—ВШЭ, Государственного университета управления им. С. Орджоникидзе, МГЛУ им. М. Тереза и РГГУ. Журнал «Деньги» также составил рейтинг вузов по востребованности выпускников у российских работодателей, спросив у крупнейших российских компаний по капитализации (по версии самого журнала) об их свежеиспеченных сотрудниках (молодых специалистах) и в целом о том, выпускников каких вузов они хотели бы видеть своими сотрудниками. В результате в число лидеров вошли МГТУ им. Н.Э. Баумана, МГУ, Финансовая академия при правительстве РФ, Государст-
венный университет управления, ГУ—ВШЭ, Уральский государственный технический университет и Ивановский государственный энергетический университет.
Следует отметить, что общей проблемой рейтингов вузов, основанных на учете потребностей современного рынка труда и запросов работодателей, т.е. ранжирующих вузы с точки зрения востребованности выпускников на рынке труда, является наличие так называемых университетов классического типа и в принципе отсутствие в России монопрофильных вузов. Иными словами, практически в каждом вузе страны есть факультеты, выпускники которых весьма востребованы на рынке труда, и факультеты, выпускники которых вряд ли смогут претендовать на вакансии в престижных и успешных корпорациях уже хотя бы потому, что этого не предполагает специализация их обучения (например, музейные работники, библиотекари). Поэтому подобный критерий ранжирования вузов может работать только в рейтинговании специальностей, но уж никак не факультетов и тем более вузов в целом. Кроме того, рассматриваемый показатель ранжирования не учитывает вопроса о научной деятельности, которая является для университетов столь же важной, как и учебная.
Таким образом, основным достоинством любого ранжированного списка является возможность выбора: абитуриенты видят лидеров высшего образования в целом и/или в искомой ими специализации подготовки; работодателям «проще» проводить набор кадров, ориентируясь на «репутацию» вузовской подготовки кандидата на трудоустройство; руководство вузов понимает свою «конкурентную среду» и принимает решения о диверсификации спектра образовательных услуг или изменении тактики и стратегии развития своего учебного заведения на различные временные перспективы. Основный недостаток рейтингов — их субъективный характер: на всех стадиях составления рейтинга — подготовки (разработки перечня критериев и присвоения им весовых коэффициентов), выбора и реализации методики оценки имеющихся сведений, итогового интегрирования полученных данных — срабатывает субъективное мнение разработчиков и/или «оценщиков».
Обоснован, однако, и упрек в отсутствии четкой и повсеместно признанной методологической и методической базы оценки качества высшего образования: действительно, каждая рейтинговая схема основана на конкретном, доступном и понятном наборе показателей, характеризующих только определенный аспект качества; выбор показателей обычно не имеет теоретического обоснования; их взаимозависимости не принимаются в расчет; весовые коэффициенты чаще всего определяются произвольно и т.д. Вместе с тем все эти претензии теряют значение, если принять во внимание, что любой рейтинг составляется исходя из ориентаций и, соответственно, интересов «своей» целевой группы («заказчика» рейтинга). Так, опросы абитуриентов, проведенные информационным порталом «Всевед», показали резкое расхождение ключевых критериев оценки вуза со стороны Министерства образования и науки и потенциальных потребителей образовательных услуг: абитуриентов в первую очередь интересует не наличие свободных мест в общежитии, а возможность трудоустройства (но критерий «гарантии трудоустройства» в методике Министерства не учитывается); четырнадцать критериев Министерства оценивают количественные «показатели» профессорско-преподаватель-
ского состава (количество преподавателей с научными степенями, например), тогда как для абитуриентов важнее, чтобы их обучали педагоги, имеющие практический опыт работы по специальности (ведь предмет может преподавать профессор, являющийся специалистом совсем в другой области знаний); непонятно, как улучшает качество образования наличие иностранных студентов, если вуз принимает их по межправительственным соглашениям; непонятно, почему большинство критериев, характеризующих материально-техническую базу вуза, оценивается в абсолютных показателях (и потому в крупных государственных вузах они значительно выше, чем в небольших коммерческих), а не в расчете на одного студента. Подобные расхождения становятся вполне предсказуемы и объяснимы, поскольку Министерство образования и науки составляет рейтинги исходя прежде всего из собственных задач (например, распределения государственного финансирования), тогда как для абитуриентов важны совершенно иные показатели деятельности учреждений высшего профессионального образования.
Иная проблема, косвенно связанная с собственно процедурой формирования ранжированных списков вузов, состоит в вольной интерпретации результатов рейтингования средствами массовой информации и в акцентировании ими выдернутых из общего контекста показателей и/или ранговых номеров отдельных вузов. Более того, в силу отсутствия законодательной базы рейтинги часто разрабатываются в реалиях конкуренции или дезинформации: сознательно допускается случайность или недостоверность информации, ее отсутствие вообще, нерепрезента-тивность, недобросовестность, элементарная безграмотность, подтасовка, выдумки и т.д. В России сложилась уникальная по своей абсурдности ситуация, когда, по сути, любой человек, группа лиц или организация могут создать некую структуру, назвать ее независимым рейтинговым агентством, начать собирать информацию об учебных заведениях, не задумываясь о достоверности, репрезентативности и законности, раздавать оценки и широко публиковать итоги своих «изысканий», тем самым влияя на репутацию учебных заведений. В результате рейтинги превращаются в инструмент манипулирования общественным мнением, поскольку оказывают серьезное воздействие на интересы значительной части людей (сотрудников, учащихся и выпускников вузов, абитуриентов и их родителей, потенциальных работодателей молодых специалистов).
Важно понимать, что и без подобных манипуляций данными в сознании «неподготовленных» читателей рейтингов ранговые номера вузов имеют важное значение (в обыденном сознании первое и третье место — совершенно разные вещи), тогда как статистически значимые различия между вузами, занимающими близкие позиции, на самом деле зачастую отсутствуют: широко известен случай рейтинга американских университетов 2001 г., подготовленного журналом «U.S. News and World Report», в котором разница между 13 и 22 позициями составляла всего шесть баллов по стобалльной шкале. Именно поэтому в зарубежной практике рейтингования при публикации результатов ранжирования вузов составители рейтингов все чаще оперируют не ранговыми позициями вузов, а их распределениями по нескольким условным группам (лигам). Подобную идею выдвинул и министр образования и науки Российской Федерации А. Фурсенко: все российские вузы планируется разделить на три группы — 10—20 национальным университетам
государство предоставит свободу в определении учебной и экзаменационной политики; 100—200 вузам второго эшелона выделит деньги на подготовку бакалавров и магистров; остальным — только на подготовку бакалавров. Иными словами, по планам Министерства размер государственной поддержки будет напрямую зависеть от категории вуза — чем она выше, тем размер государственной поддержки больше. Соответственно, предполагается провести ранжирование вузов на основании четких и всем понятных критериев, которые будут разрабатываться Министерством образования и науки совместно с научной и вузовской общественностью. Вполне очевидно, что такие университеты, как, например, МГИМО, МФТИ или ГУВШЭ, в отличие от, скажем, МГУ как университета классического типа, не смогут претендовать здесь на лидерство в силу своей специализации на ограниченном числе направлений. Ранжировать же вузы по рейтингам специальностей в России пока еще сложно, потому что в основе таковых лежит весьма неопределенное понятие выпускающей кафедры (часто учитывается потенциал всего факультета, а в случае небольшого выпуска по специальности ее рейтинг оказывается явно завышенным и т.д.).
Формулировать какие-либо рекомендации по составлению рейтингов в высшем профессиональном образовании крайне сложно, однако ряд шагов все же можно обозначить в силу их очевидности: «сужение» рейтинговых систем — оперирование не интегральными рейтингами, а скорее совокупностью лежащих в их основе «частных» рейтингов (субрейтингов), построенных по многообразным критериям, — это позволит проводить более обоснованное ранжирование вузов; учет при формировании рейтинговых систем показателей предыдущего (по времени) ранжирования вузов по тем же показателям, чтобы избежать необоснованных колебаний позиций вузов вследствие действия случайных факторов, не имеющих структурного или системного характера; в силу неизбежности как случайных, так и систематических смещений в данных и в результатах рейтингов предпочтительнее оперировать не точечными, а интервальными оценками параметров ранжирования вузов; представлять на суд широкой общественности следует не сам итоговый ранжированный список вузов, а результаты его «кластеризации» — разбиения на несколько лиг «игроков» высшего образования. Кроме того, важно очень отчетливо осознавать все «подводные камни» рейтингования в сфере высшего образования: все обозначенные выше ограничения ни в коем случае не означают необходимости отказа от ранжирования вузов как такового — нужно просто понимать познавательные возможности и «невозможности» данной аналитической процедуры и адекватно оценивать получаемые с ее помощью итоговые распределения.
Нельзя не заметить, что, помимо всех отмеченных ограничений рейтингования в сфере высшего профессионального образования, его репутацию в российском обществе портит дурная ретивость в выполнении любых наказов и пожеланий высшего начальства. Так, после того как на встрече с представителями бизнеса 29 марта 2006 г. Президент РФ В.В. Путин сказал о необходимости введения рейтинговых оценок деятельности вузов и развития независимых рейтинговых агентств, чья информация должна быть доступна широкой общественности, в срочном порядке был составлен целый ряд рейтингов — без должного
обоснования и необходимой информации. Многие фавориты рейтингов вместо поддержания и доказательства своего лидерства высокими и общепризнанными достижениями стремятся посредством лоббирования добиваться необоснованного лидерства, получая тем самым доступ к финансовым преференциям, а также инструмент для дискредитации конкурентов. Ю.А. Левада саркастически, но очень точно высказался о значении некоторых «рейтингов»: «Демонстративное внимание прессы... к „рейтинговым“ результатам — характерная черта публичного стиля последнего времени, когда поиски решения общественно значимых проблем подменяются возней вокруг „имиджа“ институтов... Кроме того, неграмотное обращение с разнопорядковыми индикаторами время от времени приводит к нелепым курьезам и мнимым сенсациям».
ЛИТЕРАТУРА
[1] Методические принципы рейтингового агентства «РейтОР» // http://www.reitor.ru/ т/гаШ^8
[2] Плаксий С.И. Рейтинги вузов: соблюдаются ли профессионально-этические, методологические и правовые нормы? // http://www.pvlast.ru/archive/index.380.php
[3] Похолков Ю., Чучалин А., Агранович Б., Могильницкий С. Не равнять, а сравнивать // Поиск. — 2005. — № 39.
[4] Приказ Министерства образования Российской Федерации «О внесении изменений в приказ Минобразования России от 26.02.2001 № 631 „О рейтингах высших учебных заведений“» // http://www.edu.ru/db-mon/mo/Data/d_03/593.html#1
[5] Рейтинги российских вузов с 2001 по 2006 гг. // http://abituru.rul
[6] Российские бизнес-школы. Информация к размышлению // http://www.finansmag.ru/16608
[7] Трушин А. На все 100 // http://www.kariera.orc.ru/03-01/Almam072.html
[8] Филинов Н., Ручкина С. Рейтинги российских вузов: некоторые аспекты методологии // Высшее образование в Европе. — 2002. — Т. XXVII. — № 4 // http://technical.bmstu.ru/ istoch/kach/rrv.doc
RANKING OF HIGHER EDUCATION INSTITUTIONS: IDEOLOGY AND METHODOLOGY OF DEVELOPMENT
(russian practice)
I.V. Trotsuk
Sociology Chair Peoples’ Friendship University of Russia Miklukho-Maklai str., 10/1, Moscow, Russia, 117198
The article comprises the second part of the analytical review of ideology, methodology and actual practice of higher education institutions ranking development (the first part revealing the international experience was published in the second issue of the journal in 2008). The author examines the current circumstances of higher education institutions ranking and particular education programmes in Russia. In particular, the main approaches to ranking elaboration primarily associated with the authors’ and clients’ «status» and the appropriate goals of higher education institutions ranking are revealed in the paper.
