CC BY
44
Берлинские принципы ранжирования российских университетов
С.С. ДОНЕЦКАЯ, доктор экономических наук, Новосибирский государственный университет. E-mail: dss@inbox.ru
В настоящее время в России ежегодно публикуются два национальных рейтинга университетов, методологии которых должны учитывать Берлинские принципы ранжирования вузов, принятые в 2006 г международной экспертной группой по ранжированию (IREG). Однако в России существуют национальные особенности ранжирования университетов. В чем их содержание? Как учтены Берлинские принципы в отечественных рейтинговых методиках? Ответы на эти вопросы попытался дать автор статьи.
Ключевые слова: Берлинские принципы, рейтинг, университет
В настоящее время разработаны и успешно реализуются различные международные табели о рангах, в большинстве развитых стран созданы национальные рейтинги университетов. Россия не исключение - в стране ежегодно выпускаются две новые версии ранжирования ведущих российских вузов: Международной информационной группы «Интерфакс» (совместно с радиостанцией «Эхо Москвы») и рейтингового агентства RAEX («Эксперт РА»).
Рейтинги университетов позволяют оценить качество образования, стимулируют конкуренцию, помогают потребителям сделать выбор между университетами и программами обучения, дают обоснование для частного инвестирования и распределения государственного финансирования вузов, поэтому важно, чтобы организации, разрабатывающие рейтинги, отвечали за их качество. В этих целях в 2006 г. в Берлине международной экспертной группой по ранжированию (IREG) было подписано соглашение о принятии принципов качества и надлежащей практики ранжирования вузов - Берлинских принципов ранжирования высших учебных заведений. Цель - создание основной схемы разработки и распространения рейтингов, независимо от того, являются ли они национальными, региональными или глобальными, что в конечном счете должно привести к созданию системы непрерывного совершенствования методологии проведения ранжирования [1].
ЭКО. - 2016. - №2 ДОНЕЦКАЯ С.С.
Российские национальные рейтинги «Интерфакса» и «Эксперт РА» существуют с 2009 г и 2011 г, поэтому их методология должна соответствовать Берлинским принципам. Однако в современной России многие инициативы, в том числе и в образовательной сфере, не могут быть реализованы без надзора вышестоящих организаций, потому они направлены на создание явных преимуществ для «избранных» университетов. В этой связи представляется интересным проанализировать, действительно ли отечественные рейтинговые агентства учли зарубежные принципы ранжирования вузов.
Международной экспертной группой IREG принципы ранжирования университетов разделены на четыре группы: 1) цели и задачи; 2) разработка индикаторов и их весов; 3) сбор и обработка данных; 4) презентация результатов. Проанализируем каждый принцип отдельно.
Цели и задачи ранжирования
1. «Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования. Ранжирование дополняет работу, проводимую государством, аккредитационными органами и независимыми агентствами по оценке качества» [1].
В современной России принята система оценки качества образования, основанная на приоритете государственных органов и структур, финансируемых правительством, и связанная с правительственным контролем, лицензированием, государственной аккредитацией, распределением финансовых ресурсов и оказанием государственного влияния на университеты. При этом самооценке деятельности вузов, общественной аккредитации, а также национальным рейтингам не придается особого значения, хотя многие рейтинговые показатели схожи с критериями государственной аккредитации! В результате создается впечатление, что отечественные рейтинги существуют сами по себе, возможно, только для того, чтобы убедить в их наличии мировую общественность.
2. «Ясно представлять задачи и целевую аудиторию. Ранжирование должно осуществляться в строгом соответствии с задачами» [1].
Анализ показывает, что каждый из зарубежных национальных рейтингов разработан под определенную целевую аудиторию и имеет четкие цели (табл. 1). Чаще всего он ориентирован
на абитуриентов, студентов и их родителей, чтобы помочь им выбрать вуз. Еще одной целевой аудиторией могут выступать органы власти, тогда цель рейтинга - выявить лучшие университеты. Что касается российских национальных рейтингов, то их составители, судя по информации, размещенной в открытом доступе, не ставили перед собой задачи определения целевых аудиторий. Поэтому и цели рейтингов весьма абстрактные: «оценка способности вузов обеспечить выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения [4]» или еще проще - «независимая оценка российских вузов [5]».
Таблица 1. Основные характеристики российских
и некоторых зарубежных национальных рейтингов
Составитель Название Страна Цель Кол-во показателей Целевая аудитория
Рейтинги, предполагающие расчет итогового показателя
Журнал US News&World Report America's Best Colleges США Помочь абитуриентам и их родителям выбрать вуз 15 Абитуриенты, родители
Газета The Guardian Guardian University Guide Великобритания Выявить предпочтения студентов 8 Студенты, абитуриенты, родители
Газета The Times Good University Guide Великобритания Выявить предпочтения студентов с акцентом скорее на преподавание, чем на исследования 9 Студенты, абитуриенты, родители
Журнал Maclean's Maclean's University Ranking Канада Выявить предпочтения студентов 12 Студенты, абитуриенты, родители
RESEARCH Infosource Inc. Top 50 Research Universities Канада Выявить лучшие исследовательские университеты 5 Федеральные и муниципальные органы власти, инновационные предприятия
Рейтинговое агентство «Эксперт РА» Рейтинг вузов России Россия Оценка способности вузов обеспечивать выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения 45
Международная группа «Интерфакс» Национальный рейтинг университетов Россия Независимая оценка российских вузов 36
Источник: [2-5].
6 ЭКО. - 2016. - №2
3. «Признавать разнообразие учебных заведений и принимать во внимание различие их миссий и задач» [1].
Российские национальные рейтинги не ориентируются на данный принцип и по единой методике ранжируют любые университеты, которые заполнят анкеты. Так, например, в последнем рейтинге «Эксперт РА» из 100 вузов 66 - это классические университеты и технические вузы, остальные -экономические, гуманитарные, педагогические, медицинские и архитектурно-строительные. В рейтинге «Интерфакса», кроме названных групп университетов, участвуют и сельскохозяйственные вузы. Исключение из данного правила составляют только вузы творческой и спортивной направленности, а также вузы силовых структур, которые не допускаются к участию в рейтингах [4].
4. «Обеспечить ясность спектра источников, которые предоставляют информацию для ранжирования, и индикаторов, полученных на основе каждого из ресурсов» [1].
В методологиях российских рейтингов имеются сведения о спектре источников информации. В рейтинге «Эксперт РА» -это заполненные вузами анкеты, анкетирование студентов, выпускников, работодателей, представителей академического сообщества, а также наукометрические базы данных РИНЦ, Web of Science, Scopus [4]. В рейтинге «Интерфакса» - анкеты вузов, наукометрические базы данных, различные веб-сайты (университетов, Министерства образования и науки РФ и др.), а также собственные данные (не уточняется, какие) [5].
С индикаторами рейтингов не все так просто и ясно. Если показатели рейтинга «Эксперт РА» четко сформулированы, и вопроса относительно источников информации для их расчетов не возникает, то разработчики рейтинга «Интерфакса» не слишком беспокоились то этому поводу и допустили, во-первых, двусмысленные формулировки. Например, неясно, что авторы понимают под «участием вуза в программах развития технологического предпринимательства» или «участием вуза в разработке технологических платформ, в программах инновационного развития высокотехнологичных компаний». Это количество программ, в которых участвует вуз, объем финансирования данных программ со стороны вуза или что-то другое? И такие формулировки у половины показателей! Во-вторых,
для каждого показателя указаны два и более источника информации. Так, для расчета последнего из представленных выше показателей предполагается использовать четыре источника: данные вуза, компаний (не указано, каких), Министерства образования и науки РФ и СПАРК (расшифровки также нет) [5]. Естественно, простым пользователям невозможно отследить, что из такого многообразия исходных данных составители рейтинга сочтут нужным принять в расчетах. Следовательно, появляется возможность манипулировать информацией в целях улучшения или, напротив, ухудшения рейтинговых позиций некоторых университетов.
5. «Учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование» [1].
Российской национальной особенностью является приверженность к многокритериальной оценке высших учебных заведений (например, для проведения самообследования вузам нужно оценить более полусотни показателей). Именно поэтому российские рейтинги, по мнению их создателей, должны охватить разные стороны деятельности и включать как можно больше показателей (см. табл. 1), зачастую дублирующих друг друга. Например, в рейтинг «Интерфакса» включены показатели, основанные на использовании всех наукометрических баз данных (Scopus, Web of Science и РИНЦ), хотя информация в данных базах пересекается, и достаточно одной из них, чтобы получить четкий ответ о научной продуктивности преподавателей университета. Что и делается во всех зарубежных рейтингах.
Кроме того, под предлогом всесторонней оценки деятельности образовательного учреждения авторами рейтингов предложены показатели, которые затруднительно рассчитать для всех анализируемых университетов. Например, в рейтинге «Эксперт РА» - «количество студентов - победителей всероссийских олимпиад», «процент студентов, прошедших практику или стажировку за рубежом», а в рейтинге «Интерфакса» - «реализация вузом образовательных программ на иностранных языках», «реализуемые вузом образовательные программы (основного и дополнительного образования) в сфере предпринимательства» и др. [4, 5]. Использование данного подхода не позволяет всем университетам на равных участвовать в рейтинговой гонке 6*
и создает возможность занимать наилучшие позиции «избранному» кругу вузов.
Еще одна особенность российской системы высшего образования - отсутствие четкого взгляда на понятие «качество образования», а, следовательно, на систему показателей, характеризующих это качество. Именно поэтому в рейтинге «Эксперт РА» упор делается на показатели ресурсного обеспечения образовательного процесса, уровень востребованности выпускников и качества научной деятельности, а «Интерфакс», кроме этого, включил в рейтинг модные и непонятно кем востребованные направления оценки - «бренд университета» и «социальная среда вуза».
Разработка индикаторов и их весов
6. «Обеспечивать прозрачность используемой методологии составления рейтинга... Прозрачность должна охватывать как подсчет индикаторов, так и источники данных» [1].
Прозрачность методологии расчетов российских рейтингов состоит только в описании процедур нормирования показателей (в процентах или в баллах от максимально возможного среди университетов) и агрегирования их в итоговую оценку. Именно эту часть методики ранжирования можно найти на соответствующих сайтах в Интернете [4, 5]. Что касается расчета конкретных показателей, то здесь не все так прозрачно и ясно. В рейтинге «Эксперт РА» используются 16 показателей, источником информации для которых являются опросы. Однако в методике проведения опросов не указано, как формируется выборка, есть ли какие-нибудь ограничения. Так, например, на сайте рейтингового агентства указано, что в 2015 г. в опросах участвовали 17,4 тыс. респондентов, но неизвестно, сколько опрошено студентов, преподавателей, выпускников, работодателей и представителей научных кругов, не указана структура респондентов по федеральным округам и т. п. [4]. В методике рейтинга «Интерфакса» нет даже намека на прозрачность из-за отсутствия ясности в источниках информации и четкого содержания используемых показателей, о чем уже было упомянуто выше.
7. «Выбирать индикаторы соответственно их релевантности и валидности... Должно быть понятно, почему Вы включили именно эти показатели, и что они отображают» [1].
Применительно к рейтингам релевантность характеризует соответствие показателей ожиданиям пользователей. Поскольку пользователи российских рейтингов не определены, то никто никаких результатов не ожидает, а значит, ни о каком принципе релевантности не может быть и речи.
Теперь о валидности, т. е. соответствии показателей целям и задачам. Цель рейтинга «Эксперт РА» - «оценка способности вузов обеспечить выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения [4]». В соответствии с целью индикаторы рейтинга должны оценивать ресурсы университетов и результаты обучения. Поэтому показатели разделены на группы: условия для получения качественного образования, уровень научно-исследовательской деятельности и уровень востребованности выпускников. Таким образом, принцип валидности реализуется. Цель рейтинга «Интерфакса» - «независимая оценка российских вузов [5]». Но поскольку задачи этой независимой оценки не определены, то неясно, что мотивировало организаторов рейтинга ранжировать вузы по шести группам показателей (образование, исследование, социализация, интернационализация, бренд вуза, инновации и предпринимательство). Итог - нет связи между показателями рейтинга и его целью, а значит, принцип валидности не выполняется.
8. «Отдавать предпочтение по возможности показателям достигнутых результатов, а не исходным ресурсам» [1].
В рейтинге «Эксперт РА» из 45 показателей 21 можно отнести к оценке достигнутых результатов [4]. Это, прежде всего, итоги опросов потребителей по поводу качества обучения и научного потенциала университета, а также показатели научной результативности профессорско-преподавательского состава. В рейтинге «Интерфакса» показателей, оценивающих достигнутые результаты, меньше: 10 из 36 [5]. Сразу следует пояснить, что показатели, характеризующие количество лабораторий, число базовых кафедр, инновационных предприятий или объемы финансирования, не относятся к результатам научной деятельности - это условия для ее развития. В научном мире результатами научной деятельности считаются научная публикация и ее востребованность среди ученых, т. е. уровень цитируемости.
Еще одна проблема российских национальных рейтингов -это «любовь» их создателей к так называемым «объемным» показателям, не приведенным к численности профессорско-преподавательского персонала или студентов, не отражающим структуру какого-нибудь явления (как принято во всех зарубежных рейтингах) и не являющимся результатом опроса респондентов. Это «объем финансирования», «количество работающих при вузе лабораторий», «число выпускников, занимающих руководящие должности в крупных компаниях», «спектр реализуемых образовательных программ» и т. п. В рейтинге «Эксперт РА» таких показателей 10 (из 45), а «Интерфакса» - 18 из 36. Включение в рейтинговую оценку «объемных» показателей нарушает принцип честного соперничества между вузами и позволяет крупным (с большим числом студентов), следовательно, получающим большее финансирование, а также старым университетам, имеющим устоявшийся имидж в обществе, и столичным вузам занимать лучшие места в рейтингах (табл. 2).
Таблица 2. Распределение университетов, представленных в рейтинге «Интерфакса» в 2015 г., по численности студентов
Численность студентов, тыс. чел. Число вузов, занявших места
1-10 11-50 51-100 101-150 151-209 Итого
Более 30 1 2 1 - - 4
12-30 6 26 19 9 11 71
5-12 3 11 23 31 39 107
До 5 - 1 5 9 8 23
Всего 10 40 48 49 58 205
Примечания: 1) источник информации о численности студентов - сайты вузов; на сайтах четырех университетов отсутствовала информация, поэтому в таблице представлено распределение 205 из 209 университетов; 2) распределение на группы проведено согласно классификации, используемой компанией Quac-quarelli Symonds для характеристики университетов, участвующих в рейтинге QS World University Rankings [6].
9. «Четко определять методы оценки различных индикаторов и по возможности ограничить изменения в них» [1].
В доступных для пользователей описаниях методик расчета российских табелей о рангах, в отличие от зарубежных рейтингов, нет даже упоминания о методах расчета индикаторов.
Возможно, это сделано ненамеренно. Но даже если это не так, отсутствие методик создает впечатление нечестного соперничества и лишний раз подчеркивает, что рейтинги российских вузов -это политические игры с заранее предсказуемым результатом.
Сбор и обработка данных
10. «Обращать должное внимание на этические стандарты и рекомендации надлежащей практики, сформулированные в данных принципах. Чтобы рейтинги пользовались доверием, лица, ответственные за сбор и обработку данных, должны сохранять объективность и беспристрастность» [1].
Процедура сбора информации российскими рейтинговыми агентствами состоит в том, что вузам раз в год рассылаются анкеты. Анкета «Эксперт РА» содержит около 60 вопросов; при ответах на них в большинстве случаев нужно указать только конкретные данные с редким требованием их пояснить. Анкета «Интерфакса» включает более 150 вопросов, на которые университеты должны дать развернутые ответы. Причем часть сведений предоставляется вузами «на всякий случай» и остается невостребованной. Например, отвечая на вопрос об участии представителей вуза в российских и международных конференциях, необходимо указать по каждой конференции ее наименование, статус, количество участников - всего, а также от данного вуза (можно только представить, какой объем информации нужно собрать университетам!), однако, как бы ни старались вузы, эти данные вообще не учитываются при расчете рейтинга! И это не единственный такой вопрос анкеты. Очевидно, что данная ситуация не может не вызвать недоверия вузов к процедуре сбора информации и результатам рейтинга.
11. «Использовать по возможности проверенные и уточненные данные» [1].
Как известно, точными считаются только те данные, которые взяты из первоисточников и не могут быть умышленно искажены, а также легко поддаются проверке. В случае российских рейтингов - это, прежде всего, информация, полученная из наукометрических баз данных РИНЦ, Web of Science, Scopus. Информацию, исходящую от вузов, всегда можно приукрасить. Что, очевидно, и делают некоторые российские университеты, желающие нечестным путем поднять уровень общественной
репутации или блеснуть своими «псевдодостижениями». При этом отсутствие контроля за собранной информацией создает дополнительные стимулы для реализации данной стратегии. Стоит заметить, что эти проблемы не новы для российских рейтингов и, скорее всего, являются национальной особенностью российского ранжирования университетов, о чем мы уже писали [7].
12. «Использовать данные, собранные в соответствии с установленной процедурой, применимой к сбору информации в рамках научных исследований» [1].
Это принцип репрезентативности данных, собранных в результате опросов. Его соблюдение касается в первую очередь рейтинга «Эксперт РА», предполагающего использование 16 показателей, полученных таким способом. Однако в этом есть справедливое сомнение. В аналитических пояснениях к рейтингу можно найти только общее количество опрошенных, нет данных о численности каждой группы респондентов (студентов, преподавателей, представителей академического сообщества и работодателей) и не прописаны правила формирования выборки. Очевидно, авторам рейтинга есть что скрывать. Замечание актуально после опубликования на сайте агентства «Эксперт РА» структуры выборки занятого населения по всему миру: «более 708 тыс. человек; из них 9217 работают в России, 40 тыс. -в Великобритании и 234 тыс. - в США» [8]. Как известно, объем выборки должен быть пропорционален численности занятого населения, а следовательно, число опрошенных в России должно быть как минимум в 10 раз больше. Еще один пример нарушения процедуры получения информации - использование данных, собранных только по 14 университетам, и распространение их на всю совокупность ведущих вузов, как было сделано при рейтинговании школ по качеству подготовки к поступлению в вузы России [9].
В рейтинге «Интерфакса» только два показателя рассчитываются по данным опросов. Тем не менее отсутствие в открытом доступе какой-либо информации о процедуре сбора данных позволяет справедливо задать вопрос: «А проводился ли опрос вообще?».
13. «Применять меры по обеспечению качества к самим процессам ранжирования... Рейтинги должны стать обучающими
системами, постоянно использующими опыт для разработки методологии» [1].
Как уже было сказано, методологии рейтингов не учитывают большинство требований ни к формированию перечня критериев, ни к сбору и обработке данных. А использование зарубежного опыта, очевидно, состоит только во включении в систему рейтинговых показателей всех применимых к российской практике критериев зарубежных рейтингов.
14. «Применять организационные методы, повышающие достоверность ранжирования [1].
К числу данных мер можно отнести привлечение к процессам разработки методологии и контроля собранной информации международных экспертов в области ранжирования университетов. Если судить по брошюрам, выпускаемым составителями российских рейтингов, то такими консультантами являются: для «Интерфакса» - компания Quaquarelli 8ушопёз ^8), а для «Эксперт РА» - международная экспертная группа по ранжированию (ШЕО). Однако на сайтах «Интерфакса» и «Эксперт РА» подтверждающая привлечение зарубежных экспертов информация не размещена.
Презентация результатов ранжирования
15. «Обеспечить потребителей ясным пониманием всех факторов, задействованных при составлении рейтинга, и предложить им выбор формы презентации результатов рейтингов» [1].
Результаты российских национальных рейтингов ежегодно размещаются на сайтах Международной информационной группы «Интерфакс» и рейтингового агентства «Эксперт РА». Результаты представлены в виде таблиц, которые строятся отдельно по интегральной оценке и по каждой группе показателей (напомним, рейтинг «Эксперт РА» рассчитывается по трем группам показателей, «Интерфакса» - по шести) [4, 5]. В то же время ранжирования вузов по каждому анализируемому показателю не происходит. Минусом также является отсутствие на сайтах рейтинговых агентств профилей университетов (за рубежом это - распространенная практика). В результате пользователи не могут получить четкого представления о том, как формируется рейтинг конкретного университета, что вызывает
справедливое сомнение относительно честности национальных рейтинговых классификаций.
16. «Результаты ранжирования должны быть составлены и опубликованы таким образом, чтобы исключить или минимизировать ошибки в представляемых данных, а также обеспечивать возможность исправления допущенных ошибок» [1].
За время составления российских национальных рейтингов (с 2009 г.) не было случая исправления ранее опубликованных результатов. Следовательно, можно утверждать, что это - один из немногих реализованных Берлинских принципов.
Выводы
Таким образом, ни рейтинговое агентство «Эксперт РА», ни Международная информационная группа «Интерфакс» не учли большей части Берлинских принципов ранжирования университетов, разработанные ими методологии основаны на нескольких сугубо российских принципах. Главный из них -отсутствие целевой аудитории. Отечественные рейтинги являются лишь модным приложением к существующей системе высшего образования и не востребованы ни надзорными государственными структурами, ни общественными организациями. Парадокс заключается в том, что, несмотря на это, ведущие российские вузы ведут жесткую борьбу за лучшие места в этих рейтингах.
В противовес зарубежным, в российских национальных рейтингах использован принцип многокритериальной оценки, основанной на огромном количестве «объемных» показателей («Интерфакс») и результатах опросов различных групп потребителей образовательных услуг («Эксперт РА»), а также целом перечне неинформативных критериев (оба рейтинга). Еще одна особенность отечественных рейтингов - непрозрачность используемых методологий, что проявляется, прежде всего, во множественности источников информации для расчета конкретного показателя («Интерфакс») и отсутствии открытости в вопросах формирования выборочной совокупности респондентов («Эксперт РА»). Все это создает условия для нечестного соперничества университетов и лишний раз подчеркивает, что российские национальные рейтинги являются, прежде всего,
политическими инструментами, позволяющими «выбранным» лидерам российского высшего образования занимать в них лучшие места. Что особенно актуально для «лидеров», которым не удается получить желаемый ранг в международных табелях о рангах.
Литература
1. Берлинские принципы ранжирования высших учебных заведений. URL: http://ireg-observatory.org/index.php?option=com_content& task=view&id=59&Itemid=60 (дата обращения: 08.08.2015).
2. Осипов Г. В., Климовицкий С. В. Индикаторы образования // Измерение рейтингов университетов: международный и российский опыт. Вып. 2 / Под ред. Г. В. Осипова и А. Л. Арефьева / Министерство образования и науки Российской Федерации. - М.: Центр социологических исследований, 2014. - 588 с.
3. Зарубежный опыт составления рейтингов: ссылки ресурсов. URL: http://www.univer-rating.ru/txt.asp?rbr=48 (дата обращения: 08.08.2015).
4. Рейтинги вузов России. «Эксперт РА». URL: http://www.raexpert. ru/rankings/vuz/vuz_2015#method (дата обращения: 08.08.2015).
5. Национальный рейтинг университетов «Интерфакс». URL: http:// www.univer-rating.ru/txt.asp?rbr=30 (дата обращения: 08.08.2015).
6. QS World University Rankings // URL: http://www.topuniversities. com (дата обращения: 08.08.2015).
7. Донецкая С. С. Российский подход к ранжированию ведущих университетов мира // ЭКО. - 2009. - № 8. - C. 137-150.
8. Гришаков Д. Вождь лилипутов. URL: http://www.raexpert.ru/press/ articles/vozhd_liliputov (дата обращения: 11.06.2015).
9. Рейтинг школ 2015. URL: http://www.raexpert.ru/rankings/ school/2015/#method (дата обращения: 06.10.2015).
Читатель и журнал
0 #1 Екатерина Ворошилова 14.12.2015 02:03 - Никакое развитие и закрепление позиций России невозможно без инициативы и желания всего народа. Люди должны верить, воспитывать в себе культуру и дисциплину, они должны хотеть изменить свою жизнь, хотеть строить «гражданское общество, основанное на согласии и солидарном понимании стоящих перед страной задач», ведь, как гласит известное высказывание «Если хочешь изменить мир, начни с себя».
