CC BY
337
ПРОБЛЕМЫ ОБРАЗОВАНИЯ
Вестник ПСТГУ
IV: Педагогика. Психология
2014. Вып. 2 (33). С. 9-17
Тарадина Лариса Дмитриевна, НИУ «Высшая школа экономики» ltaradina@hse.ru
Международные рейтинги университетов:
ВЛИЯЮТ ЛИ ОНИ НА РАЗВИТИЕ УНИВЕРСИТЕТОВ И СТОИТ ЛИ ИМ ДОВЕРЯТЬ?
Л. Д. Тарадина
Тема данной статьи — доверие к результатам международных рейтингов университетов. Рейтингование университетов изначально развивалось как инструмент независимой оценки достижений этих высших учебных заведений. Однако становится все более очевидно, что рейтинги трансформируются в инструмент, фиксирующий индикаторы успешности университетов и, таким образом, влияют на их поведение и в конечном счете — на формирование стратегий развития.
Тема доверия к международным рейтингам рассматривается в связи с реализацией национальных инициатив академического превосходства ряда стран, в том числе России, так как в ряде случаев достижения университетов в рейтингах являются индикатором, подтверждающим академические достижения университетов — участников этих программ. На основании повышения позиций университетов в рейтингах принимаются многие управленческие и в том числе финансовые решения на уровне государства. В статье рассмотрены пять базовых аспектов доверия к результатам рейтинга: авторство методологии, источник финансирования, источник данных, определение весовых коэффициентов индикаторов, использование инструмента экспертных опросов. Автор подвергает сомнению соответствие идеи конкуренции миссии современных университетов и приходит к выводу, что, возможно, участие в рейтинговой гонке фиксирует жесткие рамки, не позволяющие университетам устанавливать собственные приоритеты, и тем самым ограничивает возможности для их академического развития.
Составители одного из самых известных международных рейтингов университетов маркетинговое агентство QS в своих презентациях приводит цитату бывшего ректора Кембриджского университета Элисон Ричард: «У рейтингов много недостатков, они не дают достаточно точного представления об университетах... Но я очень счастлива, когда Кембриджский университет занимает первое место в рейтингах лучших университетов мира»1. По сути, в этой цитате фиксируется, что руководители университетов-лидеров объективно оценивают недостатки
1 Презентация о рейтинге лучших университетов мира QS World University Rankings «Инструмент для проведения сравнительной оценки университетов в глобальном масштабе».
Актуальность темы
рейтингов, но, тем не менее, согласны действовать в соответствии с заданными в этой игре правилами, потому что выигрывать всегда приятно. И эта потенциальная возможность выигрыша настолько важна руководителям университетов и даже лидерам стран, что они готовы вкладывать большие средства для достижения высоких целей.
Составители другого международного рейтинга, также входящего в число одного из основных, в своих презентациях приводят цитату бывшего редактора специализированного приложения журнала «Таймс» — Times Higher Education2: «Мы понимаем, что улучшение методов составления рейтингов — это наша обязанность... Мы уверены, что университеты заслуживают рейтингов, отличающихся скрупулезной точностью, абсолютной надежностью и прозрачностью в применении — рейтингов, которые служат серьезным инструментом [развития] сектора, а не просто ежегодным аттракционом для удовлетворения праздного любопытства»3. Здесь речь идет о том, что создатели рейтинга видят его в качестве «серьезного инструмента развития сектора высшего образования в целом», и тем самым влияют на его развитие. То есть составители рейтингов как бы формулируют определенный подход к тому, что является качеством образования и исследований, а значит, и определяет уровень достижений университетов.
В приведенных цитатах четко обозначены значимые для рассуждения о рейтингах университетов вопросы, которые и будут рассмотрены в этой статье.
Изначально идея рейтингования состояла в разработке инструмента для оценки деятельности университетов в целом или достижений отдельных программ, факультетов, направлений работы. В Берлинских принципах ранжирования высших учебных заведений, которые являются основным международно признанным документом, фиксирующим правила построения ранжирования и методы повышения качества и надежности результатов рейтингования, первая задача международных рейтингов сформулирована следующим образом: «Быть одним из ряда многообразных подходов к оценке затрат на высшее образование, процессов и результатов сферы высшего образования»4. Далее в тексте фиксируются другие положения, ни в одном из которых не сказано ничего о том, что рейтинги являются инструментом влияния на сферу высшего образования.
Разумеется, ни один из разработчиков международных рейтингов не формулирует в качестве приоритетной задачи влияние на образовательную политику отдельных университетов и целых стран. Однако национальные инициативы академического превосходства ряда стран, в том числе России, оценивают развитие своих университетов по результатам их достижений в международных рейтингах, и эти результаты учитываются при принятии многих решений, в том числе финансовых. Это свидетельствует о том, что международные рейтинги
2 Сейчас Times Higher Education — самостоятельное независимое издание, одним из основных проектов которого является рейтинг университетов мира "THE World University Ranking".
3 Презентация THE — World University Rankings, Thomson Reuter.
4 Международная обсерватория по рейтингованию IREG, Берлинские принципы ранжирования высших учебных заведений. Электронный ресурс. URL: http://www.ireg-observatory. org/index.php?option=com_content&task=view&id=59&Itemid=60
не просто влияют на развитие университетов, они выполняют роль своего рода контролирующего органа, фиксирующего правила игры, проверяющего их выполнение и наказывающего в случае отклонения от намеченного курса.
Собственно, основная задача данной работы состоит в анализе релевантности использования международных рейтингов для оценки деятельности университетов.
Инициативы академического превосходства и международные рейтинги университетов
Изначально идея исследования состояла в том, чтобы сопоставить индикаторы основных международных рейтингов, определяющие успешность университетов, и цели и задачи, заложенные в инициативах академического превосходства, которые в последние 25 лет были реализованы в 20 странах мира. В качестве гипотезы рассматривалось предположение о том, что, во-первых, инициативы академического превосходства, реализованные в «дорейтинговую эпоху», могли содержать задачи, существенно отличающиеся от тех, которые сегодня формируются авторами рейтингов, а во-вторых, что даже после появления международных рейтингов государства продолжают определять для своих университетов задачи, отличные от индикаторов успешности, определяемых рейтингами.
Однако предположение оказалось неверным. В статье «Как государства добиваются международной конкурентоспособности университетов»,5 опубликованной в первом выпуске журнала «Вопросы образования» за 2013 г., Дж. Салми и И. Д. Фрумин, анализируя реализованные в течение последних 15 лет в более чем 20 странах мира инициативы по достижению выдающихся результатов в высшем образовании, отмечают, что, несмотря на то что до 2003—2004 г. не существовало даже выражения «инициатива по достижению выдающихся результатов», по сути, во всех реализованных инициативах была поставлена задача именно по достижению академического превосходства. В статье приводится цитата из работы немецкой исследовательницы Барбары Кэм, в которой, по мнению авторов, сформулирована тенденция, характерная для всех стран, проводящих у себя соответствующие реформы: «Инициатива по достижению выдающихся результатов имеет целью поддержку исследований на самом высоком уровне и совершенствование качества образования в немецких университетах и научно-исследовательских институтах в целом. Таким образом, Германия станет более привлекательным пространством для исследований, более конкурентоспособным на мировом уровне, кроме того, инициатива позволит привлечь внимание к особым успехам немецких университетов и немецкого научного сообщества»6.
Масштаб событий, связанных с реализацией национальных программ академического превосходства, хорошо виден на рис. 1 и 2.
5 Салми Дж., Фрумин И. Д. Как государства добиваются международной конкурентоспособности университетов: уроки для России // Вопросы образования. 2013. № 1.
6 Kehm B. The German initiative for excellence and the Issue of ranking // International Higher Education. 2006. №.44.
На рис. 1 в первой колонке приведен список стран, инициативы академического превосходства в которых были реализованы в «дорейтинговую эпоху», во второй колонке — в то время, когда идея рейтингования получила значимое развитие, в третьей — примеры стран, в которых подобные инициативы не реа-лизовывались7.
> Канада
> Дания
> Финляндия
• Китай (211-1, II, 985-1)
> Гонконг
> Ю. Корея (I)
> Япония (ТорЗО) ■ Австралия
> Норвегия
■
гм • Ю. Корея (1, 2, 3)
• Китай (985-М, III, 211-11,
(N 2011-1)
| • Тайвань (1, II)
• Германия (1, II)
• Сингапур (1, 2)
• Япония
Гч| • Канада
• Франция (1, 2, 3, 4)
• Малайзия
• Нигерия
• Испания
• Тайланд
• Израиль
• Индия
1 ■
Л •США
и S • Великобритания
• Швейцария
го
со
2
со
о
го
S
с;
го
0)
Q.
0)
Рис. 1
Следует обратить внимание на то, что страны, в которых такие инициативы не реализовывались, занимают стабильно высокие позиции в рейтингах, а также на рейтинговые достижения стран, в которых реформа осуществлялась в несколько этапов.
На рис. 2 представлена информация о финансировании большинства программ8. Из приведенной картинки очевидно, что самые большие суммы (более 18 млрд USD) были выделены французским правительством. Поскольку эти ассигнования были выделены относительно недавно, судить об их эффективности еще рано. Пока что международные рейтинги фиксируют уверенное снижение позиций французских университетов.
Поскольку все инициативы академического превосходства в качестве индикатора своей успешности рассматривают достижения университетов в международных рейтингах, встает резонный вопрос о доверии к рейтингам. Ведь именно от положения университетов, зафиксированных в рейтингах, во многом зависит их финансовое благополучие.
7 Арабскими цифрами обозначены этапы одних и тех же инициатив, латинскими — различные по содержанию инициативы, реализованные в одной стране.
8 По вертикали — годы, в которые реализовывались инициативы, поэтому некоторые страны указаны несколько раз. Суммы приведены в миллионах долларов. Кроме того, несколько реализованных инициатив не попали на данную диаграмму, так как имели иные схемы финансирования либо отсутствует информация об общем объеме выделенных средств.
Рис. 2
Доверие к международным рейтингам
В основе успеха как идеи рейтингования в целом, так и отдельных рейтингов лежит доверие к методологии и агенту, обеспечивающему процесс (рис. 3). Вопросами доверия обусловлены и дискуссии о том, должны ли принципы ранжирования университетов задаваться членами академического сообщества или независимыми экспертами, а также о том, как в обоих случаях должны финансироваться разработка и функционирование рейтинга и возможно ли обеспечить объективную оценку университетов с учетом исторических, экономических, лингвистических и культурных аспектов систем образования разных стран. Для понимания важности учета этих различий достаточно сказать, что 40% публикаций в международных реферируемых журналах подготовлены учеными, работающими в 200 лидирующих в рейтингах университетах. К теме доверия относятся также вопросы, связанные с возможностью независимой проверки результатов рейтинга.
Методологии существующих ныне рейтингов были подробно описаны в статье «Рейтингование университетов»9. В данном разделе будут описаны и проанализированы базовые аспекты, лежащие в основе теоретических размышлений о доверии к рейтингам.
• Авторство методологии. Идея рейтингования как таковая появилась чуть более ста лет назад. И за это время сложилось устойчивое разграничение рейтингов, составляемых представителями академического сообщества или акаде-
9 Тарадина Л. Д. Рейтингованиие университетов// Отечественные записки. 2013. № 4.
Рис. 3. «Круг доверия»
мическими институтами, и рейтингами, составляемыми коммерческими компаниями или новостными изданиями.
Несмотря на то что для разработки методологий коммерческие компании и новостные издания нередко привлекают академических экспертов, у основных пользователей — работодателей, родителей и студентов, представителей университетов — эти рейтинги всегда вызывают много вопросов. К вызывающим вопросы рейтингам, в частности, относятся известные международные рейтинги QS и Times Higher Education.
• Финансирование рейтинга. Финансирование рейтинга во многом связано с тем, кто является автором и владельцем методологии. Например, рейтинг издания Times Higher Education финансируется как самим изданием, так и компанией Thomson Reuter, которая выполняет всю технологическую работу, связанную с обеспечением функционирования рейтинга. При этом очевидно, что одна из основных задач рейтинга — повышение узнаваемости и привлекательности издания, стоимости рекламы, особенно в момент выхода рейтинга, развитие консалтинговой деятельности компании Thomson Reuter. С целью повышения внимания к изданию компании помимо основного рейтинга лучших университетов мира выпускают репутационный рейтинг, рейтинг молодых университетов, рейтинг университетов стран БРИКС и стран с развивающейся экономикой, ведут разработку других аналогичных продуктов. В данном случае важно отметить, что THE не ведет консалтинговой деятельности, связанной с рейтингом, а консалтинг Thomson Reuters в основном связан с сервисами в рамках WOS. То есть
рейтинг является способом повышения капитализации других услуг, но не источником дохода.
Другой пример — рейтинг U-Multirank, он финансируется за счет гранта Европейской Комиссии, что вызывает резонный вопрос о том, как будет осуществляться финансирование проекта после окончания гранта.
Третий пример — рейтинг QS, который финансируется компанией и также является инструментом привлечения внимания к компании и ее рекламным и консалтинговым продуктам и услугам. В отличие от THE, компания QS предоставляет консалтинговые услуги, в рамках которых университеты получают рекомендации по продвижению в рейтинге. Такой формат финансирования вызывает наибольшее количество вопросов со стороны всех профессионалов образовательной сферы и соответственно увеличивает недоверие к результатам рейтинга.
♦ Весовые коэффициенты индикаторов рейтинга. Очевидно, что определение весовых коэффициентов — это один из наиболее острых вопросов, не имеющих объективного ответа. В качестве крайних примеров можно привести рейтинг ARWU, в котором вес каждого из пяти индикаторов определен в 20% и рейтинг THE, в котором точность некоторых индикаторов рассчитывается до 0,25%. При этом интересно, что в рейтингах THE и QS есть несколько идентично сформулированных индикаторов, весовые коэффициенты которых различаются в 2 раза.
♦ Использование экспертных опросов для составления рейтинга. В случае использования экспертных опросов для составления рейтинга большое значение придается как собственно содержанию анкеты, так и принципам, заложенным в формирование базы экспертов, и привлечению их к участию в опросе. При этом экспертные опросы являются самым слабым инструментом рейтингования с точки зрения верификации результатов. Доказательством может служить ситуация с положением МГУ в репутационном рейтинге ТНЕ: в 2011 г. МГУ занял 33-е место в мире, в 2012 — не вошел в рейтинг вообще, в 2013 — занял 50-е место. Очевидно, что репутация не может меняться таким образом. Заподозрить издание в подобной нечестности также нельзя. Единственное рациональное объяснение — несовершенство самого инструмента и методологии выбора экспертов.
♦ Источник данных. В случае использования данных из открытых источников речь в первую очередь идет о возможности их проверки. В случае данных, предоставляемых университетами, велика вероятность ошибок в результате различного подхода к трактовке тех или иных показателей.
В соответствии с выделенными критериями четыре наиболее популярных рейтинга выглядят так, как представлено на рис. 4. То есть очевидно, что ни одна из существующих методологий рейтингов не может в полной мере пользоваться доверием в рамках рассматриваемого подхода.
Заключение
Сама идея конкуренции между университетами представляется не полностью соответствующей идее и миссии университета, которая, с одной стороны, безусловно, изменилась по сравнению с тем, что было сформулировано Гумбольдтом или Ортегой-и-Гассетом, но с другой — по-прежнему значимо отлича-
ARWU THE QS U-Multirank
Авторство методологии Шанхайский университет Журнал Times Higher Education и агентство Thomson Reuter Компания QS Консорциум исследователей из 9 европейских стран
Финансирование рейтинга Университет, гранты Издание Thomson Reuter Компания QS Грант Европейской Комиссии
Весовые коэффициенты индикаторов В равной пропорции между всеми индикаторами Определены,с точностью до 0,25%, продолжают уточняться и корректироваться Определены и не изменяются с 2004 года Не используются, т.к. рейтинг является многомерным
Экспертные опросы Нет Да Да Нет
Источник данных Открытые источники Университеты Web of Sciences Университеты Scopus Университеты
Рис. 4
ется от девиза олимпийского движения «Citius, altius, fortius» — «Быстрее, выше, сильнее».
Становятся ли университеты объективно «лучше», публикуя больше статей и зарабатывая больше денег на патентах? Уже сейчас очевидно, что многие прорывные идеи и проекты появляются и реализуются не в консервативной академической среде, а свободном творческом междисциплинарном пространстве, на стыке самых непредсказуемых полей. Если попытаться заглянуть в будущее, скажем лет на 20—30, будут ли по-прежнему достижения университетов определяться теми параметрами, которые зафиксированы в существующих сегодня методологиях? Помогут ли университетам индикаторы современных рейтингов выйти на новый уровень науки и знания или они, наоборот, зафиксируют рамки, которые будут заставлять нас догонять поезд, который уже давно изменил направление движения и больше не ездит по рельсам, а совершает какие-то совершенно иные действия?
Ключевые слова: рейтинги университетов, рейтинги вузов, рейтингование университетов, международные рейтинги университетов, доверие к рейтингам, шанхайский рейтинг, рейтинг THE, рейтинг U-Multirank, многомерное ранжирование университетов, критика рейтингов, международная конкурентоспособность университетов, программы академического совершенствования.
World University Rankings:
DO THEY INFLUENCE UNIVERSITY DEVELOPMENT AND CAN WE TRUST THEM?
L. D. Taradina
This article discusses different aspects of credibility to university rankings.
The idea of comparing universities through ranking methodology was initially an instrument of independent university performance assessment. But in the last few years it became more and more clear that university rankings transform to an instrument which determines university's progress and therefore influences university's behavior and even its development strategy.
The issue of credibility to international university rankings is analyzed in connection to academic excellence initiatives which were implemented during the last decade in a number of countries including Russia. In a number of cases universiti's achievements in the international rankings were considerend as a confirmation of academic excellence and it became more popular to use it as a basis for making policy and financial decisions on a national level. Ranking achievements are also taken into accound in different grant competitions and international cooperation projects.
The article describes five basic aspects ofcredibility to university rankings: authorship of methodology, financial leadership and stability, source of data, fixing weight of the indicators, using or not using academic reputation survey.
The author doubts the relevance of competitive approach to the mission and vision of modern university and comes to the conclusion that participation in the ranking rush fixes rather rigid boundaries which don't enable universities to set their own priorities and restrict opportunities for academic development.
Keywords: university rankings, HEI rankings, international university rankings, university ranking credibility, ARWU, THE, U-Multirank, multi-dimensional international ranking, university ranking criticism, international universities competitiveness, academic excellence initiatives.
Список литературы
1. Салми Дж., Фрумин И. Д. Как государства добиваются международной конкурентоспособности университетов: уроки для России // Вопросы образования. 2013. № 1.
2. Международная обсерватория по рейтингованию IREG, Берлинские принципы ранжирования высших учебных заведений. [Электронный ресурс.] URL: http://www.ireg-observatory.org/index.php?option=com_content&task=view&id=59&Itemid=60
3. Тарадина Л. Д. Рейтингованиие университетов // Отечественные записки. 2013. № 4.
