CC BY
70№ 3 (23) 2011
А. Е. Варшавский, Т. А. Комкина
Анализ двух основных рейтингов университетов1
1
В статье проведено исследование индикаторов, используемых в рейтингах THE-QS и ARWU 500, определены связи между ними с помощью регрессионных моделей. Показана необходимость критического отношения к результатам рейтингования университетов.
Ключевые слова: рейтинг, университеты, индикаторы, модели. JEL classification: I23, C51.
В наиболее развитых странах в последние годы интенсивно используются рейтинги университетов. Это связано с тем, что естественным итогом расширения спроса и предложения образовательных ресурсов в условиях рыночной экономики стало стремление к коммерциализации и, соответственно, формирование рынка образования. При этом очевидным желанием тех, кто предъявляет спрос на образование, является получение качественных знаний при минимальных затратах, а тех, кто предоставляет эти знания — высших учебных заведений — максимизация дохода при хорошем усвоении знаний учащимися.
Рейтинги университетов базируются на различных критериях оценки, поэтому с их помощью можно определить состояние и уровень конкретных вузов, сопоставить отечественные и зарубежные вузы, выявить тенденции развития системы образования.
В настоящее время существует несколько рейтингов высших учебных заведений: два основных и самых известных — THE-QS World University Rankings (THE-QS) и Шанхайский The Academic Ranking of World Universities (ARWU 500), а также три менее известных — Лейденского университета, Лиссабонский и еще только разрабатываемый рейтинг стран EC (проект U-Multirank). Первые два рейтинга наиболее авторитетны, они отражают специфику
1 Примечание от редакции. В статье подробно анализируются (по данным 2008 - 2009 гг.) показатели, входящие в состав двух наиболее авторитетных рейтингов: THE-QS и ARWU. Следует, однако, отметить, что проект THE-QS прекратил с 2010 года свое существование и распался на два самостоятельных рейтинга: THE и QS. Отдельные выводы авторов, касающиеся, в частности, необходимости разработки новых методологий рейтингования, в той или иной мере уже были реализованы (и продолжают корректироваться) в других глобальных рейтингах, оставшихся вне рамок статьи. Среди них следует упомянуть, в первую очередь, глобальный рейтинг GUR (Global Universities Ranking), явившийся своеобразным ответом российских вузов на существовавшую систему рейтингования. Детальную информацию о глобальных рейтингах университетах и существующих вокруг них проблемах можно найти в статье Е. В. Балацкого, Н. А. Екимовой «Международные рейтинги университетов: практика составления и использования», Журнал Новой Экономической ассоциации, 2010, №9, 150-172; http://journal.econorus.org/pdf/NEA-9.pdf, а также в подробном обзоре рейтингов университетов Европейской aссоциации университетов (EUA) A. Rauhvargers, (2011). "Global university rankings and their impact", http://www.eua.be/pubs/Global_University_Rankings_and_Their_Impact.pdf.
1. Введение
№ 3 (23) 2011
деятельности вузов и дополняют друг друга. При этом данные рейтинги значительно отличаются по системе показателей, используемых для оценки деятельности вузов.
Роль рейтингов университетов достаточно высока, но существуют большие сомнения в их объективности, что подчеркивается в появившихся в последнее время работах европейских экспертов. Методология разработки рейтингов, выбор системы индикаторов, в том числе использование библиометрических показателей, при ранжировании университетов также требует специального рассмотрения.
Следует отметить, что проблемы, связанные с составлением рейтингов университетов, уже около десяти лет привлекают внимание исследователей за рубежом, см., например, (van Raan, 2005), где приведен ряд ссылок на работы 2001 - 2004 гг. В указанной статье отмечается целый ряд проблем, в том числе монополизм источника библиометрических показателей ISI, а также то, что эти показатели очень часто используют некомпетентные специалисты. Кроме того, библиометрический анализ справедлив только в том случае, если в определенной области международные журналы служат доминирующими средствами общения ученых. Отмечается также, что использование индекса цитирования в технических, общественных и гуманитарных науках весьма проблематично. Очевидно также и заметное доминирование университетов США. Очень важной проблемой является явное преобладание статей, написанных на английском языке, и, соответственно, показателей результативности англоязычных авторов, а, следовательно, университетов англоязычных стран. Кроме вышесказанного, существует также проблема точности используемых данных, их значительного расхождения даже в пределах двух смежных годов, см. (Bookstein et al., 2010).
В работе (Bolton, 2010) выделяются две группы проблем: во-первых, проблема выбора и адекватных измерителей для оценки и характеристики различных параметров системы образования, включая научно-исследовательскую и инновационную деятельность в вузах; во-вторых, проблема агрегирования выбранных параметров. Автор данной работы отмечает следующие недостатки доминирующей в настоящее время модели:
• неизбежная скошенность оценок в пользу определенных типов университетов;
• отсутствие адекватных измерителей для вузов, специализирующихся в области гуманитарных и, в большей степени, социальных наук;
• существенная зависимость рейтинга от уровня исследований (особенно проводимых
(5 в области наук о жизни и медицины), размера, уровня дохода и часто от возраста универ-
£ ситета; s '
£ • игнорирование уровня вузов, для которых проведение НИР не является приоритетной
g задачей, т. е. создание образа вуза, занимающего первые места в рейтинге благодаря прове-
^ дению научных исследований, хотя для многих студентов в этом нет необходимости. 2 Вследствие этого сфера исследований становится конкурентом сфере образования, а не ее
£ дополнением. В свою очередь, возникает определенный риск, связанный с тем, что такая
^ ситуация может привести к глобальному ухудшению качества преподавания и уменьше-
■5 нию объема знаний, получаемых студентами по специальностям, где научные исследования
§ не являются определяющим элементом образования.
g В настоящее время в странах EC ведется работа по существенному изменению модели международного рейтинга с целью стимулирования развития университетов в тех направ-
^ лениях, которые требуются обществу, предоставления помощи потенциальным студентам
| в выборе наиболее подходящего для них учебного заведения, обеспечения предоставления
^ государством средств для повышения эффективности системы образования.
№ 3 (23) 2011
Однако, как подчеркивается в (Bolton, 2010), при использовании даже самого совершен- g
§
ного подхода остаются опасности, связанные со стимулированием деятельности универ- § ситетов в направлении достижения не свойственных им целей, с отходом от условий креа- ^ тивной свободы и гибкости, требуемых для передовых учебных заведений, в сторону фор- ^ мирования детализированной системы оценок и баллов, и, наконец, с превращением вузов >g" в своего рода супермаркет, в котором продаются модульные продукты. о В свете сказанного выше представляет интерес исследование двух основных, регулярно § повторяемых рейтингов, а также получение дополнительной полезной информации об используемых факторах, в том числе на основе исследования корреляционной связи между uJ ними с помощью регрессионных моделей. 4
2. Анализ рейтинга THE-QS
Общая характеристика
Международный рейтинг THE-QS (THE-QS World University Rankings) проводится консалтинговой организацией QS (Quacquarelli Symonds) и еженедельником «The Times Higher Education» (приложение газеты «The Times»), начиная с 2004 г. Рейтинг THE-QS в значительной степени основан на экспертных оценках, в 2009 г. в нем участвовали 9386 представителей академического сообщества и 3281 представитель работодателей и рекрутеров (выборка респондентов, участвующих в опросе, увеличивается с каждым годом), при этом оцениваются свыше 2500 университетов. Рассчитывается как общий рейтинг (200 лучших университетов мира), так и рейтинги по специальностям (технические науки, науки о жизни и медицина, естественные науки, гуманитарные дисциплины и социальные науки). При расчете рейтинга каждый показатель учитывается с определенным весовым коэффициентом. В 2010 г. рейтинг THE-QS приобрел новое название: QS World University Rankings, но методология исследования осталась без изменений.
В числе индикаторов качества вуза в рейтинге используются следующие:
• экспертная оценка (peer review score) — обобщенное мнение представителей мировой академической среды (весовой коэффициент равен 0.4);
• оценка работодателей (employer review score) — основана на мнении имеющих ученую степень нанимателей — представителей компаний из различных стран относительно того, выпускников каких вузов они предпочитают приглашать на работу (0.1);
• соотношение числа преподавателей и студентов (staff/student score) — (0.2);
• показатель цитируемости (citations/staff score) — среднее число ссылок на статьи, опубликованные преподавателями вуза, в расчете на одного преподавателя с учетом эквивалента полного рабочего времени; при расчете показателя используется информация реферативной базы данных научных публикаций Scopus, число цитирований научной продукции университета подсчитывается за 5 последних (перед годом подготовки рейтинга) лет (0.2);
• доля иностранных преподавателей (international staff score) в общей численности преподавателей вуза в эквиваленте полного рабочего времени (0.05);
• доля иностранных студентов (international students score) в общей численности студентов вуза по программам полного цикла обучения (0.05).
№ 3 (23) 2011
В десятку лучших вузов мира, согласно рейтингу 2009 г., входят только университеты США и Великобритании: Гарвардский, Кембриджский, Оксфордский, Йельский, Принстон-ский университеты, Лондонский Империал-Колледж, Калифорнийский технологический университет и т. д. Из российских вузов в рейтинг вошли только МГУ им. М. В. Ломоносова (МГУ) — 155 место (в 2008 г. — 183) и Санкт-Петербургский государственный университет (СПГУ) — 168 место (в 2008 г. — 224). В 2004 г., когда впервые был составлен данный рейтинг, МГУ занимал 92 место, а СПГУ в рейтинг не вошел.
Следует отметить, что по опубликованным предварительным данным за 2010 г. в число лучших 200 вузов мира не вошел ни один российский вуз, а первая десятка лидеров изменилась несущественно.
В целом, среди 200 университетов в 2009 г. доля вузов США составляла 27% от общего числа (54 вуза), Великобритании — 14.5% (29), Канады, Японии и Нидерландов — по 5.5% (11), России — 1% (2), см. рис. 1.
30 --
20 --
10
54
29
11 11 11
10
5 5 5
ПППППпПпппА
22
222
п , п , гп
< =
и
ч й х
* х х 3 3
1=
* а и
И
I
© о.
-
и
■■с
х
5
х К
О
5
0
а
ф щ
$
£ со
Й >5
Ф
а
Й 2
1 и
о »
о о
£ Щ
ч
и
$ ч
Страна
Рис. 1. Количество ведущих университетов мира по странам (расчет по данным THE-QS)
Дополнительную информацию дает анализ кумулятивного распределения и плотности распределения вузов по 20 группам (каждая группа включает 10 вузов; первая группа — вузы с наибольшим рейтингом, 20-ая группа — с наименьшим) с выделением вузов США, Европы и Азии (рис. 2а, б), англоязычных и неанглоязычных стран (рис. 3а, б), стран, использующих и не использующих латиницу (рис. 4а, б).
Как видно из графиков, в числе первых 90 вузов США лидируют в количественном отношении, а общее число лучших вузов стран Азии значительно отстает от количества вузов Европы и США (рис. 2). Количество вузов англоязычных стран существенно превышает число вузов неанглоязычных стран (рис. 3). Наибольший разрыв наблюдается в количестве вузов стран, использующих и не использующих латиницу (рис. 4). Эти особенности представительности вузов различных стран в рейтинге подчеркивают проблему использования
60
60
50 --
40 --
9
7
0
I №
3 (23) 2011
отдельных индикаторов, в частности, показателей числа статей (см. ниже о рейтинге ARWU 500) и цитируемости (об этом подробно рассказано в (Игра в цыфирь, 2011)).
90 80 70 60 50 40 30 20 10 0
США 10 1
Европа 8 -
Азия
6 Л
4 II
2 -
0 -1-
I £
1
0 со
1
а со ни
3 5 7 9 11 13 15 17 19
а)
1 3 5 7 9 11 13 15 17 б)
19
Рис. 2. Кумулятивное распределение (а) и плотность распределения (б) вузов США, Европы и Азии по 20 группам
90 80 70 60 50 40 30 20 10 0
США Европа Азия 10 1
8 -
6 Л
4 ■! 2 -
0 -1-
3 5 7 9 11 13 15 17 19
а)
1 3 5 7 9 11 13 15 17 б)
19
Рис. 3. Кумулятивное распределение (а) и плотность распределения (б) вузов англоязычных и прочих стран по 20 группам
180 160 140 120 100 80 60 40 20 0
12
Страны, 10
использующие 8
латиницу
Прочие 6
4
2
0
Уч.
3 5 7 9 11 13 15 17 19
а)
1 3 5 7 9 11 13 15 17 19 б)
Рис. 4. Кумулятивное распределение (а) и плотность распределения (б) вузов стран, использующих и не использующих латиницу, по 20 группам
1
№ 3 (23) 2011
Российские университеты в рейтинге
Два российских вуза, попавшие в число первых 200 вузов по данным 2009 г. — МГУ (155 место) и СПГУ (168 место). Среди европейских вузов они занимают, соответственно, 61 и 70 место, а среди неанглоязычных — 66 и 73 (табл. 1).
Представляет интерес отдельное рассмотрение показателей, определивших общие места российских университетов среди двухсот ведущих вузов мира, а также среди европейских вузов и вузов неанглоязычных стран.
Так, в общем рейтинге по показателю «Экспертная оценка» МГУ занимает 91 место, а СПГУ — 144 место. По показателям «Оценка работодателей» — 110 и 129; «Соотношение числа преподавателей и студентов» — 165 и 23 (следует отметить, что значения данного показателя в рейтинге вызывают сомнения у руководства МГУ (NEWSru, 2008)); «Показатель цитируемости» — 183 и 198; «Доля иностранных преподавателей» — 73 и 197 и «Доля иностранных студентов» — 134 и 188 места соответственно (см. табл. 1).
Два показателя — «Показатель цитируемости» и «Соотношение числа преподавателей и студентов» вызывают определенные сомнения. Первый — потому, что использование биб-лиометрических показателей для неанглоязычных вузов заведомо снижает их место в рейтинге (по этому поводу имеется много публикаций, см., например, (Варшавский, Маркусо-ва, 2009; Варшавский, 2011)), а второй, по мнению ректора МГУ В. Садовничего, для МГУ является необъективным, см., например, (Агранович, 2010).
Поэтому представляет интерес расчет места вузов в рейтинге без учета этих двух показателей. Результаты такого расчета с учетом весовых коэффициентов для каждого показателя представлены в табл. 2 (названия вузов приведены на английском языке).
Таким образом, без учета двух показателей «Соотношение числа преподавателей и студентов» и «Показатель цитируемости» МГУ поднялся бы со 155 на 87 место, а СПГУ практически остался на прежней позиции — перешел бы со 168 на 172 место (более подробно см. (Варшавский, Комкина, 2011)).
Таблица 1. Места МГУ и СПГУ по отдельным показателям в общем рейтинге среди 200 ведущих университетов, среди европейских вузов и вузов неанглоязычных стран
Показатели В общем рейтинге Среди европейских Среди неанглоязычных
§ вузов вузов
МГУ СПГУ МГУ СПГУ МГУ СПГУ
Экспертная оценка 91 144 33 54 41 67
Оценка работодателей 110 129 39 49 34 44
Соотношение числа преподавателей 167 23 74 13 77 11
и студентов
Показатель цитируемости 183 198 79 85 77 89
Доля иностранных преподавателей 73 197 40 84 20 88
Доля иностранных студентов 134 188 73 85 52 80
Общее место 155 168 61 70 66 73
^ Источник: расчеты авторов по данным "ЩЕ^Б, 2009 г.
Таблица 2. Скорректированные места лучших вузов мира и России без учета показателей «Соотношение числа преподавателей и студентов» и «Показатель цитируемости»
Расчетное место (без учета двух показателей) Место в рейтинге 2009 г. с учетом всех показателей Страна Университет
1 5 Великобритания Imperial College London
2 2 Великобритания University of Cambridge
3 5 Великобритания University of Oxford
4 30 Сингапур National University of Singapore
5 36 Австралия University of Sydney
6 4 Великобритания University College London
7 17 Австралия Australian National University
8 45 Австралия Monash University
9 1 США Harvard University
10 8 США Princeton University
11 3 США Yale University
12 7 США University of Chicago
13 36 Австралия University of Melbourne
14 18 Канада McGill University
15 20 Великобритания University of Edinburgh
87 155 Россия Lomonosov Moscow State University
172 168 Россия Saint-Petersburg State University
Источник: расчеты авторов по данным THE-QS, 2009 г.
В рейтинге THE-QS по предметным областям представлены данные для 100 вузов (TOP-100). В области «Естественные науки» МГУ в 2009 г. занял 30 место (в 2008 г. — 29), СИГУ — 65 место (в 2008 г. — 81). Среди лучших 100 университетов российские вузы не были представлены по таким направлениям, как биомедицина и науки для жизни, социальные науки, технология, гуманитарные науки.
Следует отметить, что в данном рейтинге за последние два года заметен рост числа азиатских университетов, в частности из Китая и Южной Кореи. Университеты из этих стран, так же как из Германии, Франции, Скандинавии стали вводить программы English Language Teacher Development Project (ELTDP) для привлечения иностранных студентов и преподавателей и снижения оттока студентов из своих стран.
№ 3 (23) 2011
Точность определения показателей рейтинга THE-QS (оценка по данным за 2008 -2009 гг.)
В статье (Bookstein et а1., 2010) было показано, что отдельные индивидуальные индикаторы университетов, в частности, общий балл (по которому определяется рейтинг), соотношение учащихся и преподавателей, экспертная оценка характеризуются очень высоким уровнем флуктуации для двух последовательных лет. Этот факт свидетельствует, по мнению авторов, о проблемах, возникающих при использовании этих показателей и о точности составления рейтингов университетов.
В данной работе также подтверждается значительная флуктуация всех используемых в рейтинге ТНЕ^Б показателей для двух последовательных лет и рассчитываются средние значения и стандартные отклонения изменения каждого показателя в 2008 - 2009 гг. Приводимые ниже результаты для рассмотренных показателей свидетельствуют об определенных закономерностях, которые характеризуются во многих случаях повышением стандартного отклонения и абсолютной величины средних значений изменения показателя за два смежных года при понижении ранга университета.
На рисунках 7а-13а Приложения представлены показатели для всех университетов за 2008 и 2009 гг., свидетельствующие о разбросе оценок за два смежных года (при стабильных рейтингах все точки должны находиться на прямой с углом наклона 45°). На рисунках 7б-13б Приложения показано изменение среднего значения разности показателей, а на рис. 7в-13в — стандартного отклонения изменения показателей, использовавшихся в рейтингах 2008 и 2009 гг., для восьми последовательных групп (каждая группа включает 25 университетов) как для общей выборки, так и для университетов неанглоязычных и англоязычных стран (группы построены по данным 2008 г.). В таблице 3 приведены вузы, для которых было отмечено значительное изменение показателей рейтингов ТНЕ^Б в 2008 - 2009 гг.
Таблица 3. Университеты со значительным изменением показателей рейтинга ТНЕ^Б в 2008 - 2009 гг.
s
0 а
ф щ
s
£ со
s t
s
>S
Ф
а
Й 2
1 и
о t
о
о £
eg
4 M
5
ч ч
Выборка Группа Университет Страна 2008 2009 % изменения
Общий балл
неанглоязычные 7 Pohang University of Science Южная Корея 56 63 12.12
страны and Technology
8 University of Oslo Норвегия 58 68 17.24
англоязычные 6 University of Sussex Великобритания 64 58 -9.52
страны University of California, Irvine США 64 59 -7.52
Texas A&M University США 63 57 -9.58
Экспертная оценка
неанглоязычные 4 Chulalongkom University Таиланд 79 89 12.66
страны 6 University of Oslo Норвегия 67 77 14.83
Universite Pierre et Marie Curie Франция 66 76 15.15
Paris VI
8 Pohang University of Science and Technology Южная Корея 37 53 43.24
№ 3 (23) 2011
Продолжение табл. 3
Выборка Группа Университет Страна 2008 2009 %
изменения
англоязычные 3 McMaster University Канада 86 75 -12.79
страны 4 University of California, Davis США 84 76 -9.52
University of California, Irvine США 80 71 -11.25
Rutgers. The State University of США 79 69 -12.66
New Jersey
6 Emory University США 62 51 -17.74
7 Vanderbilt University США 53 43 -18.87
8 University of Aberdeen Великобритания 44 54 22.73
Оценка работодателей
неанглоязычные 6 Technical University of Munich Германия 59 90 52.54
страны Nagoya University Япония 58 77 32.76
7 University of Oslo Норвегия 41 62 51.22
англоязычные 6 University of Leicester Великобритания 59 48 -18.64
страны University of Maryland, College Park США 56 34 -39.29
Rice University США 55 44 -20.00
University of Arizona США 55 44 -20.00
University of Sussex Великобритания 54 44 -18.52
8 University of Rochester США 33 20 -39.39
Соотношение числа преподавателей и студентов
неанглоязычные 3 Ludwig-Maximilians Германия 69 34 -50.72
страны University, Munich
Indian Institute of Technology Индия 69 46 -33.33
Delhi
4 Nanjing University Китай 66 41 -37.88
Humboldt University of Berlin Германия 64 36 -43.75
5 University of Oslo Норвегия 57 85 49.12
англоязычные 6 University of Illinois at США 43 23 -46.51
страны Urbana-Champaign
7 University of California, США 35 17 -51.43
San Diego
8 University of Toronto Канада 18 63 250.00
Показатель цитируемости
неанглоязычные 1 Ecole Normale Supérieure, Paris Франция 99 53 -46.46
страны 2 University of Lausanne Швейцария 85 67 -21.18
6 Ludwig-Maximilians Германия 51 76 49.02
University, Munich
8 Humboldt University of Berlin Германия 36 51 41.67
англоязычные 1 University of Toronto Канада 100 74 -26.00
страны 5 University of Calgary Канада 63 100 58.73
№ 3 (23) 2011
Окончание табл. 3
Выборка Группа Университет Страна 2008 2009 % изменения
Доля иностранных преподавателей
неанглоязычные 5 University of Helsinki Финляндия 51 29 -43.14
страны 7 Freiburg University Германия 26 51 96.15
8 Tsinghua University Китай 23 45 95.65
Lomonosov Moscow State Россия 17 76 347.06
University
англоязычные 2 University of Glasgow Великобритания 95 58 -38.95
страны 4 Purdue University США 60 94 56.67
5 University of Pittsburgh США 42 73 73.81
6 University of Illinois at Urbana-Champaign США 37 72 94.59
Tufts University США 37 100 170.27
7 University of Calgary Канада 24 47 95.83
Доля иностранных студентов
неанглоязычные 5 Erasmus University Rotterdam Нидерланды 50 65 30.00
страны University of Twente Нидерланды 50 66 32.00
6 City University of Hong Kong Гонконг 43 60 39.53
7 Lomonosov Moscow State University Россия 25 44 76.00
University of Groningen Нидерланды 34 49 44.12
Fudan University Китай 32 47 46.88
англоязычные 3 University of Pennsylvania США 79 60 -24.05
страны 4 Northwestern University США 61 100 63.93
5 University of Waterloo Канада 54 41 -24.07
В
В Представленные графики и результаты расчетов свидетельствуют о следующем: £ • погодовые изменения общего балла и отдельных показателей рейтингов для двух смежна ных годов (в данном случае 2008 и 2009 гг.) часто значительно возрастают по мере умень-^ шения, а иногда и повышения рейтинга вуза, т. е. его общего балла, что, на наш взгляд, сви-2 детельствует о неточности оценки показателей для вузов, занимающих места с 70 по 200; £ • в среднем значения общего балла в 2009 г. снижаются по сравнению с 2008 г. для не-^ англоязычных вузов, что также вызывает определенные сомнения в точности оценок; ■5 • соотношение числа преподавателей и студентов университетов, а также доля иностран-§ ных преподавателей в двух последовательных рейтингах характеризуется значительными £ стандартными отклонениями, что требует специального исследования показателя, т. к. при стабильном штатном расписании, программе курсов и численности приема студентов это-^ го быть не должно;
| • значительные стандартные отклонения изменения показателя цитируемости для вузов,
^ занявших места в первых группах, требуют специального обоснования, т. к. показатель ци-
I №
3 (23) 2011
тируемости — это кумулятивный (интегральный) показатель за много лет; поэтому значи- -с
тельные его изменения за два смежных года вызывают у специалистов большое недоверие |
к методологии сбора показателей для рейтинга. £
Таким образом, отмеченные выше особенности рейтингов двух смежных лет ставят под
сомнение точность определения используемых показателей и свидетельствуют о большой >|"
вероятности существенного изменения рейтинга вуза в результате неточного сбора первич- о
ной информации. §
Анализ взаимосвязи показателей рейтинга THE-QS
Большой интерес представляет исследование взаимосвязи важнейших показателей рейтинга THE-QS. Ниже показано, что результаты эконометрического моделирования также свидетельствуют о необходимости пересмотра используемой методологии.
Моделирование проводилось с помощью цензурированной регрессионной модели — то-бит-модели. Во все представленные далее модели включались только значимые факторы со значением z-статистики не ниже 2. Для сравнения моделей применялись также критерии Акаике и Шварца (Akaike info criterion, Schwarz criterion). Данные для моделирования были взяты из рейтинга высших учебных заведений THE-QS за 2009 г. (THE).
При моделировании использовались следующие показатели: экспертная оценка, оценка работодателей, соотношение числа преподавателей и студентов, показатель цитируемости, доля иностранных преподавателей, доля иностранных студентов. В первую очередь, проводилось исследование взаимосвязи между внешними и внутренними показателями вузов. К внешним можно отнести такие показатели, как экспертная оценка, оценка работодателей, доля иностранных студентов. К внутренним — соотношение числа преподавателей и студентов, показатель цитируемости, доля иностранных преподавателей.
Полученные на основе перечисленных факторов зависимости приведены ниже.
Оценка работодателей
Представляется, что анализ зависимости показателя «Оценка работодателей» от других факторов наиболее интересен, т. к. именно она позволяет получить сведения о качестве подготовки среднего специалиста в данном вузе. Результаты моделирования приведены в табл. 4. Для повышения точности оценок было проведено также моделирование для двух усеченных выборок вузов — без десяти и без двадцати вузов, занявших первые места в рейтинге (табл. 5). В этом случае значимость оценок параметра при факторе цитируемости значительно повышается. Следует отметить, что оценка с помощью метода наименьших квадратов дала близкий результат.
Как видно, оценка работодателями вуза тем больше, чем выше его экспертная оценка. На оценку работодателей оказывает положительное влияние соотношение числа преподавателей и студентов, а также международное признание (более высокая доля иностранных студентов и преподавателей). Возможно, последнее связано с тем, что иностранные студенты выбирают вузы, имеющие высокую репутацию как среди студентов, так и среди работодателей.
Необходимо отметить, что оценка работодателей негативно коррелирована с показателем цитируемости. Это означает, что для работодателей количество ссылок в расчете на одного
а
CQ ai «i
№ 3 (23) 2011
преподавателя не только не является важным, но, более того, оказывает отрицательное влияние на их оценку уровня подготовки вузом студентов, принимаемых ими на работу. Для полноты картины в табл. 4 и 5 представлены все исследовавшиеся модели. Основными из них являются модель 1 (табл. 4) и модель 3 (табл. 5), дающие достаточно достоверные оценки показателей (что видно по небольшим значениям стандартных ошибок, свидетельствующим о состоятельности оценок). Остальные модели приведены лишь для того, чтобы подтвердить отрицательную корреляцию этого фактора с показателем. Можно утверждать, что данный результат является еще одним доказательством того, что показателю цитируемости, т. е. научной продуктивности (результативности) преподавателей вузов не следует придавать большой вес в рейтингах вузов.
Таблица 4. Связь показателя «Оценка работодателей» и используемых в общем рейтинге факторов. Зависимая переменная — оценка работодателя
Регрессоры Модель 1 Модель 2 Модель 3 Модель 4
Константа 4.69* 7.43 6.04
(0.86) (0.59) (0.74)
Экспертная оценка 0.75* (0.07)
Соотношение числа преподавателей и студентов 0.13** (0.05) 0.1* (0.04)
Показатель цитируемости - 0.16** (0.06) - 0.001*** (0.04) - 0.026*** (0.043) -0.01 (0.04)
Доля иностранных преподавателей 0.4* (0.12) 0.41 (0.13)
Доля иностранных студентов 0.27* (0.05)
*, **, *** — значимость на 10%, 5% и 1%-ном уровнях соответственно. В скобках указаны стандартные ошибки.
5
0
а ф
со $
£ со
Й >5
Ф
а
Й 2
1 о
о »
о о
£ со
Ч
и
$
Ч Ч
Таблица 5. Связь показателя «Оценка работодателей» для двух неполных выборок вузов (без 10 и без 20 лучших вузов) и используемых в рейтинге факторов. Зависимая переменная — оценка работодателя
Регрессоры Без 10 лучших вузов Без 20 лучших вузов
Модель 1 Модель 2 Модель 3
Константа 6.05* 6.90* 7.26*
(0.95) (0.74) (0.73)
Соотношение числа преподавателей 0.05***
и студентов (0.04)
Показатель цитируемости - 0.05*** - 0.06*** - 0.12*
(0.04) (0.04) (0.04)
Доля иностранных преподавателей 0.31** 0.28** 0.33**
(0.13) (0.12) (0.13)
— значимость на 10%, 5% и 1%-ном уровнях соответственно. В скобках указаны стандартные ошибки.
I №
3 (23) 2011
Экспертная оценка и
В отличие от оценки работодателей, экспертная оценка положительно коррелирована |
с показателем цитируемости, так же как и с соотношением числа преподавателей и студен- ^ тов и долей иностранных преподавателей (табл. 6). Это объясняется, очевидно, тем, что
контингент экспертов в большей своей части выбирается из числа профессоров и препода- >|"
вателей вузов. о
и
Таблица 6. Связь показателя «Экспертная оценка» и используемых в общем рейтинге ^
факторов. Зависимая переменная — экспертная оценка иц -
Регрессоры Модель 1
Соотношение числа преподавателей и студентов 0.65*
(0.11)
Показатель цитируемости 1.27*
(0.11)
Доля иностранных преподавателей 1.74*
_(041)_
* — значимость на 10%-ном уровне. В скобках указаны стандартные ошибки.
Доля иностранных студентов
Анализ результатов моделирования (табл. 7) показывает, что доля иностранных студентов увеличивается при росте доли иностранных преподавателей, соотношения числа преподавателей и студентов, а также показателя цитируемости. Именно эти показатели обеспечивают рекламу вуза, рост его престижа за рубежом.
Таблица 7. Связь показателя «Доля иностранных студентов» и используемых в общем рейтинге факторов. Зависимая переменная — доля иностранных студентов
Регрессоры Модель 1
Соотношение числа преподавателей и студентов 0.06*
(0.01)
Показатель цитируемости 0.03**
(0.01)
Доля иностранных преподавателей 0.64* _(005)_
*, ** — значимость на 10% и 5%-ном уровнях соответственно. В скобках указаны стандартные ошибки.
Таким образом, полученные результаты свидетельствуют о противоречивости выбранной методологии оценки рейтингов: с одной стороны, работодатели негативно относятся к научной деятельности профессорско-преподавательского состава, а с другой стороны, показатели цитирования способствуют лучшему рекламированию вуза и, соответственно, получению большего дохода от его деятельности, т. е. коммерциализации образования.
№ 3 (23) 2011
3. Анализ рейтинга ARWU 500
Общая характеристика
Международный рейтинг университетов ARWU 500 (The Academic Ranking of World Universities) разрабатывается Шанхайским университетом (Shanghai Jiao Tong University), начиная с 2003 г. При этом исследуются 500 лучших вузов мира, первые 100 ранжируются, а остальные 400 попадают в кластеры по 50 или 100 вузов в алфавитном порядке. Рассчитывается как общий рейтинг, так и рейтинги по отдельным специальностям.
В этом рейтинге учитываются следующие количественные и качественные показатели (каждый из них взвешивается с определенным весовым коэффициентом):
• общее число выпускников вуза (получивших степень бакалавра, магистра или доктора), награжденных Нобелевской премией или медалью Филдса (Alumni), при этом «вес выпускника» устанавливается в соответствии с периодами присуждения степени: после 1991 г. он равен 1, в 1981 - 1990 гг. — 0.9 и т. д. (весовой коэффициент показателя равен 0.1);
• общее число сотрудников вуза, получивших Нобелевскую премию или медаль Филдса (Award) во время работы в вузе, при этом «вес сотрудника» устанавливается в соответствии с периодами получения этой награды: после 2001 г. он равен 1, в период 1991 - 2000 гг. — 0.9 и т. д.; если Нобелевская премия была присуждена группе лиц, то для каждого члена группы учитывается его доля приза (0.2);
• число часто цитируемых исследователей, работающих в 21 предметной области (HiCi) — данный показатель основан на данных ISI (Institute of Scientific Information) (0.2);
• количество научных статей, опубликованных в журналах Nature и Science (N&S) за пять последних лет (0.2);
• общее число научных статей (PUB), вошедших в Science Citation Index-expanded (SCIE) и/или Social Science Citation Index (SSCI) (0.2);
• общий балл вуза в расчете на одного преподавателя (удельный балл вуза) (PCP) — результат деления суммы баллов по предыдущим пяти показателям на численность академического персонала в эквиваленте полной рабочей ставки; если численность академического
SS персонала вуза не может быть получена, то используются взвешенные оценки предыдущих £ пяти показателей (0.1).
Ü После подсчета значений показателей по всем вузам, для каждого показателя определяла ется вуз, получивший самый высокий балл, значение его показателя приравнивается к 100
^ баллам, а оценки других вузов рассчитываются как процент от максимальной оценки. §
1
£ Российские университеты в рейтинге
| В рейтинге ARWU 500 за 2009 г. МГУ занял 77 место (в 2008 г. — 70), а СПГУ попал
g в группу вузов с 303 по 401 место (места присваиваются только лучшим 100 вузам, а ос-
Ii тальные вузы разбиваются на однородные группы с числом вузов от 50 до 100). В 2003 г.
j} МГУ занимал 101 - 200 место, а СПГУ — 401 - 500.
| Согласно рейтингу ARWU 500, среди 100 лучших вузов мира присутствует 1 универси-
^ тет России, а в числе 500 лучших вузов — 2 университета. В то же время для США эти по-
I №
3 (23) 2011
казатели равны 55 и 152, для Великобритании — 11 и 40, Германии — 5 и 37, Японии — 4 и 31 соответственно (рис. 5).
В рейтинге ARWU 500 по предметным областям представлен только МГУ, который в области «Естественные науки и математика» в 2009 г. оказался среди вузов, занявших 53 - 76 места (в 2008 г. — 50, в 2007 г. — 41 место). В рейтингах по таким предметным областям, как «Техника, технологии и компьютер», «Науки о жизни и сельское хозяйство», «Медицина» и «Социальные науки» ни один российский вуз не вошел в сотню лучших.
140 120 100 80 60 40 20 0
152
I £
IS
0 со
1
а со ai «ï
Страна
Рис. 5. Число ведущих университетов мира по странам (расчет по данным рейтинга ARWU 500)
160
Представляет интерес анализ места МГУ среди ста ведущих университетов мира по отдельным показателям рейтинга ARWU 500. Проведенное исследование для каждого показателя дало следующие результаты.
По показателям «Общее число сотрудников вуза, получивших Нобелевскую премию или медаль Филдса» и «Общее число сотрудников вуза, получивших Нобелевскую премию или медаль Филдса», МГУ занимает высокие места — 12 и 25 места соответственно. По другим показателям он занимает следующие места: «Общее число статей, вошедших в SCIE и/или SSCI» — 65 место; «Удельный балл вуза» — 37 место.
Основные потери в рейтинге для МГУ вызваны тем, что по показателям «Количество статей, опубликованных в журналах Nature и Science» и «Число часто цитируемых исследователей, работающих в 21 предметной области» он занимает последнее, 100-ое место (абсолютные значения этих показателей равны 1.6 и 0 соответственно).
При исключении показателей «Количество статей ...» и «Число часто цитируемых исследователей ...» МГУ поднялся бы в общем рейтинге, как показывают расчеты настоящего исследования, с 77 на 23 место (см. табл. 8). Расчеты также показывают, что при исключении из «Удельного балла» этих двух показателей (поскольку они в нем участвуют, см. выше) МГУ по показателю «Удельный балл» поднимается с 37 на 9 место.
Следует отметить, что среди европейских вузов и вузов неанглоязычных стран МГУ занимает высокое место как по общему рейтингу, так и по отдельным показателям: среди
\Л
№ 3 (23) 2011
европейских вузов — 17, среди неанглоязычных — 21, а при исключении двух указанных выше показателей — 7 и 5 место соответственно (см. табл. 8).
Таблица 8. Место МГУ в общем рейтинге по отдельным показателям среди 100 ведущих университетов, среди европейских вузов и вузов неанглоязычных стран
Показатели
Общий рейтинг
Европейские вузы Неанглоязычные вузы
Общее число выпускников вуза, 12
получивших Нобелевскую премию или медаль Филдса
Общее число сотрудников вуза, 25
получивших Нобелевскую премию или медаль Филдса
Число часто цитируемых 100
исследователей, работающих в 21 предметной области
Количество статей, опубликованных 100
в журналах Nature и Science
Общее число статей, вошедших 65 в SCIE и/или SSCI
Удельный балл вуза 37
Все показатели (место в рейтинге) 77
Все показатели, за исключением 23
«Число часто цитируемых исследователей...» и «Количество статей...» (расчетное место)
4
32
32
17
13 17 7
2
30
30
16
9 21 5
Источник: расчеты авторов по данным ARWU 500 за 2009 г. (ARWU).
s
0 а
ф щ
s
£ со
2 t
S
>s
ф
а
Й 2
1 и
о t о о
£ eg
4 M
5 Ч
ч
Следует отметить, что помимо МГУ, большинство университетов из неанглоязычных стран повышают свое место в рейтинге при исключении данных показателей. Таким образом, расчеты показывают, что показатели «Количество статей, опубликованных в журналах Nature и Science» и «Число часто цитируемых исследователей, работающих в 21 предметной области» дают преимущество англоязычным странам. Связано это с тем, что в базах данных SCIE и/или SSCI в основном учитываются англоязычные статьи, и это значительно снижает объективность данного рейтинга.
Точность определения показателей рейтинга ARWU 500 (оценка по данным за 2008 -2009 гг.)
Как показал анализ, аналогичный проделанному выше, показатели рейтинга ARWU 500 за 2008 - 2009 гг. были, в отличие от рейтинга THE-QS, в основном достаточно стабильны. Это, в первую очередь, относится к оценкам общего места вузов; общего числа выпускников вуза, получивших Нобелевскую премию или медаль Филдса; общего числа часто цитируемых исследователей, работающих в 21 предметной области; количества статей, опуб-
6
4
№
3 (23) 2011
ликованных в журналах Nature и Science университетов; общего числа статей, вошедших в SCIE и/или SSCI.
Однако удельный балл для некоторых вузов изменился в рейтинге ARWU 500 за 2009 г. значительно (рис. 6).
100 -, 90 80 70 60 50 40 30 20 10
♦ ♦
100 90 80 70 60 50 40 30 20
50 60 2008 г.
♦ ♦
30 40
60 70 2008 г.
Регрессоры Модель 1 Модель 2
Константа - 6.53**
(3.07)
Общее число сотрудников вуза, 0.23* 0.21*
получивших Нобелевскую премию или (0.04) (0.04)
медаль Филдса
Число часто цитируемых исследователей, 0.52* 0.56*
работающих в 21 предметной области (0.06) (0.06)
Общее число статей, вошедших в SCIE 0.25* 0.12*
и/или SSCI (0.07) (0.04)
Ï £
IS
0 со
1
а со ai ч
а) для всех вузов (с 1 по 100) б) для вузов (с 1 по 32)
Рис. 6. Значения показателя «Удельный балл» в рейтингах 2008 и 2009 гг.
Анализ взаимосвязи показателей рейтинга ARWU 500
Среди показателей, используемых в рейтинге ARWU 500, с точки зрения моделирования наибольший интерес представляет показатель «Количество статей, опубликованных в журналах Nature и Science», как наиболее весомый в библиометрии показатель. В таблице 9 приведены результаты эконометрического моделирования, данные для которого были взяты из рейтинга ARWU 500 за 2009 г. (ARWU).
Полученные результаты достаточно очевидны — количество статей, опубликованных в журналах Nature и Science, повышается с ростом: общего числа сотрудников вуза, награжденных Нобелевской премией или медалью Филдса; числа часто цитируемых исследователей, работающих в 21 предметной области; общего числа статей, вошедших в SCIE и/или SSCI; удельного балла вуза.
Таблица 9. Связь показателя «Количество статей, опубликованных в журналах Nature и Science» и используемых в рейтинге факторов. Зависимая переменная — количество статей, опубликованных в журналах Nature и Science. Тобит-регрессия.
: — значимость на 10% и 5%-ном уровнях соответственно. В скобках указаны стандартные ошибки.
50
80
90
100
10
20
30
40
70
80
90
100
№ 3 (23) 2011
4. Заключение
На основании анализа данных двух основных мировых рейтингов вузов можно сделать следующие выводы.
Использование библиометрических показателей выводит на лидирующие позиции англоязычные вузы, в первую очередь, вузы США, что указывает на определенную необъективность применяемых методик рейтингования. При этом места неанглоязычных вузов, в том числе российских, искусственно занижаются.
Важно подчеркнуть, что, как показывают результаты проведенного эконометрического моделирования, работодатели, по-видимому, негативно относятся к публикационной активности преподавателей вузов.
Полученные результаты в определенной степени подтверждают нацеленность использования рейтингов вузов на коммерциализацию образования, что противоречит общечеловеческим этическим нормам и принципам.
Нужно критически относиться к результатам рейтингования вузов, на чем настаивают также многие зарубежные исследователи.
Целесообразно разработать новую методологию рейтингования вузов для неанглоязычных стран, в первую очередь, России, стран СНГ и стран ЕС.
Необходима разработка базы данных, содержащей библиометрическую информацию о работах российских авторов.
Следует также отметить, что стремление значительно расширить научные исследования в вузах не может привести к заметному повышению эффективности образования и науки, т. к. прямая обязанность вузов (об этом говорится, например, в докладе Лиги европейских исследовательских университетов, в которую входят 22 ведущих вуза стран ЕС) — прежде всего обучение студентов, а не научно-исследовательская деятельность (Варшавский, 2011).
Список литературы
о
¡5 Агранович М. (2010). Восхождение на пик МГУ. Российская газета, 20 января 2010 г.
о Варшавский А. Е. (2011). Проблемы науки и ее результативность. Вопросы экономики, 1, 151 - 157.
® Варшавский А., Маркусова В. (2009). Потрачено с умом. Результативность научного труда в Рос-
£ сии выше, чем в Америке. Поиск, 21, 27 мая 2009 г., 14.
Щ
2 Варшавский А. Е., Комкина Т. А. (2011). Проблемы объективности международных рейтингов £ университетов. Вестник университета, Государственный университет управления (в печати).
а Игра в цыфирь. (2011). Игра в цыфирь, или как теперь оценивают труд ученого (сборник ста-
3 тей о библиометрике). М.: МЦНМО.
° ARWU. The Academic Ranking of World Universities. http: //www.arwu.org/. о
° Bolton G. (2010). University rankings: diversity, excellence and the European initiative. League of S5
о European Research Universities, June.
s Bookstein F., Seidler H., Fieder M., Winckler G. (2010). Too much noise in the Times Higher Edu-
g cation rankings. Scientometrics, 85 (1), 295 - 299.
I №
3 (23) 2011
NEWSru. (2008). http://www.newsru.com/, 20 октября 2008 г.
THE. Times Higher Education World University Rankings. http://www.timeshighereducation.co.uk/.
!
van Raan A. F. J. (2005). Fatal attraction: Conceptual and methodological problems in the ranking of £
universities by bibliometric methods. Scientometrics, 62 (1), 133 - 143.
ПРИЛОЖЕНИЕ £
Графики по отдельным показателям рейтинга THE-QS иц
ч
На рисунках 7 - 13 представлены графики характеристик отдельных показателей, использовавшихся в рейтингах университетов за 2008 и 2009 гг. Эти графики, состоящие из трех частей, демонстрируют:
а) разброс оценок соответствующего показателя за два смежных года (при стабильных рейтингах все точки должны находиться на прямой с углом наклона 45°) по общей выборке всех вузов;
б) среднее значение разности показателей (т);
в) стандартное отклонение разности показателей
для восьми последовательных (п) групп (каждая группа включает 25 университетов в порядке убывания мест) как для общей выборки, так и для университетов неанглоязычных и англоязычных стран (разбиение на группы произведено по данным 2008 г.).
100 -
90 -
g 80-о
70 -60 -50 -
а) разброс оценок
1
2
- 3
ЧГ,
б) средняя разность
8 1 7 -6 -5 4 3 2 -1 . 0
1 2 3 4 5 6 7 8
в) стандартное отклонение разности
Рис. 7. Значения общего балла и его характеристик по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
50
60
70
80
90
100
№ 3 (23) 2011
6 -5 -4 -3 -2 -1 -0 -1 -2 -3
100 -90 -80 70 60 -50 -40 30
30 40
60 70 80 90
а) разброс оценок
3 4 . .£<' 7 VI
^ i
б) средняя разность
1 2 3 4 5 6 7 8
в) стандартное отклонение разности
Рис. 8. Значения экспертной оценки и ее характеристик по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
2008 г
50
100
и
S
0
а ф со
s
£ со 2
£
>s
ф
а
Й 2
1 со о í о о
£ со
4
и
5
ч
10
8 -6
4 -2 -0 -2 J -4
100 90 80 70 60 50 40 30 20 10
2008 г.
10 20 30 40 50 60 70 80 90 100
а) разброс оценок
■2
Л > *
/ \ / 3
/ А ^ '
Ж
14 12 10
8 -6 -4 -2 -0
1
4 5 6 7 8 n
б) средняя разность
в) стандартное отклонение разности
Рис. 9. Значения оценки работодателей и ее характеристик по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
1
2
3
n
3 (23) 2011
100 90 80
и 70 60
о
™ 50 40 30 20 10
8 1
6 m Л
4-/ 2
10 20 30 40 50 60 70 80 90 100
а) разброс оценок
20 т 15 -10 -5
0«-
1
2 3
4 5 n
б) средняя разность
в) стандартное отклонение разности
Рис. 10. Значения соотношения числа преподавателей и студентов и его характеристик
по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
! £
1
0 со
1
а
CQ ai
100
90 -
80 -
£ 70 о
° 60 50 40 -30 -20
20
60 70 80 90 100
а) разброс оценок
m
и *
i 2 Т 4 5 >ч' ^L^ j
- n
-•-1
■-Ш--2 -■к-3
18 *
16 14
12 -10 8 6 4 2 -0
1
4 5 n
б) средняя разность
в) стандартное отклонение разности
Рис. 11. Значения показателя цитируемости и его характеристик по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
6
7
8
30
40
50
2
3
6
7
8
№ 3 (23) 2011
100 -90 -80 -70 -60 -50 -40 -30 -20 -
10 -I-1-1-1-1-1-1-1-1-1
10 20 30 40 50 60 70 80 90 100
2008 г
а) разброс оценок
25 т
3 -1 -1
20 15 -10 -5 -0
1 2 3 4 5 6 7 8 n
б) средняя разность в) стандартное отклонение разности
Рис. 12. Значения доли иностранных преподавателей и ее характеристик
по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
100 -
90 -
80 -
70 -
сл 60 -о
R 5040 -30 -20 -10 -
СО
о
к
ф
к
S
о
а
Ф
СО 3
s 2
X
со 1
S 0
I
S -1
-2
>s
ф а -3
Й -4
2 -5
I
со -6
о
I
о
о
X
^
со
Ч
и
S
ч
5с
ч
2008 г. 90 100
а) разброс оценок
m д
■ / УГ\ ч-ч ■
J 2 ^ ^у5 : 6
V
-•-1
■Ш--2
■■А- 3
14 1 12 10 -8 -6
4 -2 -0
1
4 5 n
б) средняя разность в) стандартное отклонение разности
Рис. 13. Значения доли иностранных студентов и ее характеристик по различным выборкам: 1 — полная выборка, 2 — неанглоязычные страны, 3 — англоязычные страны
10
20
30
40
50
60
70
80
2
3
6
7
8
n
