CC BY
39
И. АРТЮШИНА, директор В. ШУТИЛИН, руководитель проектов Независимое рейтинговое агентство «РейтОР»
Стремление армии абитуриентов получить образование зарубежом и желание транснациональных компаний взять на работу выпускников лучших вузов мира привели к появлению глобальных рейтингов вузов. В 2003 г. Институт высшего образования (Institute of Higher Education) Шанхайского университета (Shanghai Jiao Tong University) впервые опубликовал рейтинг 500 ведущих вузов мира, который с тех пор составляется ежегодно. В 2004 г. был составлен первый ежегодный рейтинг специализированного приложения газеты Times (Times Higher Education Supplement, THES), формируемый в последние годы совместно с компанией Quacquarelli Sy-monds (QS). Также с 2004 г. запущен испанский проект Webometrics, в котором рейтинг вузов формируется по критериям наполняемости, степени поддержки и популярности веб-сайтов вузов.
В настоящее время на фоне роста интереса к глобальным рейтингам вузов появляются их новые варианты. В частности, в 2007 г. был составлен рейтинг по критерию «результаты научных публикаций »(Performance Ranking of Scientific Papers for World Universities) Тайваньского ответа по оцениванию и аккредитации в сфере высшего образования (Higher Education Evaluation and Accreditation Council Taiwan). Этот рейтинг пока мало известен в академическом сообществе и практически не освещается в СМИ, в отличие от упомянутых выше, поэтому мы решили сосредоточиться на его описании и анализе.
Как отмечают составители, «в отличие от рейтинга QS-THES и Шанхайского рейтинга, он ориентирован на оцен- ..^rf ку результатов научной дея- ^^^ тельности вуза. Акцент на ре- ^^¿p^^^Q зультатах конкретных иссле-
Тайваньский рейтинг: оценка научных публикаций
дований делает индикаторы более справедливыми, чем традиционные показатели (репутация университета, число обладателей Нобелевской премии, численность учившихся или работающих в университете), которые превозносятся университетами с богатой историей или признанными университетами развитых стран .
При составлении рейтинга по критерию «результаты научных публикаций» используется девять показателей (табл. 1).
Таким образом, для сбора показателей рейтинга используется однотипная процедура - анализ статистических данных. Это роднит Тайваньский рейтинг с рейтингом Webometrics и выгодно отличает его от рейтинга QS-THES и Шанхайского рейтинга, которые используют запросы в вузы для получения значений некоторых показателей. Построение рейтинга на основе анализа статистики существенно повышает объективность результатов исследования.
В то же время у подобной процедуры сбора статистических данных существуют и недостатки. Во-первых, в этом случае исследователи искусственно выбирают временной интервал для подсчета значений конкретных показателей, например: 19962006 гг. - для показателя «число профессиональных областей, где университет демонстрирует успехи », или 1997-2007 гг. -для показателя «число высокоцитируемых статей за последние 11 лет». Во-вторых, многие определения, используемые при построении рейтинга, субъективны в силу своей слабой обоснованности. Например, составители рейтинга совершенно не объясняют, почему высокоцитируемые статьи должны входить в верхний 1% * в каждом году, а не в 2%. Эта
граница поставлена довольно условно, и в такой ситуации
138
Высшее образование в России • № 3, 2008
Таблица 1
Показатели рейтинга по критерию «результаты научных публикаций»
Критерий Показатель Вес. коэфф. Процедура подсчета
Продуктивность исследований Число статей за последние 11 лет(1996-2006) 10% Использована база Essential Science Indicators (ESI), в которой содержатся статьи из журналов, включенных в индексы SCI и SSCI
Число статей за последний год (2006) 10%
Исследовательское влияние Число цитирований за последние 11 лет(1996-2006) 10%
Число цитирований за последний год (2006) 10%
Среднее число цитирований на одну статью за последние 11 лет(1996-2006) 10% Использована база Essential Science Indicators (ESI). Общее число цитирований за 11 лет (Cit11) делится на общее число статей за 11 лет (Art11)
Успешность исследований Н-индекс за последние 2 года(2005-2006) 20% Использована база Essential Science Indicators (ESI). H-индекс 85 означает, что за последние два года коллективом университета было опубликовано 85 статей, каждая из которых была процитирована не менее 85 раз, а остальные статьи были процитированы меньшее число раз
Число высокоцитируемых статей за 11 лет (1997-2007) 10% Использована база Essential Science Indicators (ESI). Составители базы ESI определяют высоко-цитируемые статьи как статьи, входящие в верхний 1% в каждом году по индексу SCI или SSCI
Число статей в высокоцити-руемых журналах за последний год (2006) 10% Использована база Journal Citation Reports (JCR), в которой определен вес каждого журнала в конкретной предметной области. В JCR высокоцити-руемые журналы определены как издания, входящие по своему весу (общее число цитирований статей этого журнала за определенный период) в первые 5% журналов в своей предметной области
Число профессиональных областей, где университет демонстрирует успехи (1996-2006) 10% Индексируемые журналы ESI распределяются по 22 предметным областям. Для каждой предметной области определяются высокоцитируемые вузы как вузы, входящие в верхний 1% по числу цитирований в предметной области. Далее определяется число предметных областей, где вуз демонстрирует успехи
всегда будет место для пограничных случаев: две статьи слабо отличаются по числу цитирований, но одна попадает в верхний 1%, а другая нет.
Сами показатели достаточно четко отражают результаты востребованности научных публикаций университетов и во многом схожи с некоторыми показателями других глобальных рейтингов. В то же время публикации иного, не статейного формата в Тайваньском рейтинге не учитываются.
Собранные значения показателей по отдельным вузам агрегируются путем ад-
дитивной свертки, т.е. их взвешенного суммирования. Формула для подсчета рейтингового значения по отдельным вузам выглядит следующим образом:
О=0,1 *аП11+0,1 *АП1+0,1 *сип +
+ 0,1*СШ + 0,1*АуЫт + 0,2*И-Шех2+ + 0,1*Н1С1АтИ1 + 0,1* АП]оитп1 +
+ 0)1*$^еии,
где О - значение результирующего показателя (рейтинга) для ]-го вуза,
Л^П - число статей за последние 11 лет (1996-2006),
АгЙ - число статей за последний год (2006),
01111 - число цитирований за последние 11 лет (1996-2006),
0111 - число цитирований за последний год (2006),
Ау0к11 - среднее число цитирований на 1 статью за последние 11 лет (1996-2006), Н-1^ех2 - Н-индекс за последние 2 года (2005-2006),
Н101Аг111 - число высокоцитируемых статей за 11 лет (1997-2007),
Аг^оигп1 - число статей в высокоцитируемых журналах за последний год (2006), SubField.11 - число профессиональных областей, где университет демонстрирует успехи (1996-2006).
Преимущества и недостатки метода аддитивной свертки вполне очевидны. Преимущество метода состоит в простоте его использования. Основным недостатком является так называемое «компенсационное свойство »: низкие значения одних показателей могут компенсироваться предельно высокими значениями других показателей, при этом общий рейтинг вуза будет оставаться достаточно высоким.
В итоговый рейтинг включено 500 вузов мира. Для представления результатов используется рейтинговая форма: каждому вузу присваивается итоговое рейтинговое значение. В презентационный файл включены: ранг вуза, название вуза, значения девяти показателей и итоговое нормированное значение (рейтинг). Все показатели нормируются по максимальному значению, равному 100 баллам.
Таким образом, при составлении Тайваньского рейтинга используется стандартный набор методов и процедур, которые также применяются при составлении рейтингов QS-THES и Шанхайского рейтинга.
Даже поверхностное ознакомление с показателями Тайваньского рейтинга позволяет отметить, что они затрагивают проблемную для российских вузов область -
научные публикации в известных и авторитетных зарубежных изданиях.
Соответственно результаты рейтинга оказываются неутешительными для вузов России. В рейтинг включен только один российский вуз - МГУ им. М.В. Ломоносова, и он занимает лишь 243-е место в общем списке. В табл. 2 представлены значения отдельных показателей МГУ в сравнении с аналогичными значениями по 10 ведущим университетам мира (все 10 университетов расположены в США).
По числу статей за последние 11 лет вуз занимает 37-е место со значением 34,2 балла от максимума, что ненамного ниже, чем аналогичный показатель MIT (38,5 баллов) и Калифорнийского университета в Сан Диего (43,2 баллов). Довольно хороший результат столичный вуз показывает и по числу публикаций за последний год: 95-е место (20,7 баллов). Однако по показателям цитирования (7 показателей из 9!) результаты МГУ крайне низки. В частности, по среднему числу цитирований на 1 статью за последние 11 лет вуз занимает 490-е место. Низкие показатели цитирования во многом определяют его общее 243-е место.
Спорность использования индексов цитирования и их производных при составлении рейтингов широко дискутируется в научном сообществе. Наиболее характерно с этой точки зрения высказывание американского профессора Ф. Альт-баха: «...американцы привыкли цитировать американцев ». Как пишут австралиец С. Маргинсон и голландец М. ван дер Венде, «в 2005 году из числа высокоци-тируемых исследователей (Highly Cited Researches) 3568 работали в США, 221 в Германии, 215 в Японии, 162 в Канаде, 135 во Франции, 97 в Австралии, 90 в Швейцарии, 83 в Нидерландах, 20 в Китае и 10 в Индии »2. Тем не менее показатели цитирования определяют 80% оценки деятельности университетов Тайваньским рейтингом.
Что касается страновой позиции России,
Таблица 2
Сравнительный анализ результатов МГУ н ведущих университетов мира
University Artll Art I Citll Citl AvCitl 1 H-index2 HiCiArtl 1 ArtJourn 1 SubFieldl 1 Q
S R S R S R S R S R S R S R S R S R S R
Harvard Univ. 100,0 1 100,0 1 100,0 I 100,0 1 63,0 2 100,0 1 100,0 1 100,0 1 95,5 28 95,9 1
Johns Hopkins Univ. 55,8 9 56,8 4 45,1 3 43,6 2 51,0 11 79,1 2 39,0 6 49,7 2 100,0 1 59,9 2
Univ. Washington Seattle 73,7 4 51,4 7 46,5 2 40,3 3 39,7 43 70,9 4 39,3 5 38,8 9 100,0 1 57,2 3
Stanford Univ. 51,8 12 48,0 9 42,9 4 38,2 5 52,3 9 69,8 5 46,3 2 42,9 5 95,5 28 55,7 4
Univ. California Los Angeles 57,9 6 57,7 2 38,1 6 39,7 4 41,5 36 67,4 7 38,0 7 46,9 3 100,0 1 55,5 5
Univ. Michigan Ann Arbor 73,8 3 55,6 5 38,3 5 35,3 7 32,7 101 67,4 7 32,0 8 44,0 4 100,0 1 54,7 6
Univ. California Berkeley 51,6 13 44,8 10 34,9 8 36,2 6 42,7 32 67,4 7 41,6 3 30,8 16 100,0 1 51,7 7
Univ. California San Diego 43,2 22 40,5 IS 34,6 9 32,2 12 50,4 13 68,6 6 31,2 9 35,4 12 95,5 28 50,0 8
Columbia Univ. 44,3 20 44,6 11 31,6 13 32,0 13 45,0 25 65,1 11 30,8 10 40,7 6 100,0 1 49,9 9
Massachusetts Inst. Tech. 38,5 31 33,4 38 30,5 15 33,8 9 49,8 14 75,6 3 40,5 4 25,8 25 95,5 28 49,9 10
Moscow State Univ. 34,2 37 20,7 95 5,1 227 5,9 219 9,5 490 29,1 247 2,4 303 2,6 375 40,9 304 18,0 243
Ьз 0«
ri
«i О
а
to О
оь %
а s
сь ?
о о
s я
fe
К) Оо
Условные обозначения: S - количественное значения показателя, R - ранг вуза.
Таблица 3
Позиция России в Тайваньском рейтинге
Ранг Страна о о сч 0 ич 0 0 0 0 2 0 0 3 0 0 4 0 0 5
в о Н в о Т = о Т ■ в о Т ■ в о Т ■ в о Т ■ в о Т ■ в о Т
1 США 10 16 37 62 99 129 148 169
2 Велико британия ш 2 4 8 18 28 36 40
3 Канада 1 3 5 9 15 22 23
4 Япония • 1 3 4 7 13 19 32
5 Швеция -ЫВ. 1 3 5 6 9 10
6 Германия 1 2 16 26 38 42
7 Бельгия ¡1 1 1 3 5 5 5
8 Нидерланды 1_к 3 7 10 11 12
9 Италия н 2 7 11 19 26
10 Австралия ш 2 6 8 8 13
11 Швейцария п 2 6 7 7 8
12 Израиль 2 3 5 5 6
13 Дания 1В 1Н. 1 2 2 4 5
14 Финляндия 4- 1 1 2 4 7
15 Бразилия й 1 1 1 3 6
16 Сингапур 1 1 1 2 2
17 Франция н 10 15 17
18 Испания # * 1 5 7 11
19 Южная Корея 1 2 5 9
20 Гонконг 1 2 4 5
21 Норвегия и 1 2 3 4
22 Австрия 1 к 1 2 2 5
23 Тайвань и 1 1 2 4
24 Китай ш 2 7 9
25 Новая Зеландия м 2 2 3
26 Ирландия н 1 3 3
27 Мексика ¡1 1 1 1
27 Россия 1 1 1
29 Греция 2 4
30 Польша 1 2 2
31 Южная Африка Яй 1 2
32 Аргентина 1 Л 1 1
32 Чехия 1 1
32 Чили Ы 1 1
35 Венгрия 1 * 2
35 Индия 2
37 Португалия и 1
37 Пуэрто Рико н 1
37 Словения ин 1
37 Хорватия 1
142
Высшее образование в России • № 3, 2008
то она представлена в табл. 3 и близка к позициям таких стран, как Ирландия, Мексика, Греция, Польша, Южная Африка, Аргентина, Чехия, Чили. Это место, на наш взгляд, не может удовлетворять ни академическое сообщество, ни органы государственной власти, ни широкую общественность.
Можно выделить несколько основных причин слабой представленности российских вузов в Тайваньском рейтинге.
Во-первых, российская наука на протяжении всего советского периода была во многом отделена от университетов. Система высшего профессионального образования строилась таким образом, что большинство вузов выступали лишь «кузницами кадров ». При этом «кузницами » исследовательских кадров выступало весьма ограниченное число университетов. В этой связи университетская наука ресурсно проигрывала академической (системы АН СССР и АН республик) и ведомственной (НИИ Минсредмаша, Минобщемаша, Минэлект-ронпрома и пр.) науке. Сегодняшние реформы науки и высшего образования подразумевают приоритетное развитие университетской науки, однако этот процесс может затянуться как минимум лет на 10 ввиду подрыва кадровой основы научной деятельности в течение 90-х гг. XX в. и падения престижа профессии ученого. Выпускники перестали оставаться на кафедрах вузов, средний возраст преподавателей и исследователей в вузах превысил 55-летний рубеж, что критично для развития науки. Престиж профессии ученого в России почти безвозвратно утрачен (по данным Левада-центра, в России не более 5% родителей считают эту профессию престижной, в то время как в США этот показатель колеблется в пределах 50% 3).
Во-вторых, отечественные ученые недостаточно публикуются в высокоцитируе-мых журналах. Это во многом связано с тем,
что целый ряд авторитетных российских журналов не входит в индексы цитируемо-сти (базы журналов Essential Science Indicators и SCOPUS). А значит, требуются некоторые усилия по мотивированию отечественных ученых не только готовить качественные статьи, но и размещать их преимущественно в высокоцитируемых журналах. Кроме того, необходимо развивать отечественные специализированные журналы, с тем чтобы они были доступны и пользовались вниманием международного научного сообщества. Это частично позволит вывести отечественную наукометрию на достойные позиции.
В-третьих, для повышения места российских вузов в Тайваньском рейтинге следует увеличить долю публикаций на языках международного сообщества (прежде всего, английском). Это позволит существенно повысить индекс цитируемости российских вузов.
В целом следует отметить, что в последующие несколько лет российские вузы не смогут существенно подняться в Тайваньском рейтинге, если таковой будет составляться. Кроме того, схожие факторы во многом определяют низкую позицию отечественных вузов и в других глобальных рейтингах. По нашим оценкам, для существенного продвижения в глобальных рейтингах потребуется 10-20 лет усиленной работы, направленной в первую очередь на возрождение отечественной университетской науки.
Примечания
1 2007 Performance Ranking of Scientific Papers
for World Universities. Methodology. -www.heeact.edu.tw/ ranking/ EngTop100.htm
2 Marginson S, Van der Wende M. To rank or to
be ranked: the impact of global rankings in higher education. - www.griffith.edu.au/conference/ university-rankings/ content-papers.html
3 Коммерсантъ. Social Report № 233 от
18.12.2007.
g
