CC BY-NC-ND
55
а
Статья поступила в редакцию в январе 2008 г.
Аннотация
И.А. Артюшина, В.А. Шутилин
ГЛОБАЛЬНЫЕ РЕЙТИНГИ НА ПОВЕСТКЕ ДНЯ
Важным компонентом современного мирового рынка образовательных услуг является составление глобальных рейтингов вузов. Они востребованы абитуриентами и их родителями, руководством вузов, чиновниками и другими заинтересованными сторонами. Большой интерес вызывают глобальные рейтинги и в России. Авторы рассматривают существующие сейчас в мире подходы к их составлению и оценивают место российских вузов в этих рейтингах.
В последние годы в России существенно повысилось внимание к рейтингам вузов. Судя по результатам исследований независимого рейтингового агентства «РейтОР», значимость критерия «место вуза в различных рейтингах» при выборе места обучения за последние два года выросла в несколько раз. В ответ на растущие запросы абитуриентов в России постоянно появляются новые рейтинги. На сегодняшний день реализовано уже около 30 проектов по составлению рейтингов вузов. Более того, создаются целые структуры в этой области (в частности, НРА «РейтОР»). Практически каждая публикация на эту тему приковывает к себе пристальное внимание различных целевых аудиторий: абитуриентов и их родителей, руководства вузов, чиновников. Тем самым создается благоприятный контекст для анализа существующих подходов к составлению рейтингов, а также для реализации новых проектов в этой области.
Рейтинги вузов давно перешагнули границы государств. Наряду со сравнениями вузов отдельных стран и регионов началось составление так называемых глобальных рейтингов, в которых друг с другом сопоставляются лучшие вузы мира. Глобальные рейтинги — это явление XXI в. В 2003 г. Институт высшего образования (Institute of Higher Education) Шанхайского университета (Shanghai Jiao Tong University) впервые опубликовал рейтинг 500 ведущих вузов мира. В 2007 г. Шанхайский рейтинг, как его теперь называют во всем мире, был составлен уже в пятый раз. В 2004 г. вышел первый ежегодный рейтинг специализированного приложения газеты Times (Times Higher Education Supplement, QS-THES). Также с 2004 г. был запущен испанский проект Webometrics — глобальный рейтинг, в который включены почти 4000 вузов мира. Позднее свой глобальный рейтинг стал публиковать журнал Newsweek International. В 2007 г. был составлен рейтинг научной деятельности тайваньского Совета по оцениванию и аккредитации
240
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
в сфере высшего образования (Higher Education Evaluation and Accreditation Council Taiwan).
Глобальные рейтинги вузов изучают абитуриенты, желающие получить образование за рубежом; руководители ведущих учебных заведений мира; представители национальных министерств и ведомств; сотрудники международных организаций.
В условиях глобализации и интернационализации высшего образования международные рейтинги становятся более важным инструментом оценки, чем национальные. Формируется узкое профессиональное сообщество, члены которого занимаются составлением глобальных рейтингов, складываются традиции международных форумов по их обсуждению. В частности, с 28 октября по 3 ноября 2007 г. состоялись Вторая конференция университетов мирового уровня (WCU-2) и третья встреча Международной экспертной группы по ранжированию (IREG-3) в Шанхае.
В связи с повышенным вниманием в России к глобальным рейтингам представляется целесообразным рассмотреть те подходы к их формированию, которые сегодня сложились, чтобы оценить границы их компетенции (о чем свидетельствуют результаты рейтинга?) и степень достоверности (можно ли вообще доверять рейтингам?).
Сформировались четыре основные модели глобальных рейтингов:
• Шанхайский рейтинг;
• рейтинг QS-THES;
• рейтинг Webometrics;
• Тайваньский рейтинг.
Подходы к составлению глобальных рейтингов
Процесс составления глобальных рейтингов, начиная с его содержательной интерпретации и заканчивая презентацией результатов, схематично представлен на рис. 1.
Рис.1.
р
е
г
У
Л
Я
Р
II
О
с
т
ь
Процесс составления глобального рейтинга
241
а
Статистика и социология образования
Шанхайский рейтинг, или Академический рейтинг университетов мира, позиционируется его составителями как сравнительная оценка научно-исследовательской деятельности в вузах [6]. Таким образом, вузы рассматриваются в этом рейтинге прежде всего как исследовательские организации, а не как структуры, предоставляющие образовательные услуги.
Таблица 1 Краткая характеристика показателей Шанхайского рейтинга
Показатель Весовой коэффициент Содержание Способ подсчета
Alumni 10% Общее число выпускников данного вуза, получивших Нобелевскую премию или медаль Филдса Используются весовые коэффициенты для различных периодов получения наград: 100% — для выпускников, получивших степени в 1991-2000 гг., 90% — 1981 — 1990 гг. ... 10% — 1901 — 1910 гг.
Award 20% Общее число работников данного вуза, получивших Нобелевскую премию по физике, химии, медицине, экономике или медаль Филдса по математике Весовые коэффициенты также зависят от даты награждения: 100% — для награжденных в 2001—2006 гг., 90% — для награжденных в 1991—2000 гг. . 10% — 1911 — 1920 гг. Учитываются все, кто работал в данном вузе в момент получения награды. Если Нобелевская премия была присуждена группе лиц, то для каждого члена группы устанавливается весовой коэффициент в зависимости от доли приза
HiCi 20% Численность часто цитируемых исследователей, работающих в 21 предметной области наук о жизни, медицины, физики, инженерного дела и социальных наук Используется методика корпорации «Томсон» (Thomson) [2]
N&S 20% Количество статей, опубликованных в журналах Nature и Science за последние пять лет Для учета порядка принадлежности авторов к тому или иному институту вес в 100% присваивается соответствующей принадлежности автора, 50% — первой принадлежности автора (второй, если первая совпадает с соответствующей), 25% — следующей принадлежности и 10% — всем остальным. Учитываются только публикации типа статей
SCI 20% Общее число статей, вошедших в индексы научной цити-руемости SCIE [7] и SSCI [8] в предыдущем году В SCIE включены 6712 журналов. В SSCI включены 1987 журналов. Учитываются только научные статьи. При подсчете общего показателя по вузу статьи, вошедшие в SSCI, учитываются с весовым коэффициентом 2
Size 10% Результат деления суммы баллов по предыдущим пяти показателям на число эквивалентов полной ставки (FTE) академического персонала Если численность академического персонала в данном вузе неизвестна, то используется взвешенное общее значение по пяти предыдущим показателям. В 2007 г. при составлении рейтинга были собраны сведения о численности академического персонала вузов США, Великобритании, Японии, Южной Кореи, Чехии, Китая (материковой части), Италии, Австралии, Нидерландов, Швеции, Швейцарии, Бельгии, Словении, Новой Зеландии и т.д.
Источник: [6; 1].
242
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Для оценки результатов научно-исследовательской деятельности вуза в Шанхайском рейтинге используются шесть показателей, для подсчета которых разработаны специальные методы и процедуры (табл. 1).
Для подсчета числа выпускников (Alumni) и работников (Award) вуза, получивших Нобелевскую премию или медаль Филдса, применяется сложная система коэффициентов, учитывающая давность получения награды, число обладателей награды, число вузов, в которых работает лауреат. В зависимости от того, когда была получена награда, лауреату может быть присвоен весовой коэффициент от 10 до 100%. Другими словами, лауреат Нобелевской премии 1913 г. ценится в рейтинге в пять раз ниже (весовой коэффициент 20%), чем обладатель медали Филдса 2002 г. (весовой коэффициент 100%). Число обладателей награды учитывается следующим образом: если одна Нобелевская премия была присвоена сразу трем исследователям, то в рейтинге они учитываются с дополнительным весом 1/3. Если лауреат работал на момент получения награды в нескольких вузах, то используется дополнительный весовой коэффициент, который «принижает» значимость отдельного вуза в воспитании лауреата.
Для получения итогового результата (рейтингового значения по вузу) составители Шанхайского рейтинга используют аддитивную свертку, т.е. суммируют отдельные показатели с учетом их весовых коэффициентов. Таким образом, итоговая формула подсчета рейтинга выглядит следующим образом:
Q = 0,1 х Alumni + 0,2 х Award + 0,2 х HiCi + 0,2 х N&S +
+ 0,2 х SCI + 0,1 х Size,
где Q — значение результирующего показателя (рейтинга) для j-го вуза;
Alumni — общее число выпускников j-го вуза, получивших Нобелевскую премию или медаль Филдса;
Award — общее число работников j-го вуза, получивших Нобелевскую премию по физике, химии, медицине, экономике или медаль Филдса по математике;
HiCi — численность часто цитируемых работников j-го вуза, работающих в 21 предметной области наук о жизни, медицины, физики, инженерного дела и социальных наук;
N&S — количество статей работников j-го вуза, опубликованных в журналах Nature и Science за последние пять лет;
SCI — общее число статей работников j-го вуза, вошедших в индексы научной цитируемости SCIE и SSCI в предыдущем году;
Size — результат деления суммы баллов по предыдущим пяти показателям на число эквивалентов полной ставки (FTE) академического персонала j-го вуза.
В итоговый рейтинг включаются около 500 вузов. При этом используется смешанная форма представления результатов: каждый из первых 100 вузов получает количественное рейтинговое
243
а
Статистика и социология образования
значение, остальные учебные заведения делятся на однородные группы (лиги) по 50-100 вузов в каждой. Например, в рейтинге 2007 г. были сформированы следующие группы вузов: 102-150, 151-202, 203-304, 305-401, 402-508. В презентационный файл рейтинга включены ранг вуза, его название, регион и региональный ранг, страна и национальный ранг, нормированные значения шести показателей и итоговое нормированное значение (рейтинг) по первым 100 вузам. Все показатели, в том числе и итоговое рейтинговое значение, нормируются по максимуму, который приравнивается к 100 баллам.
Рейтинг специализированного приложения к газете Times последние несколько лет составляется совместно с компанией Quacquarelli Symonds (QS), занимающейся консультированием в сфере образования. Методика составления рейтинга в значительной степени сходна с процедурой выработки Шанхайского рейтинга. Для подсчета рейтингового значения используются аналогичные процедуры, однако существенные отличия наблюдаются в содержательной интерпретации рейтинга, в перечне включаемых в него показателей и процедуре нормирования значений показателей.
Рейтинг QS-THES предназначен прежде всего для студентов. Однако составители не забывают и о других целевых аудиториях: «Студенты должны быть подготовлены для поиска лучших образовательных программ за рубежом, фирмы заключают контракты на проведение исследований по всему миру, повышается академическая мобильность» [4. Р. 2]. Конкретной содержательной интерпретации рейтинга QS-THES в выпусках приложения к Times не представлено.
Рейтинг QS-THES составляется также с учетом шести показателей (табл. 2). Первые два показателя рейтинга QS-THES — Peer Review и Recruitment Review — подсчитываются в ходе опросов деятелей науки и профессиональных рекрутеров разных стран.
По мнению самих составителей рейтингов, показатель Peer Review — «стандартный способ определения качества работы академических сотрудников вуза» [3. Р. 6]. Таким образом, интерпретация этого отдельно взятого показателя близка к общей содержательной интерпретации Шанхайского рейтинга: вузы рассматриваются прежде всего как организации, аккумулирующие деятелей науки.
Таблица 2
Краткая характеристика показателей рейтинга QS-THES
Показатель Весовой коэффициент Содержание
Peer Review 40% Число упоминаний вуза академическим сообществом
Recruitment Review 10% Число упоминаний вуза профессиональными рекрутерами
International Students 5% Доля иностранных студентов вуза
International Faculty 5% Доля иностранных сотрудников вуза
Faculty/ Student 20% Соотношение числа студентов и сотрудников вуза
Citation/ Faculty 20% Соотношение индекса цитируемости и числа сотрудников вуза
244
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Показатель Recruitment Review отражает результаты образования с точки зрения его привязки к рынку труда. Респондентов, представляющих различные компании из разных стран, просят назвать те вузы, из которых они отбирают сотрудников. Составители рейтинга «выражают надежду, что этот выбор более или менее свидетельствует о качестве студентов, обучающихся в вузе, и отражает качество образовательного процесса» [3. Р. 6]. На наш взгляд, этот показатель теснейшим образом связан с полнотой удовлетворения потребностей работодателей, однако на него существенным образом влияет объем выборки. В частности, в 2006 г. были опрошены всего 756 рекрутеров.
Еще два показателя — International Students и International Faculty — связаны с интернационализацией высшего образования. Эти показатели призваны характеризовать степень включенности вуза в глобальную систему высшего образования, однако качество ответов представителей вузов на вопросы составителей рейтинга и сопоставимость данных вызывают сомнение.
Важным показателем рейтинга QS-THES является Faculty/ Students — число сотрудников вуза в расчете на одного студента. Составители рейтинга предполагают, что этот показатель отражает «возможное внимание, которое получит студент» [Ibid], однако они не учитывают качественные характеристики этого внимания.
Последний показатель, включаемый в рейтинг QS-THES, связан с уже рассматривавшимися индексами цитирования. Показатели этого типа учитываются и при составлении Шанхайского рейтинга, поэтому мы не будем останавливаться на анализе показателя Citation/Faculty более подробно.
Для получения итогового результата (рейтингового значения по вузу) составители рейтинга QS-THES используют аддитивную свертку, т.е. суммируют отдельные показатели с учетом их весовых коэффициентов. Таким образом, итоговая формула подсчета рейтинга выглядит следующим образом:
Q = 0,4 х PR + 0,1 х RR + 0,05 х IF + 0,05 х IS + 0,2 х FS + 0,1 х CF,
где Q — значение результирующего показателя (рейтинга) для j-го вуза;
PR — число упоминаний вуза академическим сообществом;
RR — число упоминаний вуза профессиональными рекрутерами;
IF — доля иностранных сотрудников вуза;
IS — доля иностранных студентов вуза;
FS — соотношение числа студентов и сотрудников вуза;
CF — соотношение индекса цитируемости и числа сотрудников вуза.
В итоговый вариант рейтинга QS-THES включаются около 200 вузов мира, в расширенную версию — более 500 вузов. В рейтинге
245
а
Статистика и социология образования
QS-THES используется смешанная форма представления результатов: каждому вузу из числа первых 200 присваивается итоговое рейтинговое значение, а остальным — только ранги без указания каких-либо количественных значений. В презентационный файл рейтинга включены следующие данные: ранг вуза, его ранг в предыдущем году, название вуза, страна, нормированные значения шести показателей и итоговое нормированное значение (рейтинг). Все показатели рейтинга QS-THES нормируются с использованием стандартной процедуры Z-агрегирования, далее максимальное значение приравнивается к 100 баллам.
Процесс составления рейтинга Webometrics существенным образом отличается от Шанхайского рейтинга и рейтинга QS-THES. С помощью этого рейтинга вузы сравниваются по степени наполнения их официальных интернет-сайтов. При этом составители — Cybermetrics Lab, базирующаяся в Испании, — интерпретируют рейтинг Webometrics как оценку результатов научно-исследовательской деятельности лучших вузов мира: «Мы верим, что интернет-сайты лучше всего отражают результаты деятельности профессоров и исследователей, так как являются наглядным отражением их деятельности» [9]. Поэтому публикация рейтинга означает обеспечение «исследователей по всему миру дополнительной мотивацией публиковать в Сети больше трудов лучшего содержания, делать их доступными для своих коллег независимо от места их нахождения» [Ibid].
Рейтинг Webometrics составляется на основе четырех показателей (табл. 3). При этом весовые коэффициенты показателей существенно различаются: показатель Visibility в 4 раза важнее, чем показатели Rich Files и Scholar.
Таблица 3 Краткая характеристика показателей рейтинга Webometrics
Показатель Весовой коэффициент Содержание Способ подсчета
Size (S) 25% Число страниц сайта, покрываемых поисковыми системами Используются четыре поисковые системы: Google, Yahoo, Live Search и Exalead. Число страниц официального сайта вуза, найденных с помощью каждой поисковой системы, нормируется по максимальному полученному значению по всей совокупности исследуемых вузов (максимум приравнивается к 1), после этого показатели по четырем поисковым системам суммируются
Visibility (V) 50% Число уникальных внешних ссылок на страницы сайта Поиск внешних ссылок на сайт вуза осуществляется с помощью систем Yahoo Search, Live Search и Exalead. Значения показателя по каждой поисковой системе нормируется по максимальному значению (максимум приравнивается к 1), после этого показатели по трем поисковым системам суммируются
246
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Окончание табл.3
Показатель Весовой коэффициент Содержание Способ подсчета
Rich Files (R) 12,5% Число «ценных» файлов, размещенных на сайте Подсчитывается число файлов четырех форматов: Adobe Acrobat (.pdf), Adobe Postscript (.ps), Microsoft Word (.doc), Microsoft PowerPoint (.ppt). По каждому типу файлов подсчитывается отдельный показатель, значения которого нормируются по максимальному значению (максимум приравнивается к 1), после этого показатели по каждому типу файлов суммируются
Scholar (Sc) 12,5% Число страниц и ссылок на сайт вуза Используется поисковая система Google Scholar. Подсчитывается число размещенных на сайте вуза материалов и ссылок на сайт вуза
Проанализировав показатели рейтинга Webometrics, можно сделать следующие выводы:
1) показатели в целом соответствуют содержательной интерпретации рейтинга (если учитывать сравнение качества официальных интернет-сайтов вузов);
2) значения показателей легко собираются по всей совокупности исследуемых вузов;
3) показатели достаточно субъективны по способу сбора данных: круг поисковых систем и анализируемых данных определяется самими исследователями.
Субъективность собранных данных, которая обусловливает субъективность полученных результатов, — основной недостаток методики построения рейтинга Webometrics.
Как и в других глобальных рейтингах, составители Webometrics для получения итогового значения по вузу используют аддитивную свертку. При этом отличительной особенностью данного рейтинга является сложение не количественных значений показателей, а ранговых (суммируются места конкретного вуза в ранжировках по каждому из четырех показателей рейтинга). Формула подсчета итогового значения в рейтинге Webometrics выглядит следующим образом:
Q = 4 х V + 2 х S + 1 х R + 1 х Sc,
где Q — значение результирующего показателя (рейтинга) для j-го вуза;
V = Visibility — место j-го вуза в ранжировке по числу уникальных внешних ссылок на страницы официального интернет-сайта вуза;
247
а
Статистика и социология образования
S = Size — место j-го вуза в ранжировке по числу страниц официального интернет-сайта вуза, покрываемых поисковыми системами;
R = Rich Files — место j-го вуза в ранжировке по числу «ценных» файлов, размещенных на официальном интернет-сайте вуза;
Sc = Scholar — место j-го вуза в ранжировке по числу страниц и ссылок на официальный интернет-сайт вуза.
Значение результирующего показателя (рейтинга) по вузам в итоговой презентационной форме не показывается. На основе сравнения значений показателя Q по всей совокупности исследуемых вузов составляется их ранжировка, т.е. каждому вузу присваивают определенное место. Если несколько вузов имеют одинаковое значение показателя, им присваивается одинаковый ранг. Таким образом, составители используют рэнкинг как презентационную форму рейтинга. В итоговую версию рейтинга Webometrics включаются около 4000 вузов мира. При этом число анализируемых вузов каждый раз возрастает. В презентационный файл рейтинга включаются следующие позиции: ранг вуза, его название, страна, ранговые значения четырех показателей рейтинга.
Процедура формирования Тайваньского рейтинга, или рейтинга научной деятельности вузов, во многом повторяет методику составления Шанхайского рейтинга. При этом составители Тайваньского рейтинга отмечают, что в нем учтены все недостатки трех обозначенных выше подходов.
Содержательно рейтинг можно определить как сравнительную оценку научной деятельности вузов в части написания научных работ. Как отмечают составители рейтинга, «акцент на результатах конкретных исследований делает индикаторы более справедливыми, чем традиционные показатели репутации университета или числа обладателей Нобелевской премии, учившихся или работающих в университете, которые превозносят университеты с длительной историей или университеты развитых стран» [5].
При расчете Тайваньского рейтинга используются 9 показателей (табл. 4). Все они подсчитываются с использованием базы данных Essential Science Indicators (ESI).
Таблица 4 Краткая характеристика показателей Тайваньского рейтинга
Показатель Весовой коэффициент Способ подсчета
Число статей за последние 11 лет 10% Используется база Essential Science Indicators (ESI), в которой содержатся статьи из журналов, включенных в индексы SCI и SSCI
Число статей за последний год 10%
Число цитирований за последние 11 лет 10%
Число цитирований за последний год 10%
Среднее число цитирований на одну статью за последние 11 лет 10% Используется база Essential Science Indicators (ESI). Общее число цитирований за 11 лет (Cit11) делится на общее число статей за 11 лет (Art11)
248
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Окончание табл.4
Показатель Весовой коэффициент Способ подсчета
H-Индекс за последние 2 года 20% Используется база Essential Science Indicators (ESI). H-индекс 85 означает, что за последние два года коллективом университета было опубликовано 85 статей, каждая из которых была процитирована не менее 85 раз, а остальные статьи были процитированы меньшее число раз
Число высокоцитируемых статей за 11 лет 10% Используется база Essential Science Indicators (ESI). Составители базы ESI определяют высокоцитируемые статьи как статьи, входящие в верхний 1% в каждом году по индексу SCI или SSCI
Число статей в высокоцитируемых журналах за последний год 10% Используется база Journal Citation Reports (JCR), в которой определен вес каждого журнала в конкретной предметной области. В JCR высокоцитируемые журналы определены как журналы, входящие по своему весу (общее число цитирований статей этого журнала за определенный период) в первые 5% журналов в своей предметной области
Число профессиональных областей, в которых университет демонстрирует успехи 10% Индексируемые журналы ESI распределяются по 22 предметным областям. Для каждой предметной области определяются высокоцитируемые вузы как вузы, входящие в верхний 1% по числу цитирований в предметной области. Далее определяется число предметных областей, в которых вуз демонстрирует успехи
Все показатели Тайваньского рейтинга можно разделить на две большие группы: основанные на публикациях вуза (первые 2 показателя) и основанные на цитированиях (остальные 7 показателей). На наш взгляд, выбор показателей для рейтинга можно характеризовать как достаточно односторонний. При этом следует отметить, что период для анализа конкретных показателей субъективно определен исследователями (1 год, 2 года или 11 лет). С другой стороны, показатели рейтинга достаточно легко наполняемы (что существенно снижает стоимость проекта) и объективны.
Для получения итогового результата (рейтингового значения по вузу) составители Тайваньского рейтинга, как и их коллеги из Шанхая, используют аддитивную свертку. Таким образом, итоговая формула подсчета рейтинга выглядит следующим образом:
Q = 0,1 х Art11 + 0,1 х Art1 + 0,1 х Cit11 + 0,1 х Cit1 + 0,1 х AvCitll + + 0,2 х H-index2 + 0,1 х HiCiArt11 + 0,1 х ArtJourn1 + 0,1 х SubField11,
где Q — значение результирующего показателя (рейтинга) для j-го вуза;
Art11 — число статей за последние 11 лет;
Art1 — число статей за последний год;
Cit11 — число цитирований за последние 11 лет;
Cit1 — число цитирований за последний год;
AvCit11 — среднее число цитирований на одну статью за последние 11 лет;
249
а
Статистика и социология образования
H-index2 — H-Индекс за последние 2 года;
HiCiArtll — число высокоцитируемых статей за 11 лет;
ArtJournl — число статей в высокоцитируемых журналах за последний год;
SubFieldll — число профессиональных областей, где университет демонстрирует успехи.
В итоговый рейтинг включается около 500 вузов. При этом используется рейтинговая форма представления результатов: каждому вузу присваивается итоговое количественное значение (рейтинг). В презентационный файл рейтинга включены ранг вуза, его название, нормированные значения девяти показателей и итоговое нормированное значение (рейтинг). Все показатели, в том числе и итоговое рейтинговое значение, нормируются по максимуму, который приравнивается к 100 баллам.
Авторы считают, что только после подробного анализа методики составления глобальных рейтингов можно рассматривать их результаты. Целевая аудитория рейтингов должна быть вооружена тем инструментом, который позволит не только сказать, высокое или низкое место занимает конкретный вуз в рейтингах, а еще и проинтерпретировать полученные результаты.
Позиции российских университетов в упомянутых рейтингах не могут удовлетворить ни отечественное академическое сообщество, ни студентов, ни общественность.
За пятилетнюю историю существования Шанхайского рейтинга лучший из российских вузов — Московский государственный университет им. М.В. Ломоносова — не поднимался выше 66-го места (2004 г.), а в 2003 г. и вовсе не попал в первую сотню. Также в список 500 лучших вузов мира составители рейтинга регулярно включают Санкт-Петербургский государственный университет. Однако этот вуз занимает места в четвертой сотне, а в 2003 г. не попал даже в 400 лучших вузов (табл. 5, приложение 1).
Таблица 5 Места российских вузов в Академическом рейтинге университетов
мира (Шанхайском рейтинге)1
Год составления рейтинга Место МГУ Место СПбГУ
2003 102-150 401-450
2004 66 302-403
2005 67 301-400
2006 70 301-400
2007 76 305-401
Российские вузы в глобальных рейтингах
В рейтингах QS-THES позиции российских вузов еще ниже. Лучший из российских вузов, МГУ, за три года не смог подняться
1 В Академическом рейтинге университетов мира места присваиваются только лучшим 100 вузам, а остальные разбиваются на однородные группы по 50-100 вузов.
250
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
выше 79-го места. Кроме МГУ, который регулярно попадает в 200 лучших вузов мира по версии QS-THES, в разные годы в рейтинг были включены Новосибирский государственный университет (НГУ) и СПбГУ (табл. 6). В расширенную версию рейтинга, в которую включаются 500 лучших вузов, в разное время входили СПбГУ (2005 г.), Томский государственный университет (2005 и 2006 г.), Казанский государственный университет (2005 и 2006 г.), НГУ (2006 г.). В 2007 г. ни один российский вуз не попал в TOP-200 рейтинга QS-THES (приложение 2).
Таблица 6 Места российских вузов в рейтинге QS-THES
Год составления рейтинга Место МГУ Место НГУ Место СПбГУ
2004 92 - -
2005 79 169 -
2006 93 - 164
2007 - - -
В рейтинге Webometrics присутствуют следующие российские вузы: МГУ (150-е место), Московский физико-технический институт (799-е место), НГУ (815-е место), СПбГУ (900-е место), Государственный университет — Высшая школа экономики (935-е место), Томский государственный университет (1076-е место), Казанский государственный университет (1268-е место), Алтайский государственный университет (1347-е место), Красноярский государственный университет (1359-е место), Уральский государственный университет (1387-е место), Московский государственный технический университет им. Н.Э. Баумана (1437-е место), Санкт-Петербургский государственный университет информационных технологий, механики и оптики (1448-е место). Другие российские вузы не попали в число лучших 1500 (приложение 3). (Мы не рассматриваем все 4000 вузов, включенных в рейтинг Webometrics.)
В Тайваньском рейтинге представлен только один российский вуз — МГУ, который занимает 243-е место.
Для того чтобы оценить общие позиции российских вузов в глобальных рейтингах, мы использовали дополнительную систему, изобретенную составителями Шанхайского рейтинга. По всем странам, вузы которых попали в TOP-500, считается число вузов, попавших в число TOP-10, TOP-20, TOP-50, TOP-100, TOP-200, TOP-300, TOP-400, TOP-500. Сначала страны сравниваются по числу вузов, попавших в TOP-10. Страны, вузы которых не попали в число лучших десяти, сравниваются по числу вузов в TOP-20 и т.д. При этом страна, представленная пятью вузами в TOP-20, но не представленная в TOP-10, уступает по общему месту стране, представленной одним вузом в TOP-10. Сравнительный анализ позиций России в глобальных рейтингах дан в табл. 7.
251
а
Статистика и социология образования
Таблица 7 Место России в глобальных рейтингах вузов
Страна Шанхайский рейтинг Рейтинг QS-THES Рейтинг Webometrics Тайваньский рейтинг
Австралия 11 3 11 10
Австрия 21 20 9 22
Аргентина 25 35 34 32
Бангладеш - 49 -
Бельгия 17 14 20 7
Бразилия 22 23 22 15
Великобритания 2 2 2 2
Венгрия 33 43 28 35
Германия 9 13 7 6
Гонконг 27 6 19 20
Греция 31 33 29 29
Дания 8 16 13 13
Египет 38 49 -
Израиль 12 21 21 12
Индия 33 29 - 35
Индонезия - 37 -
Иран 48
Ирландия 30 19 - 26
Исландия - - 33
Испания 19 25 16 18
Италия 16 22 17 9
Канада 4 4 3 3
Китай 18 7 23 24
Колумбия - 44 -
Малайзия - 32 -
Мексика 25 28 15 27
Нигерия - 49 -
Нидерланды 7 9 10 8
Новая Зеландия 28 12 31 25
Норвегия 14 24 5 21
Пакистан - 42 -
Перу - 44 -
Польша 33 38 38 30
Португалия 37 39 27 37
Пуэрто-Рико 37
Россия 15 31 25 27
Румыния - 49 -
Сербия - 40
Сингапур 24 10 24 16
Словакия - 36
Словения 38 44 - 37
США 1 1 1 1
Таиланд - 30 -
Тайвань 23 27 14 23
Турция 38 40 39
Уругвай - 44 -
Филиппины - 41 -
Финляндия 13 18 6 14
Франция 5 8 26 17
Хорватия - - 37
Чехия 32 36 18 32
Чили 36 34 32 32
252
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Окончание табл.7
Страна Шанхайский рейтинг Рейтинг QS-THES Рейтинг Webometrics Тайваньский рейтинг
Швейцария 6 її 4 11
Швеция 10 15 8 5
Шри-Ланка - 49 -
Эстония - 35
Южно-Африканская Республика 29 26 37 31
Южная Корея 20 17 30 19
Япония 3 5 12 4
Как показано в табл. 7, российские вузы занимают общее 15-е место в Шанхайском рейтинге, 31-е место в рейтинге QS-THES, 25-е место в рейтинге Webometrics и 27-е место в Тайваньском рейтинге. При этом по различным рейтингам мы уступаем не только США, Великобритании и Японии, но и Канаде, Нидерландам, Сингапуру, Гонконгу, Германии, Швейцарии, Швеции и некоторым другим странам.
Публикация данных о позициях российских вузов в различных глобальных рейтингах вызвала многочисленные дискуссии в российской прессе. В частности, в статье «Российские вузы в зарубежных рейтингах», опубликованной в журнале «Платное образование» № 6 за 2007 г., показатели российских вузов в этих рейтингах названы «тревожным симптомом». Основной причиной низких результатов авторы считают недостаточный объем инвестиций в сферу образования. Следует отметить, что статья помещена редакцией в раздел «Качество образования».
Статья в журнале «Платное образование» является, пожалуй, наиболее содержательной публикацией по проблематике глобальных рейтингов, в подавляющем большинстве авторы анализируют только порядковые места вузов в рейтинге. Поэтому мы сочли необходимым подробно рассмотреть результаты российских вузов в глобальных рейтингах.
Выводы авторов различных статей относительно общего неудовлетворительного состояния российского высшего образования можно признать обоснованными только в том случае, если российские вузы уступают лучшим вузам мира по всем показателям, на всех фронтах. Однако это не совсем так.
Что касается Шанхайского рейтинга, то МГУ по некоторым показателям превосходит вузы США, входящие в первую десятку (табл. 8). В частности, по числу лауреатов Нобелевской премии и обладателей медали Филдса среди выпускников вуза лучший российский вуз обходит Стэнфорд, а по числу публикаций в журналах, вошедших в индексы научной цитируемости SCI (Science Citation Indexes), МГУ опережает Принстон.
Более того, по результирующему значению показателя позиция столичного вуза может существенным образом измениться
Результаты российских вузов в глобальных рейтингах
253
а
Статистика и социология образования
при кардинальных изменениях значения одного показателя. Такой вывод можно сделать исходя из методики составления рейтинга: показатели Award, HiCi, N&S, SCI в общий результат вуза дают примерно по 20,5 балла. Значит, теоретически в сравнении двух вузов этот показатель дает почти 40 баллов. Поэтому общий ранговый результат вузов не имеет никакого значения, важно учитывать количественные значения итогового показателя.
Таблица 8 Результаты российских вузов в Шанхайском рейтинге 2007 г.
University Alumni Award HiCi N&S SCI Size Q
S R S R S R S R S R S R S R
Harvard Univ. 100,0 1 100,0 1 100,0 1 100,0 1 100,0 1 73,6 2 100,0 1
Stanford Univ. 42 15 78,7 6 86,1 2 69,6 3 70,3 8 65,7 3 73,7 2
Univ. California, Berkeley 72,5 5 77,1 7 67,9 3 72,9 2 69,2 10 52,6 7 71,9 3
Univ. Cambridge 93,6 2 91,5 2 54 14 58,2 6 65,4 17 65,1 4 71,6 4
Massachusetts Inst. Tech. 74,6 4 80,6 3 65,9 4 68,4 4 61,7 30 53,4 6 70,0 5
California Inst. Tech. 55,5 9 69,1 8 58,4 8 67,6 5 50,3 73 100,0 1 66,4 6
Columbia Univ. 76,0 3 65,7 9 56,5 12 54,3 9 69,6 9 46,4 12 63,2 7
Princeton Univ. 62,3 7 80,4 4 59,3 6 42,9 21 46,5 98 58,9 5 59,5 8
Univ. Chicago 70,8 6 80,2 5 50,8 18 42,8 23 54,1 52 41,3 15 58,4 9
Univ. Oxford 60,3 8 57,9 11 46,3 24 52,3 12 65,4 17 44,7 13 56,4 10
Moscow State Univ. 51,6 10 34,2 23 0 424 7,5 375 48,5 84 31,6 44 27,1 76
St Petersburg State Univ. 28,8 36 0 131 0 424 6,2 418 28,9 342 16,2 325 11,8 330
Примечание. R — ранговое значение показателя, S — нормированное количественное значение показателя.
Для объяснения подобных хитросплетений математики приведем конкретный пример: у Гарварда по показателю HiCi стоит 100 баллов (максимальное значение по всей выборке), а у МГУ — 0 баллов. При изменении этих показателей на обратные (Гарвард — 0 баллов, а МГУ — 100 баллов) разница между двумя вузами сократится более чем на 40 баллов. У МГУ станет в этом случае 60 баллов от уровня Гарварда, а не 27, как это было раньше. Понятно, что ситуация выглядит несколько утопично, тем не менее она показывает зависимость итогового рейтингового значения от одного показателя, а также изменчивость важного для анализа рейтингового значения по конкретному вузу.
Поэтому для объяснения результатов рейтинга необходимо рассматривать не только итоговое место вуза, но и соответствующий этому месту количественный показатель, количественные значения всех показателей, включаемых в рейтинг, а также процедуры получения этих показателей.
В табл. 9 приведены аналогичные результаты по рейтингу QS-THES. При этом для оценки общих результатов МГУ и СПбГУ сравниваются с 10 вузами, занявшими первые 10 мест в рейтинге.
254
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Таблица 9 Результаты российских вузов в рейтинге QS-THES 2006 г.
University PR RR IF IS FS CF Q
S R S R S R S R S R S R S R
Harvard Univ. 93 3 100 1 15 118 25 70 56 37 55 2 100 1
Cambridge Univ. 100 1 79 6 58 19 43 22 64 25 17 41 96,8 2
Oxford Univ. 97 2 76 8 54 23 39 28 61 30 15 57 92,7 3
Massachusetts Inst. Tech. 81 6 93 2 11 134 39 28 42 75 54 4 89,2 4
Yale Univ. 72 7 81 5 45 33 26 66 93 2 24 18 89,2 4
Stanford Univ. 82 5 85 3 9 143 34 35 32 118 55 2 85,4 6
California Inst. Tech. 53 26 21 114 24 77 40 24 67 22 100 1 83,8 7
Univ. of California, Berkeley 92 4 75 9 6 164 13 132 22 157 39 7 80,4 8
Imperial College, London 65 14 44 32 55 22 56 9 88 5 12 77 78,6 9
Princeton Univ. 68 13 61 17 21 93 29 50 53 42 34 10 74,2 10
Moscow State Univ. 42 47 28 84 1 191 7 175 30 126 3 170 37 93
St Petersburg State Univ. 26 138 18 128 1 191 9 157 47 56 1 185 30,7 164
Примечание. R — ранговое значение показателя, S — нормированное количественное значение показателя.
Как видно из табл. 9, по некоторым показателям лучший российский вуз обошел вузы США, попавшие в первую десятку.
В частности, по числу упоминаний вуза представителями кадровых и рекрутинговых агентств МГУ опережает Калифорнийский технологический институт, а по соотношению числа студентов и сотрудников вуза — университет Беркли. Не так существенно отставание МГУ и по доле иностранных студентов и сотрудников вуза, при этом значения данных показателей вызывают большие сомнения.
С точки зрения общих результатов рейтинга QS-THES интересен тот факт, что вузы, набравшие максимальные значения по показателям International Faculty (IF) и International Students (IS), не вошли в число десяти лучших, что говорит о некорректности использования этих показателей при составлении рейтинга наряду с другими.
Подробное рассмотрение результатов рейтинга QS-THES показывает, что при анализе итогового места вуза необходимо ориентироваться на количественные значения отдельных показателей рейтинга, поскольку они в некоторых случаях слабо увязаны с итоговым результатом, особенно с его ранговым значением.
Результаты рейтинга Webometrics не были подробно проанализированы авторами на том основании, что итоговая презентационная форма рейтинга не включает количественные значения показателей по отдельным вузам.
Что касается Тайваньского рейтинга, то единственный российский вуз, представленный в нем, получил достаточно высокие значения по общему числу публикаций в журналах базы ESI —
34,2 балла по числу публикаций за 11 лет (37-е место) и 20,7 балла по числу публикаций за последний год (95-е место). По остальным показателям, так или иначе связанным с цитированием, вуз не
255
а
Статистика и социология образования
входит в первую сотню. Это и предопределяет общее низкое место вуза в рейтинге.
Закпючеіние Мы постарались максимально подробно рассмотреть существую-
_______________ щие подходы к глобальным рейтингам с точки зрения процедур их
составления. Проведенный анализ позволяет сделать следующий вывод: рейтинговые значения вузов в глобальных рейтингах в большей степени зависят от методики их составления, чем от реальных процессов, происходящих сегодня в мировой системе высшего образования. Именно поэтому результаты различных глобальных рейтингов слабо коррелируют друг с другом.
При этом ранговые значения российских вузов в глобальных рейтингах не отражают значимых тенденций в развитии отечественного образования и его место в мире. По некоторым показателям российские вузы (в частности, МГУ) превосходят лучшие вузы США. Общий итоговый результат рейтинга является достаточно противоречивым показателем, поскольку по разным позициям характеристики лучших российских вузов существенным образом различаются.
Кроме того, содержательная интерпретация глобальных рейтингов в значительной степени зависит от тех показателей, значения которых возможно собрать по всей совокупности исследуемых вузов. Существующие рейтинги слабо увязаны с такой интегральной характеристикой образования, как качество. В них качество образования если и рассматривается, то только в каких-либо частных аспектах. При этом общей оценки качества образования в лучших вузах мира не дается.
Приложение 1 Страновое сравнение результатов Шанхайского рейтинга 2007 г.
В таблице указано число вузов, входящих в соответствующую группу (ТОР-10, ТОР-20 и т.д.).
№ п/п Страна ТОР- 10 ТОР- 20 ТОР- 50 ТОР- 101 ТОР- 201 ТОР- 304 ТОР- 401 ТОР- 508
1 США 8 17 37 54 88 117 140 166
2 Великобритания 2 2 5 11 22 33 37 42
3 Япония 0 1 2 6 9 12 18 32
4 Канада 0 0 2 4 7 17 19 22
5 Франция 0 0 1 4 7 12 17 22
6 Швейцария 0 0 1 3 6 7 7 8
7 Нидерланды 0 0 1 2 9 9 12 12
8 Дания 0 0 1 1 3 4 4 4
9 Германия 0 0 0 6 14 22 36 41
10 Швеция 0 0 0 4 4 9 9 11
11 Австралия 0 0 0 2 7 9 11 17
12 Израиль 0 0 0 1 4 5 6 7
13 Финляндия 0 0 0 1 1 1 3 5
14 Норвегия 0 0 0 1 1 2 3 4
15 Россия 0 0 0 1 1 1 2 2
16 Италия 0 0 0 0 5 8 14 20
256
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня
а
Окончание приложения 1
№ п/п Страна ТОР- 10 ТОР- 20 ТОР- 50 ТОР- 101 ТОР- 201 ТОР- 304 ТОР- 401 ТОР- 508
17 Бельгия 0 0 0 0 4 6 7 7
18 Китай 0 0 0 0 1 6 8 14
19 Испания 0 0 0 0 1 4 6 9
20 Южная Корея 0 0 0 0 1 3 6 8
21 Австрия 0 0 0 0 1 2 4 7
22 Бразилия 0 0 0 0 1 2 3 5
23 Тайвань 0 0 0 0 1 1 4 6
24 Сингапур 0 0 0 0 1 1 2 2
25 Аргентина 0 0 0 0 1 1 1 1
25 Мексика 0 0 0 0 1 1 1 1
27 Гонконг 0 0 0 0 0 4 4 5
28 Новая Зеландия 0 0 0 0 0 1 3 5
29 Южная Африка 0 0 0 0 0 1 2 4
30 Ирландия 0 0 0 0 0 1 2 3
31 Греция 0 0 0 0 0 1 2 2
32 Чехия 0 0 0 0 0 1 1 1
33 Венгрия 0 0 0 0 0 0 2 2
33 Индия 0 0 0 0 0 0 2 2
33 Польша 0 0 0 0 0 0 2 2
36 Чили 0 0 0 0 0 0 1 2
37 Португалия 0 0 0 0 0 0 0 2
38 Египет 0 0 0 0 0 0 0 1
38 Словения 0 0 0 0 0 0 0 1
38 Турция 0 0 0 0 0 0 0 1
Приложение 2 Страновое сравнение результатов рейтинга QS-THES 2006 г.
В таблице указано число вузов, входящих в соответствующую группу (ТОР-10, ТОР-20 и т.д.).
№ п/п Страна ТОР-10 ТОР-20 ТОР-50 ТОР-100 ТОР-200 ТОР-543
1 США 7 11 22 33 55 103
2 Великобритания 3 4 8 15 29 45
3 Австралия 0 1 6 7 13 18
4 Франция 0 1 2 5 7 36
5 Япония 0 1 2 3 11 35
6 Китай 0 1 2 2 6 13
7 Сингапур 0 1 1 2 2 2
8 Канада 0 0 3 3 7 20
9 Швейцария 0 0 2 5 7 8
10 Гонконг 0 0 2 3 4 4
11 Новая Зеландия 0 0 1 2 2 6
12 Нидерланды 0 0 0 7 11 12
13 Германия 0 0 0 3 10 44
14 Бельгия 0 0 0 2 5 8
15 Индия 0 0 0 2 3 7
16 Австрия 0 0 0 1 3 5
17 Дания 0 0 0 1 3 4
18 Южная Корея 0 0 0 1 3 15
19 Россия 0 0 0 1 2 5
20 Ирландия 0 0 0 1 1 7
257
а
Статистика и социология образования
Окончание приложения 2
№ п/п Страна ТОР-10 ТОР-20 ТОР-50 ТОР-100 ТОР-200 ТОР-543
21 Мексика 0 0 0 1 1 3
22 Швеция 0 0 0 0 4 9
23 Израиль 0 0 0 0 3 4
24 Малайзия 0 0 0 0 2 4
25 Италия 0 0 0 0 1 21
26 Испания 0 0 0 0 1 15
27 Тайвань 0 0 0 0 1 12
28 Финляндия 0 0 0 0 1 7
29 Таиланд 0 0 0 0 1 7
30 Норвегия 0 0 0 0 1 4
31 Бразилия 0 0 0 0 0 7
32 Греция 0 0 0 0 0 6
33 Индонезия 0 0 0 0 0 5
33 Турция 0 0 0 0 0 5
35 Аргентина 0 0 0 0 0 4
35 Чили 0 0 0 0 0 4
35 Филиппины 0 0 0 0 0 4
35 Польша 0 0 0 0 0 4
35 Южная Африка 0 0 0 0 0 4
40 Португалия 0 0 0 0 0 3
41 Чехия 0 0 0 0 0 2
41 Венгрия 0 0 0 0 0 2
43 Бангладеш 0 0 0 0 0 1
43 Колумбия 0 0 0 0 0 1
43 Египет 0 0 0 0 0 1
43 Нигерия 0 0 0 0 0 1
43 Пакистан 0 0 0 0 0 1
43 Перу 0 0 0 0 0 1
43 Румыния 0 0 0 0 0 1
43 Словения 0 0 0 0 0 1
43 Шри-Ланка 0 0 0 0 0 1
43 Уругвай 0 0 0 0 0 1
Приложение 3 Страновое сравнение результатов рейтинга Webometrics 2007 г.
В таблице указано число вузов, входящих в соответствующую группу (ТОР-10, ТОР-20 и т.д.).
№ п/п Страна ТОР- 10 ТОР- 20 ТОР- 50 ТОР- 100 ТОР- 200 ТОР- 300 ТОР- 400 ТОР- 500
1 США 10 20 42 68 105 137 169 192
2 Великобритания 0 0 3 4 11 15 27 39
3 Канада 0 0 2 8 15 22 23 27
4 Швейцария 0 0 1 2 4 6 6 7
5 Норвегия 0 0 1 2 3 3 4 4
6 Финляндия 0 0 1 1 1 3 6 7
7 Германия 0 0 0 4 19 35 42 51
8 Швеция 0 0 0 3 5 8 9 10
9 Австрия 0 0 0 2 2 2 4 5
10 Нидерланды 0 0 0 1 8 9 9 10
11 Австралия 0 0 0 1 6 8 12 15
12 Япония 0 0 0 1 3 6 9 12
258
И.А. Артюшина, В.А. Шутилин Глобальные рейтинги на повестке дня 1 2 3 4 5 6 7 8 9
а
Окончание приложения 3
№ п/п Страна ТОР- 10 ТОР- 20 ТОР- 50 ТОР- 100 ТОР- 200 ТОР- 300 ТОР- 400 ТОР- 500
13 Дания 0 0 0 1 2 3 3 5
14 Тайвань 0 0 0 1 1 2 5 7
15 Мексика 0 0 0 1 1 1 1 2
16 Испания 0 0 0 0 2 6 12 22
17 Италия 0 0 0 0 2 5 11 15
18 Чехия 0 0 0 0 2 3 3 4
19 Гонконг 0 0 0 0 2 2 3 5
20 Бельгия 0 0 0 0 1 3 5 5
21 Израиль 0 0 0 0 1 3 4 4
22 Бразилия 0 0 0 0 1 3 3 5
23 Китай 0 0 0 0 1 2 4 5
24 Сингапур 0 0 0 0 1 1 1 2
25 Россия 0 0 0 0 1 1 1 1
26 Франция 0 0 0 0 0 4 7 12
27 Португалия 0 0 0 0 0 1 3 6
28 Венгрия 0 0 0 0 0 1 2 3
29 Греция 0 0 0 0 0 1 2 2
29 Южная Корея 0 0 0 0 0 1 2 2
29 Новая Зеландия 0 0 0 0 0 1 2 2
32 Чили 0 0 0 0 0 1 1 1
32 Исландия 0 0 0 0 0 1 1 1
34 Аргентина 0 0 0 0 0 0 1 1
34 Эстония 0 0 0 0 0 0 1 1
34 Словакия 0 0 0 0 0 0 1 1
34 Южно-Африканская Республика 0 0 0 0 0 0 1 1
38 Польша 0 0 0 0 0 0 0 3
39 Турция 0 0 0 0 0 0 0 2
40 Сербия 0 0 0 0 0 0 0 1
1. Лю Н.К., Чень И. Академический рейтинг университетов мира // Литература
http://www.aha.ru/~moscow64/educational_book/Hee_xxx_2005.zip ______________
2. How do we identify highly cited researchers? // http://www.isihighlycited. com/
3. Ince M. Insiders and outsiders lend a balanced view // The Times Higher.
2006. October 6.
4. O’Leary J. Top performers on the global stage take a bow // The Times Higher. 2004. November 5. P. 2.
5. 2007 Performance ranking of scientific papers for world universities methodology // www.heeact.edu.tw/ranking/EngTop100.htm
6. Ranking methodology // http://ed.sjtu.edu.cn/rank/2007/ARWU2007 Methodology.htm
7. Science Citation Index Expanded // http://www.thomsonscientific.com/ cgi-bin/jrnlst/jloptions.cgi?PC=D
8. Social Science Citation Index // http://www.thomsonscientific.com/cgi-bin/jrnlst/jloptions.cgi?PC=J
9. http://www.webometrics.info/methodology.html
