Оценка влияния индекса цитирования на рейтинги университетов Текст научной статьи по специальности «Экономика и бизнес»

ЭКОНОМИКА ОБРАЗОВАНИЯ

Варшаёский Александр Еёгмье&и/ч, Жсмки/на Татьяна Анатсльеёна

Оценка Влияния индекса цитироёания на рейтинги униВерситетсё

Л \

о

PQ •<

PLh

И

К

U-i О Ч

ас ££

к

о щ

о

м

Проведено исследование используемых в рейтинге THE-QS индикаторов, в первую очередь, показателя цитируемости. Анализ и моделирование подтверждают необходимость критического отношения к рейтингам вузов.

Рейтинг, университеты, цитируемость, индикаторы, модели

ведение

В условиях расширения спроса и предложения образовательных ресурсов, стремления к коммерциализации и, соответственно, формирования рынка образования, особенно с усилением тенденций к глобализации, обостряется конкуренция между университетами наиболее развитых стран за привлечение максимального числа студентов и соответственно повышение дохода. Одним из факторов в конкурентной борьбе становится классификация университетов, оценка их рейтингов. В настоящее время существует несколько рейтингов высших учебных заведений: два основных и самых известных - THE-QS World University Rankings (THE-QS) [1] и Шанхайский The Academic Ranking of World Universities (ARWU 500) [2], а также три менее известных - Лейденского университета, Лиссабонский и еще только разрабатываемый рейтинг стран EC (проект U-Multirank).

Очевидно, что университеты, занимающие в рейтинге первые места, могут рассчитывать на больший приток студентов даже при высокой стоимости обучения и, соответственно, на более высокий доход. Поэтому можно предположить наличие обратной связи - стремление создать такой, возможно, не совсем объективный рейтинг, который усиливал бы некоторые преимущества определенной группы университетов одной или нескольких стран и выводил их на первые позиции, обеспечивая тем самым более высокий приток студентов и больший доход.

В настоящее время большинство первых мест в основных рейтингах занимают университеты США. Естественно, что университеты других стран, в первую очередь европейских, оказываются в худшем положении. В частности, в худшей ситуации оказываются и российские вузы. Очевидно, что в условиях глобализации иностранные студенты будут стремиться попасть в наиболее престижные (в соответствии с местом в рейтинге, так как другие способы выбора для большей части студентов недоступны) университеты.

Роль рейтингов университетов достаточно высока, но существуют большие сомнения в их объективности, что подчеркивается в появившихся в последнее время работах европейских экспертов. Методология разработки рейтингов, выбор системы индикаторов, в том числе использование библиометрических показателей при ранжировании университетов, также требует специального рассмотрения.

Следует отметить, что проблемы, связанные с составлением рейтингов университетов, уже около десяти лет привлекают внимание исследователей за рубежом, см., например, [3], где приведен ряд ссылок на работы 2001-2004 гг. В указанной статье отмечается целый ряд проблем, в том числе монополизм источника библиометрических показателей ISI, а также то, что эти показатели очень часто используют некомпетентные специалисты. Кроме того, биб-лиометрический анализ справедлив только в том случае, если в определенной области меж-

г

дународные журналы являются доминирующими средствами общения ученых. Отмечается также, что использование индекса цитирования в технических, общественных и гуманитарных науках весьма проблематично. Очень важной проблемой является явное доминирование статей, написанных на английском языке и показателей результативности англоязычных авторов, соответственно, университетов англоязычных стран. Кроме отмеченной выше, существует также проблема точности используемых данных, их значительного расхождения даже в пределах двух смежных годов, см. [4].

Многие ведущие зарубежные эксперты отмечают необоснованность применения библиомет-рических показателей при оценке качества исследований. В 2007 г. был создан комитет по «Количественной оценке исследований» [5], задачей которого было изучить использование и злоупотребление данными цитирования при оценке исследований. По мнению некоторых экспертов [6] использование данных цитирования дает неполную, а иногда и искаженную оценку качества научного исследования. Во многих странах экспертная оценка качества научных исследований заменяется на статистический анализ данных цитирования. Существует мнение, что статистика цитирования является простым и объективным методом оценки научных исследований и легко подвергается ранжированию. Индекс цитирования используется для оценки университетов, в том числе в международных рейтингах вузов. При этом, как отмечают некоторые эксперты [7], статистические данные, связанные с цитирование, могут быть некорректно истолкованы при определении рейтинга как журналов, так и статей, издающихся в них. Это, в свою очередь, ведет к ошибкам при ранжировании университетов в рейтингах, использующих показатели цитирования. Таким образом, появляется возможность влияния на данный показатель, так как если статистика цитирования играет значительную роль в оценке университетов, то авторы, редакторы и издатели найдут способы управлять этим показателем [8]. По мнению Ф. Кембел [9], главного редактора журнала Nature (публикации в этом журнале, например, учитываются при ранжировании университетов в китайском рейтинге ARWU), показатель цитируемости является неточным при оценке качества исследования, так как существуют дисциплины с характерно низким показателем уровня цитируе-мости на статью, например, физика и т.д.

В работе [10] выделяются две группы проблем: во-первых, проблема выбора и адекватных измерителей для оценки и характеристики различных параметров системы образования, включая научно-исследовательскую и инновационную деятельность в вузах; во-вторых, проблема агрегирования выбранных параметров. Автор данной работы отмечает недостатки доминирующей в настоящее время модели, в частности, скошенность оценок в пользу определенных типов университетов; отсутствие адекватных измерителей для вузов, специализирующихся в области гуманитарных и, в большей степени, социальных наук; игнорирование уровня вузов, для которых проведение НИР не является приоритетной задачей.

В настоящее время в странах EC ведется работа по существенному изменению модели международного рейтинга с целью стимулирования развития университетов в тех направлениях, которые требуются обществу, предоставления помощи потенциальным студентам в выборе наиболее подходящего для них учебного заведения, обеспечения предоставления средств государством для повышения эффективности системы образования.

Однако, как подчеркивается в [10], при использовании даже самого совершенного подхода остаются опасности, связанные со стимулированием деятельности университетов в направлении достижения не свойственных им целей; с отходом от условий креативной свободы и гибкости, требуемых для передовых учебных заведений, в сторону формирования детализированной системы оценок и баллов и, наконец, с превращением вузов в своего рода супермаркет, в котором продаются модульные продукты.

В настоящее время многие университеты в целях повышения своего рейтинга, а следовательно привлечения большего финансирования, используют различные способы увеличения числа публикаций в журналах с высоким импакт-фактором, при этом как ухудшается само качество публикацию, так, и возможно, это влияет на качество преподавания в вузе.

Таким образом, представляет интерес исследование влияния библиометрических показателей, в частности, индекса цитируемости, на результаты рейтингов вузов. В данной работе эта проблема рассматривается на примере одного из основных, регулярных и повторяемых рейтингов THE-QS (THE-QS World University Rankings). Для лучшего понимания влияния важ-

<¿2

О ¡□U

о я

¡□U >

О ■п К

¡=1

•по

>■

bd О

1

Ц il

л

J

о

PQ •<

PLh

И

S

t-ч

О

Ч

н s

s

о H о

M СП

нейших факторов, формирующих ранги университетов, в частности, показателя цитируемо-сти, было проведено исследование корреляционной связи между показателем цитируемости и другими показателями с помощью регрессионных моделей.

Общая характеристика рейтинга THE-QS

Международный рейтинг THE-QS (THE-QS World University Rankings) проводился консалтинговой организацией QS (Quacquarelli Symonds) и газетой The Times, начиная с 2004 г. С 2010 г. данный рейтинг претерпел определенные изменения, его основным организатором стала группа QS, и рейтинг получил новое название - QS World University Rankings. Однако осталась преемственность системы показателей данного рейтинга, в том числе библиометри-ческих показателей.

При расчете рейтинга каждый показатель взвешивается с определенным весовым коэффициентом. В числе индикаторов качества вуза в рейтинге используются следующие:

- экспертная оценка (peer review score) - обобщенное мнение представителей мировой академической среды (весовой коэффициент равен 0,4);

- оценка работодателей (employer review score) - основана на мнении имеющих ученую степень нанимателей - представителей компаний из различных стран относительно того, выпускников каких вузов они предпочитают приглашать на работу (0,1);

- соотношение числа преподавателей и студентов (staff/student score) - (0,2);

- показатель цитируемости (citations/staff score) - среднее число ссылок на статьи, опубликованные преподавателями вуза в расчете на одного преподавателя с учетом эквивалента полного рабочего времени; при расчете показателя используется информация реферативной базы данных научных публикаций «Scopus», число цитирований научной продукции университета подсчитывается за 5 лет (0,2);

- доля иностранных преподавателей (international staff score) в общей численности преподавателей вуза в эквиваленте полного рабочего времени (0,05);

- доля иностранных студентов (international students score) в общей численности студентов вуза по программам полного цикла обучения (0,05).

Таким образом, вес показателя цитируемости является одним из самых высоких.

В десятку лучших вузов мира, согласно рейтингу 2009 г., входят только университеты США и Великобритании. Из российских вузов в рейтинг вошли только МГУ им. М.В. Ломоносова (МГУ) -155-е место, Санкт-Петербургский государственный университет (СПГУ) - 168-е место.

Следует отметить, что по опубликованным предварительным данным в число лучших 200 вузов мира в 2010 г. не вошел ни один российский вуз. В целом, среди 200 университетов в 2009 г. было 54 вуза США, Великобритании - 29, Канады, Японии, Нидерландов - по 11, России - 1. В табл. 1 приведены данные по десяти лучшим университетам мира, а также результаты российских университетов (в таблице даны названия вузов на английском языке).

Таблица 1

Десять лучших вузов мира, согласно рейтингу THE-QS, и места российских университетов (2009 г.) [1]

ВУЗ Страна Место в общем рейтинге

Harvard University USA 1

University of Cambridge UK 2

Yale University USA 3

University College London UK 4

Imperial College London UK 5

University of Oxford UK 5

University of Chicago USA 7

Princeton University USA 8

Massachusetts Institute of Technology USA 9

California Institute of Technology USA 10

Lomonosov Moscow State University Russia 155

Saint-Petersburg State University Russia 168

Анализ показателей российских вузов в рейтинге ТИЕ-ОБ

Рассмотрим отдельно показатели, определившие места МГУ и СПГУ среди двухсот ведущих университетов мира.

t

По показателю «Экспертная оценка», МГУ занимает 91-е место и СПГУ - 144-е место (в общем рейтинге 155 и 168-е места соответственно). По показателям «Оценка работодателей» - 110 и 129-е; «Соотношение числа преподавателей и студентов» - 165 и 23-е (следует отметить, что значения данного показателя в рейтинге вызывают сомнения у руководства МГУ [11]); «Показатель цитируемости» - 183 и 198-е; «Доля иностранных преподавателей» - 73 и 197-е и «Доля иностранных студентов» - 134 и 188-е места, соответственно (табл. 2).

Таблица 2

Место МГУ и СПГУ в общем рейтинге среди 200 ведущих университетов, среди европейских вузов и вузов неанглоязычных стран по отдельным показателям (расчет по данным THE-QS, 2009 г. [1])

Показатели Место в общем рейтинге Место среди европейских вузов Место среди неанглоязычных вузов

МГУ СПГУ МГУ СПГУ МГУ СПГУ

Экспертная оценка 91 144 33 54 41 67

Оценка работодателей 110 129 39 49 34 44

Соотношение числа преподавателей и студентов 167 23 74 13 77 11

Показатель цитируемости 183 198 79 85 77 89

Доля иностранных преподавателей 73 197 40 84 20 88

Доля иностранных студентов 134 188 73 85 52 80

Общий балл 155 168 62 69 64 72

Так как англоязычные вузы, в первую очередь, вузы США и Великобритании, обладают преимуществом, определяемым тем, что основные библиометрические базы данных являются англоязычными, то представляет также интерес оценки места МГУ и СПГУ среди европейских вузов и вузов неанглоязычных стран по данному рейтингу. Приведенные в табл. 2 данные показывают, что среди европейских вузов МГУ занимает 62 место, СПГУ - 69, а среди вузов неанглоязычных стран - 64 и 72-е место, соответственно.

Очевидно, два показателя - «Показатель цитируемости» и «Соотношение числа преподавателей и студентов» - вызывают определенные сомнения. Первый - потому, что использование биб-лиометрических показателей для неанглоязычных вузов заведомо снижает их место в рейтинге, а второй, по мнению ректора МГУ В. Садовничего, для МГУ является необъективным.

Поэтому представляет интерес расчет места вузов в рейтинге без учета этих двух показателей. Результаты такого расчета с учетом весовых коэффициентов для каждого показателя представлены в табл. 3.

Таблица 3

Скорректированные места лучших вузов мира и России без учета двух показателей «Соотношение числа преподавателей и студентов» и «Показатель цитируемости», расчет по данным ТИЕ^Э 2009 г. [1]

Расчетное место(расчет без учета двух показателей) Место в рейтинге 2009 г. с учетом всех показателей Страна Университет

1 5 Великобритания Imperial College London

2 2 Великобритания University of Cambridge

3 5 Великобритания University of Oxford

4 30 Сингапур National University of Singapore

5 36 Австралия University of Sydney

6 4 Великобритания University College London

7 17 Австралия Australian National University

8 45 Австралия Monash University

9 1 США Harvard University

10 8 США Princeton University

11 3 США Yale University

12 7 США University of Chicago

13 36 Австралия University of Melbourne

14 18 Канада McGill University

15 20 Великобритания University of Edinburgh

87 155 Россия Lomonosov Moscow State University

172 168 Россия Saint-Petersburg State University

О Œ О

S

S

^

Se-

Œ

>

О i-n

S

¡=1 >-

bd О

Таким образом, без учета двух показателей «Соотношение числа преподавателей и студентов» и «Показатель цитируемости» МГУ поднялся бы со 155 на 87-е место, а СПГУ практически остался на прежней позиции (перешел со 168 на 172-е место).

о рр

Ри

1=1

К Е—. О

ч

к

г

о и о

М СГ>

В статье [4] было показано, что отдельные индивидуальные индикаторы университетов, в частности, общий балл, соотношение учащихся и преподавателей и экспертная оценка характеризуются очень высоким уровнем флуктуации для двух последовательных годов. Этот факт свидетельствует, по мнению авторов, о проблемах использования данных показателей и о

Нами также подтверждается значительная флуктуация всех используемых в данном рейтинге показателей для двух последовательных годов - 2008 и 2009 гг. Приводимые ниже результаты свидетельствуют об определенных закономерностях, которые характеризуются повышением среднеквадратического значения показателя и математического ожидания изменения показателя за два смежных года при понижении ранга университета.

На рис. 1 представлен показатель цитируемости для всех университетов за 2008 г. и 2009 г., свидетельствующий о разбросе оценок за два смежных года (при стабильных рейтингах все точки должны находиться на прямой с углом наклона 45°). На рис. 2 показано изменение средней разности значений и на рис. 3 - среднеквадратического отклонения данного показателя в рейтингах 2008 и 2009 гг. для 8 последовательных групп университетов (каждая группа включает 25 университетов), как для всех университетов, так и для университетов неанглоя-

20 30 40 50 60 70 80 90 100

2008 г.

Рис. 1. Показатель цитируемости в рейтингах 2008 г. (ось х) и 2009 г. (ось у) для всех университетов

Рис. 2. Средние разности (ш) значений показателя цитируемости в рейтингах 2008 и 2009 гг. для 8 последовательных групп (п) университетов (каждая группа включает 25 университетов; группа 1 - университеты, занявшие места с 1 по 25-е); представлены три выборки университетов: полная выборка (1), университеты неанглоязычных (2) и англоязычных (3) стран

г

Л

Е5Е

Рис. 3. Среднеквадратическое отклонение значений показателя цитируемости в рейтингах 2008 и 2009 гг. (б) для 8 последовательных групп университетов (п); каждая группа включает 25 университетов, в группу 1 входят университеты, занявшие места с 1 по 25-е; 1 - полная выборка университетов, 2 - университеты неанглоязычных стран, 3 - университеты англоязычных стран

Представленные графики и результаты расчетов свидетельствуют о следующем: - погодовые изменения показателя цитируемости для двух смежных годов (в данном случае 2008 и 2009 гг.) значительно возрастают по мере уменьшения рейтинга вуза, что, на наш взгляд, свидетельствует о неточности оценки показателя для вузов, занимающих последние места;

- значительные среднеквадратические отклонения и средние разности показателя цитируе-мости для вузов, занявших места в первых группах, требуют специального обоснования, так как лучшие работы должны цитироваться в течение достаточно большого периода времени.

Таким образом, отмеченные выше особенности рейтингов двух смежных лет ставят под сомнение точность определения используемого показателя и свидетельствуют о большой вероятности существенного изменения рейтинга вуза в результате неточного сбора первичной информации.

Анализ взаимосвязей показателей рейтинга THE-QS

Представляет интерес анализ взаимосвязей показателей рейтинга THE-QS, в частности, зависимость «Показателя цитируемости» от других факторов. Ниже показано, что результаты эконометрического моделирования также свидетельствуют о необходимости пересмотра используемой методологии разработки рейтинга.

Моделирование проводилось с помощью цензурированной регрессионной модели - Тобит-модели с использованием эконометрического пакета анализа «Eviews». В представленных ниже моделях включались только значимые факторы, со значением z-статистики не ниже 2 (этот показатель аналогичен t-статистике). Также для сравнения моделей применялся критерии Акаики и Шварца (Akaike info criterion, Schwarz criterion). Данные для моделирования были взяты из рейтинга высших учебных заведений THE-QS за 2009 г. [1]. Следует отметить, что оценка с помощью метода наименьших квадратов дала близкий результат.

При моделировании были использованы следующие показатели: экспертная оценка (Yi), оценка работодателей (Y2); соотношение числа преподавателей и студентов (Y3); показатель цитируемости (Y4); доля иностранных преподавателей (Y5); доля иностранных студентов (Y6).

Анализ зависимости показателя «Оценка работодателей» от других факторов представляет, по нашему мнению, наибольший интерес, так как именно она позволяет получить сведения о качестве подготовки среднего специалиста в данном вузе и его полезности для практической деятельности, а также оценить степень влияния показателя цитируемости на оценку работодателя. Были рассчитаны три модели для показателя «Оценка работодателей»: модель (1), факторами которой выбраны следующие: экспертная оценка (Yi), соотношение числа преподавателей и студентов (Y3); показатель цитируемости (Y4), доля иностранных студентов (Y6); модель (2), факторами данной модели являются: соотношение числа преподавателей и студентов (Y3); показатель цитируемости (Y4), доля иностранных преподавателей (Y5); и модель (3), которая характеризует зависимость оценки работодателей только от показателя цитируемости (Y4) (в скобках под коэффициентами даны значения z-статистики).

Y2 = 0,75 х Yi + 0,13 х Y3 - 0,16 х Y4 + 0,27 х Y6, (1)

(11,2) (2,4) (-2,5) (5,1)

Y2 = 4,69 + 0,1 х Y3 - 0,001 х Y4 + 0,4 х Y5, (2)

(5,5) (2,8) (-0,03) (3,2)

Y2 = 7,43 - 0,03 х Y4, (3)

(12,6) (-0,6)

Для повышения точности оценок было проведено также моделирование для двух усеченных выборок вузов. Модель (4) рассчитана для выборки без первых десяти вузов и модель (5) для выборки без двадцати вузов, занявших первые места в рейтинге. В этом случае значимость оценок параметра при факторе цитирования значительно повышается.

И

о из о

я и

СП

>

о ■-п

к

¡=1

•по

>■

ьа о

Y2 = 6,05 х Yi + 0,05 х Y3 ■ (6,4) (1,4)

0,05 х Y4 + 0,31 х Y5, (-1,2) (2,4)

(4)

У2 = 7,26 х у, - 0,12 х У4 + 0,33 х Уз, (5)

(9,9) (-2,7) (2,6)

Как видно, оценка работодателями вуза тем больше, чем выше его экспертная оценка. На оценку работодателей оказывает положительное влияние соотношение числа преподавателей и студентов, а также и международное признание (более высокая доля иностранных студентов

1

Ц il

о

PQ •<

Pu

l=¡

S

i—, О Ч

H

s

s

о H о

M

СТ5

и преподавателей). Возможно, последнее связано с тем, что иностранные студенты выбирают вузы, имеющие высокую репутацию как среди студентов, так и среди работодателей.

Самый главный вывод - оценка работодателей негативно коррелированна с показателем цитируемости. Это означает, что для работодателей количество публикаций в расчете на одного преподавателя не только не является важным, но, более того, оказывает отрицательное влияние на их оценку уровня подготовки вузом студентов, принимаемых ими на работу. Данный результат, на наш взгляд, убедительно доказывает, что показателю цитируемости, т.е. научной продуктивности (результативности) преподавателей вузов, не следует придавать большой вес в рейтингах вузов.

Анализ результатов моделирования показателя «Доля иностранных студентов» от таких факторов, как соотношение числа преподавателей и студентов (Уэ); показателя цитируемости (У4); доли иностранных студентов (Уб), см. модель (6), показывает, что доля иностранных студентов увеличивается при росте доли иностранных преподавателей, соотношения числа преподавателей и студентов, а также показателя цитируемости. Именно эти показатели обеспечивают рекламу вуза, рост его престижа за рубежом. Другими словами, именно высокий показатель цити-руемости приносит вузам более высокие доходы за счет привлечения иностранных студентов, стоимость обучения которых, например, в университетах США, почти в 2 раза выше, чем стоимость обучения резидентов.

Уа = 0,06 X Уз + 0,03 X Y4 + 0,64 х у6, (4,5) (2,5) (13,1)

(6)

Заключение

Таким образом, на основании анализа данных основного мирового рейтинга вузов можно предположить, что использование библиометрических показателей способствует выводу на лидирующие позиции англоязычных вузов, в первую очередь вузов США, что указывает на определенную необъективность применяемых методик рейтингования. При этом места неанглоязычных вузов, в том числе российских, искусственно занижаются.

Важно подчеркнуть при этом, что, как показывают результаты эконометрического моделирования, работодатели, по-видимому, негативно относятся к публикационной активности преподавателей вузов.

Следует также отметить, что стремление значительно расширить научные исследования в вузах не может привести к заметному повышению эффективности науки, так как прямая обязанность вузов (об этом говорится, например, в докладе Лиги европейских исследовательских университетов, в которую входят 22 ведущих вуза стран ЕС) прежде всего обучение студентов, а не научно-исследовательская деятельность [12].

Литература

[1] Times Higher Education (THE) / Times Higher Education World University Rankings // official website http://www.timeshighereducation.co.uk

[2] The Academic Ranking of World Universities (ARWU) // official website http: //www.arwu.org

[3] Anthony F.J. van Raan. (2005). Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, Vol. 62, No. 1, 133.143.

[4] Bookstein F., Seidler H., Fieder M., Winckler G. (2010). Too much noise in the Times Higher Education rankings. Scientometrics, 85:295-299

[5] http://www.mathunion.org

[6] Игра в цифирь, или как теперь оценивают труд ученого (сборник статей о библиометрике. М.: МЦНМО, 2011

[7] Macdonald S., Kam J., Aardvark et al.: quality journals and gamesmanship in management studies, Journal of Information Science 33 (2007), 702-717.

[8] Peter A. Lawrence, Lost in publication: how measurement harms science, Ethics in Science and Environmental Politics 8 (2008), 9-11. © Inter-Research, 2008.

[9] Philip Campbell, Escape from the impact factor, Ethics in Science and Environmental Politics 8 (2008), 5-7. © Inter-Research, 2008.

[10] Bolton G. (2010) University rankings: diversity, excellence and the European initiative. League of European Research Universities, June.

[11] http://www.newsru.com, 20 октября 2008 г.

[12] Варшавский А.Е. Проблемы науки и ее результативность // Вопросы экономики. - 2011. - №1.