CC BY
81
Корреляционные связи позиций вузов в международных рейтингах
Гайсенок Виктор Анатольевич - д-р физ.-мат. наук, проф., ректор. E-mail: gaisenok@bsu.by Наумович Ольга Анатольевна - канд. экон. наук, доцент, завкафедрой управления и экономики высшей школы. E-mail: Olga_Naum@tut.by
Самохвал Виктор Васильевич - д-р хим. наук, проф. кафедры управления и экономики высшей школы. E-mail:samakhval@bsu.by
Белорусский государственный университет, Минск, Беларусь Адрес: 220007, Республика Беларусь, г. Минск, ул. Московская, 15
Аннотация. Задачей исследования было изучение взаимосвязи результатов университетских рейтингов, представленных различными рейтинговыми агентствами. Приведены данные о количестве вузов, охватываемых ранжированием в мировых рейтингах Webometrics Ranking of World Universities (WRWU), Academic Ranking of World Universities (ARWU), Quacquarelli Symonds (QS), Times Higher Education (THE), U-Multirank, Round University Ranking (RUR), Московский международный рейтинг «Три миссии университета», SCImago InstitutionsRankings (SIR).
Методами математической статистики изучались корреляции результатов Московского международного рейтинга «Три миссии университета» и рейтингов RUR, QS, THE и WRWU; рейтингов QS с рейтингами THE и WRWU, а также двух рейтингов WRWU, опубликованных в январе 2018 г. и в июле 2017 г. Получены формулы линейной регрессии, связывающие позиции университетов в разных рейтингах. Результаты Московского международного рейтинга «Три миссии университета» умеренно коррелируют с результатами рейтинга RUR, корреляция с WRWU низкая. Корреляции для ранжирования QS с рейтингами THE и WRWU являются умеренными. Очень высокая корреляция была обнаружена только для двух рейтингов WRWU, что вызывает вопрос о целесообразности проведения их с интервалом в шесть месяцев.
Ключевые слова: высшее образование, ранжирование, рейтинг, рейтинг университетов, корреляция, индикаторы, линейная регрессия
Для цитирования: Гайсенок В.А, Наумович О.А, Самохвал В.В. Корреляционные связи позиций вузов в международных рейтингах // Высшее образование в России. 2018. Т. 27. № 12. С. 20-28.
DOI: https://doi.org/l0.31992/0869-3617-2018-27-12-20-28
Одним из следствий интернационализации высшего образования явилось создание мировых рейтингов вузов. При их проведении наиболее сложной является разработка перечня индикаторов, позволяющего количественно оценить в баллах качество образовательной и научной деятельности вуза. Однако при любом выборе индикаторов и схем ранжирования должна быть определенная корреляция между позициями ву-
зов в различных рейтингах. В ином случае у пользователей будут возникать сомнения в адекватности выбора составителями рейтинга индикаторов, характеризующих деятельность вуза.
В 2006 г. на состоявшейся в Берлине конференции международной экспертной группы по ранжированию высших учебных заведений (IREG) были приняты принципы разработки и доведения до обществен-
Таблица 1
Ведущие мировые рейтинги вузов
Название рейтинга Определяемое количество лучших вузов мира
Webometrics Ranking of World Universities (WRWU) Около 22 тыс.
Academic Ranking of World Universities (ARWU) От 200 до 500 в зависимости от направления подготовки специалистов (физика, химия и т.д.)
Quacquarelli Symonds (QS) Около 800
Times Higher Education (THE) Около 1000
U-Multirank Около 1500
Round University Ranking (RUR) Около 700
Московский рейтинг «Три миссии университета» Около 200
SCImago Institutions Rankings (SIR) и др. Около 1100 (включаются и научно-исследовательские учреждения)
ности результатов ранжирования1. Принятый документ известен как Берлинские принципы. В нем сформулировано 16 принципов, распределённых по четырём разделам: первый - цели и задачи рейтинга, второй - введение индикаторов и их весовых коэффициентов, третий - сбор и обработка информации о вузах, четвёртый - информирование о результатах ранжирования. В мае 2011 г. в Париже на очередном заседании исполнительного комитета наблюдательного совета IREG, проведённом в рамках форума «Рейтинг и оценка качества высшего образования - сильные и слабые стороны», были приняты правила проведения аудита и сертификации самого процесса ранжирования2. Цель аудита - повышение качества и прозрачности процесса академического ранжирования для увеличения к нему доверия со стороны вузов, работодателей и потребителей образовательных услуг.
Процесс ранжирования вузов реально может происходить по двум схемам. Первая - автоматизация сбора информации о вузе с использованием Интернета без привлечения оценок его деятельности экспертами и работодателями и без сбора данных
1 The Berlin Principles on Ranking of Higher Education Institutions. 2006. URL: http://ireg-observa-tory.org/en/index.php/berlin-principles
2 IREG Ranking Audit Rules adopted. Paris. 2011. URL: http://ireg-observatory.org/en/203-ireg-ran-king-audit-rules-adopted&prev=search ,
от самих вузов. Вторая - использование, наряду с данными о вузе, имеющимися в глобальной сети и полученными от экспертов и работодателей, представленной вузом в рейтинговое агентство информации о своей деятельности по единой форме. В случае применения первой схемы ранжированием могут охватываться практически все вузы, за исключением тех, которые не размещают на своих сайтах необходимую для его проведения информацию. Примером применения первой схемы является Webometrics Ranking of World Universities (WRWU), далее - вебо-метрический, который охватывает около 22 тыс. вузов. К издержкам его проведения относится то, что в некоторых случаях, наряду с вузами, ранжируются структуры, которые таковыми не являются. Например, в Республике Беларусь при наличии 51 учреждения высшего образования в январе 2018 г. ранжировалось 57 структур, среди которых Институт подготовки научных кадров высшей квалификации НАН Беларуси, учреждения последипломного образования и др.
В настоящее время, наряду с вебометри-ческим рейтингом, функционируют несколько других мировых рейтинговых систем (Табл. 1).
Разработчики рейтинговых систем, как правило, оценивают в баллах качество образовательной и научно-исследовательской деятельности вузов, поэтому должна быть определённая корреляция между их позици-
ями в различных рейтингах. Иначе интерес к результатам ранжирования будет, с одной стороны, снижаться, а с другой - будут появляться сомнения в целесообразности проведения ранжирования с применением его разработчиками индикаторов и их весовых коэффициентов.
В статье «Университетские рейтинги: какому из них можно верить?» А. Маршал отмечает, что рейтинги QS и THE показали совершенно различные результаты по британским университетам [1]. Автор в то же время не отрицает целесообразности проведения ранжирования вузов, но предлагает грамотно и критически пользоваться его результатами. Проблема совершенствования методологий ранжирования вузов обсуждалась и другими авторами [2-10].
Особый интерес представляет исследование корреляции с другими рейтингами итогов нового, основанного в декабре 2017 г. Московского рейтинга «Три миссии университета», в котором не только применялась новая система начисления рейтинговых баллов, но и впервые производилась оценка трёх ключевых миссий университета: образование, наука и взаимодействие с обществом [11].
Нами была исследована корреляция его результатов с рейтингами RUR, ТНЕ, QS, ве-бометрическим. В качестве математического показателя корреляции позиций вузов в различных рейтингах использовалась абсолютная величина коэффициента детерминации R2 в линейной регрессионной модели, интерпретируемого как доля вариации зависимой переменной от независимой [12]. Данная методика была ранее применена при исследовании корреляции позиций вузов стран-участниц СНГ, определённых российскими агентствами Интерфакс и Эксперт РА, с итогами вебометрического рейтинга [13].
В нашем случае коэффициент детерминации R2 является статистической мерой соответствия позиций вузов в одном рейтинге y с их же позициями x в другом рейтинге согласно уравнению линейной регрессии вида
y = kx + a, где k - угловой коэффициент, а -постоянная. Коэффициент детерминации R2 может изменяться в диапазоне от нуля до единицы. Если он равен нулю, то это означает, что связь между переменными регрессионной модели отсутствует. Наоборот, если коэффициент детерминации равен единице, то это означает, что все значения позиций вузов в исследуемых рейтингах лежат точно на линии регрессии, а сумма квадратов их отклонений от линейной зависимости равна нулю. В идеальном случае - при полном совпадении позиций вузов в различных рейтингах - угловой коэффициент k должен быть равен единице, а постоянная а - нулю.
На практике, учитывая, что при ранжировании в различных рейтингах используются разные индикаторы, а перечень ранжируемых вузов может, как правило, совпадать лишь частично, коэффициент детерминации будет находиться в пределах между нулем и единицей. Поэтому полученные уравнения линейной регрессии можно использовать для прогнозирования позиции вуза в одном рейтинге, основываясь на знании его позиций в другом, лишь с некоторой долей вероятности.
На рисунках 1-7 приведены исследованные взаимосвязи позиций вузов в основных действующих мировых рейтингах.
Величина коэффициента детерминации RI для зависимости позиций вузов от их же позиций в рейтинге «Три миссии университета» оказалась максимальной для рейтинга RUR - 0,5185 (Рис. 1) и минимальной -0,2005 - для вебометрического рейтинга (Рис. 4). В первом случае это соответствует нижней границе «тесной» связи по Чэддоку [14] (0,5 < RI < 0,8), во второй - «умеренной» (0,1 < RI < 0,25). Данные на рис. 2 и 3 демонстрируют соответственно «умеренную» и «заметную» связь. «Весьма тесной» связи (RI > 0,8) ни в одном случае не обнаружилось. Связь вебометрического рейтинга с рейтингом QS (рис. 5) также оказалась «заметной».
Поскольку ранее, с 2004 по 2009 гг., рейтинги QS и ТНЕ были единой рейтинговой
CJ
О 50 100 150 200 Z50
Позиции вузов в Московском рейтинге "Три миссии университета"1
(2017 г.)
Рис. 1. Взаимосвязь позиций вузов в рейтинге RUR и их же позиций в Московском рейтинге «Три миссии университета» Fig. 1. An interrelation ofthe positions of universities in the RUR Rankings and their positions in the Moscow International Rating "Three University Missions"
Рис. 2. Взаимосвязь позиций вузов в рейтинге ТНЕ и их же позиций в Московском рейтинге «Три миссии университета» Fig. 2. An interrelation of the positions of universities in THE Rankings and their positions in the Moscow International Rating "Three University Missions"
о ^ 1000
рч
j» S 800 Y = l,5868x- 15,986
X g 600 R1 = 0,4316 ♦
il 400 ♦♦ ♦ ♦♦♦/«•же*
Il
о a О 50 100 150 200
С «
Позиции вузов в Московском рейтинге "Три миссии университета"
(2017 г.)
Рис. 3. Взаимосвязь позиций вузов в мировом рейтинге QS с их же позициями в Московском рейтинге «Три миссии университета» Fig. 3. An interrelation of the positions ofuniversities in the QS Rankings and their positions in the Moscow International Rating "Three University Missions"
Рис. 4. Взаимосвязь позиций вузов в вебометрическом рейтинге с их же позициями в Московском рейтинге «Три миссии университета» Fig. 4. An interrelation of the positions of universities in the Webometrics Ranking and their positions in the Moscow International Rating "Three University Missions"
Рис. 5. Взаимосвязь позиций вузов в вебометрическом рейтинге с их же позициями
в рейтинге QS
Fig. 5. An interrelation of the positions of universities in the Webometrics Ranking and their positions in the QS Rankings
системой QS - ТНЕ, то ожидалось, что коэффициент детерминации в линейной регрессии для взаимозависимости позиций вузов в этих рейтингах должен приближаться к единице, однако расчёт дал величину 0,3627, что соответствует «заметной» связи (Рис. 6). Из этого следует вывод, что даже небольшие изменения в выборе и применении индикаторов могут привести к существенному изменению позиции вуза.
Благодаря автоматизации вебометриче-ский рейтинг позволяет охватить максималь-
ное количество ранжируемых вузов, а его итоги публикуются дважды в год - в январе и июле. В связи с этим для вузов, включённых в Московский рейтинг «Три миссии университета», нами исследована взаимосвязь их позиций, полученная в вебометрическом рейтинге в январе 2018 г. и в июле 2017 г. (Рис. 7). Коэффициент детерминации RI для данной взаимосвязи оказался равным 0,9671, а угловой коэффициент к - 0,9538 («весьма тесная» связь). Величина обоих параметров близка к единице, это свидетельствует о том,
Рис. 6. Взаимосвязь позиций вузов в рейтинге QS c их же позициями в рейтинге ТНЕ для вузов, участвовавших в Московском рейтинге «Три миссии университета» в 2017 г. Fig. 6. An interrelation ofthe positions ofuniversities in The QS Rankings and their positions in THE Rankings (for universities that participated in the Moscow International Rating in 2017)
Рис. 7. Взаимосвязь позиций вузов в вебометрическом рейтинге в январе 2018 г. с их же позициями в июле 2017 г. для вузов, участвовавших в Московском рейтинге «Три миссии университета» в 2017 г. Fig. 7. An interrelation of the positions of universities in the Webometrics Ranking in January 2018 with their positions in July 2017 (for universities that participated in the Moscow International Rating in 2017)
что в среднем за полугодие в вебометрическом рейтинге не происходит существенных изменений в позициях большинства вузов.
В таблице 2 приведены полученные уравнения линейной регрессии взаимосвязи позиций вузов в различных рейтингах и соответствующие им коэффициенты детерминации И2 .
Таким образом, для исследованных рейтинговых систем обнаружена определённая корреляция позиций вузов. С Московским рейтингом «Три миссии университета» наилучшим образом коррелируют итоги рейтинга RUR, минимальная корреляция - с вебометрическим. Корреляция позиций ву-
Таблица 2
Уравнения линейной регрессии взаимосвязи позиций вузов в рейтингах и соответствующие им коэффициенты детерминации R2
Названия рейтингов, для которых исследовалась взаимосвязь позиций вузов Уравнения линейной регрессии взаимосвязи позиций вузов в рейтингах Значения коэффициентов детерминации R2
RUR - Три миссии университета у = 2,083х - 31,29 0,5185
QS - Три миссии университета у = 1,586х - 15,98 0,4316
ТНЕ - Три миссии университета у = 0,542х + 34,47 0,2865
Вебометрический - Три миссии университета у = 4,263х - 113,8 0,2005
QS - ТНЕ у = 0,600х + 27,38 0,3627
Вебометрический - QS у = 1,728х + 7,247 0,3853
Вебометрический (июль 2017 г.) Вебометрический (январь 2018 г.) у = 0,953х + 11,94 0,9671
зов в рейтинге QS c итогами рейтингов ТНЕ и вебометрического практически одинакова: коэффициенты детерминации R2 равны соответственно 0,3627 и 0,3853.
Поскольку коэффициент детерминации R2 для корреляции позиций вузов в вебомет-рическом рейтинге, проведённом с интервалом в полгода, близок к единице, то, очевидно, можно ограничиться проведением данного ранжирования один раз в год.
Отсутствие «весьма тесных» корреляционных связей между различными рейтингами вполне объяснимо. Их наличие свидетельствовало бы об избыточности различных рейтингов. Каждый рейтинг смотрит на систему высшего образования через призму определённой модели университета, например научно-исследовательского или Университета 3.0. Тем самым важнейшие стороны деятельности университета, например уровень фундаментальности обучения или готовность выпускников к конкретной работе, выпадают из шкалы оценок. Многоплановость деятельности и необходимость оценивания множества факторов с учётом весовых коэффициентов делают ранжирование достаточно условной процедурой, которую нельзя абсолютизировать и считать полностью объективной. Кроме того, многие рейтинги представляют собой, по сути, бизнес-проекты, и цели этих проектов часто да-
леки от интересов университетов и системы высшего образования. Тем не менее мощное влияние рейтингов на формирование общественного мнения и необходимость осознания места университета по определённым показателям делает участие в рейтингах необходимым условием присутствия на рынке образовательных услуг.
Литература
1. Маршал А. Университетские рейтинги: какому из них можно верить? 2012. URL: https://inosmi.ru/world/20121005/ 200385923. html#ixzz28VqGbpti
2. Сероштан М.В., Владимирский Б.М. Ранжирование российских вузов: что и как считать? // Высшее образование в России. 2014. № 7. С. 5-10.
3. Ларионова М.В. Методология сравнительного анализа международных подходов к ранжированию высших учебных заведений // Вестник международных организаций. 2012. № 1 (36). С. 34-69.
4. Измерение рейтингов университетов: международный и российский опыт / Под ред. Ф.Э. Шереги, А.Л. Арефьева. М.: Министерство образования и науки, Центр социологических исследований, 2014. Т. 1. 504 с.
5. Измерение рейтингов университетов: международный и российский опыт / Под ред. Г.В. Осипова, А.Л. Арефьева. М.: Министерство образования и науки, Центр социологических исследований, 2015. Т. 2. 588 с.
6. Рубвальтер Д.А., Богачев Ю.С., Шестак В.П. Вузы в пространстве индикаторов международных рейтингов // Высшее образование в России. 2014. № 1. С. 11-19.
7. Воробьев А.Е. Приоритетность рейтингов вузов - глобальный или национальный? // Университетское управление: практика и анализ. 2015. № 6. C. 18-28.
8. Зулькарнай И.У., Исмакаева Г.Р. Российские вузы в глобальных рейтингах // Высшее образование в России. 2015. № 12. С. 13-21.
9. Методические вопросы оценки реализации проекта 5-100 по рейтингам университетов / Под ред. Ф.Э. Шереги и А.Л. Арефьева. М.: Центр социологических исследований, 2015. 312 с. URL: http://socioprognoz-ru.1gb.ru/flles/ File/2014/Metodika_5_100.pdf
10. Кириллова Н.Б. Рейтинги отечественных вузов: факты и интерпретации // Социология образования. 2016. № 1. С. 82-90.
11. Задорожнюк И.Е, Калашник В.М, Киреев С.В. Московский международный рейтинг вузов в глобальном образовательном пространстве // Высшее образование в России. 2018. Т. 27. № 6. С. 31-40.
12. Коэффициент детерминации и линейная регрессия. URL: http://statistica.ru/theory/ koeffitsient-determinatsii-i-Hneynaya-regressiya
13. Абламейко С.В, Журавков М.А, Самохвал В.В., Хухлындина Л.М. Новые рейтинги вузов стран - участниц СНГ: корреляция с итогами вебометрического рейтинга // Высшее образование в России. 2014. № 7. С. 11-21.
14. Балинова В. С. Статистика в вопросах и ответах. Учеб. пособие. М.: ТК Велби; Проспект, 2004. 344 с.
Статья поступила в редакцию 09.10.18 После доработки 29.10.18; 08.11.18 Принята к публикации 14.11.18
Correlational Relationships between Various International Rankings for Higher Education Institutions
Victor A. Gaisenok - Dr. Sci. (Phys.-Math.), Prof., Rector, e-mail: gaisenok@bsu.by Olga A. Naumovich - Cand. Sci. (Economics), Assoc. Prof., Chair of the Department of Management and Economics of Higher School, e-mail: OlgaNaum@tut.by
Victor V. Samokhval - Dr. Sci. (Chemistry), Prof. of the Department of Management and Economics of Higher School, e-mail: samakhval@bsu.by National Institute ofHigher Education, Minsk, Belarus Address: 15, Moskovskaya str., Minsk, 220007, Republic of Belarus
Abstract. The task of the investigation was to study the interrelations of the results of university rankings presented by various ranking agencies. Data on the number of the participants in the World Rankings has been presented for the Webometrics Ranking of World Universities (WRWU), Academic Ranking of World Universities (ARWU), Quacquarelli Symonds (QS), Times Higher Education (THE), U-Multirank, Round University Ranking (RUR), the Moscow International Rating "Three University Missions", SCImago Institutions Rankings (SIR).
The correlations have been studied by the methods of mathematical statistics for the results of the Moscow International Rating "Three University Missions" and the RUR, QS, THE, and the WRWU rankings; of the QS rankings with THE and the WRWU rankings, as well as for the two WRWU rankings published in January 2018 and July 2017. The linear regression formulas linking the positions of universities in different rankings have been obtained. The results of the Moscow International Rating "Three University Missions" moderately correlate with the results of the RUR rankings, the correlation with WRWU is low. The correlations for the QS ranking with THE and the WRWU rankings are moderate. Very high correlation has been detected only for the two WRWU rankings, which raises questions about the feasibility of conducting them with an interval of six months.
Keywords: higher education, rating, university rankings, correlation, indicators, linear regression
Cite as: Gaisenok, V.A., Naumovich, O.A., Samokhval, V.V. (2018). [Correlational Relationships
between International Rankings for Higher Education Institutions]. Vysshee obrazovanie v Rossii =
Higher Education in Russia. Vol. 27. No. 12, pp. 20-28. (In Russ., abstract in Eng.) DOI: https://doi.org/l0.31992/0869-3617-2018-27-12-20-28
References
1. Marshal, E. (2012). [University Rankings: Which of Them Can be Trusted?] Available at: https:// inosmi.ru/world/20121005/200385923.html#ixzz28VqGbpti (In Russ., abstract in Eng.)
2. Seroshtan, M.V., Vladimirskiy, B.M. (2014). [Ranking Russian Universities: How to Measure?]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 7, pp. 5-10 (In Russ., abstract in Eng.)
3. Larionova, M.V. (2012). [Methodology for a Comparative Analysis of International Approaches to Ranking of Higher Education]. Vestnik mezhdunarodnykh organizatsiy = International Organisations Research Journal. No 1 (36), pp. 34-69 (In Russ.)
4. Izmerenie reitingov universitetov: mezhdunarodnyi i rossiiskiy opyt [University Ranking: International and Russian Experience]. F.E. Sheregi, A.L. Arefiev (Eds). Moscow: Center for Sociological Researches, 2014. 504 p. (In Russ.)
5. Izmerenie reitingov universitetov: mezhdunarodnyi i rossiiskiy opyt [University Ranking: International and Russian Experience]. G.V. Osipov, A.L. Arefiev (Eds). Issue 2. Moscow: Center for Sociological Researches, 2015. 588 p. (In Russ.)
6. Rubvalter, D.A., Bogachyov, Yu. S., Shestak, V.P. (2014). [Higher Education Institutions in the Space of Indicators of the International Ratings]. Vysshee obrazovanie v Rossii = Higher Education in Russia.. No. 1, pp. 11-19 (In Russ., abstract in Eng.)
7. Vorobyev, A.E. (2015). [University ranking priority - global or national?]. Universitetskoe up-ravlenie: praktika i analiz = University Management: Practice and Analysis. No. 6, pp. 18-28 (In Russ., abstract in Eng.)
8. Zulkarnay, I.U., Islakaeva, G.R. (2015). [Russian Universities in Global Ratings]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 12, pp. 13-21. (In Russ., abstract in Eng.)
9. Metodicheskie voprosy otsenki realizatsii proekta 5-100 po reitingam universitetov [Methodical Questions of the Project 5-100 Implementation Evaluation According to University Rankings]. F.E. Sheregi, A.L. Arefiev (Eds). Moscow: Center for Sociological Researches, 2015. 312 p. (In Russ.) Available at: http://socioprognoz-ru.1gb.ru/files/File/2014/Metodika_5_100.pdf
10. Kirillova, N.B. (2016). [Ratings of National Universities: The Facts and the Interpretation]. Sotsi-ologiya obrazovaniya = Sociology of Education. No.1, p. 82-90 (In Russ., abstract in Eng.)
11. Zadorozhnyuk, I.E., Kalashnik, V.M., Kireev, S.V. (2018). [Moscow International University Ranking "The Three University Missions" in the Global Educational Space]. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 27. No. 6, pp. 31-41. (In Russ., abstract in Eng.)
12. Koefficient determinatsii i lineynaya regressiya [Coefficient of Determination and Linear Regression]. Available at: http://statistica.ru/theory/koeffitsient-determinatsii-i-lineynaya-re-gressiya/ (In Russ.)
13. Ablameyko, S.V., Zhuravkov, M.A., Samokhval, V.V., Khukhlyndina, L.M. (2014). [New CIS University League Tables: Correlations with the Webometrics Rankings]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 7, pp. 11-21. (In Russ., abstract in Eng.)
14. Balinova V.S. (2004). Statistika v voprosakh i otvetakh [Statistics in Questions and Answers. Students' Textbook]. Moscow: TK Velbi, Publishing House Prospekt. 344 p. (In Russ.)
The paper was submitted 09.10.18 Received after reworking 29.10.18 Accepted for publication 14.11.18
