CC BY
45
НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ВЫСШЕГО ОБРАЗОВАНИЯ AREAS OF HIGHER EDUCATiON MODERNiZÄTiON
Высшее образование в России
Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online)
http://vovr.elpub.ru
Глобальный агрегированный рейтинг вузов: российский след
Научная статья
DOI: 10.31992/0869-3617-2021-30-3-9-25
Болотов Виктор Александрович - д-р пед. наук, академик РАО, научный руководитель Центра мониторинга качества образования, vbolotov@hse.ru
Национальный исследовательский университет «Высшая школа экономики», г. Москва, Россия
Адрес: 101000, г. Москва, ул. Мясницкая, 20
Мотова Галина Николаевна - д-р пед. наук, зам. директора, g.motova@ncpa.ru Наводнов Владимир Григорьевич - д-р. техн. наук, директор, director@ncpa.ru Национальный центр профессионально-общественной аккредитации, Россия, г. Йошкар-Ола
Адрес: 424006, г. Йошкар-Ола, ул. Волкова, 206А
Аннотация. В работе предложен новый подход к оценке деятельности университетов страны и мира на основе агрегирования результатов десяти глобальных рейтингов и Базы данных результатов аккредитации DEQAR. Используемая методика МетАЛиг (Метод анализа лиг) позволяет объединить разные результаты ранжирования и оценки независимо от существенных различий методик их расчёта и показателей и сформировать Глобальный агрегированный рейтинг. Представлен анализ глобальных рейтингов и позиционирования в них российских вузов, а также анализ позиционирования российских вузов и стран (по числу вузов, входящих в глобальные рейтинги) в Глобальном агрегированном рейтинге. Результаты исследования, по мнению авторов, могут способствовать продвижению ведущих отечественных вузов на более высокие позиции в мировом образовательном пространстве.
Ключевые слова: ранжирование вузов, рейтинг, таблица лиг, методика МетАЛиг, процедуры свёртки, независимая оценка деятельности вузов, риск-ориентированный подход, международная аккредитация, европейская база данных результатов аккредитации
Для цитирования: Болотов В.А, Мотова Г.Н, Наводнов В.Г. Глобальный агрегированный рейтинг вузов: российский след // Высшее образование в России. 2021. Т. 30. № 3. С. 9-25. DOI: 10.31992/0869-3617-2021-30-3-9-25
(DEQAR)
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Болотов В.А., Мотова Г.Н., Наводнов В.Г., 2021.
(cc)
Global Aggregated Ranking of HEIs: Russian Footprint
Original article
DOI: 10.31992/0869-3617-2021-30-3-9-25
Victor A. Bolotov - Dr. Sci. (Education), Research Advisor of the Centre for Education Quality
Monitoring, vbolotov@hse.ru
Higher School of Economics, Russia, Moscow
Address: 20, Myasnitskaya str., Moscow 101000, Russian Federation
Galina N. Motova - Dr. Sci. (Education), Deputy Director, g.motova@ncpa.ru
Vladimir G. Navodnov - Dr. Sci. (Engineering.), Prof., Director, director@ncpa.ru
National Centre for Public Accreditation, Yoshkar-Ola, Russia
Address: 206a, Volkov str., Yoshkar-Ola, 424006, Russian Federation
Abstract. The paper suggests a new approach to performance evaluation of universities in Russia and worldwide based on aggregation of the results of ten global rankings and the Database of External Quality Assurance Results (DEQAR). The method of league analysis (MetALeague) allows the authors to integrate the diverse results of ranking and evaluation regardless of considerable variations in ranking methodology and indicators. As a result of MetALeague integration, the Global Aggregated Ranking of higher education institutions has been made. The paper analyses the global rankings and the position of Russian HEIs in these rankings. The authors have also analyzed the positions of countries based on the number of HEIs included in the Global Aggregated Ranking. The due consideration of research results, according to the authors, can propel the leading Russian universities to higher positions in the global educational environment.
Keywords: HEIs' performance, ranking, league table, MetALeague methodology, convolution procedure, independent assessment of HEIs' performance, risk-based approach, international accreditation, Database of External Quality Assurance Results (DEQAR)
Cite as: Bolotov, V.A., Motova, G.N., Navodnov, V.G. (2021). Global Aggregated Ranking of HEIs: Russian Footprint. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 3, pp. 9-25, doi: 10.31992/0869-3617-2021-30-3-9-25 (In Russ., abstract in Eng.).
Введение
Начинается очередной этап реформирования структуры высшего образования. Он должен переформатировать существующую иерархию высших учебных заведений страны1: МГУ и СПбГУ - Федеральные университеты (10) - Национальные исследовательские университеты (29) - опорные вузы (33). Статус Национального исследовательского университета как категория университета
1 Здесь и далее в качестве «высших учебных заведений», «вузов» рассматриваются образовательные организации высшего образования.
присваивается на конкурсной основе на десять лет. Его университеты получили в 2009 и 2010 гг., сейчас самое время для подведения итогов их эффективности. В 2020 г. заканчивается также программа поддержки опорных вузов [1]. Именно эта категория вузов получит значительное развитие: предполагается ввести статус «национального опорного вуза», который будет приравниваться к «национальному исследовательскому университету»2. Претендовать на такой
2 Валерий Фальков представил дизайн Программы стратегического академического лидерства.
НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ВЫСШЕГО ОБРАЗОВАНИЯ
статус сможет любой вуз независимо от ведомственной принадлежности и организационно-правовой формы3.
Необходимым условием для вуза-кандидата получить особый статус является его присутствие в глобальных рейтингах: Quacquarelli Symonds (QS), Times Higher Education (THE) и Academic Ranking of World Universities (ARWU)4. Стимулировать отечественные университеты к повышению конкурентоспособности на международном уровне и высокому позиционированию в мировых рейтингах - само по себе неплохо [2]. Но почему только в этих трёх рейтингах? И почему только в рейтингах? Ответ очевиден: рейтинги являются наиболее понятной и лег-коинтерпретируемой формой оценки деятельности университета, в том числе с целью принятия управленческих решений [3]. Мода на рейтинги стимулировала рост их числа, конкуренцию между университетами и даже между странами по числу вузов страны, входящих в мировые рейтинги.
Возможно, это стало одной из причин запуска в 2014 г. Проекта «5-100», основной целью которого было попадание не менее пяти университетов в сотню лучших по версии трёх международных рейтингов (THE, QS, ARWU). Однако, несмотря на явное усиление позиций университетов-участников проекта в научно-образовательной и публикационной деятельности [4] и на немалые средства, потраченные на эти цели (80 млрд. рублей) [5], к дате завершения проекта (2020 г.) ни один из участников проекта не занял места в первой сотне (МГУ, входящий в первую сотню QS и ARWU, не является участником проекта). Усиление позиций ве-
URL: https://minobmauki.gov.ru/press-center/ news/?ELEMENT_ID=21507 (дата обращения: 10.02.2021).
3 URL: https://www.minobrnauki.gov.ru/ru/ press-center/card/?id_4=2875_
4 Фальков В.Н. Программа стратегического ака-
демического лидерства. М., 2020. URL: http://
fgosvo.ru/uploadfiles/method/Program_strate-
gyc_leadership.pdf (дата обращения: 10.02.2021).
дущих российских вузов происходит за счёт расширения их сферы активности в других рейтингах, например, предметных или специальных. Но если в одном рейтинге университет занимает лидирующие позиции, а в другом находится в аутсайдерах, возникает вопрос о доверии к таким рейтингам и критериям их выбора. Ещё один вопрос: какой из рейтингов более авторитетен и престижен? Не пора ли составлять рейтинг рейтингов?
Ещё одна проблема состоит в том, что до настоящего времени термин «мировой рейтинг» не имеет чёткого определения. Тем не менее он активно используется в различных документах (например, в Указе Президента Российской Федерации от 7 мая 2012 г. № 599: «вхождение в первую сотню ведущих мировых университетов согласно мировому рейтингу5 университетов») и обычно смешивается с понятиями «международный рейтинг» и «глобальный рейтинг». Нет также чёткого определения понятия «мировой университет» (все университеты имеют национальную принадлежность), и в данном случае чаще всего имеется в виду устоявшееся понятие «университеты мирового класса» [6; 7]. Под международными рейтингами, как правило, понимаются рейтинги, объектом анализа в которых являются университеты разных стран. В силу отсутствия мировой (наднациональной) организации для проведения сравнительных исследований университетов всего мира субъектами проводимых рейтингов являются организации, также имеющие национальную идентичность и вполне очевидно продвигающие свои национальные интересы6.
Попробуем определить более широкую выборку институциональных академических мировых рейтингов, в которых представлены
5 Выделено нами.
6 России нужны собственные национальные рейтинги вузов, заявил Путин // РИА. Новости. 2020.25.06. URL: https://ria. m/20200625/l573469323.html?fbclid=IwAR0vC-muE-0rkFPbedLgWgFEgAOC5JgM7xNinnZoX-
MH2YF-HrPVATDVJTJr0_(дата обращения:
10.02.2021).
российские вузы, объединить данные отдельных рейтингов в единый глобальный агрегированный рейтинг и получить «средневзвешенную» картину достижений российского высшего образования на мировом уровне.
Краткая история глобальных рейтингов
По данным Международной ассоциации по ранжированию организаций и университетов (IREG Observatory on Academic Ranking and Excellence)7, которая была создана в 2004 г. Европейским центром по высшему образованию ЮНЕСКО (UNESCO-CEPES, г. Бухарест, Румыния) и Институтом политики в области высшего образования (г. Вашингтон, США), сегодня в мире насчитывается более 100 академических рейтингов - международных, региональных, национальных. Первый национальный университетский рейтинг появился в США в 1983 г., его появление было вызвано очевидно имиджевыми и экономическими причинами. Первым глобальным рейтингом считается рейтинг, разработанный Шанхайским университетом Цзяо Тун. Он получил название The Academic Ranking of World Universities (ARWU), или «Шанхайский рейтинг». В данном случае перед создателями была поставлена задача выделить лучшие мировые практики в сфере высшего образования с целью их изучения и применения на национальном уровне, для того чтобы поднять уровень качества и конкурентоспособности образовательной системы Китая [8]. Выступая в роли догоняющего, Китай использовал бенчмаркинг больше в политических целях, поднимая имидж страны в целом на международном уровне. Таким же путём идут сегодня развивающиеся страны (ОАЭ, Турция и др.) [9], в том числе и Россия, и начинают строить свои глобальные рейтинги, включая в них не только элитарные американские и европейские университеты, но и университеты развивающихся стран.
7 URL: https://ireg-observatory.org/en/^aTa обращения: 10.02.2021).
В листинге IREG сегодня представлено 23 глобальных университетских рейтинга (Global University Rankings8), которые разрабатываются и сопровождаются различными организациями (чаще всего специализированными лабораториями университетов) из 12 стран, исключая международные корпорации. Три рейтинга родом из США (US News&World Report, Reuters-100, Colleges and University-Alexa), три - из Великобритании (QS, THE, The Economist Masters in Management Ranking). Два рейтинга создаются в Испании (WoM, Scimago), ещё два - в России (MoslUR «Три миссии университетов» и RUR). По одному рейтингу представили Австралия (uniRank), Индия (Youth Incorporated), Индонезия (Ul Green Metric World University Ranking), Китай (ARWU), Нидерланды (CWTS), ОАЭ (CWUR), Тайвань (NTU), Турция (URAP). Международными корпорациями составляются рейтинги U-multirank, NatureIndex (от издательской компании Springer Nature), BoF Global Gradúate Business Ranking. Значительная часть других глобальных рейтингов носит региональный, предметный или специализированный характер (рейтинги сайтов, бизнес-школ, школ моды и т.п.).
Для исследования позиционирования российских университетов в мировых рейтингах в листинге IREG были отобраны десять, которые носят институциональный, глобальный, академический и/или научный характер. Основные критерии выбора: стабильность (деятельность не менее трёх лет); публичность и регулярность (информация о результатах регулярно размещается в широком доступе); массовость (не менее 800 университетов из всех регионов мира). Рейтинги, соответствующие таким критериям, представлены в таблице 1 и отсортированы по году их создания.
8 IREG Inventory of International Rankings. URL: https://ireg-observatory.org/en/initiatives/ ireg-inventory-of-international-rankings/^aTa обращения: 10.02.2021).
Таблица 1
Справка о глобальных рейтингах (данные за 2019 г.)
Table 1
Global rankings statistics for 2019
Рейтинг (система оценивания) Год первой публикации Количество вузов в рейтинге Количество российских вузов в рейтинге Составители Сайт рейтинга
ARWU (The Academic Ranking of World Universities) 2003 1000 11 Шанхайский университет Цзяо Тун Shanghai Ranking Consultancy http://www.shang- hairanking.com/ arwu2019.html
THE (Times Higher Education World University Rankings) 2004 1258 35 Британское издательство Times Higher Education https://www.timeshigh-ereducation.com/ world-university-rank-ings/2019/world-ranking
CWTS (Centre for Science and Technology Studies) 2006 963 3 Центр научных и технологических исследований Лейденского университета в Нидерландах https://www.leidenrank- ing.com/ranking/2019/ list
NTU HEEACT (National Taiwan University) 2007 835 5 Национальный университет Тайваня http://nturanking.lis.ntu. edu.tw/ranking/Overall-Ranking/
SIR (Scopus SCImago Institutions Rankings) 2009 3471 112 Scimago Lab https://www.sama-goir.com/rankings. php?year=2013&sec-tor=Higher%20educ.
QS 2010 1000 27 Составитель - Quacquarelli Symonds https://www.topuniversi-ties.com/university-rank-ings/world-university-rankings/2019
URAP University Ranking by Academic Performance 2010 2500 33 Институт информатики Ближневосточного технического университета (ОАЭ) https://www.urapcenter. org/Rankings/2019-2020/ world-2019
RUR (Round University Ranking) 2010 834 74 Рейтинговое агентство RUR Rankings, Москва, Россия https://roundranking. com/ranking/world-uni-versity-rankings.htm-l#world-2019
CWUR 2012 2000 19 Центр всемирного рейтинга университетов https://cwur.org/2019-2020.php
US NEWS 2014 1503 17 US NEWS https://www.usnews. com/education/ best-global-universities/ rankings
Московский рейтинг «Три миссии» 2017 1200 74 Российский союз ректоров, Ассоциация составителей рейтингов (АСР). Россия https://mosiur.org/ ranking/
Шанхайский рейтинг ARWU (КНР).
Первоначально составлен Шанхайским университетом Цзяо Тун, сегодня сопровождается независимой компанией Shanghai Ranking Consultancy. Для расчёта рейтинга используется информация по 1800 вузам, но ранжируется только 1000 из них. В 2019 г. в рейтинг ARWU вошли 11 российских вузов, всего 1,1% от числа университетов, вошедших в рейтинг. Вместе с тем китайских вузов в рейтинге - 132 (или 13,2%). Оценивание проходит по шести показателям, основной акцент сделан на научных достижениях преподавателей и выпускников университетов (престижные премии, публикационная активность и высокая цитируемость научных работ).
THE - Times Higher Education World University Rankings (Великобритания). Для
расчёта результатов самостоятельно формирует репутационную базу данных Academic Reputation Survey, опрашивая более 10 000 респондентов из 135 стран, а также использует статистические данные из наукометрической базы данных Elsevier's Scopus. Расчёт включает несколько групп показателей, состоящих из 13 индикаторов, и весовые коэффициенты по каждой группе: преподавание (teaching) - 30%, исследования (research) -30%, цитирование (citation) - 30%, международная деятельность - 7,5%, связь с промышленностью - 2,5%. В 2019 г. в рейтинг THE вошли 1258 вузов (из отобранных 1400). Из 35 российских вузов, вошедших в рейтинг, лучший результат у Московского государственного университета - 199-е место. В рейтинг вошли 98 вузов Великобритании (всего в стране 248 вузов).
CWTS - Лейденский рейтинг (Нидерланды). Разрабатывается междисциплинарным институтом Centre for Science and Technical Studies (CWTS) в составе Лейденского университета. Для составления рейтинга он использует базу данных Web of Science от компании Clarivate Analytics. В 2019 г. в рейтинг вошли 963 вуза, в том числе три российских (в 2020 г. - семь российских университетов).
Лучший результат у МГУ - 266-е место. А из 70 голландских вузов в рейтинг вошли 13.
NTU - Performance Ranking of Scientific Papers for World University, или Тайваньский рейтинг. Формируется Национальным университетом Тайваня (National Taiwan University) в сотрудничестве с аккреди-тационным агентством Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT). Рейтинг рассчитывается только по публикациям в Web of Science, включает всего три группы показателей, состоящие из 11 индикаторов: результативность исследований (research productivity) - 25%, влияние исследований (research impact) - 35%, превосходство (research excellence) - 40%. В него вошли 835 университетов, из них пять российских и 13 тайваньских из 142 вузов, действующих в Тайване.
Scimago Institutions Rankings (SIR). Разрабатывается с 2009 г. испанской компанией Scimago Lab, ассоциированной с рядом испанских университетов. Рейтинг рассчитывается на основе базы данных научных публикаций Scopus и базы данных патентов PATSTAT. SIR включает 7026 организаций, ведущих научную деятельность и публикующих свои результаты, индексируемые в базах данных. В число таких организаций входят также государственные исследовательские учреждения, медицинские компании, некоммерческие организации. В числе образовательных организаций - 3471 институт, включая университеты и медицинские школы. В рейтинг SIR вошли 112 российских вузов: от МГУ (220-е место) до Кабардино-Балкарского государственного университета (879-е место). Испанских вузов - 65 из 112, т.е. больше половины действующих в стране вузов представлены в рейтинге. Основным критерием включения в рейтинг является наличие не менее 100 публикаций за год, индексируемых в базе данных Scopus. В целом для расчёта используются три основные группы индикаторов: научные результаты (research performance) - 50%, инновационные «продукты», включая патенты
(innovation outputs) - 30%, социальное влияние (societal impact) - 20%.
RUR - Round University Ranking (Россия).
Представляет результаты ранжирования с 2010 г. (дата открытия компании в Москве -2013 г.). RUR рассматривает 1100 университетов из 82 стран, (но в рейтинг входят 829 университетов разных стран) по 20 индикаторам, объединённым в четыре группы: преподавание (40%), научные исследования (40%), международная деятельность (10%) и финансовая устойчивость (10%). В рейтинге используются статистические данные (такие, как число студентов, академический штат и др.) и ре-путационные данные от компании Thompson Reuters, собранные в рамках проекта GIPP -Global Institutional Profiles Project. Компания Thompson Reuters ежегодно проводит опрос 10 000 респондентов. Также используются библиометрические данные из базы Web of Science Core Collection. В рейтинге RUR представлено 834 вуза, из них 74 российских вуза, или 8,9% от общего числа вузов, входящих в этот рейтинг.
QS World University Rankings (Великобритания). Рейтинговая компания, с 2004 по 2009 гг. работавшая совместно с THE, последние десять лет публикует рейтинги самостоятельно, постоянно расширяя сферу своих интересов. Наряду с общими институциональными глобальными рейтингами, она рассчитывает региональные, предметные и специализированные рейтинги. Важным инструментом для включения вуза в рейтинги является широкий опрос общественности. Для оценки индикатора академической репутации ежегодно опрашиваются 75 тыс. респондентов из числа академической общественности из 140 стран, для оценки работодателей опрашивают 40 тыс. респондентов из 130 стран. В рейтинг входят 1000 вузов, из них 76 вузов Великобритании (из 248) и 27 российских университетов.
CWUR - The Center for World University Rankings (ОАЭ). Консалтинговая компания, оказывающая услуги правительственным органам и университетам. В расчёте рейтин-
га CWUR используется семь индикаторов, четыре из которых имеют отношение к научным результатам, публикационной активности вуза и цитируемости (всего 40%), ещё два - к выпускникам (их достижения и карьерный рост - 50%) и к преподавателям, имеющим выдающиеся достижения (10%). В 2019 г. в рейтинг вошли 2000 вузов, в их числе 19 российских (0,9% от представленных в рейтинге), и только четыре арабских (0,2%).
Best Global University Ranking (США). Издательская компания US News & World Report публикует рейтинг с 2014 г. Для расчёта используются 13 показателей, основное внимание уделено научной репутации в мировом и региональном масштабе, публикационной активности преподавателей. В расчёте рейтинга используются репутаци-онные данные от уже упомянутой компании Clarivate analytics, полученным в ходе опроса об академической репутации вуза (Academic Reputation Survey). Библиометрические данные берутся из базы данных Web of Science. В прошлом году в рейтинг были включены 1503 университета из 81 страны. Из 17 российских вузов лучший результат у МГУ (266-е место). Американских вузов в рейтинге 261, это 17,3% от общего числа вузов в этом рейтинге.
MoslUR - «Три миссии университета», или Московский международный рейтинг
(Россия). Самый молодой из представленных, но быстро набирающий популярность. Создан по инициативе Российского союза ректоров. Разработчиком является НКО АСР («Ассоциация составителей рейтингов»). В 2019 г. в расчёт включены 1200 университетов, в их числе 74 российских вуза (6,2% от общего числа университетов, представленных в рейтинге). Сам МГУ в этом рейтинге находится на 22-м месте.
Спецификой рейтинга является полное исключение репутационных опросов. Источники данных - компании Clarivate analytics (поставщик данных и метрик из In Cites и GIPP -Global Institutional Profiles Project), Elsevier (владелец Scopus), Alexa - один из мировых
лидеров в области веб-аналитики, веб-сайты научных премий из списка IREG (List of International Academic Awards), веб-порталы международных олимпиад студентов и др.
Анализ
глобальных систем оценивания
Краткий обзор десяти наиболее авторитетных академических рейтингов, которые отвечают установленным критериям отбора, позволяет сделать несколько выводов.
Формирование глобальных рейтингов учреждений высшего образования - это относительно молодой тренд в мировых процессах глобализации и интернационализации высшего образования, насчитывающий чуть более 15 лет. И с повышением внимания самой широкой общественности к этой теме число глобальных рейтингов будет увеличиваться (в первую очередь - за счёт создания новых рейтингов развивающимися странами), а деятельность действующих рейтинговых агентств будет расширяться, ранжируя всё большее количество вузов.
Наряду с экономической и имиджевой целями составления рейтингов, всё больше усиливается политическая цель - повысить конкурентоспособность и привлекательность национальной системы образования в целом, а не только отдельных вузов [10]. Соответственно, чем больше вузов страны входит в глобальный рейтинг, тем более конкурентоспособна национальная образовательная система. Это объясняет, почему государственные органы управления образованием отдельных стран (особенно развивающихся) поддерживают свои вузы для участия в рейтингах [11].
Анализ числа и доли национальных университетов, находящихся на территории месторасположения рейтингового агентства, явно показывает некоторый акцент на национальных интересах. Возможно, это может быть следствием недостаточной информированности или заинтересованности самих университетов к участию в рейтингах, создаваемых другими странами.
В рейтингах используется статистическая информация из баз данных и экспертная оценка репутации вуза [12]. И то, и другое требует от рейтинговых агентств достаточных финансовых и человеческих ресурсов. Анализ показал, что эти агентства, как правило, не являются государственными организациями, финансируются издательскими компаниями или университетами, в том числе за счёт оказания дополнительных консалтинговых услуг. Вместе с тем пример ARWU c явной политической и финансовой поддержкой Правительства КНР, а также пример MosIUR (Московского рейтинга) показывают, насколько быстро и масштабно осуществлён запуск нового глобального рейтинга.
Большинство действующих рейтинговых компаний, которые учитывают наукометрические данные (почти все, кроме ARWU), фактически используют одну из двух баз данных: Web of Science (WoS), собственником и разработчиком которой в настоящее время является компания Clarivate Analytics (до 2016 г. - Thompson Reuters), либо Scopus, собственником и разработчиком которой является издательская корпорация Elsevier. WoS преимущественно использует англоязычные тексты и в основном по биологии, психологии, медицине, физике, астрономии, экономике, в меньшей степени - по юриспруденции, политологии, математике и компьютерным наукам. Число российских журналов, представленных в этой базе, очень незначительно. Библиографическая и реферативная база данных Scopus начала разрабатываться с 2004 г. на базе платформы Science Direct от издательской корпорации Elsevier (основана в 1880 г. в Амстердаме), одного из четырёх системообразующих научных издательств мира (вместе с Springer, Wiley, Informa). Оно выпускает около четверти всех научных журналов, и российские журналы в ней представлены лучше.
Таким образом, академические рейтинги сосредоточивают своё внимание прежде всего на научной деятельности вузов, оценивая научные результаты (публикации, их
цитируемость, патенты), выдающиеся достижения преподавателей и выпускников [12]. Существенно меньшее внимание уделено третьей миссии (служению обществу), и чаще всего - через призму влияния научных исследований на региональные (национальные, международные) рынки труда и отрасли экономики. Практически отсутствует оценка качества образования, например, результатов сравнительных исследований достижений студентов (олимпиады, конкурсы, гранты и т.д.) в связи с явной недостаточностью таких исследований на мировом уровне, малым числом стран-участниц и отсутствием баз данных по результатам оценки достижений. Вместе с тем именно качество образования должно быть основным показателем эффективности и качества работы вуза (не дипломы на стене в кабинете тренера футбольной команды, а число забитых футболистами голов).
Рейтинговые агентства очень скупо раскрывают информацию о своей деятельности, в частности организационной и финансовой, а также информацию о методиках расчёта используемых показателей и индикаторов. Чаще всего в расчётах используются весовые коэффициенты для показателей и индикаторов, субъективно устанавливаемые агентством. Вывод очевиден: при некоторых общих подходах к оценке репутации и деятельности вуза методики расчёта в различных рейтингах не идентичны, и потому результаты рейтингов для конкретного вуза также могут значительно различаться. Именно поэтому один и тот же университет может иметь совершенно разные позиции в разных рейтингах [13]. Однако стоит отметить, что в большинстве глобальных рейтингов, как правило, присутствуют одни и те же университеты, число которых составляет не более 10% от всех действующих сегодня в мире [14]. И не только потому, что они лучшие, но и потому, что более активные.
Ещё одно важное критическое замечание в отношении существующих рейтингов состоит в том, что в таких системах оценивания отсутствует важный элемент - экспертиза
на месте («site visit»), которая осуществляет верификацию представленных данных и, что более существенно, даёт целостную объёмную картину деятельности вуза, включая её отдельные направления: образовательное, научное, международное, воспитательное и другие. Такая экспертиза проводится в рамках процедуры аккредитации.
Учитывая определённую ограниченность рейтингов в плане оценки университетов, «Берлинские принципы ранжирования учреждений высшего образования» - Соглашение, официально принятое на Второй конференции Международной ассоциации IREG (Берлин, 18-20 мая 2006 г.), - отмечает: «при условии правильного понимания и интерпретации, рейтинги содействуют определению "качества" высших учебных заведений в каждой конкретной стране, дополняя9 строгий подход к оценке качества, выполняемой государственными органами и независимыми аккредитационными агентствами»10. Речь идёт о том, что если ставится задача оценить и повысить качество образования, рейтинги, даже самые авторитетные, не могут рассматриваться как единственный показатель качества, более того, это всего лишь дополнительный показатель. Но такое замечание будет справедливым лишь при наличии двух условий: аккредитационных агентств, признанных на международном уровне, и открытых баз данных по результатам проведённых ими аккредитаций.
Можно назвать только одну международную базу данных результатов аккредитации на международном уровне - DEQAR, которую по поручению Конференции министров стран-участниц Болонского процесса в 2018 г. создал и ведёт Европейский реестр гарантии качества (European Quality Assurance Register - EQAR). В эту базу заносятся только те вузы и программы, которые прошли аккредитацию в аккредитационном
9 Выделено нами.
10 IREG Approved. URL: https://ireg-observato-ry.org/en/initiatives/ranking-seal-of-approval/ (дата обращения: 10.02.2021).
агентстве, входящем в листинг EQAR, то есть сами прошли международную экспертизу деятельности и получили право проводить международную аккредитацию, независимо от того, является ли это агентство для вузов своей страны зарубежным или национальным. Международное признание агентства - это важное условие для обеспечения доверия к его деятельности и к качеству аккредитованных им вузов и образовательных программ [15].
Несмотря на то что DEQAR является европейским проектом и в настоящее время он содержит информацию по вузам 43 стран европейского пространства высшего образования, его можно назвать глобальным. В базе данных DEQAR содержится информация о 2429 аккредитованных вузах, входящих в Европейское пространство высшего образования (ЕНЕА), и о 102 вузах из 35 стран, находящихся за его пределами (прошедших аккредитацию в признанном европейской ассоциацией агентстве)11.
Для нашего исследования важным является и то обстоятельство, что при аккредитации, в отличие от рейтингов, проводится очная экспертиза (и верификация данных) всех ключевых направлений деятельности вуза, а также то, что к настоящему времени в DEQAR вошёл 41 российский вуз.
Принципы построения глобального агрегированного рейтинга
Рейтинги не случайно получили в последнее время такую широкую популярность -они достаточно наглядно, доступно, относительно просто и быстро предоставляют пользователям информацию для выбора и принятия решений для учёбы, работы, вложения средств или политических амбиций [16]. Однако открытым по-прежнему остаётся вопрос, как получить более объективную картину на основе различных подходов
11 Database of External Quality Assurance Results. URL: https://www.eqar.eu/qa-results/search/ by-institution/ (дата обращения: 10.02.2021).
и субъективных мнений в оценке. Возможно ли построить «суммарный рейтинг», который смог бы стать «единой шкалой оценивания»? Решение этой задачи может быть предложено на основе новой методики МетАЛиг (Метод анализа лиг) [17; 18], которая была разработана для формирования российского Национального агрегированного рейтинга (НАР). Этот рейтинг был построен на основе агрегирования результатов национальных рейтингов и открытых баз данных достижений вузов, образовательных программ и студентов [19; 20].
Основные принципы методики агрегирования рейтингов состоят в следующем.
• Предложены критерии выборки глобальных рейтингов для построения агрегированного рейтинга (стабильность, публичность, периодичность, массовость), на основе которых выбраны для исследования десять, входящих в листинг Международной ассоциации IREG. В процессе расширения использования методики в расчёт могут приниматься и другие рейтинги, а главное - и другие глобальные системы оценивания (при их наличии). В нашем исследовании для апробации была добавлена база данных результатов аккредитации DEQAR.
• Рейтинги преобразуются в таблицу лиг. Это позволяет агрегировать абсолютно разные способы оценки вуза в единую оценку и взглянуть на систему «в целом» с разных ракурсов. Оценка может иметь буквенное значение: А, В, С, D, ...
• Для агрегирования используется векторный подход МакКинси-Абеля, где в зависимости от положения вуза в различных рейтингах он характеризуется векторной оценкой.
• Для свёртывания в единую таблицу лиг используется не традиционная линейная свёртка с весовыми коэффициентами, а математический аппарат Теории голосования в малых группах (свёртки Борда, плюралитар-ная и др.) [21-23].
• Вводятся новые «слабые» свёртки -Вп,т, т.е. из всех участвующих в расчёте ре-
1 По результатам глобальных рейтингов за 2019 год. В списке представлены первые 20 стран. Результаты остальных стран можно посмотреть на сайте www.best-edu.ru.
2 As of 2019. Top-20 countries are listed below. The results for other countries are available on www.best-edu.ru
Таблица 2
Распределение стран по числу университетов, включённых в ГАР-20201
Table 2
Ranking of countries by the number ofuniversities listed in the Global Aggregated Ranking-20202
Распределение по ТОПам
Страны Всего в ГАР TOP-1% TOP-2% TOP-3% TOP-4% TOP-5% T0P-10% Всего вузов в стране* Процент вхождения в ГАР (%)
США 348 76 43 44 33 25 127 2117 16,4
Китай 253 11 29 33 28 20 132 1060 23,9
Япония 139 6 10 6 15 19 83 765 18,2
Франция 105 6 12 13 11 24 39 400 26,3
Великобритания 103 30 13 15 19 12 14 248 41,5
Россия 82 1 10 3 7 9 52 718 11,4
Индия 77 1 2 5 9 13 47 809 9,5
Германия 70 24 14 16 5 3 8 359 19,5
Италия 66 4 15 15 10 4 18 98 67,3
Южная Корея 62 6 4 10 9 6 27 248 25
Турция 60 0 0 7 3 7 43 172 34,9
Бразилия 58 1 5 2 8 8 34 1043 5,6
Испания 52 3 11 8 15 5 10 112 46,4
Иран 47 0 2 5 6 6 28 246 19,1
Тайвань 46 1 3 8 3 8 23 142 32,4
Канада 44 10 9 3 3 5 14 142 31
Польша 43 0 2 5 7 10 19 349 12,3
Австралия 39 11 13 4 6 2 3 94 41,5
Мексика 23 0 1 2 0 3 17 1642 1,4
Египет 21 0 1 0 5 3 12 55 38,2
зультатов рейтингов используются не все, а только определённое число лучших результатов. В нашем исследовании - 6 из 11.
Отметим, что само понятие «учреждение высшего образования» не всегда со-12
ответствует статусу12 и в разных странах трактуется по-разному. По данным ресурса Webometrics.info, в мире насчитывается около 25 тысяч учреждений, отнесённых к системе высшего образования. С учётом всех вузов, представленных в выборке из десяти рейтингов, их число составило 2273 университета из 110 стран, т.е. всего около 10% от общего числа. Вхождение в 10% де-
12 Например, Trinity College в Дублине (Ирландия) - это один из старейших университетов.
сяти глобальных академических рейтингов, очевидно, уже является значительным достижением. Вполне уместно назвать эту выборку ТОП-10, т.е. 10% лучших университетов мира.
При создании агрегированного рейтинга важно определиться с количеством лиг, на которые будут разбиты все вузы. Для удобного восприятия их не должно быть много. Например, устоявшаяся практика деления научных журналов по квартилям говорит о достаточности разбиения, например, на четыре группы. Применительно к глобальным рейтингам возможен способ разделения на шесть лиг:
ТОП-1 (1% лучших университетов мира) - он включает примерно 250 вузов;
Таблица 3
Рейтинг российских университетов, входящих в 1000 лучших университетов мира, как выборка из глобального агрегированного рейтинга
Table 3
Russian universities listed in World Top 1000 University Ranking as a sampling from the Global
Aggregated Ranking
Университет ТОП THE S О ARWU 3 Missions US NEWS RUR CWUR NTU CWTS Scimago DEQAR
Lomonosov Moscow State University TOP 1% B A A A C B B B C B G
Moscow Institute ofPhysics and Technology TOP 2% C C C A C B D D G C G
HSE University TOP 2% C C E B D G E G G D A
National Research Nuclear University MEPhI TOP 2% C C D B C B D D G C G
Novosibirsk State University TOP 2% D B C B C C D D E C G
Saint Petersburg State University TOP 2% D B C A D C D D D C G
Tomsk Polytechnic University TOP 2% D C G B E C F G G C A
Tomsk State University TOP 2% D C E B D B E G G D A
Kazan Federal University TOP 2% D C E C E D F G G C A
National University of Science and Technology MISIS TOP 2% D C E C F C F G G D A
Peter the Great St Petersburg Polytechnic University TOP 2% D C G C C C F G G C A
ITMO University TOP 3% D D E B E C F G G D G
Lobachevsky State University of Nizhni Novgorod TOP 3% F D G C F C F G G D A
Ural Federal University TOP 3% F C D C F D F G G D A
RUDN University TOP 4% D C G C G C F G G D G
Bauman Moscow State Technical University TOP 4% E C G C G D G G G D G
Belgorod State National Research University TOP 4% E G G E G D G G G D A
Samara University TOP 4% E D G F G D G G G D A
Far Eastern Federal University TOP 4% F D G D F D F G G D A
Sechenov University TOP 4% F G G D G D G G G D A
Moscow State Institute ofInternational Relations TOP 4% G C G C G G G G G D A
ТОП-2 (2% лучших университетов мира) -с учётом 250 вузов, вошедших в ТОП-1, в эту лигу войдёт 500 вузов;
ТОР-3 (3% лучших университетов мира) -всего 750 вузов;
ТОП-4 - 1000 лучших университетов мира;
ТОР-5 - 1250 лучших университетов мира;
Т0Р-10 - 10% лучших университетов мира, вошедших в глобальные рейтинги.
Выбор одного процента лучших вузов как лидеров на мировом уровне не менее прести-
жен, чем выбор 100 лучших, и более корректен, если учитывать число рассматриваемых вузов. Это более обоснованная, на наш взгляд, метрика для анализа успешности продвижения вузов в глобальных (и других) рейтингах. И более правильная стратегическая задача для российских вузов - не «вхождение в первую сотню ...», а «в 1% лучших» вузов мира.
В пределах группы вузов, входящих в ТОП, можно располагать вузы в порядке убывания индекса Борда. На основании таких расчётов была произведена оценка 2274 вузов из состава глобального агрегирован-
НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ВЫСШЕГО ОБРАЗОВАНИЯ
Таблица 4
Распределение стран бывшего Советского Союза по числу университетов, включённых в ГАР-2020
Table 4
Ranking of CIs countries by the number of universities listed in the Global Aggregated Ranking
Распределение по ТОПам
Всего в ГАР TOP-1% TOP-2% TOP-3% TOP-4% TOP-5% T0P-10% Всего вузов в стране Процент вхождения в ГАР
Россия 82 1 10 3 7 9 52 718 11,4
Казахстан 11 0 0 0 2 1 8 110 10
Украина 7 0 0 0 0 2 5 296 2,4
Литва 5 0 0 1 0 0 4 18 27,7
Эстония 4 0 1 1 0 1 1 10 40
Латвия 3 0 0 0 1 1 1 26 11,5
Беларусь 2 0 0 1 0 0 1 44 4,5
Грузия 2 0 0 0 0 1 1 48 4,1
Азербайджан 1 0 0 0 0 0 1 45 2,2
Армения 1 0 0 0 0 0 1 58 1,7
Узбекистан 0 0 0 0 0 0 0 64 0
Молдавия 0 0 0 0 0 0 0 25 0
Киргизия 0 0 0 0 0 0 0 25 0
Таджикистан 0 0 0 0 0 0 0 20 0
Туркменистан 0 0 0 0 0 0 0 17 0
ного рейтинга. Проведённые расчёты представлены на портале best-edu.ru.
Глобальный агрегированный рейтинг (ГАР), построенный на основе методики анализа лиг, даёт широкие возможности для аналитических исследований, например, для анализа позиционирования вузов отдельных стран: число вузов страны, вошедших в рейтинг и их распределение по лигам (Табл. 2). В ГАР вошло 82 российских университета. С этим результатом Россия занимает 6-е место, уступая США, Китаю, Японии, Франции и Великобритании. А с выдающимися достижениями дело обстоит значительно сложнее. В ТОП-1 находится только один российский вуз - МГУ. В ТОП-2 вошли десять университетов из числа участников Проекта «5-100» и СПбГУ, в ТОП-3 - ещё три российских вуза, но основное число отечественных лидеров всё же находится в конце списка, т.е. ТОП-10 {Табл. 3).
Предложенный рейтинг, благодаря разработанному специальному программному
обеспечению, позволяет также сделать различные выборки и провести сравнительный анализ двух или нескольких стран, например, стран бывшего СССР (представлено в таблице 4). Такая информация может быть полезной органам управления образованием для определения стратегических задач развития высшей школы страны.
Выводы
Построение Глобального агрегированного рейтинга даёт возможность понять, как позиционируются российские университеты не в отдельных глобальных рейтингах, что неизбежно вызывает вопросы о степени доверия к ним, а в целом на международном уровне. Использование обобщённых результатов нескольких различных рейтингов можеет существенно снизить субъективизм оценки для каждого отдельного вуза и дать более объёмную картину его достижений.
В целом по результатам исследования можно сделать следующие выводы.
1. Использование новой методики МетА-Лиг на примере агрегирования глобальных систем оценивания позволяет отказаться от монопольного (т.е. ограниченного числа субъектов) оценивания путём перехода к сетевому оцениванию.
2. При конструировании агрегированных рейтингов применяется «мягкий» математический аппарат, позволяющий минимизировать недостатки отдельных систем оценивания и учитывать самые значительные достижения университетов.
3. Немногие существующие сегодня рейтинги и системы оценивания, как глобальные, так и национальные, являются массовыми. Только некоторые из них оценивают большинство вузов, остальные - лишь небольшое число. Вместе с тем очевидно, что чем в большем количестве рейтингов и систем оценивания вуз принимает участие, тем выше его вероятность подняться в агрегированном рейтинге, а значит, стать более узнаваемым, привлекательным и конкурентоспособным на международном уровне.
4. Учёт индикаторов, которые можно получить только из открытых источников, могут не охватывать все аспекты деятельности вуза. Важно дополнять статистическую информацию экспертной оценкой на основе репутационных опросов [24], а также результатами очной верификации информации в процедурах аккредитации.
5. Собранные в единую базу данных результаты различных глобальных рейтингов и систем оценивания позволяют проводить сравнительный анализ вузов страны (а также различных образовательных систем), отслеживать динамику их достижений и эффективность вложенных средств, а также строить прогнозы и разрабатывать стратегию развития высшей школы.
6. В международных базах наукометрической информации (Scopus и особенно WoS) недостаточно представлены российские журналы. Это во многом объясняет низкие позиции российских вузов (или их отсутствие) в большинстве глобальных рейтин-
гов, использующих эти наукометрические базы. Российская наукометрическая база данных elibrary.ru практически не используется даже в российских, не говоря уже о глобальных рейтингах. Учитывая критику в отношении добросовестности политики индексирования журналов и отдельных статей в elibrary, создание российской наукометрической базы данных всё ещё остаётся актуальной задачей.
7. Наличие двух российских глобальных рейтингов (RUR и MosIUR) и также агентств, проводящих международную аккредитацию (в первую очередь, Нацаккредцентра, на долю которого приходится более 80% международных аккредитаций в России), способствует активному позиционированию лучших российских университетов на международном уровне, а также повышению доступности информации для иностранных абитуриентов. Если Правительством ставятся задачи кратно увеличить количество иностранных студентов в российских вузах, повысить их конкурентоспособность на мировом уровне и в целом усилить имидж российской высшей школы, необходимо на государственном уровне поддерживать не только ведущие вузы, но и организации, проводящие процедуры международной оценки и тем самым способствующие продвижению российских вузов на более высокие позиции в мировом образовательном пространстве.
Литература
1. Берестов А.В, Гусева А.И, Калашник В.М, Каминский В.И, Киреев С.В, Садчиков С.М. Опорные университеты - потенциал развития регионов и отраслей // Высшее образование в России. 2020. Т. 29. № 8-9. C. 9-25. DOI: https://doi.org/l0.31992/0869-3617-2020-29-8-9-9-25
2. Rauhvargers A. Global university rankings and their impact. EUA Report on Rankings 2013. Brussels: European University Association, 2011. 88 p. URL: https://www.eua.eu/downloads/ publications/global%20university%20 rankings%20and%20their%20impact%20-%20 report%20ii.pdf(дата обращения: 11.02.2021).
3. Harvey L. Rankings of Higher Education Institutions: A Critical Review // Quality in Higher Education. 2008. Vol. 14. Issue 3. Р. 187-208. DOI: https://doi.org/l0.1080/l3538320802507711
4. Берестов А.В, Гусева А.И, Калашник В.М, Каминский В.И, Киреев С.В, Садчиков С.М. Вклад в Проект 5-100 национальных исследовательских и федеральных университетов // Высшее образование в России. 2020. Т. 29. № 10. С. 30-45. DOI: https://doi. org/10.31992/0869-3617-2020-29-8-9-30-45
5. Сероштан М.В, Кетова Н.П. Современные российские университеты: позиционирование, тренды развития, возможности наращивания конкурентных преимуществ // Высшее образование в России. 2020. № 2. C. 27-40. DOI: https://doi.org/10.31992/0869-3617-2020-29-2-27-40
6. Salmi J. The Challenge of Establishing World-Class Universities. Directions in Development; human development. World Bank, 2009. 115 p. URL: https://openknowledge.worldbank. org/handle/10986/2600 (дата обращ ения: 11.02.2021).
7. Salmi J. Excellence Strategies and the Creation of World-class Universities // Liu N.C., Cheng Y., Wang Q. (Eds). Matching Visibility and Performance. Global Perspectives on Higher Education. Rotterdam: Sense Publishers, 2016. Р. 15-48. DOI: https://doi.org/10.1007/978-94-6300-773-3_2
8. Hou Y.W., Jacob W.J. What contributes more to the ranking of higher education institutions? A comparison of three world university rankings // International Education Journal: Comparative Perspectives. 2017. № 16(4). Р. 29-46. URL: https://openjournals.library.sydney.edu.au/ index.php/IEJ/article/view/10638/11495%29 (дата обращения: 11.02.2021).
9. Kusumastuti D, Idrus N. Nurturing quality of higher education through national ranking: a potential empowerment model for developing countries // Quality in Higher Education. 2017. Vol. 23. Issue 3. P. 230-248. DOI: 10.1080/13538322.2017.1407400
10. Alden J., Lin G. Benchmarking the Characteristics of a World Class University: Developing an International Strategy at University Level. London: The UK Higher Education Leadership Foundation, 2004. P. 949-972. DOI: 10.1007/ s10734-020-00527-0
11. Салми Д., Фрумин И.Д. Как государства добиваются международной конкурентоспо-
собности университетов: уроки для России // Вопросы образования. 2013. № 1. С. 25-68.
12. Полихина Н.А, Тростянская И.Б. Рейтинги университетов: тенденции развития, методология, изменения. М: ФГАНУ «Социоцентр», 2018. 189 с. ISBN 978-5-9500528-4-2
13. Задорожнюк И.Е, Коростелева Л.Ю, Те-биев Б.К Т0П-200 вузов в четырёх международных рейтингах // Высшее образование в России. 2019. Т. 28. № 3. С. 85-95. DOI: https://doi.org/10.31992/0869-3617-2019-28-3-85-95
14. Shehatta I., Khalid M. Correlation among top 100 universities in the major six global rankings: policy implications // Scientometrics. 2016. Vol. 109. No. 2. P. 1231-1254. DOI: 10.1007/s11192-016-2065-4
15. Мотова Г.Н. Двойные стандарты гарантии качества образования: Россия в Болонском процессе // Высшее образование в России. 2018. Т. 27. № 11. С. 9-21. DOI: https://doi. org/10.31992/0869-3617-2018-27-11-9-21
16. Аржанова И.В, Барышникова М.Ю, Жура-ковский В.М, Заварыкина Л.В, Лазутина И.В, Ларионова М.В, Лопатина А.С, На-горнов В.А, Перфильева О.В. Модельная методология многомерного ранжирования российских вузов // Вестник международных организаций: образование, наука, новая экономика. 2013. Т. 8. № 1. С. 8-30.
17. Мотова Г.Н, Наводнов В.Г, Рыжакова О.Е. Методика «МетАЛиг» и её применение для сравнительного анализа международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов // Вопросы образования. 2019. № 3. С. 130-151. DOI: http://doi.org/10.17323/1814-9545-2019-3-130-151
18. Наводнов В.Г, Рыжакова О.Е. Обобщение модели Мак-Кинси для ранжирования образовательных организаций высшего образования с равнозначными критериями // Вестник ПГТУ. Сер.: Экономика и управление. 2018. № 2(38). С. 5-18. DOI: 10.15350/2306-2800.2018.2.5
19. Болотов В.А. Мотова Г.Н, Наводнов В. Г, Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России. 2020. Т. 29. № 1. С. 9-24. DOI: https://doi.org/10.31992/0869-3617-2020-29-1-9-24
20. Наводнов В.Г, Рыжакова О.Е. Российские вузы распределились по 14 лигам агрегирован-
ного рейтинга «Первая миссия» // Аккредитация в образовании. 2018. № 8 (108). С. 50-57.
21. Вольский В.И, Лезина З.М. Голосование в малых группах: процедуры и методы сравнительного анализа. М.: Наука, 1991. 192 с. ISBN 5-02-014597-1.
22. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах: Учебник. М.: Логос, 2000. 296 с.
23. Петровский А.Б. Теория принятия решений. М.: Академия, 2009. 400 с.
24. Наводнов В. Г., Рыжакова О.Е. Рейтинг «Первая миссия» создан по итогам проекта «Лучшие образовательные программы инновационной России» // Аккредитация в образовании. 2018. № 7(107). С. 50-64. URL: https://akvobr.ru/reiting_pervaya_missiya_ po_itogam_proekta_luchshie_obrazovatelnye_ programmy.html (дата обращения: 11.02.2021).
Статья поступила в редакцию 30.12.20 После доработки 15.01.21 Принята к публикации 12.02.21
References
1. Berestov, A.V., Guseva, A.I., Kalashnik, V.M., Kaminskiy, V.I., Kireyev, S.V., Sadchikov, S.M. (2020). Flagship Universities - the Potential for the Development of Regions and Industries. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 8-9, pp. 9-25, doi: https:// doi.org/10.31992/0869-3617-2020-29-8-9-9-25. (In Russ. abstract in Eng.).
2. Rauhvargers, A. (2011). Global University Rankings and their Impact. EUA Report on Rankings 2013 Brussels: European University Association. 88 p. Available at: https://www.eua.eu/downloads/pub-lications/global%20university%20rankings%20and%20their%20impact%20-%20report%20ii.pdf (accessed 11.02.2021).
3. Harvey, L. (2008). Rankings of Higher Education Institutions: A Critical Review. Quality in Higher Education. Vol. 14, Issue 3, pp. 187-208, doi: https://doi.org/10.1080/13538320802507711
4. Berestov, A.V., Guseva, A.I., Kalashnik, V.M., Kaminskiy, V.I., Kireyev, S.V., Sadchikov, S.M. (2020). Contribution of National Research and Federal Universities to the 5-100 Project. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 10, pp. 30-45, doi: https://doi.org/10.31992/0869-3617-2020-29-8-9-30-45 (In Russ. abstract in Eng.).
5. Seroshtan, M.V., Ketova, N.P. (2020). Modern Russian Universities: Positioning, Development Trends, Opportunities to Increase Competitive Advantages. Vysshee obrazovanie v Rossii. = Higher Education in Russia. Vol. 29, no. 2. pp. 27-40, doi: https://doi.org/10.31992/0869-3617-2020-29-2-27-40 (In Russ. abstract in Eng.).
6. Salmi, J. (2009). The Challenge of Establishing World-Class Universities. Directions in Development; human development. World Bank, 2009. 115 p. URL: https://openknowledge.worldbank.org/han-dle/10986/2600 (accessed 11.02.2021).
7. Salmi, J. (2016). Excellence Strategies and the Creation of World-Class Universities. In: Liu N.C., Cheng Y., Wang Q. (Eds). Matching Visibility and Performance. Global Perspectives on Higher Education. Rotterdam: Sense Publishers, 2016. Pp. 15-48. DOI: https://doi.org/10.1007/978-94-6300-773-3_2
8. Hou, Y.W., Jacob, W.J. (2017). What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings. International Education Journal: Comparative Perspectives. Vol. 16, no. 4, pp. 29-46. Available at: https://openjournals.library.sydney.edu. au/index.php/IEJ/article/view/10638/11495%29 (accessed 11.02.2021).
9. Kusumastuti, D., Idrus, N. (2017). Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries. Quality in Higher Education. Vol. 23, no. 3, pp. 230-248, doi: 10.1080/13538322.2017.1407400
10. Alden, J., Lin, G. (2004). Benchmarking the Characteristics of a World Class University: Developing an International Strategy at University Level. London: The UK Higher Education Leadership Foundation, pp. 949-972, doi:10.1007/s10734-020-00527-0
11. Salmi, J., Frumin, I.D. (2013). Excellence Initiatives to Establish World-Class Universities: Evaluation of Recent Experiences. Voprosy obrazovaniya = Educational Studies. No 1, pp. 25-68. (In Russ., abstract in Eng.).
12. Polikhina, N.A., Trostyanskaya, I.B. (2018). Reitingi universitetov: tendentsii razvitiya, metod-ologiya, izmeneniya [University Rankings: Development Trends, Methodology, Changes]. Moscow: FGANU «Sotsiotsentr» Publ., 189 p. ISBN 978-5-9500528-4-2 (In Russ.).
13. Zadorozhnyuk, I.E., Korosteleva, L.Yu., Tebyev, B.K. (2019). T0P-200 Higher Education Institutions in Four International Ratings: Comparative Analysis. Vysshee obrazovanye v Rossii = Higher Education in Russia. Vol. 28, no. 3, pp. 85-95, doi: https://doi.org/10.31992/0869-3617-2019-28-3-85-9 (In Russ. abstract in Eng.).
14. Shehatta, I., Khalid, M. (2016). Correlation Among Top 100 Universities in the Major Six Global Rankings: Policy Implications. Scientometrics. Vol. 109, no. 2, pp. 1231-1254. DOI: 10.1007/s11192-016-2065-4
15. Motova, G.N. (2018). Double Standards of Quality Assurance of Education: Russia in the Bologna process. Vysshee obrazovanye v Rossii = Higher Education in Russia. Vol. 27, no. 11, pp. 9-21, doi: https://doi.org/10.31992/0869-3617-2018-27-11-9-21 (In Russ. abstract in Eng.).
16. Arzhanova, I.V., Baryshnikova, M.Yu., Zhurakovskiy, V.M., Zavarykina, L.V., Lazutina, I.V., Lari-onova, M.V., Lopatina, A.S., Nagornov, V.A., Perfilyeva, O.V. (2013). Template Methodology of Russian HEIs Multidimensional Ranking. Vestnik mezhdunarodnykh organizatsiy: obrazovaniye, nauka, novaya ekonomika = International Organisations Research Journal. Vol. 8, no. 1, pp. 8-30. (In Russ. abstract in Eng.).
17. Motova, G.N., Navodnov, V.G., Ryzhakova, O.E. (2019). The Method of League Analysis and Its Application in Comparing Global University Rankings and Russia's University Performance Monitoring. Voprosy obrazovaniya = Educational Studies Moscow. No. 3, pp. 130-151, doi: http://doi. org/10.17323/1814-9545-2019-3-130-151 (In Russ. abstract in Eng.).
18. Navodnov, V.G., Ryzhakova, O.E. (2018). Generalization of the McKinsey Model for Ranking Higher Education Institutions with Equivalent Criteria. Vestnik PGTU. Ser.: Ekonomika i upravlenie = Vestnik of Volga State University of Technology. Series: Economics and Management. No. 2(38), pp. 5-18, doi: 10.15350/2306-2800.2018.2.5. (In Russ. abstract in Eng.).
19. Bolotov, V.A. Motova, G.N., Navodnov, V.G., Ryzhakova, O.E. (2020). How to Design a National Aggregated Ranking? Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 1, pp. 9-24, doi: https://doi.org/10.31992/0869-3617-2020-29-1-9-24 (In Russ. abstract in Eng.).
20. Navodnov, V.G., Ryzhakova, O.E. (2018). Russian Universities Were Distributed in 14 Leagues of the Aggregated Ranking "First Mission". Akkreditatsiya v obrazovanii= Accreditation in Education. No. 8 (108), pp. 50-57. (In Russ.).
21. Volskiy, V.I., Lezina, Z.M. (1991). Golosovanie v malykh gruppakh: protsedury i metody sravni-tel'nogo analiza [Voting in Small Groups: Procedures and Methods of Comparative Analysis]. Moscow: Nauka Publ., 192 p. ISBN 5-02-014597-1 (In Russ.).
22. Larichev, O.I. (2000). Teoriya i metody prinyatiya reshenii, a takzhe Khronika sobytii v Volsheb-nykh Stranakh: Uchebnik [Theory and Methods of Decision-Making, as Well as Chronicle of Events in Magical Countries: Student Manual]. Moscow: Logos Publ., 2000. 296 p. (In Russ.).
23. Petrovskiy, A.B. (2009). Teoriya prinyatiya reshenii [Theory of Decision-Making]. Moscow: Aka-demia Publ., 400 p. (In Russ.).
24. Navodnov, V.G., Ryzhakova, O.Ye. (2018). ["First Mission" Ranking Based on the Results of the Project "Best Educational Programmes of Innovative Russia"]. Akkreditatsiya v obrazovanii=Accreditation in Education. No. 7 (107), pp. 50-64. Available at: https://akvobr.ru/reiting_pervaya_missiya_po_itog-am_proekta_luchshie_obrazovatelnye_programmy.html (дата обращения: 11.02.2021). (In Russ.).
The paper was submitted 30.12.20 Received after reworking 15.01.21 Accepted for publication 12.02.21
