CC BY
8
оригинальная статья
DOI: 10.26794/2220-6469-2022-16-3-6-19 УДК 378(045) JEL I23
(CC) ]
BY 4.0
Идентификация университетов мирового класса: деструктивный плюрализм*
Е. в. Балацкий3, b, И. А. Екимова"
a Центральный экономико-математический институт РАН, Москва, Россия;
b Финансовый университет, Москва, Россия
АННОТАЦИЯ
Статья посвящена проблеме идентификации университетов мирового класса (УМК) на основе информации, предоставляемой различными рейтинговыми системами. Актуальность работы обусловлена тем обстоятельством, что в 2022 г. Россия была «отлучена» от мирового сообщества, в том числе - прервано сотрудничество с ведущими международными ранкерами университетов, в связи с чем страна рискует потерять возможность проверки своих успехов и неудач по общепризнанным критериям. Цель статьи состоит в исследовании гипотезы о том, что база «дружественного» рейтинга ARWU может служить эффективной заменой базы «недружественного» рейтинга QS, для чего применен ранее разработанный алгоритм идентификации УМК с использованием статистических данных пяти глобальных рейтингов университетов (ГРУ) - QuacquareUi Symonds (QS), Times Higher Education (THE), Academic Ranking of World Universities (ARWU), Center for World University Rankings (CWUR) и National Taiwan University Ranking (NTU) - и двух предметных рейтингов университетов (ПРУ) - QS и ARWU. Проведенные расчеты опровергли генеральную гипотезу и выявили принципиальную нестыковку результатов, полученных на основе разных рейтингов. Кроме того, на примере ARWU было вскрыто глубинное противоречие в логике составления ГРУ и ПРУ. Таким образом, встает более общий вопрос об адекватности самого понятия УМК. Для ответа на него был проведен «гуманитарный тест» на валидность современных УМК, показавший наличие у выпускников передовых университетов элементарной безграмотности и бескультурья. Собранные стилизованные примеры позволили установить, что современные лидеры мирового рынка университетов не проходят «гуманитарный тест», а потому и вся система рейтингования не может считаться надежной основой для выводов о деятельности вузов. Обсуждается вопрос о замене термина УМК на менее претенциозную «продуктовую» категорию - практикоориентированные университеты.
Ключевые слова: университеты мирового класса; высшее образование; конкурентоспособность; рейтинг
Для цитирования: Балацкий Е. В., Екимова Н.А. Идентификация университетов мирового класса: деструктивный плюрализм. Мир новой экономики. 2022;16(3):6-19. DOI: 10.26794/2220-6469-2022-16-3-6-19
original paper
Identification of World Class Universities: Destructive Pluralism**
E.V. Balatskya, N. A. Ekimova"
a RAS Central Economics and Mathematics Institute, Moscow, Russia;
b Financial University, Moscow, Russia
ABSTRACT
The article deals with the problem of identifying world-class universities (WCU) on the basis of information provided by various ranking systems. The relevance of the problem is due to the fact that in 2022 Russia was "cut off" from the world community, including the interruption of cooperation with leading international ranking universities, so the country risks
* Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финуниверситету на 2022 год по теме: «Формирование в России университетов мирового класса с целью повышения глобальной конкурентоспособности российского высшего образования».
** The article was prepared within the framework of the state task of the Government of the Russian Federation to Financial University for 2022 on the topic: "Formation of world-class universities in Russia in order to increase the global competitiveness of Russian higher education".
© Балацкий Е. В., Екимова Н.А., 2022
Losing the opportunity to self-check its successes and failures by generally recognized criteria. In this regard, the purpose of this article is hypothesis verification that the "friendly" ranking of ARWU base can serve as an effective substitute for the "unfriendly" OS ranking base. To test the formulated hypothesis, we used the previously developed algorithm for identifying WCU using statistical data from the five Global University Rankings - Ouacquarelli Symonds (OS), Times Higher Education (THE), Academic Ranking of World Universities (ARWU), Center for World University Rankings (CWUR) and National Taiwan University Ranking (NTU) - and two University Rankings by subject - OS and ARWU. Conducted calculations disproved the general hypothesis and revealed a fundamental inconsistency of results obtained on the basis of different rankings. In addition, by the example of the ARWU, a profound contradiction in the logic of compiling the GUR and the SRU was uncovered. That raises a broader question about adequacy of the concept of the WCU itself. To answer this question, we conducted a "humanitarian test" for the validity of modern WCU, which showed the presence of elementary illiteracy and lack of culture among graduates of advanced universities. Collected stylized examples allowed to establish that modern world market leaders' universities do not pass the "humanitarian test", and therefore the entire rating system cannot be considered a reliable basis for conclusions about the activities of universities. The question of replacing the term WCU with a less pretentious "product" category - practice-oriented universities - is being discussed. Keywords: world-class universities; higher education; competitiveness; ranking
For citation: Balatsky E.V., Ekimova N. a. Identification оf world class universities: Destructive pluralism. The World of the New Economy. 2022;16(3):6-19. DOI: 10.26794/2220-6469-2022-16-3-6-19
введение
В 2003 г. в мире началась масштабная кампания по составлению рейтингов университетов. Вхождение университета в топ-листы указанных рейтингов свидетельствовало о его высокой интеграции в мировое научное сообщество, больших научно-образовательных успехах и служило позитивным маркером для всех заинтересованных лиц [1, 2]. Сначала составлялись глобальные рейтинги университетов (ГРУ), дающие общую оценку авторитета вуза, а чуть позже начали разрабатываться и предметные рейтинги университетов (ПРУ), фиксирующие их достижения в конкретных научных областях. В настоящее время в мире имеется около двух десятков рейтинговых продуктов и их компаний-разработчиков — ранкеров [3, 4]. Наличие множества рейтингов обнажило их несоответствие друг другу [5] и поставило вопрос об их адекватности и надежности [6, 7].
Сравнивая между собой различные ГРУ, авторы отмечают, что, понимая методологию составления рейтинга, университеты могут улучшить свою практику и стать конкурентоспособнее [8], однако следует иметь в виду, что с методической точки зрения практически не существует двух одинаковых рейтингов [9]. Сравнительный анализ пяти ГРУ (ARWU, QS-THE, Webometrics, Leiden, HEEACT1), основанный
1 ARWU (Academic Ranking of World Universities) — академиче-
ский рейтинг университетов мира, разрабатываемый Шанхайским университетом (Shanghai Jiao Tong University); QS-THE (QS World University Rankings — Times Higher Education) — до 2009 г. совместный рейтинг британского издания Times Higher Education (THE) совместно с компанией Quacquarelli Symonds
на оценке их ранговой сопоставимости [10], показал большое сходство рейтингов ARWU и HEEACT, тогда как остальные сильно различались между собой [11]. Наличие корреляции между этими двумя ГРУ было также обнаружено в исследованиях [12, 13], тогда как в работе [14] наиболее тесная корреляция — между тайваньским NTU и турецким University Ranking by Academic Performance (URAP). Факторный анализ показателей рейтинговых продуктов ARWU, THE и QS проиллюстрировал, что названные системы не являются взаимоподдерживающими и аддитивными [15]. В свою очередь, анализ наложения пяти ГРУ (ARWU, OS, THE, Leiden, U-Multirank2) продемонстрировал, что только 35 университетов входят в топ-100 всех пяти рейтингов и существуют значительные расхождения в отношении географической представленности университетов [16]. Аналогичные результаты были в работе [17], где автор также показал пересечение только 35 универ-
(OS), который впоследствии распался на два самостоятельных рейтинга; Webometrics (Ranking Web of Universities) — рейтинг университетов, публикуемый испанской лабораторией при Национальном исследовательском совете (Spanish National Research Council, CSIC); Leiden — рейтинг, разработанный Центром науки и технологических исследований Лейденского университета (Centre for Science and Technology Studies, CWTS); HEEACT — рейтинг Тайваньского совета по оценке и аккредитации высшего образования (Higher Education Evaluation and Accreditation Council of Taiwan, HEEACT), который в 2012 г. прекратил свое участие в проекте, в результате чего начал выпускаться Национальным университетом Тайваня (National Taiwan University) и стал известен как рейтинг NTU. 2 U-Multirank — многомерный рейтинг университетов, инициированный и финансируемый Еврокомиссией.
ситетов в топ-100 трех рейтингов — ARWU, OS и THE. Несмотря на существующие различия, аналитики отмечают, что на международном уровне постепенно формируется общий подход к измерению качества высшего образования, основанный в первую очередь на оценке результативности исследований и академической репутации [18].
Не вдаваясь в подробности рейтингового движения, укажем, что процесс вхождения в мировые рейтинги и сопряженный с ним механизм построения университетов мирового класса (УМК) достаточно дорогой и длительный [19, 20]. Россия примкнула к нему, потратив изрядное количество времени, денег и усилий на вхождение в топ-100 выбранных для этой цели трех ГРУ — Quacquarelli Symonds (OS), Times Higher Education (THE) и Academic Ranking of World Universities (ARWU). Данная инициатива не увенчалась успехом: ни один из российских университетов-претендентов даже не приблизился к заветной границе топ-100 и лишь несколько вузов в последние годы смогли войти в топ-50 ПРУ OS. Несмотря на это, неудача не обескуражила российское руководство, и отечественные университеты продолжали ориентироваться на ГРУ и ПРУ в качестве полезного источника оценки их успехов по международным критериям. Однако 2022 г. сделал невозможным следование сложившемуся многолетнему тренду. Из-за специальной военной операции России на Украине страна подверглась беспрецедентным по масштабу и силе международным санкциям. Одной из них стало «отлучение» российской науки от международного сообщества. Это выразилось в отказе от включения российских журналов в международные научные базы данных (МНБД) Scopus и Web of Science, приостановке индексации журналов, уже вошедших в эти базы, а также в закрытии доступа российским пользователям к названным базам. Одновременно с этим прекратилось информационное сотрудничество российских университетов с международными ранкерами. Если в 2022 г. все перечисленные негативные эффекты еще не проявились в полной мере, то можно с уверенностью утверждать, что уже с 2023 г. научная изоляция России станет полномасштабной.
Присоединение России к ГРУ и ПРУ детерминировалось потребностью создания в стране УМК, которые в будущем могли бы выступать в качестве драйверов технологического развития. Научный остракизм, которому страна поверглась в 2022 г., не снимает проблемы создания эффективных научно-образовательных центров. В связи с этим цель ста-
тьи состоит в выяснении вопроса о том, возможно ли в новых условиях найти альтернативные возможности для самоидентификации и самопроверки российских вузов, чтобы окончательно не потерять контакт с мировым научным сообществом. Здесь же возникает и более общий вопрос о том, каким требованиям должны соответствовать УМК в современных условиях.
ИДЕНТИФИКАЦИЯ УНИВЕРСИТЕТОВ
МИРОВОГО КЛАССА: ПОИСК ИНФОРМАЦИОННОЙ АЛЬТЕРНАТИВЫ
Большинство авторитетных ГРУ и ПРУ разрабатывается и составляется в странах, присоединившихся к санкциям. Однако среди них есть и такие продукты, которые принадлежат дружественным или, по крайней мере, нейтральным в отношении России государствам. В частности, это касается самого старого рейтинга — ARWU, составляемого в Китае Shanghai Jiao Tong University. Есть надежда, что данный ранкер не предполагает исключать российские университеты из своей базы. В связи с этим в условиях информационной изоляции Россия могла бы ориентироваться на ГРУ и ПРУ ARWU. Именно эта гипотеза и будет проверена ниже. Учитывая, что опыт идентификации УМК ранее был основан на ПРУ OS, теперь эту базу можно заменить на китайский продукт. Генеральную гипотезу можно сформулировать следующим образом: база данных ARWU послужит эффективным заменителем базы OS.
Ранее авторами было предложено операциональное определение УМК, учитывающее масштаб достижений организации и силу ее бренда: университетом мирового класса может считаться университет, получивший широкое международное признание и имеющий первоклассные научные результаты по широкому кругу научных направлений [21]. Такая трактовка, с одной стороны, содержит критерии Джамиля Салми, выделившего три основные характеристики УМК: высокая концентрация талантов, изобилие ресурсов, эффективное управление [20], а с другой — позволяет перейти к процедуре их идентификации. В этом случае «широкое международное признание» аппроксимируется фактом вхождения вуза в топ-100 хотя бы одного из пяти авторитетных ГРУ, «первоклассные научные результаты» — его попаданием в топ-50 предметных рейтингов университетов (ПРУ) определенной рейтинговой системы (OS), «широкий круг научных направлений» — эвристически определяемым чи-
слом ПРУ, в которых вуз оказался в списке топ-50 (5-6). Здесь и далее будем полагать, что первая часть сформулированного определения («университет, получивший широкое международное признание») представляет собой критерий глобальности успехов вуза, который назовем «G-критерием», а вторая — («имеющий первоклассные научные результаты по широкому кругу научных направлений») выступает в качестве локального критерия, определяющего число предметных областей успешной работы университетских исследователей и обозначаемого как «L-критерий». Параметр «L», помимо фактического числа научных направлений, по которым университет является международным лидером, предполагает еще и минимальную границу — L*, превышение которой позволяет говорить о достаточной научной диверсификации вуза. В дальнейшем будем отталкиваться от такого понимания УМК, на котором был основан базовый алгоритм их идентификации и который уже был неоднократно апробирован ранее (например, [21, 22]). Несмотря на то что базовый алгоритм идентификации впоследствии был несколько модернизирован, дальнейшие расчеты будут базироваться на нем как вполне достаточном для уяснения качественной ситуации.
Суть предлагаемой альтернативы состоит в том, что, как и ранее, G-критерий проверяется на основании того, входит ли вуз в топ-100 одного из пяти авторитетных ГРУ: Ouacquarelli Symonds (OS), Times Higher Education (THE), Academic Ranking of World Universities (ARWU), Center for World University Rankings (CWUR) и National Taiwan University Ranking (NTU). Если он представлен в сотне лучших хотя бы по одному из указанных ГРУ, то он является претендентом на роль УМК, и осуществляется проверка L-критерия: входит ли вуз в топ-50 не менее чем по 5 или 6 направлениям в ПРУ ARWU [L* = 5 (L* = 6) выступает в качестве минимальной «границы отсечения» вузов]. Подчеркнем, что главный элемент изменения расчетной методики состоит в переходе от информационной базы ПРУ OS к базе ПРУ ARWU.
Предлагаемая рокировка источников информации порождает ряд смежных вопросов, имеющих не только прикладное, но и теоретическое значение:
• насколько инварианты результаты, полученные на основе ПРУ OS и ПРУ ARWU?
• насколько полно и адекватно представлены в системе ARWU российские университеты?
• можно ли на основе данных ARWU делать практические выводы о недостатках российских вузов и направлениях их усиления?
Ниже последовательно ответим на поставленные вопросы.
Так как в 2021 г. только один российский вуз — Московский государственный университет (МГУ) им. М. В. Ломоносова — попадал в ГРУ OS и ARWU, то для следующих лет достаточно использовать только один ГРУ — ARWU. Но так как в 2021 г. Россия еще входила в разные рейтинги, то для этого года мы воспользуемся расширенной базой ГРУ для идентификации УМК.
ПЕРЕХОД ОТ QS К ARWU: НАРУШЕНИЕ ИНВАРИАНТНОСТИ
Для проверки сформулированной гипотезы будем использовать базовый алгоритм идентификации с учетом небольшой корректировки: топ-лист потенциальных УМК подвергается стандартизации посредством отсечения «лишней» части: все вузы с номерами больше «100» отбрасываются, в результате остается список топ-100, в котором присутствуют искомые УМК.
Воспользуемся двумя версиями L-критерия для составления списка УМК — L* = 5 и L* = 6. Это позволит сопоставить устойчивость двух рейтинговых систем к смене границы отсечения. Обе системы сравниваются за 2021 г.
Проведенные сравнения позволяют сделать несколько выводов.
Во-первых, система ARWU менее чувствительна, чем OS, к предметной границе отсечения. Если граница L* = 6 для OS достаточна для формирования компактного топ-листа УМК, то для ARWU этого явно мало (табл. 1). Более того, экспериментальные расчеты показывают, что даже при критерии L* = 7 список потенциальных УМК в ARWU составляет 107 единиц; только переход к еще более жесткому критерию L* = 8 позволяет довести топ-лист до нормативной величины в 100 позиций. Такое положение дел связано с тем обстоятельством, что методика ПРУ ARWU занижает показатель концентрации научных направлений в вузах и тем самым приводит к «размазыванию» ядра ведущих университетов. Например, согласно ARWU, максимальную предметную концентрацию имеет Stanford University — 39 позиций, следовательно, ни один вуз мира не достигает отметки в 40 единиц. Вместе с тем, согласно OS, 8 университетов достигают и превышают указанную планку: University of Oxford — 40, Stanford University — 41, University of Cambridge — 41, University of California, Berkeley (UCB) — 41, University of Michigan, Ann Arbor — 40, University of California,
Таблица 1 / Table 1
Число потенциальных УМК с разным критерием отсечения (L*) для двух систем - OS и ARWU / Number of potential WCU with different cut-off criteria (L*) for two systems - OS and ARWU
Показатель / Indicator 2021
OS ARWU
Число УМК при L* = 5 111 124
Число УМК при L* = 6 101 118
Источник/Source: составлено авторами / compiled by the authors.
Таблица 2 / Table 2
Число стран с УМК с разным критерием отсечения (L*) для двух систем OS и ARWU / Number of countries with WCU with different cut-off criteria (L*) for two systems - OS and ARWU
Показатель / Indicator 2021
OS ARWU
Число стран с УМК при L* = 5 21 16
Число стран с УМК при L* = 6 21 16
Источник/Source: составлено авторами / compiled by the authors.
Los Angeles (UCLA) — 43, University of Toronto — 46, University of British Columbia — 41. Таким образом, для системы ARWU характерно чрезмерное распыление УМК по научным направлениям, что и продуцирует повышенное требование к критической границе L*.
Во-вторых, система ARWU охватывает меньшую географию стран, чем OS (табл. 2). Например, в OS помимо стран, присутствующих в ARWU, входят еще Финляндия, Новая Зеландия, Мексика, Бразилия и Россия. Таким образом, китайский ранкер настроен на более строгую фильтрацию объектов, и в поле его зрения оказываются университеты из слишком узкого круга стран. При этом нельзя не отметить тот факт, что выявленное расхождение относится к разряду принципиальных, ибо из-за указанных методологических различий ARWU потерял пять национальных университетских систем, которые сохранялись на протяжении десятилетий в других рейтингах. Данное обстоятельство является особенно поразительным, если учесть, что на фоне более широкого списка потенциальных УМК ARWU теряет почти четверть стран, обладающих таковыми. Кроме того, можно сказать и еще об одном явном противоречии китайского продукта — МГУ в ГРУ ARWU в 2021 г. находится на 93-м месте, а в ПРУ ARWU за этот же год он не вошел в топ-50 ни по одному научному направлению. Такая нестыковка
позволяет говорить о глубинных, носящих принципиальный характер недостатках системы рей-тингования ARWU.
Тем самым географическая (страновая) инвариантность состава УМК при переходе от ПРУ OS к ПРУ ARWU нарушается. Данное обстоятельство говорит о сомнительности использования информационной базы ARWU в качестве адекватной альтернативы OS. В связи с этим можно сделать предварительный вывод о том, что генеральная гипотеза относительно использования базы данных ARWU в качестве эффективной замены OS не подтвердилась.
ПЕРЕХОД ОТ OS К ARWU: АБЕРРАЦИЯ ГЕОПОЛИТИЧЕСКОЙ КАРТЫ УМК
Выше было установлено, что по самым общим параметрам инвариантность оценок УМК по рейтинговым системам OS к ARWU не выполняется, причем наблюдаемые расхождения являются принципиальными. В связи с этим углубим анализ и посмотрим, насколько несхожи внутрирегиональные распределения УМК по двум информационным источникам. Для этого рассмотрим число УМК по укрупненным регионам мира в 2021 г. для более строгого критерия отсечения С* = 6; число агрегированных регионов равно четырем — Северная Америка (без Мексики), Европа (с Рос-
Таблица 3 / Table 3
Число УМК геополитических центров в 2021 г. согласно OS и ARWU / Number of WCU geopolitical centers in 2021 according to OS and ARWU
Регион мира / Region of the world Рейтинг OS / Ranking OS РейтингARWU / Ranking ARWU
Критерий L* = 6 Критерий L* = 6
США и Канада 39 45
Европа и Россия 35 27
Азия 16 22
Прочие 10 6
Всего 100 100
Источник/Source: составлено авторами / compiled by the authors.
сией), Азия и остальной мир. Расчеты представлены в табл. 3, из анализа которой становятся очевидными по меньшей мере два принципиальных различия между оценками на основе ОБ и ARWU.
Во-первых, система ARWU, по сравнению с ОБ, дает гораздо более монополизированную картину мирового рынка УМК. Почти половина всех УМК сконцентрирована в США и Канаде. Можно сказать, что ARWU безоговорочно признает главенство американских университетов. Индекс Херфин-даля-Хиршмана для ARWU немного больше, чем для ОБ — 3274 против 3102. Аналогично дисперсия региональных значений УМК для ARWU на 28,6% больше, чем для ОБ — 258,0 против 200,7.
Во-вторых, полученные результаты позволяют сделать вывод о принципиальном отсутствии региональной конгруэнтности систем ОБ к ARWU. Если первая дает примерный паритет между Северной Америкой и Европой с более чем 2-кратным отставанием Азии даже от Европы, то вторая фиксирует абсолютно неоспоримый приоритет Северной Америки с приблизительным паритетом Европы и Азии. Учитывая вышесказанное, можно утверждать, что рейтинги ОБ и ARWU задают совершенно разную иерархию основных геополитических центров экономической активности, что подтверждает вывод о невозможности использовать рейтинговые платформы ОБ и ARWU в качестве взаимозаменяемых.
Сравнение основных геополитических центров УМК подтверждает ранее сделанный вывод о том, что генеральная гипотеза относительно использования базы данных ARWU в качестве эффективной замены ОБ должна быть отвергнута. В данном случае вполне уместным является вопрос о том, какая из двух рейтинговых систем демонстрирует более
точные результаты. Удовлетворительный ответ на этот вопрос дать невозможно, ибо на сегодняшний день не существует надежных способов верификации рейтинговых продуктов для сложных объектов. Однако в нашем случае важна сама констатация того факта, что в отношении оценок УМК на основе ОБ к ARWU не наблюдается ожидаемой инвариантности.
ПЕРЕХОД ОТ QS К ARWU: АБЕРРАЦИЯ РЕГИОНАЛЬНЫХ СЕГМЕНТОВ УМК
Различия в диспозиции региональных центров УМК по двум рейтинговым системам дополняются и неодинаковостью их распределения по странам внутри регионов. Рассмотрим этот вопрос более подробно.
В отношении азиатского региона результаты на основе ARWU несколько обескураживают. Данная система явно занижает потенциал Японии и вдвое, по сравнению с ОБ, переоценивает потенциал Китая (табл. 4). Пожалуй, это самое впечатляющее расхождение двух рейтингов УМК. Получается, что УМК в Китае почти в 3 раза больше, чем во всей остальной Азии, что выглядит не совсем реалистично. Столь явная симпатия шанхайского рейтинга в отношении китайских университетов смотрится необъективно, особенно если учесть происхождение разработчика ARWU.
Ранжирование европейского научно-образовательного потенциала также весьма экзотично представлено рейтинговой системой ARWU. Так, по сравнению с ОБ, она на треть уменьшает число УМК Великобритании (табл. 5). Помимо общего занижения успехов европейских стран, обращают на себя внимание два обстоятельства: рокировка в двух рейтингах потенциала Дании и Швеции
Таблица 4/ Table 4
Число УМК стран Азии в 2021 г. согласно OS и ARWU / Number of WCU Asian Countries in 2021 according to OS and ARWU
Регион мира / Region of the world Рейтинг OS / Ranking OS РейтингARWU / Ranking ARWU
Критерий L* = 6 Критерий L* = 6
Китай 8 16
Япония 3 2
Южная Корея 2 2
Прочие 3 2
Источник/Source: составлено авторами / compiled by the authors.
Таблица 5 / Table 5
Число УМК стран Европы в 2021 г. согласно OS и ARWU / Number of WCU European Countries in 2021 according to OS and ARWU
Регион мира / Region of the world Рейтинг OS / Ranking OS РейтингARWU / Ranking ARWU
Критерий L* = 6 Критерий L* = 6
Великобритания 12 8
Германия 5 3
Нидерланды 6 4
Франция 2 4
Швейцария 3 3
Швеция 2 1
Дания 1 2
Россия 1 0
Прочие 8 2
Источник/Source: составлено авторами / compiled by the authors.
и принципиальная перестановка сил Германии и Франции. Так, исходя из OS, в Германии есть 5 УМК, а во Франции — 2, а согласно ARWU — 3 и 4 соответственно. И наконец, единственный УМК России в OS — МГУ — исчезает в ARWU. Более того, если в ПРУ OS МГУ вошел в топ-50 по 6 научным направлениям, то в ПРУ ARWU — ни по одному. В связи с этим возникает закономерный вопрос: каким образом МГУ вошел в топ-100 ГРУ ARWU, не обозначив себя ни по одному предмету в ПРУ ARWU?
Еще более странными представляются показатели бразильского University of Sao Paulo (USP) и мексиканского National Autonomous University of
Mexico (UNAM), которые в ПРУ OS вошли в топ-50 по 13 и 12 научным направлениям соответственно, а в ПРУ ARWU — ни по одному. Похожая ситуация, но менее выраженная, характерна и для новозеландского University of Auckland, который также в ПРУ OS вошел в топ-50 по 10 научным направлениям, а в ПРУ ARWU — только по 3. Таких примеров можно привести множество, а объяснить их довольно трудно.
Сказанное позволяет поставить окончательный вердикт: результаты идентификации УМК на основе ПРУ OS и ARWU демонстрируют отсутствие инвариантности, следовательно, генеральная гипотеза статьи не подтвердилась.
Таблица 6 / Table 6
Методология составления ПРУ OS / Methodology of OS World University Rankings by Subject
Направление оценки / Direction of évaluation Комментарий / Comment
1. Ранжирование предметов 51 предметная область по направлениям: искусство и гуманитарные науки (11), инженерные науки и технологии (7), наука о жизни и медицина (9), естественные науки (9), социальные науки и менеджмент (15)
2. Университеты-претенденты Университет должен превысить установленную для каждой предметной области минимальную требуемую оценку по индикаторам «академическая репутация» и «репутация работодателей», а также минимальный порог по количеству публикаций в данной предметной области
3. Показатели
3.1. Академическая репутация Опрос 100 тыс. ученых по всему миру, где каждый из них может определить до 10 отечественных и 30 международных ведущих, по их мнению, учреждений (не более чем по двум направлениям)
3.2. Репутация среди работодателей Опрос 50 тыс. работодателей, где они определяют до 10 отечественных и 30 международных учреждений, выпускающих наиболее востребованных и квалифицированных специалистов, а также указывают, по каким дисциплинам они предпочитают нанимать выпускников
3.3. Количество цитирований на одну публикацию Количество цитирований (без самоцитирования) на статью в разбивке по направлениям для каждого учреждения по базе данных Elsevier Scopus. При составлении рейтинга 2021 г. учитывались статьи за период 2014-2018 гг., цитирования - за 2014-2019 гг.
3.4. H-индекс Н-индекс ученого
4. Подсчет очков При ранжировании университетов по предметным областям используется различный вес разных индикаторов
4.1. Искусство и гуманитарные науки Академическая репутация (60-90%), репутация среди работодателей (5-30%), количество цитирований на одну публикацию (0-15%), Н-индекс (0-15%)
4.2. Инженерные науки и технологии Академическая репутация (40%), репутация среди работодателей (30%), количество цитирований на одну публикацию (15%), Н-индекс (15%)
4.3. Науки о жизни и медицина Академическая репутация (30-40%), репутация среди работодателей (10-20%), количество цитирований на одну публикацию (20-30%), Н-индекс (20-30%)
4.4. Естественные науки Академическая репутация (30-60%), репутация среди работодателей (10-20%), количество цитирований на одну публикацию (15-30%), Н-индекс (15-30%)
4.5. Социальные науки и менеджмент Академическая репутация (40-70%), репутация среди работодателей (10-50%), количество цитирований на одну публикацию (5-20%), Н-индекс (0-20%)
Источник/Source: составлено авторами по данным официального сайта OS / compiled by the authors according to the official website OS.
Таблица 7 / Table 7
Методология составления ПРУ ARWU / Methodology of ARWU World University Rankings by Subject
Направление оценки / Direction of evaluation Комментарий / Comment
1. Ранжирование предметов 54 направления в области естественных (8), биологических (4), медицинских (6), инженерных (22) и социальных (14) наук
2. Университеты-кандидаты Университеты, преодолевшие порог публикаций в WoS, установленный для каждого направления
3. Показатели
3.1. 01 Количество статей в журналах WoS с квартилем 01 за последние 5 лет
3.2. Влияние исследований (Category Normalized Citation Impact, CNCI) Отношение цитирований опубликованных статей к средним цитированиям статей в той же категории в том же году и в том же типе журнальной публикации учреждением по академическому предмету за последние 5 лет
3.3. Международное сотрудничество (IC) Отношение количества публикаций с авторами по крайней мере из двух стран к общему количеству публикаций по соответствующей тематике для учреждения за последние 5 лет
3.4. Качество исследований (Top) Количество статей, опубликованных в ведущих журналах по академическому предмету, за последние 5 лет. Ведущие журналы определяются выдающимися учеными в рамках академического рейтинга журналов ShanghaiRanking
3.5. Международные академические награды (Awards) Общее число сотрудников университета, получивших значительные награды по академическим предметам с 1981 г. (32 награды по 27 предметам)
4. Подсчет очков По каждому показателю университета рассчитывается его процентное соотношение от набравшего наибольшее количество баллов учреждения, затем квадратный корень из процента умножается на выделенный вес (определяется по каждому направлению). Итоговый балл получается путем сложения баллов по каждому показателю, а вузы ранжируются в порядке убывания
Источник/Source: составлено авторами по данным официального сайта ARWU / compiled by the authors according to the official website ARWU.
ПРИЧИНЫ НАРУШЕНИЯ ИНВАРИАНТНОСТИ ОЦЕНОК OS И ARWU
Выявленный факт отсутствия инвариантности результатов идентификации УМК на основе ПРУ OS и ARWU требует хотя бы краткого пояснения. Более того, зафиксированные разночтения в оценках являются настолько значимыми, что исключают возможность замены одного источника информации об университетах — OS — на другой — ARWU.
Для объяснений возникающих разночтений обратимся к табл. 6 и 7, в которых представлена методология составления ПРУ OS и ARWU. Сопоставление двух методологий позволяет сделать следующие выводы.
Во-первых, в системе OS используются масштабные экспертные опросы, что в ARWU вообще не задействуется. Совсем ее удивительно, что опросные результаты расходятся с библиоме-
трическими данными и порождают плохую сопоставимость двух рейтинговых систем. В этом смысле продукт ARWU представляется даже более объективным, особенно если учесть, что опросы в OS затрагивают не только академическое сообщество, но и работодателей.
Во-вторых, две системы используют сильно различающиеся предметные перечни. Например, в ПРУ OS фигурирует раздел «Искусство и гуманитарные науки» (Arts & Humanities), аналога которому в ПРУ ARWU нет. Такое урезание предметной базы ARWU является совершенно необоснованным, и тем самым акцент делается только на естественных и инженерных науках. Возникающие искажения в оценках двух систем вызваны потерей в ARWU таких 11 важных гуманитарных направлений OS, как: археология (archaeology), архитектура (architecture/built environment), искусство и дизайн (art & design), история древнего мира (classics & ancient history), английский язык
и литература (english language & literature), современные языки (modern languages), исполнительские виды искусства (performing arts), история (history), лингвистика (linguistics), философия (philosophy), теология, богословие и религоведение (theology, divinity & religious studies). Вместе с тем раздел «Инженерные науки и технологии» (Engineering & Technology) в ПРУ OS представлен 7 направлениями, тогда как в ПРУ ARWU — 22. Неудивительно, что такая исходная несопоставимость предметных списков двух систем приводит к несопоставимости конечных результатов.
В-третьих, показатели публикаций и цитирований в OS основаны на МНБД Scopus, а в ARWU — на Web of Science. Если WoS изначально была американской системой, ориентированной на англоязычный мир (а в настоящее время является предельно консервативной, продвижение в которой новым журналам-членам чрезвычайно затруднено), то Scopus создавалась как общеевропейская альтернатива WoS, в которой английский язык признан в качестве рабочего, но не родного (а сама база является более демократичной и открытой для новых участников). Очевидно, что перечни лучших статей в двух системах заведомо не будут совпадать. Этим обстоятельством — американо-центричностью ARWU — во многом объясняется и тот факт, что ПРУ OS за 2021 г. включает 508 университетов, тогда как ПРУ ARWU — только 458.
Таким образом, три рассмотренных методологических различия при составлении ПРУ OS и ARWU исключают инвариантность результатов рейтингования и ведут к принципиальным расхождениям в отношении места и роли отдельных стран.
ВЕРИФИКАЦИЯ УМК
Установленный факт отсутствия инвариантности между двумя ведущими рейтинговыми системами — OS и ARWU — порождает новые вопросы. Например: какой из этих двух продуктов является более достоверным? а в расширенном ракурсе — насколько вообще можно доверять рейтинговым источникам информации?
Несмотря на тотальную распространенность рейтингов и их влияние на все стороны жизни, а также на то, что уже много лет на рынке труда присутствуют специалисты новой профессии — ранкеры (разработчики рейтингов), до сих пор не создано общенаучных основ верификации рейтинговых продуктов. В связи с этим каждый
раз данная работа превращается в весьма креативную и, как правило, уникальную процедуру, не предполагающую тиражирования на другие типы рейтинговых продуктов. В нашем случае рейтинги УМК на основе OS и ARWU говорят о том, что Россия не только является аутсайдером рынка передовых университетов, но и продолжает деградировать. Но так ли это?
Один из подходов к оценке валидности рейтингов УМК основан, по мнению авторов, на представленности в их списке вузов стран «ядерного клуба». Такой подход делает акцент на технологической стороне УМК, однако ниже мы рассмотрим альтернативный метод, в большей степени ориентированный на учет их гуманитарного потенциала. Оба подхода — технологический и гуманитарный — не исключают, а дополняют друг друга, что и оправдывает их применение.
Суть предлагаемого метода состоит в использовании стилизованных примеров (СП), которые в силу своей «рафинированности» позволяют делать более общие выводы об изучаемом явлении. В данном случае СП отражают ту или иную сторону деятельности авторитетного УМК, которая раскрывает когнитивный диссонанс между ожиданиями и реальностью.
Первый СП касается Гарвардского университета (Harvard University) и его «выпускника» Билла Гейтса (William Gates). Во-первых, довольно скандальной выглядит история с Б. Гейтсом, который в 1973 г. поступил в Гарвард, спустя 2 года был отчислен из него, а с 07.06.2007 г. официально считается выпускником Гарварда, ибо администрация университета приняла решение вручить ему диплом (за особые заслуги) спустя 34 года после поступления3. Примечательным фактом является и то, что профиль обучения Гейтса в Гарварде — юриспруденция — не соответствует его последующей сфере занятий, связанной с компьютерными технологиями4. Кроме того, Гарвардский университет удостоил Б. Гейтса почетной степени доктора права.
Во-вторых, антинаучным выглядит начинание Б. Гейтса по налаживанию производства растительного мяса для перехода от нормального качественного мяса на растительный белковый концентрат или молотых мучных червей. Разработку этой технологии поддержали Гарвардский
3 URL: https://lenta.ru/articles/2007/03/23/gates/
4 URL: https://www.shkolazhizni.ru/biographies/articles/40248/
и Стэнфордский университеты5. В данном случае действия Гарвардского университета, на наш взгляд, совершенно не укладываются в стандарты поведения УМК, к числу которых он относится. С одной стороны, Гарвардский университет демонстрирует двойные стандарты в выдаче своих научных и образовательных сертификатов (торгует дипломами), а с другой — участвует в сомнительных, если не сказать антисоциальных и антинаучных, проектах. Следовательно, не отрицая научных заслуг Гарвардского университета, можно констатировать, что он лишь с явной натяжкой является УМК: реальность не оправдывает ожидания в отношении лидера Лиги Плюща.
Дополнительным подтверждением сказанному выступает еще один несостоявшийся выпускник Гарварда, Марк Цукерберг (Mark Zuckerberg), который проучился в университете всего два года, но, как и Гейтс, спустя 13 лет все-таки получил диплом об его окончании, пополнив ряды «почетных» выпускников Гарварда. Данный факт не вызывает удивления, если вспомнить, что одним из критериев оценки университетов при составлении ГРУ является наличие выдающихся выпускников.
Второй СП касается действующего министра иностранных дел Великобритании Лиз Трасс (Elizabeth Mary «Liz» Truss), изучавшей философию, политику и экономику в Мертон-колледже Оксфордского университета (The House or College of Scholars of Merton in the University of Oxford), который она закончила с отличием6. Несмотря на полученное блестящее образование, политик столь высокого ранга «прославился» своими откровенно шокирующими высказываниями, демонстрирующими полное незнание примитивных основ истории и географии. Так, руководитель британского МИД предложила защищать страны Балтии от агрессии России через Чёрное море; отказалась признавать суверенитет России над Ростовской и Воронежской областями, заявила, что Украина — гордая страна с многовековой историей, пережившая немало вторжений — от монголов до татар7. Такая поразительная безграмотность человека, входящего в топ-40 выпускников Мер-тон-колледжа, заставляет задуматься об истинной
5 URL: https://rusorel.info/obed-dlya-rabov-muchnye-chervi-polezny-i-pitatelny/
6 URL: https://topwar.ru/195904-kto-uchil-dzhen-psaki-i-liz-trass-mif-zapadnogo-jelitnogo-obrazovanija.html
7 URL: https://yamal-media.ru/narrative/glupye-ljapy-zapadnyh-
politikov-o-rossii
ценности образования, которое все привыкли считать «элитным».
Третий СП связан с рекордсменом по числу абсурдных высказываний — Джорджем Бушем-младшим (George W. Bush), 43-м президентом США. Человек, получивший степень бакалавра в Йельском университете (Yale University) и окончивший Бизнес-школу Гарвардского университета (Harvard Business School), за свою карьеру допустил столько оплошностей и ляпов, что его ошибки породили неологизм — «бушинизмы». В частности, Африку он назвал страной, страдающей от немыслимого заболевания; греков — гречанами; Австралию — Австрией; Елизавету Вторую — Елизаветой Одиннадцатой; во время визита в Японию перепутал «дефляцию» с «девальвацией», обрушив тем самым курс йены; интересовался, в каком штате США находится Уэльс; верил, что люди и рыбы могут вести мирное сосуществование; увеличивал ассигнования «втрое» — с 50 до 195 млн долл.; Восточный Берлин и Лейпциг считал частью Центральной Америки8. Вереницу высказываний можно было бы продолжить, однако даже приведенных примеров достаточно для того, чтобы усомниться в блестящем образовании одного из лидеров американского истеблишмента, полученном в университете, — лидере на мировом рынке образования.
Подобные примеры, демонстрирующие элементарную необразованность выпускников ведущих УМК, далеко не единичны. Достаточно вспомнить высказывания 44-го президента США Барака Обамы (Barack Obama), закончившего Колумбийский университет (Columbia University) и Школу права Гарвардского университета (Harvard Law School), заявившего о 58 штатах в США; действующего премьер-министра Великобритании Бориса Джонсона (Boris Johnson), получившего образование в Оксфордском Бей-лиол-колледже (Balliol College) и продолжившего традицию Джорджа Буша-младшего (George W. Bush) называть Африку страной; 68-го Государственного секретаря США Джона Керри (John Kerry), окончившего Йельский университет (Yale University) и заявившего о поддержке американцами демократических институтов в Кырзахс-тане; 45-го президента США Дональда Трампа (Donald Trump), обучавшегося в Пенсильванском университете (University of Pennsylvania) и лич-
8 URL: https://ria.ru/20220212/kazusy-1772348568.html?in=t
но встречавшегося с президентом Виргинских островов, входящих в состав США9.
На первый взгляд, может показаться, что все приведенные выше примеры являются лишь единичными исключениями из правила, которые не могут служить в качестве серьезного аргумента дискредитации упомянутых университетов. Однако это не так. Дело в том, что одно из свойств СП состоит в том, что они отражают не уникальные, а массовые явления [23]. Это означает, что похожих примеров с различными вариациями и аранжировками можно привести сколь угодно много. При этом международное признание, лежащее в основе идентификации УМК, базируется на публичности и открытости информации об их деятельности — репутации в глазах экспертного сообщества и высокорейтинговых публикациях в журналах открытых баз данных. В литературе уже отмечалась неадекватность такого подхода (например, [24, 25]), однако, даже если все-таки признать публичные результаты деятельности университета в качестве приемлемого критерия оценки его состоятельности, то тогда позор и публичные скандалы, связанные с «проколами» его преуспевающих выпускников, должны выступать в качестве значимого аргумента о его несостоятельности. Именно этот контраргумент и раскрывает приведенные выше стилизованные примеры.
Сказанное позволяет констатировать, что УМК, признанные таковыми в соответствии с современными критериями оценки, уже не гарантируют ни качества образования, ни тем более высокого уровня культуры своих выпускников. И этот факт позволяет усомниться в необходимости самого понятия УМК в постиндустриальном обществе.
вЫвОдЫ
Проведенное исследование позволяет сделать следующие немаловажные выводы.
Во-первых, на сегодняшний день не существует объективных критериев и надежных источников информации для определения и идентификации УМК.
Во-вторых, публичное признание неких показателей деятельности университетов в качестве
9 URL: https://ria.ru/20220211/ongovorki-1772271793.html
ключевых для оценки их состоятельности «пробуждает» закон Чарльза Гудхарта10 (Charles Goodhart), что порождает манипулирование указанными показателями и искажает истинную картину.
В-третьих, современная методология и практика составления рейтингов университетов не позволяют привести их к единому знаменателю, что приводит не только к противоречиям между рейтинговыми продуктами разных разработчиков, но и к инструментальной коллизии между продуктами одного и того же ранкера (например, ГРУ и ПРУ). Многочисленность рейтинговых центров и разнообразие их подходов в составлении списков участников рынка лишь усугубляет отмеченные проблемы. Сложившееся положение дел можно охарактеризовать как деструктивный плюрализм: информации много, но вся она противоречива и ненадежна.
В свою очередь, отталкиваясь от сказанного выше, приходится констатировать, что понятие УМК в современном мире превратилось в своеобразный положительный эвфемизм. Фактически отнесение вуза к разряду УМК зачастую просто вуалирует агрессивность менеджмента соответствующей организации, ее нечестные методы конкуренции, а порой и «грязные» технологии в достижении определенных результатов. Тем самым это понятие уже не может выступать в качестве надежного маркера для экономических агентов, а, наоборот, дезориентирует или даже откровенно обманывает их.
В XXI в. некоторые понятия и представления безнадежно устаревают. Не исключено, что к числу таковых относится и УМК, особенно опирающееся на рейтинговые продукты. На наш взгляд, единственной разумной заменой УМК должны стать практико-ориентированные университеты, принимающие активное участие в передовых технологических и управленческих инициативах. Активность определяется масштабностью и значимостью вклада (разработок) в указанные инициативы. Подчеркнем, что данное понимание, строго говоря, не тождественно исследовательским, инновационным и предпринимательским университетам, хотя и не всегда противоречит им.
10 Закон Гудхарта звучит следующим образом: хороший индикатор перестает быть хорошим, если его начать использовать в качестве регулятора.
список источников / REFERENCES
1. Hazelkorn E. Rankings and the reshape of higher education: The battle for world-class excellence. Basingstoke: Palgrave Macmillan; 2011. 259 p. DOI: 10/1057/9780230306394
2. Liu N. C., Cheng Y. The academic ranking of world universities. Higher Education in Europe. 2005;30(2):127-136. DOI: 10.1080/03797720500260116
3. Wang О., Cheng Y., Liu N. C., eds. Building world-class universities. Different approaches to a shared goal. Rotterdam: SensePublishers; 2013. 230 p. DOI: 10.1007/978-94-6209-034-7
4. Turner D. A. World class universities and international rankings. Ethics in Science and Environmental Politics. 2013;13(2):1-10. DOI: 10.3354/esep00132
5. Olcay G. A., Bulu M. Is measuring the knowledge creation of universities possible?: A review of university rankings. Technological Forecasting and Social Change. 2017;123:153-160. DOI: 10.1016/j. techfore.2016.03.029
6. Harvey L. Rankings of higher education institutions: A critical review. Quality in Higher Education. 2008;14(3):187-207. DOI: 10.1080/13538320802507711
7. Frenken K., Heimeriks G. J., Hoekman J. What drives university research performance? An analysis using the CWTS Leiden ranking data. Journal of Informetrics. 2017;11(3):859-872. DOI: 10.1016/j.joi.2017.06.006
8. Pavel A.-P. Global university rankings — A comparative analysis. Procedia Economics and Finance. 2015;26:54-63. DOI: 10.1016/S 2212-5671(15)00838-2
9. Usher A., Savino M. A global survey of university league tables. Higher Education in Europe. 2007;32(1):5-15. DOI: 10.1080/03797720701618831
10. Bar-Ilan J., Levene M., Lin A. Some measures for comparing citation databases. Journal of Informetrics. 2007;1(1):26-34. DOI: 10.1016/j.joi.2006.08.001
11. Aguillo I. F., Bar-Ilan J., Levene M., Ortega J. L. Comparing university rankings. Scientometrics. 2010;85(1):243-256. DOI: 10.1007/s11192-010-0190-z
12. Huang M. X. The comparison of performance ranking of scientific papers for world universities and other ranking systems. Evaluation Bimonthly. 2011;(29):53-59.
13. Khosrowjerdi M., Kashani Z. S. Asian top universities in six world university ranking systems. Webology. 2013;10(2):1-9. URL: http://www.webology.org/2013/v10n2/a114.pdf (accessed on 16.05.2022).
14. Shehatta I., Mahmood K. Correlation among top 100 universities in the major six global rankings: Policy implications. Scientometrics. 2016;109(2):1231-1254. DOI: 10.1007/s11192-016-2065-4
15. Soh K. What the overall doesn't tell about world university rankings: Examples from ARWU, OSWUR, and THEWUR in 2013. Journal of Higher Education Policy and Management. 2015;37(3):295-307. DOI: 10.1080/1360080X.2015.1035523
16. Moed H. F. A critical comparative analysis of five world university rankings. Scientometrics. 2017;110(2):967-990. DOI: 10.1007/s11192-016-2212-y
17. Chen K., Liao P. A comparative study on world university rankings: A bibliometric survey. Scientometrics. 2012;92(1):89-103. DOI: 10.1007/s11192-012-0724-7
18. Buela-Casal G., Gutiérrez-Martínez O., Bermúdez-Sánchez M.P., Vadillo-Muñoz O. Comparative study of international academic rankings of universities. Scientometrics. 2007;71(3):349-365. DOI: 10.1007/s11192-007-1653-8
19. Салми Дж., Фрумин И. Д. Как государства добиваются международной конкурентоспособности университетов: уроки для России. Вопросы образования. 2013;(1):25-68. DOI: 10.17323/1814-9545-20131-25-68
Salmi J., Frumin I. D. Excellence initiatives to establish world-class universities: Evaluation of recent experiences. Voprosy obrazovaniya = Educational Studies Moscow. 2013;(1):25-68. (In Russ.). DOI: 10.17323/1814-9545-2013-1-25-68
20. Салми Дж. Создание университетов мирового класса. Пер. с англ. М.: Весь Мир; 2009. 132 с.
Salmi J. The challenge of establishing world-class universities. Washington, DC: The World Bank; 2009. 136 p. (Russ. ed.: Salmi J. Sozdanie universitetov mirovogo klassa. Moscow: Ves' Mir; 2009. 132 p.).
21. Балацкий Е. В., Екимова Н. А. Геополитические меридианы университетов мирового класса. Вестник Российской академии наук. 2019;89(10):1012-1023. DOI: 10.31857/S 0869-587389101012-1023 Balatsky E. V., Ekimova N. A. Geopolitical meridians of world-class universities. Herald of the Russian Academy of Sciences. 2019;89(5):468-477. DOI: 10.1134/S 1019331619050022 (In Russ.: Vestnik Rossiiskoi akademii nauk. 2019;89(10):1012-1023. DOI: 10.31857/S 0869-587389101012-1023).
22. Балацкий Е. В., Екимова Н. А. Идентификация университетов мирового класса. Мир новой экономики. 2017;(3):81-89.
Balatsky E. V., Ekimova N. A. Identification оf world class universities. Mir novoi ekonomiki = The World of New Economy. 2017;(3):81-89. (In Russ.).
23. Аджемоглу Д., Робинсон Дж. А. Почему одни страны богатые, а другие бедные. Происхождение власти, процветания и нищеты. Пер. с англ. М.: АСТ; 2015. 720 с.
Acemoglu D., Robinson J. A. Why nations fail: The origins of power, prosperity, and poverty. New York: Crown Business; 2013. 544 p. (Russ. ed.: Acemoglu D., Robinson J. A. Pochemu odni strany bogatye, a drugie bednye. Proiskhozhdenie vlasti, protsvetaniya i nishchety. Moscow: AST; 2015. 720 p.).
24. Van Raan A. F.J. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics. 2005;62(1):133-143. DOI: 10.1007/s11192-005-0008-6
ИНФОРМАЦИЯ ОБ АВТОРАХ / ABOUT THE AUTHORS
Евгений Всеволодович Балацкий — доктор экономических наук, профессор, директор Центра макроэкономических исследований, Финансовый университет, Москва, Россия; главный научный сотрудник Лаборатории математической экономики, Центральный экономико-математический институт РАН, Москва, Россия
Evgeny V. Balatsky — Dr. Sci. (Econ.), Prof., Director of the Center for Macroeconomic Research, Financial University, Moscow, Russia; Chief Researcher, RAS Central Economics and Mathematics Institute, Moscow, Russia http://orcid.org/0000-0002-3371-2229 evbalatsky@inbox.ru
Наталья Александровна Екимова — кандидат экономических наук, доцент, ведущий научный сотрудник Центра макроэкономических исследований, Финансовый университет, Москва, Россия
Natalia A. Ekimova — Cand. Sci. (Econ.), Assoc. Prof., Leading Researcher at the Center for Macroeconomic Research, Financial University, Moscow, Russia http://orcid.org/0000-0001-6873-7146 n.ekimova@bk.ru
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов. Conflicts of Interest Statement: The authors have no conflicts of interest to declare.
Статья поступила 05.05.2022; после рецензирования 15.06.2022; принята к публикации 10.07.2022. Авторы прочитали и одобрили окончательный вариант рукописи.
The article was received on 05.05.2022; revised on 15.06.2022 and accepted for publication on 10.07.2022. The authors read and approved the final version of the manuscript.
