CC BY
50
ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ
УДК 377.5 DOI: 10.17853/1994-5639-2021-10-11-43
ГЛОБАЛЬНЫЕ И НАЦИОНАЛЬНЫЕ РЕЙТИНГИ УНИВЕРСИТЕТОВ: МНОГОМЕРНЫЙ АНАЛИЗ
Т. А. Салимова1, И. А. Иванова2, Е. А. Сысоева3
Национальный исследовательский Мордовский государственный университет
им. Н. П. Огарева, Саранск, Россия.
E-mail: 4asalimova@yandex.ru; 2ivia16@mail.ru; 3sysoeua@mail.ru
Аннотация. Введение. В условиях глобализации и интернационализации высшего образования рейтинги университетов становятся важным инструментом оценки качества образования, получаемого студентами в различных вузах мира. Эти процессы актуализируют вопросы возможностей практического использования методологий расчета глобальных и национальных рейтингов высших учебных заведений.
Цель исследования - разработка и применение методического подхода к многомерному анализу процедур классификации вузов, построение и анализ критериев, агрегированных индикаторов глобальных и национальных рейтинговых систем организаций высшего образования, оценка связи между ними.
Методология и методики. В работе проведены системный анализ баз данных рейтинговых систем и агрегирование независимых оценок глобальных и национальных рейтингов вузов с применением методики анализа лиг на базе математического аппарата теории голосования. Исследование связи индикаторов глобальных и национальных рейтингов вузов проведено с использованием корреляционного, кластерного, факторного, регрессионного (линейного и полиномиального) и дисперсионного методов анализа.
Результаты и научная новизна. Проведен комплексный сравнительный анализ рейтинговых систем и их результатов. Решена проблема агрегирования множества разнородных исследований мировых и национальных систем ранжирования с их качественным и количественным разнообразием критериев, показателей и методов оценки. Выявлена корреляция между показателями агрегированных глобальных и национальных рейтингов, определена регрессионная зависимость интегрального национального рейтинга с результатами ведущих мировых рейтинговых систем.
Практическая значимость. Разработанный методический подход является удобным и эффективным механизмом комплексного мониторинга субъектов образовательной деятельности.
Ключевые слова: высшие учебные заведения, рейтинг, мониторинг, методика анализа лиг, регрессия, корреляция, кластеризация, стратегическое управление, критерии и показатели.
Благодарности. Авторы выражают благодарность сотрудникам редакции журнала «Образование и наука» и рецензентам за конструктивные замечания и ценные рекомендации. Статья подготовлена при финансовой поддержке РФФИ в рамках выполнения исследований по проекту № 19-010-00968 «Методология и инструментарий цифровиза-ции управления качеством системы образования и обеспечения устойчивого развития экономических агентов».
Для цитирования: Салимова Т. А., Иванова И. А., Сысоева Е. А. Глобальные и национальные рейтинги университетов: многомерный анализ // Образование и наука. 2021. Т. 23, № 10. С. 11-43. DOI: 10.17853/1994-5639-2021-10-11-43
GLOBAL AND NATIONAL UNIVERSITY RANKINGS: A MULTIVARIATE ANALYSIS
Т. А. Salimova 1, I. А. Ivanova2, Е. А. Sysoeva 3
Ogarev Mordovia State University, Saransk, Russia.
E-mail: 'tasalimova@yandex.ru; 2ivia16@mail.ru; 3sysoeua@mail.ru
Abstract. Introduction. In the context of globalisation and internationalisation of higher education, university rankings are becoming an important tool for assessing the quality of education received by students at various higher education institutions around the world. These processes actualise the issues of possibilities for practical use of methodologies for calculation of global and national university rankings.
The aim of the study was to develop and apply a methodological approach to multivariate the analysis of Higher Education Institutions (HEIs) classification procedures, to construct and analyse aggregated indicators for global and national rating systems of higher education organisations, and to assess the relationship between them.
Methodology and research methods. The current paper presents a system analysis of databases of rating systems and an aggregation of independent evaluations of global and national rankings of HEIs using the methodology of league table analysis based on mathematical apparatus of the voting theory. The dependence of global and national university rankings indicators was investigated using correlation, cluster, factor, regression (linear and polynomial) and dispersion methods of analysis.
Results and scientific novelty. A comprehensive comparative analysis of ranking systems and their results was carried out. The authors solved the problem of aggregating multiple heterogeneous studies of global and national ranking systems with their qualitative and quantitative variety of criteria, indicators and methods of assessment. The correlation between the indicators of aggregated global and national rankings was revealed; the regression dependence of the integral national ranking with the results of the leading global rating systems was determined.
Practical significance. The developed methodical approach is a convenient and effective mechanism for comprehensive monitoring of the members of educational process.
Keywords: higher education institutions, ranking, monitoring, league table analysis methodology, regression, correlation, clustering, strategic management, criteria and indicators
Acknowledgements. The authors express their gratitude to the editorial staff of the Education and Science Journal and the reviewers for their constructive comments and valuable recommendations. The paper was prepared with the financial support of the Russian Foundation for Basic Research (RFBR) in the framework of the research under the project No. 19010-00968 "Methodology and Tools for the Digitalisation of Quality Management in Education System and the Sustainable Development of Economic Agents".
For citation: Salimova Т. А., Ivanova I. А., Sysoeva Е. А. Global and national university rankings: A multivariate analysis. The Education and Science Journal. 2021; 23 (10): 11-43. DOI: 10.17853/1994-5639-2021-10-11-43
Введение
В условиях роста конкуренции вузов актуально развитие новых информационно емких инструментов сравнения эффективности деятельности современных образовательных организаций, в частности, построение университетских рейтингов. Растущая глобализация мировой экономики и интернационализация высшего образования обусловили необходимость сравнения учебных заведений различных стран и их характеристик, параметров, а соответственно, и появление национальных, региональных и глобальных рейтинговых систем.
Признание на международном уровне достижений российской науки и образования, повышение конкурентоспособности на мировом рынке образовательных услуг приобретают все большее значение для отечественной высшей школы. Одним из основных показателей международного признания качества и уровня образования является присутствие вуза в так называемой большой тройке авторитетных международных рейтинговых систем (Academic Ranking of World Universities - ARWU, QS World University Ranking, Times Higher Education World University Ranking - THE) [1-3].
Системы глобальных рейтингов и методологии их расчета являются ориентиром для международной системы знаний 20 000 университетов и других высших учебных заведений, а также для измерения результатов деятельности университетов. Michael A. Peters [4] выявил основные направления научно-исследовательской деятельности вузов, а следовательно, и пути продвижения их в глобальных рейтингах:
- глобальный ландшафт научных исследований меняется. США со значительным отрывом опережают другие страны, на их долю в 2018 г. приходилось почти 25 % мирового объема публикаций. Китай увеличил свою долю в мировом выпуске публикаций до 15 % и продемонстрировал среднегодовые темпы роста более чем на 20 %;
- результаты высокоэффективных исследований очень концентрированы и специализированы. На четыре страны (США, Великобританию, Германию и Китай) вместе приходилось 50-70 % публикаций с высоким индексом цитирования;
- рост количества научных публикаций в основном обусловлен индексацией новых журналов;
- наблюдается рост научных исследований междисциплинарного характера.
Рейтинги университетов и программ составляются не органами государственного управления и даже не под их контролем, а средствами массовой информации, например, The Times Higher Education World University Rankings (THE), что обусловлено необходимостью повышения объективности и достоверности информации. Для обеспечения объективности рейтинговых оценок необходимо учитывать интересы всех заинтересованных сторон, что означает вовлечение в процедуры оценки не только представителей академического сообщества, но также работодателей и студентов [5-7]. Популярность рейтингов университетов растет, что во многом связано с наличием нескольких потенциальных целевых аудиторий (работодатели и представители органов управления образованием, абитуриенты и их родители, руководителей вузов и др.), способных обоснованно принимать решения с использованием их результатов. Место в международных рейтингах - своеобразный знак качества и конкурентное преимущество вуза.
Рабочими гипотезами, определившими ход и этапы настоящего исследования, являются:
1. Критерии, методики и показатели рейтинговых оценок вузов определяют аспекты конкурентных позиций университетов на рынке образовательных услуг.
2. Метод анализа лиг на базе математического аппарата теории голосования является эффективным инструментом агрегирования множества разнородных мировых и национальных рейтингов вузов.
3. Существует достоверная связь между результатами глобальных международных и национальных рейтинговых систем университетов.
Цель исследования - разработка интегрального показателя, агрегирующего независимые оценки глобальных и национальных систем ранжирования университетов с их разнообразием методов и индикаторов.
Достижение цели требует постановки и решения следующих задач:
- системный анализ методик, критериев и показателей рейтинговых классификаций вузов;
- разработка и применение методического подхода к многомерному анализу процедур классификации вузов;
- построение агрегированных индикаторов глобальных и национальных рейтинговых систем организаций высшего образования;
- оценка связи между агрегированными глобальными и национальными рейтингами.
Ограничения в исследовании связаны с некоторой субъективностью методик, процедур оценивания, содержанием (перечнем критериев) и, следовательно, интерпретацией результатов мировых рейтинговых систем. Но так как исследование рейтинговых позиций университетов проведено на основе анализа 20 баз данных (11 глобальных и 9 национальных) рейтингов, то результаты можно считать объективными и применимыми к использованию.
Обзор литературы
Рейтинги университетов являются ключевыми факторами в национальном и институциональном стратегическом планировании [8]. Рейтинговая система высшего образования подробно рассмотрена в работе Dyah Kusumastuti и Nirwan Idrus [9] как основанная на четырех критериях качества (качество преподавателей, менеджмента, исследований и студентов) устойчивая модель для оценки качества и повышения конкурентоспособности вузов.
Во многих исследованиях проводится анализ сходств и различий показателей, используемых в международных и национальных рейтингах. В работе Jang C. Jin и Dan-A Kim [10] наглядно демонстрируется, что для повышения качества образования необходимо серьезно относиться к качеству обучения учащихся, при этом его оценка не должна основываться только на опросах удовлетворенности. S. S. Donetskaia в своем исследовании [11] анализирует, насколько российские рейтинговые агентства учитывают зарубежные принципы ранжирования вузов. Исследование Mehmet Fatih Köse и Mehmet Korkmaz [12] направлено на изучение взаимосвязи между организационной культурой и успеваемостью учащихся вузов.
В работе Maeve Hosier и Bheshaj Kumar Ashley Hoolash [13] исследуется методология построения глобального рейтинга высших учебных заведений и его влияние на разработку стратегии устойчивости вуза. В статье K. Rybinski [14] выявлены регрессионные зависимости показателей аккредитации вуза от их рейтинговых позиций. В работах [15], [16] анализируются взаимосвязи между разработкой политики обеспечения качества университетов, результатами обязательной аккредитации и положением университета в национальном рейтинге.
Xuesong (Andy) Gao и Yongyan Zheng [17] выявили три основные дилеммы сопоставления национального и международного рейтингов:
1) высокоцентрализованная система ограничивает автономию ученых в решении того, что исследовать и где публиковать;
2) противоречие одновременного учета национальных интересов и необходимости опубликования научных результатов на международном уровне;
3) идеологическая корректность.
В работе Michael Shattock [18] изучена взаимосвязь между концепцией университета «мирового класса» и данными, опубликованными глобальными институциональными рейтинговыми системами, подчеркнуто, что глобальный рейтинг является определяющим элементом формирования концепции, поэтому искажение его может привести к сосредоточению внимания на нереалистичных и недостижимых целях.
Поскольку рейтинги влияют на управление университетами во многих контекстах и формируют институциональные решения, важно лучше понять, как разрабатываются эти инструменты оценки. В дальнейшем на их основе следует осуществить построение агрегированных индикаторов глобальных и национальных рейтинговых систем вузов и получить оценки связи между ними.
Формирование рейтинговой системы включает определение важнейших параметров, характеризующих конкретный вуз с учетом относительной значимости каждого параметра (его веса), методику сбора необходимой для составления рейтинга информации и инструменты ее обработки. Naceur Jabnoun [18] в своей работе акцентирует внимание на том, что лучшие университеты находятся в более богатых странах. При этом, как отмечает исследователь, дальнейшее повышение рейтинга университетов до первых 300 также потребует большей финансовой устойчивости, что связано с расходами по привлечению высококлассных преподавателей и реализацией исследовательских программ мирового уровня.
В методологической оценке рейтингов вузов можно выделить несколько основных направлений дискуссии: выбор показателей, включаемых в рейтинговую систему; проблемы, связанные с использованием основных для мировых рейтингов университетов видов показателей: библиометрических и репутации; проблемы агрегирования индикаторов в единый индекс. Кроме того, учитывая их количественную ориентацию, довольно проблематично воспринимать мировые рейтинги университетов как средство оценки или обеспечения качества институтов, они могут способствовать лишь вертикальной дифференциации систем и учреждений высшего образования [19].
Исследование Mu-Hsuan Huang [19] связано с оценкой научной деятельности университетов путем расширения применения индекса Хирша с индивидуального уровня до институционального. Автором был составлен рейтинг лучших университетов мира на основе их результатов по индексу
Хирша и проанализировано географическое распределение университетов с высокими рейтингами по континентам и странам. Для ранжирования университетов использовался библиометрический анализ. Расчет индекса Хирша осуществлялся на основе количества статей и полученных из базы Web of Science цитирований в каждом университете. В результате была выявлена высокая корреляция между рейтингом индекса Хирша, полученным в проведенном исследовании, и рейтингом, разработанным Шанхайским университетом.
В работах A. Van Raan [21], J. Ioannidis [22], R. Holmes [23], L. Waltman [24], J.-С. Billaut, D. Bouyssou и Р. Vincke [25] приводится критика выбора показателей для расчета рейтингов вузов, связанная с отсутствием необходимых показателей в системе рейтинга и наличием «лишних» индикаторов, с отсутствием обоснования или некорректным обоснованием выбора индикаторов. По мнению исследователей, формирование системы показателей в наиболее старых и известных мировых рейтингах университетов выполнено не оптимальным образом, при этом недостаточно обстоятельно обоснован выбор используемых индикаторов.
Наиболее подробную критику библиометрических показателей приводит A. Van Raan [26], также их анализируют R. Holmes [23], J. Ioannidis с соавторами [22], М. Zitt и G. Filliatreau [27], Н. Moed [28].
A. Van Raan [26] выделяет две группы проблем при использовании этого типа показателей: технические - проблемы сбора «чистых» и соответствующих задачам данных для дальнейшего анализа, и методологические, связанные с построением релевантных индикаторов и индексов. М. Zitt и G. Filliatreau [27] указывают на зависимость показателей от размера университета, определяемого абсолютными показателями (количество публикаций, цитат и др.), т. е. не учитываются относительные величины, вычисленные на одного научно-педагогического работника или учащегося.
Для показателей рейтингов, отражающих репутацию университетов, определенную посредством опроса экспертов (peer review), также можно выделить методологическое и техническое направления критики. Основные методологические вопросы, которые ставят исследователи: что на самом деле показывает репутация, отражает ли она качество университета в целом, качество образования в нем или символический капитал в чистом виде. Технические проблемы при использовании в рейтингах показателей peer review аналогичны проблемам любых масштабных опросов: неясный, несистематичный отбор экспертов, географический «перекос»; невысокое качество анкет; недостаточная компетентность экспертов.
В мировых рейтингах университетов для обработки данных используется «весовой подход», приводящий к статистическим погрешностям.
Kaycheng Soh [29] выделил семь проблем такого подхода: ложная точность, несоответствия весов, сильная корреляция отдельных критериев, избыточность показателей, межсистемные несоответствия, пренебрежение оценками показателей и несоответствие между изменениями в рейтинге и итоговым рейтингом, что снижает достоверность результатов ранжирования.
Расхождения между номинальным и достигнутым весами показателей, по мнению Kaycheng Soh [30], дезинформируют потребителей об относительной важности показателей, формирующих рейтинг, что приводит к необоснованным институциональным выводам.
Предлагается также инновационная стратегия сбора данных об университетах, полученных из Twitter и общедоступных сетевых академических источников, для вычисления показателей социальных сетей, которые приблизительно соответствуют типичным академическим рейтингам университетов США [31], [32]. При этом трудно не согласиться с тем, что академические рейтинги сталкиваются с различными проблемами, включая использование источников данных, не подлежащих публичной проверке, субъективность параметров, узкую ориентацию на продуктивность исследований, региональные предубеждения и т. д. Использование методологии OpenRank с более релевантными общедоступными источниками данных, таких как Microsoft Academic Graph, миллионов профилей выпускников, доступных в репозиториях LinkedIn, библиографических данных, поддерживаемых Association for Computing Machinery и Scopus, позволит улучшить академическое планирование, мониторинг и анализ [33]. При построении рейтинга вузов возникает также проблема мониторинга веб-сайтов академического сообщества с целью оценки интеллектуального потенциала [34].
Большинство количественных анализов по этой теме оценивают влияние изменения рейтинга университета на успеваемость студентов, публикационную активность научно-педагогических работников [35], на выбор вуза абитуриентами [36], выявление корреляции между научными результатами, интеллектуальным потенциалом вуза и институциональным рейтингом [31]. Миссия, статус, размер и показатели эффективности непрерывного образования в контексте устойчивого развития университета являются важными предикторами его рейтинга [37], [38].
Исследования межкультурной коммуникации и маркетинга в социальных сетях и влияние их на повышение репутации вуза с целью привлечения иностранных студентов проведены в статье Yimei Zhu [39].
Одной из самых современных тенденций значительного влияния на все библиометрические показатели ранжирования и, следовательно, на рейтинговые позиции высших учебных заведений во всем мире является муль-тиавторство научных публикаций [40].
Р. Paruolo, М. Saisana и A. Saltelli [41] обращаются к проблеме присвоения «правильного» веса, т. е. обозначения важности индикаторов в рамках интегрального показателя. Они показывают, что существующие веса не отражают реальной значимости переменных и не являются эффективными. Предложение состоит в использовании для определения меры значимости переменных корреляционного отношения Пирсона.
В работе Lefteris Angelis, Nick Bassiliades и Yannis Manolopoulos [42] изучена корреляция между различными рейтингами. Подчеркивается, что, несмотря на их статистически значимую корреляцию, существует высокая вероятность дивергенции и нестабильности, которые можно уменьшить с помощью упорядоченной категоризации.
Анализируя шесть глобальных рейтингов, Maeve Hosier и Bheshaj Kumar Ashley Hoolash [43] доказали, что чем выше средний ранг вуза, тем более согласованы его оценки в разных рейтинговых системах, и наоборот, уровень согласия падает при снижении средней позиции организации.
Исследованию влияния мировых рейтингов вузов на университеты Восточной Азии посвящена работа Philip Hallinger [44]. Автором указывается, что мировые рейтинги университетов за относительно короткий период оказали непредвиденное, но потенциально негативное влияние на высшее образование в Восточной Азии. Philip Hallinger считает, что в погоне за вхождением в мировые рейтинги вузов большинство восточноазиатских университетов не отражают интересы людей, которые в них работают и учатся. Только объединив усилия, руководители университетов в регионе смогут изменить «рейтинговую игру», чтобы отразить реальность и потребности развития университетов Восточной Азии.
C. Tofallis [45], рассматривая проблему агрегирования показателей, предлагает к использованию мультипликативный подход, а не построение аддитивной модели, как в большинстве известных исследований.
Помимо обсуждения выбранных показателей и методики их агрегирования, критике подвергаются и другие методические характеристики рейтингов. Так, J.-C. Billaut, D. Bouyssou и Р. Vincke [25] считают, что показатель периодичности сбора данных для рейтинга нерационален, так как показатели, связанные с исследованиями высоких достижений, не могут сильно меняться в динамике за год. Вследствие этого, по мнению ученых, изменения рейтинга связаны, скорее всего, со случайными факторами, а не с реально значимыми изменениями в университетах.
В работе Nethal K. Jajo и Jen Harrison обсуждаются способы агрегирования индикаторов в единый индекс [46]. В наиболее известных рейтингах это агрегирование происходит путем сложения взвешенных значений инди-
каторов, при этом веса присваиваются исходя из представления разработчиков индекса о важности того или иного показателя.
В статье Teodoro Luque-Martínez и Nina Faraoni [47] также рассматривается задача построения единого обобщенного рейтинга на основе анализа пяти наиболее известных рейтингов и крупнейших университетов мира, представленных как минимум в четырех из пяти выбранных. Выявлено семь кластеров мировых университетов, рассмотрены различия в зависимости от количества и качества публикационной активности, уровня интернационализации, институциональных характеристик (соотношение сотрудников и студентов и др.).
В работе Н. Е. Эрганова и Л. В. Колясникова [48] изложена методика измерения уровня оказания образовательных услуг при построении рейтинга профессиональных образовательных организаций.
Материалы и методы
Рейтинговые системы оперируют разными методами оценивания с учетом разных критериев и показателей, поэтому их комплексный сравнительный анализ и построение агрегированного показателя выполнен по следующему алгоритму [49]. Пусть задано множество альтернатив
Элементы (1) упорядочиваются по убыванию их предпочтения, и формируется т-элементное ранжированное множество:
Индивидуальные предпочтения задаются обобщенными рангами:
Р = *iJ}[x и
Qíx
i а Ql-QLs in' J ~ f'1'
3) (4)
где PJ лентности.
отношение строгого предпочтения;
;/J -
отношение эквива-
Таким образом, Фд принимает значение либо строгого отношения предпочтения, либо эквивалентности.
Построен показатель коллективного предпочтения (интегральный рейтинг) с учетом (1)-(4), при этом выполнены следующие этапы комплексного сравнительного анализа и формирования агрегированного рейтинга:
1. оценка возможных рейтинговых систем (альтернатив);
2. разработка критериев и показателей классификаций;
3. определение правила группового предпочтения исходя из индивидуальных предпочтений;
4. построение агрегированного рейтинга.
В качестве альтернатив агрегирования выбраны рейтинговые позиции ведущих вузов Приволжского федерального округа РФ в наиболее значимых глобальных (девяти из одиннадцати, представленных в табл. 1) и национальных (девяти, представленных в табл. 2) рейтинговых системах.
Таблица 1
Представительство стран и вузов в ведущих глобальных рейтинговых системах
Table 1
Representation of countries and higher education institutions in the leading global ranking systems
Количество
Глобальный В том числе
рейтинг Стран Вузов российских вузов
THE - Times Higher Education World University 92 1250 35
Rankings (Великобритания)
QS World University Rankings (Великобрита- 85 1000 27
ния)
ARWU - Academic Ranking of World Universities 92 1000 11
(Китай)
SIR - Scimago institutions rankings (Испания) 128 3471 112
DEQAR - Европейская база данных результа- 78 2483 34
тов внешней оценки качества
CWUR - The Center for World University 99 2000 19
Rankings (ОАЭ)
US News - Best Global University Ranking 81 1503 17
(США)
MoslUR - Московский международный рей- 79 1200 74
тинг «Три миссии университета» (Россия)
CWTS - Centre for Science and Technology 56 963 3
Studies (Нидерланды)
NTU - Performance Ranking of Scientific Papers 59 835 5
for World University (Тайвань)
RUR - Round University Ranking (Россия) 81 834 73
Исследование рейтинговых позиций учреждений высшего образования предполагает формирование и анализ баз данных на основе глобальных1, 2, 3, 4, 5, 6, 7, 8, 9 и национальных рейтингов10, 11, 12, 13, 14, 15, 16, 17, 18, 19, наиболее представительная часть из которых представлена в табл. 1, 2.
Позиция организации высшего образования в рейтингах и монито-рингах зависит от механизма, содержания (критериев), процедуры оценивания и интерпретации результатов.
Ниже приведены методики глобальных рейтингов наиболее авторитетных международных рейтинговых систем, представленных в таблице (1).
Методика THE20:
Rthe = 0,3 h + 0,3 л+ 0,3 ■/,+ 0,075 и + 0,025 7S, (5)
где - преподавание (среда обучения): академическая репутация -15 %; отношение числа сотрудников вспомогательного состава к числу
1 Times Higher Education World University Rankings. Режим доступа: https://www. timeshighereducation.com.
2 QS World University Rankings. Режим доступа: https://www.topuniversities.com/ qs-world-university-rankings.
3 The Academic Ranking of World Universities. Режим доступа: http://www. shanghairanking.com.
4 Московский международный рейтинг «Три миссии университета». Режим доступа: https://mosiur.org/ranking.
5 Round University Ranking. Режим доступа: https://roundranking.com.
6 The CWTS Leiden Ranking. Режим доступа: https://www.leidenranking.com.
7 CWUR - World University Rankings. Режим доступа: https://cwur.org/2019-2020.php.
8 The SCImago Institutions Rankings (SIR). Режим доступа: https://www.scimagoir.com.
9 Европейский реестр аккредитованных программ DEQAR - Database of External Quality Assurance Results. Режим доступа: https://www.eqar.eu/qa-results/search/by-institution.
10 Национальный рейтинг университетов Интерфакс. Режим доступа: https:// academia.interfax.ru/ru/ratings/?rating=1&year=2020&page=1.
11 Рейтинг образовательных организаций «Первая миссия». Режим доступа: https:// golos.best-edu.ru/ranking.
12 Национальный рейтинг университетов RAEX. Режим доступа: https://raex-rr. com/education/universities/rating_of_universities_of_russia.
13 Научная электронная библиотека. Режим доступа: https://www.elibrary.ru.
14 Рейтинг вузов РФ по показателям востребованности продуктов деятельности. Режим доступа: https://na.ria.ru/20200324/1569014904.html.
15 Рейтинг мониторинга эффективности вузов. Режим доступа: https://msd-nica. ru/reyting-monitoringa-effektivnosti-vuzov.
16 Мониторинг качества приема в вузы. Режим доступа: https://ege.hse.ru.
17 Внешняя независимая сертификация выпускников бакалавриата. Режим доступа: https://bakalavr.i-exam.ru.
18 The Database of External Quality Assurance Results (DEQAR). Режим доступа: https://www.eqar.eu/qa-results/deqar-project.
19 Мониторинг эффективности деятельности образовательных организаций высшего образования. Режим доступа: http://indicators.miccedu.ru/monitoring/?m=vpo.
20 The Academic Ranking of World Universities. Режим доступа: https ://www.timeshighereducation. com/world-university-rankings/2021/world-ranking#!/page/0/length/25/sort_by/rank/sort_order/asc/cols/stats.
обучающихся - 4,5 %; отношение числа профессорско-преподавательского состава к числу студентов - 2,25 %; соотношение докторантов и преподавателей - б %; доход - 2,25 %;
12 - исследования (объем, доходы и репутация): обследование репутации - 18 %, доходы от исследований - 6 %, производительность исследований - б %;
/а - цитаты (влияние исследований);
1Л — международные перспективы (сотрудники, студенты, исследования): доля иностранных студентов - 2,5 %, количество иностранных преподавателей (научных сотрудников) - 2,5 %, международное сотрудничество - 2,5 %;
доходы от промышленности (передача знаний).
Методика QS1:
= 0,4 КЛ + 0,1 К2 + 0,2 К3 + 0,2 ■ КА + 0,05 ■ Кй + 0,05 ■ Кь, (б)
где К-!
академическая репутация;
К
2 - репутация со стороны работодателя;
соотношение «число преподавателей к количеству студентов»;
к;
4- - объем цитирований;
Кц
к.
R
- численность иностранных преподавателей; 6 - численность иностранных студентов. Методика ARWU2:
arwu = ОД ■ Alumni + 0,2 ■ Award + 0,2 HiCi + 0,2 ■ n&j + o, 2 pub + o, i -pcp,
где выпускники учреждения, лауреаты Нобелевских премий и медалей;
Award - сотрудники учреждения, лауреаты Нобелевских премий и медалей;
HiCi - высокоцитируемые ученые;
N&S - работы, публикуемые в области природы и науки;
PUB - работы, индексированные в Science Citation Index-Expanded and Social Science Citation Index;
PCP - академические показатели учреждения на одного сотрудника.
1 QS World University Rankings. Режим доступа: https://www.topuniversities.com/ qs-world-university-rankings.
2 The Academic Ranking of World Universities (ARWU). Режим доступа: http://www. shanghairanking.com.
Методика US News1: R US News = 0Д25 -5! + 0,125 -5, + 0,1-5, + 0,025 + 0,025-Ss+ ОД + +0,075 - S7 + 0,125 - SB + 0Д ■ S, + 0,05 ■ SlB + 0,05 - Slt + 0,05 ■ S±I + 0,05 - Sl3. (8)
где S± — глобальная репутация исследований;
- репутация региональных исследовании;
- публикации;
- книги, монографии;
■^я - конференции;
- индекс цитирования;
^т - общее число цитировании;
- число публикации, которые относятся к 10 % наиболее часто цитируемых;
- процент от общего числа публикации, которые относятся к 10 % наиболее часто цитируемых;
Б 1о - сотрудничество;
С
- международное сотрудничество;
с
- число наиболее часто цитируемых документов, которые относятся к 1 % наиболее часто цитируемых в их соответствующей области;
- процент от общего числа публикаций, входящих в число 1 % наиболее цитируемых статеИ.
Методика МоэНШ2:
Я-мозшя = 0Д5 ■ и + 0,25 ■ и + 0,30 ■ (9)
где ¿1 — образование 24;
^а - наука 24;
^а - университет и общество24.
По каждому показателю ^ МозШН рассчитывался балл вуза, характеризующий его позицию относительно конкурентов. Расчет осуществлялся двумя способами:
1) для каждого показателя балл вуза рассчитывается по формуле:
1 US News. Режим доступа: https://www.usnews.com/education/best-global-universities/articles/methodology.
2 Московский международный рейтинг «Три миссии университета». Режим доступа: https://mosiur.org/methods/criteria_studies.
X; =
а, — а
пип
а,
а,
Lmax -min l =,
где - рейтинговый балл г-го показателя;
(10)
а
Gr
I - значение г-го показателя;
аг
■ шах =...= - максимальное значение г-го показателя; '111111 П минимальное значение г-го показателя; по каждому из показателей рейтинга баллы вуза умножаются на соответствующие весовые коэффициенты и суммируются:
f = Y.xifi>
(ii)
ft
где J l - вес г-го показателя;
f - рейтинговый функционал (балл); - балл i-го показателя;
n - количество показателей рейтинга.
Рейтинг NTU (Performance Ranking of Scientific Papers for World University) рассчитывается только по публикациям в Web of Science, включает всего три группы показателей, состоящие из 11 индикаторов:
Rntu = 0,25 -Mi + 0,35 -L2 + 0,40 ■ (12)
где - Research productivity;
- Research impact;
Mz - Research excellence.
Рейтинг CWTS Leiden Ranking 20201 предлагает сложный набор библи-ометрических показателей, которые предоставляют статистические данные о научном влиянии, сотрудничестве, публикациях с открытым доступом и гендерном разнообразии (scientific impact, collaboration, open access publishing and gender diversity).
Методика RUR2:
Rrur = 0,4 ■ R± + 0,4 ■ R3 + 0,1 ■ R3 + 0,1 ■ RЛ. (13)
где 1 - преподавание; - исследования;
1 CWTS Leiden Ranking. Режим доступа: https://www.leidenranking.com/ ranking/2020/list.
2 RUR World University Rankings. Режим доступа: https://roundranking.com/ ranking/world-university-rankings.html#world-2019.
3 - международное сотрудничество; - объем цитирований.
Весовые коэффициенты локальных критериев и их распределение строятся на основе экспертных заключений и опросов (в том числе абитуриентов, студентов, выпускников), что снижает объективность и повышает степень неопределенности.
Наиболее известные национальные рейтинги вузов Российской Федерации и их основные критерии представлены в табл. 2.
Таблица 2
Национальные рейтинги вузов РФ и их основные критерии
Table 2
National rankings of higher education institutions in the Russian Federation
and their main criteria
Рейтинг Критерии
Рейтинг по данным Мониторинга эффективности (с 2012 г.) - образовательная деятельность (средний балл ЕГЭ); - научно-исследовательская деятельность (объем научно-исследовательских и опытно-конструкторских работ (НИОКР)); - международная деятельность (удельный вес численности иностранных студентов); - финансово-экономическая деятельность; - заработная плата ППС; - трудоустройство выпускников; - контингент студентов
Рейтинг по результатам оценки качества обучения1- 2 - единый государственный экзамен («оценивание на входе»)3 - федеральный интернет-экзамен для выпускников бакалавриата («оценивания на выходе»)4
1 Мониторинг качества приема в вузы Национального исследовательского университета Высшая школа экономики. Режим доступа: https://ege.hse.ru.
2 ФИЭБ - Единый портал интернет-тестирования. Режим доступа: https:// bakalavr.i-exam.ru.
3 Мониторинг качества приёма в вузы Национального исследовательского университета Высшая школа экономики. Режим доступа: https://ege.hse.ru.
4 ФИЭБ- Единый портал интернет-тестирования. Режим доступа: https://bakalavr.i-exam.ru.
Рейтинг Критерии
Рейтинг по результатам профессионально-общественной аккредитации Оценка вуза в разрезе программ или укрупненных групп направлений подготовки и специальностей1
Рейтинг «Первая миссия» - экспертная оценка по результатам онлайн-го-лосования2 членов Гильдии экспертов в сфере профессионального образования, представителей руководящего звена высших учебных заведений работодателей - достижения студентов - достижения образовательной программы
Национальный рейтинг университетов, представленный Международной информационной группой «Интерфакс» - образовательная деятельность; - исследовательская деятельность; - социализация; - интернационализация или международная деятельность вуза; - бренд вуза; - инновации и предпринимательство (деятельность в сфере технологического предпринимательства)
Рейтинг востребованности вузов, представленный «Социальным навигатором» МИА «Россия сегодня» - доля выпускников, получивших направление на трудоустройство, после завершения профессиональной подготовки по очной форме обучения; - доля доходов от НИР, образовательных услуг сторонним организациям в общих доходах образовательной организации; - индекс цитирования трудов сотрудников организации
Рейтинг индекса Хирша Индекс Хирша, представленный в открытых данных Научной электронной библиотеки eLIBRARY.RU3
Рейтинг «Международное признание» - достижения в международных институциональных глобальных рейтингах (так называемой «большой тройки»: ARWU, QS, THE); - результаты международной аккредитации по данным Европейского реестра аккредитованных программ DEQAR4; - достижения в студенческих международных олимпиадах и конкурсах; - численность иностранных студентов
1 Приказ Министерства образования и науки Российской Федерации (Минобрна-уки России) от 12 сентября 2013 г. N 1059 г. Москва «Об утверждении Порядка формирования перечней профессий, специальностей и направлений подготовки».
2 Агрегатор независимой оценки высшего образования Режим доступа: https:// www.best-edu.ru.
3 Научная электронная библиотека. Режим доступа: https://www.elibrary.ru.
4 Европейский реестр аккредитованных программ DEQAR - Database of External Quality Assurance Results. Режим доступа: https://www.eqar.eu/qa-results/deqar-project.
Построение интегральных показателей глобальной агрегированной рейтинговой системы (У^уц) от национальной {Х^^ц) Для вузов Приволжского федерального округа выполнено с помощью метода анализа лиг [50]. Данный метод основан на применении математического аппарата теории голосования в малых группах и позволяет дать сравнительную оценку деятельности образовательных организаций. При этом шкала ранжирования разбивается по каждому отдельному рейтингу на квартили (лиги).
Преобразование многокритериального выбора к одному критерию осуществлен с помощью метода Борда. Вузы с индексом Борда, равным максимальному значению 24, составляют премьер-лигу. Первая лига включает вузы с индексом Борда, равным 23, 22 или 21 и т. д. Всего выделяем 10 лиг, объединенных в 4 зоны (табл. 3).
Таблица 3
Классификация вузов Российской Федерации методом анализа лиг
Table 3
Classification of higher education institutions in the Russian Federation by
league table analysis
Лига Премьер-лига 1 лига 2 лига 3 лига 4 лига 5 лига 6 лига 7 лига 8 лига 9 лига
Зона 1 2 3 4
Индекс Борна 24 21-23 19-20 17-18 14-16 12-13 10-11 7-9 5-6 1-4
Количество вузов РФ в 2020 г. 26 39 53 60 11 91 106 160 29 49
Такой методический подход позволяет нивелировать недостатки противоречивых результатов ранжирования различных методологий, применяемых в выбранных системах.
Результаты исследования
Каждая рейтинговая система имеет уникальные факторы, критерии и методики с разной степенью корреляции, поэтому в данном исследовании проведено сравнение рейтинговых позиций 17 университетов в 18 базах данных (табл. 4, 5).
Результаты методики анализа лиг представлены в виде кластеризации вузов (топов).
В табл. 4 приведена классификация ведущих вузов Приволжского федерального округа в глобальных международных рейтингах. При этом кластер «Топ 1 %» включает 250 лучших вузов мира; Топ 2 % - 500; Топ 4 % - 1 000; Топ 5 % - 1 250; Топ 10 % - 2 500 (с учетом того, что, по данным ста-
тистического ресурса webometrics.mfo, в мире насчитывается около 25 000 университетов).
В табл. 5 представлена кластеризация ведущих вузов Приволжского федерального округа в национальных рейтингах Российской Федерации.
Таблица 4
Представительство ведущих вузов Приволжского федерального округа в глобальных международных рейтингах
Table 4
Representation of leading universities in the Volga Federal District in global
international rankings
Образовательная организация Оценка в рейтинге Топ (Лига)
THE CO О ARWU SIR DEQAR CWUR US News MosIUR CWTS NTU RUR
Kazan Federal University F C E C A F E C G G D Топ 3 %
Lobachevsky State University of Nizhni Novgorod F D G D A F F C G G C Топ 3 %
Samara University E D G D A G G F G G D Топ 4 %
National Research Saratov State University F D G D G G G D G G D Топ 5 %
Ogarev Mordovia State University G G G D A G G F G G D Топ 5 %
Perm National Research Polytechnic University F G G D G G G D G G D Топ 10 %
Perm State University F G G D G G G F G G E Топ 10 %
Volgograd State Technical University F G G D G G G F G G G Топ 10 %
Bashkir State University G G G D G G G F G G D Топ 10 %
Volgograd State University G G G D G G G G G G E Топ 10 %
Kazan Medical University G G G D A G G F G G G Топ 10 %
Kazan National Research Technical University - KAI G G G G G G G F G G D Топ 10 %
Kozma Minin Nizhny Novgorod State Pedagogical University G G G G G G G G G G E Топ 10 %
Samara State Medical University (SSMU) G G G D A G G F G G G Топ 10 %
Ulyanovsk State University G G G D G G G G G G E Топ 10 %
Ufa State Aviation Technical University G G G D G G G G G G D Топ 10 %
Ufa State Petroleum Technological University G G G D G G G F G G E Топ 10 %
Таблица 5
Представительство ведущих вузов Приволжского федерального округа в
национальных рейтингах
Table 5
Representation of leading universities in the Volga Federal District in national rankings
Образовательная организация Национальный рейтинг университетов -Интерфакс Рейтинг «Первая миссия» Рейтинги университетов RAEX Рейтинг по индексу Хирша Рейтинг по данным Мониторинга эффективности Рейтинг «Оценка качества обучения» Рейтинг по результатам профессионально-общественной аккредитации Рейтинг «Международное признание» Самые востребованные вузы России Топ (Лига)
Казанский (Приволжский) федеральный университет A A A A A B A A A Топ-25 Премьер-лига
Нижегородский государственный университет им. Н.И. Лобачевского A B B A A B A A A Топ-25 Премьер-лига
Самарский национальный исследовательский университет имени академика С. П. Королева A B B A A B A A A Топ-25 Премьер-лига
Национальный исследовательский Мордовский государственный университет им. Н. П. Огарева A B C A A B A A A Топ-25 Премьер-лига
Казанский государственный медицинский университет A A B A A A B C B Топ-50 1 лига
Казанский национальный исследовательский технологический университет A C B B A B E C A Топ-50 1 лига
Нижегородский государственный педагогический университет имени Козьмы Минина B A E A B B A D A Топ-50 1 лига
Самарский государственный медицинский университет E B B B A B A C A Топ-50 1 лига
Башкирский государственный университет A B E A B B D C A Топ-50 1 лига
Пермский национальный исследовательский политехнический университет A C C B A B B C A Топ-50 1 лига
Образовательная организация Национальный рейтинг университетов -Интерфакс Рейтинг «Первая миссия» Рейтинги университетов RAEX Рейтинг по индексу Хирша Рейтинг по данным Мониторинга эффективности Рейтинг «Оценка качества обучения» Рейтинг по результатам профессионально-общественной аккредитации Рейтинг «Международное признание» Самые востребованные вузы России Топ (Лига)
Уфимский государственный нефтяной технический университет A C C A A B D C A Топ-50 1 лига
Волгоградский государственный технический университет A D E A B B E C B Топ-100 2 лига
Саратовский государственный университет имени Н.Г. Чернышевского A C D A B B E C B Топ-100 2 лига
Волгоградский государственный университет B B C A B B D C B Топ-100 2 лига
Ульяновский государственный университет B C E B A B D D A Топ-100 2 лига
Уфимский государственный авиационный технический университет A C D A B B B C C Топ-100 2 лига
Пермский государственный университет A C E B A B D C C Топ-200 3 лига
В исследовании дана оценка тесноты связи индикаторов глобальных и национальных рейтингов высших учебных заведений РФ с использованием методов интеллектуального анализа данных, в частности построены регрессионные модели зависимости между международными и национальными подходами к оцениванию вуза. При этом в качестве эндогенного признака модели выбран агрегированный глобальный рейтинг (Ffljyyb а в качестве экзогенной переменной - позиция вуза в национальном интегральном рейтинге (рис. 1, табл. 6).
Проведенный регрессионный анализ (табл. 6) позволяет сделать вывод о том, что линейная и параболическая модели пригодны для прогнозирования, так как:
- индексы корреляции; подтверждают сильную связь;
- коэффициенты детерминации;
- тестирование гипотез по критерию Фишера позволяет сделать вывод о достоверности построенных регрессий при уровне значимости (р^а1ие) 0,001, т. к.
^>^(0,001;!; 15) =16,59, (14)
>^(0,001; 2; 14) = 11,78.
(15)
Тестирование гипотез по критерию Стьюдента позволяет сделать вывод о достоверности параметров построенных регрессий при уровне значимости (р-value) 0,002, т. к.
(16)
L1,13 2
>£^(0,001;!; 15) = 4,07,
Полиномиальная регрессия
Ущ/т = 468,030 - 17,664 Хши + 0,17зХуи + £ (19)
является более предпочтительной для прогнозирования связи построенных агрегированных глобальных и национальных рейтингов.
40 ■
35 /
30 ¥й„„ = 1,132^дт-39,606
25 ■ R-= 0,600 у я
20 15 ■ H" Л" ■ ^^ ■ Yrivu - 0,17 ЗА 2 RNU 17,664Xrnu+ 468,030
""" Ш R> = 0,816
10
45 47 49 51 53 55 57 59 61 63
Рис. 1. Поле корреляции агрегированных рейтинговых оценок лучших вузов Приволжского федерального округа
Fig. 1. Field of correlation of aggregated ranking scores of the best universities in
the Volga Federal District
Таблица 6
Уравнения регрессионной зависимости глобальной агрегированной рейтинговой системы (Yrwjj) от национальной {Xfipjjj) для вузов Приволжского федерального округа
Table б
Regression equations of the global aggregated rating system (Ущуц) versus national rating system {Xflpjjj) for universities in the Volga Federal District
Регрессия Коэффициент детерминации Критерий Фишера (F-тест) Критерий Стьюдента (t-тест)
yrwv = —39,606 + 1,132 XRNU + e R1 = 0,60 F = 22,50 p-value = 0,001 p-value=0,00
Yswu - 468,030 - 17,664 -Хвяо + 0,173X1^ + s R2 = 0,79 F = 31,14 p-value = 0,001 p-value = 0,00 'од 7a = 4.06 p-value = 0,00
В работе проведен корреляционный анализ (построена матрица парных линейных коэффициентов корреляции) с целью выявления силы связи между агрегированным национальным рейтингом и глобальными мировыми рейтинговыми системами (табл. 7).
Таблица 7
Корреляционный анализ между национальным СХддоу) агрегированным рейтингом и глобальными мировыми рейтинговыми системами
Table 7
Correlation analysis between the national {Xflpjjj) aggregate rating and the
global world rating systems
Показатель THE QS ARWU SIR DEQAR CWUR US News MosIUR RUR
Парный ко-
эффициент 0,75 0,73 0,46 0,45 0,41 0,59 0,58 0,60 0,24
корреляции
Характеристика связи Тесная Тесная Умеренная Умеренная Умеренная Заметная Заметная Заметная Слабая
Наиболее тесная корреляция агрегированного национального рейтинга наблюдается с результатами рейтинга Times Higher Education World University Rankings (r = 0,75) и QS World University Rankings (r = 0,73), наименьшая - с Round University Ranking (r = 0,24).
Обсуждение результатов
Развитие межуниверситетского сотрудничества и академической мобильности способствует усилению конкуренции как между национальными системами высшего образования, так и между отдельными вузами, осознанию необходимости повышения качества современных систем образования, укрепления их позиций в мировом образовательном пространстве. Глобальные и национальные рейтинговые системы служат ориентиром для разработки и реализации программ развития национальных систем образования, задают стандарты и формируют модели современного высшего образования. Вхождение в рейтинг - «не просто вопрос амбиций, а важнейшая задача менеджмента любого высшего учебного заведения, которое ориентировано на устойчивое развитие и стабильное положение на рынке образовательных услуг и рынке труда» [51].
В этом исследовании построены интегральные показатели глобальных международных и национальных рейтинговых систем достижений университетов и выявлена достоверная сильная корреляция между ними.
Данный инструмент позволит повысить эффективность стратегического планирования деятельности вуза, преодолевая проблемы агрегирования множества разнородных мировых систем ранжирования с разнообразными качественными и количественными показателями и методами их оценки.
Проведенное исследование в отличие от результатов, представленных в работах [38-40], позволяет выявить основные конкурентные факторы академической репутации высшего учебного заведения:
- востребованность образовательного продукта (образовательных программ) и выпускников вуза в реальном секторе экономики;
- наличие научно-образовательных центров мирового уровня (на основе интеграции университетов и научных организаций и их кооперации с организациями, действующими в реальном секторе экономики);
- спрос экономики на проектные, консалтинговые и другие услуги вуза,
- наличие высококвалифицированных специалистов международного рынка труда в секторе высшего образования;
- спрос академического сообщества на результаты научно-исследовательской деятельности вуза (резонансные исследования и широкое освещение их в СМИ на мировом уровне);
- медиаактивность организации (регистрация НПР в академических сетях), развитость коммуникационных каналов (усиление взаимодействия вуза и ведущих научных институтов по приоритетным научным направлениям).
Заключение
Результаты исследования имеют важное методологическое значение для разработки интегрального показателя, агрегирующего независимые оценки глобальных и национальных систем ранжирования университетов с их разнообразием методов и индикаторов.
Проведенный системный анализ критериев, методик и показателей рейтинговых оценок вузов позволил выявить основные конкурентные позиции университетов на рынке образовательных услуг.
Исследование позволило сделать вывод о целесообразности использования метода анализа лиг на базе математического аппарата теории голосования как эффективного инструмента агрегирования множества разнородных мировых и национальных рейтингов вузов.
В рамках исследования подтверждена достоверная связь между результатами глобальных международных и национальных рейтинговых систем университетов.
Список использованных источников
1. Soh K. What the Overall doesn't tell about world university rankings: examples from ARWU, QSWUR, and THEWUR in 201Э // Journal of Higher Education Policy and Management. 2015. Vol. Э7, N Э. P. 295-Э07. DOI: 10.1080/1Эб0080Х.2015.10Э552Э
2. Marconi G., Ritzen J. Determinants of international university rankings scores // Applied Economics. 2015. Vol. 47, N 7. P. б211-б227. DOI: 10.1080/000Эб84б.2015.10б8921
3. Huang Z., Qiu R. A quantitative and model-driven approach to assessing higher education in the United States of America // Quality in Higher Education. 201б. Vol. 22, N 1. P. 78-95. DOI: 10.1080/1Э5Э8Э22.201б.1147215
4. Peters M. A. Global university rankings: Metrics, performance, governance // Educational Philosophy and Theory. 2019. Vol. 51, N 1. P. 5-1Э. DOI: 10.1080/001Э1857.2017.1Э81472
5. Motova G., Navodnov V. Twenty years of accreditation in Russian higher education: lessons learnt // Higher Education Evaluation and Development. 2020. Vol. 14, N 1. P. ЭЭ-51. DOI: 10.1108/HEED-05-2019-0023
6. Salimova T. A., Biryukova L. I., Shilkina A. T., Khakhaleva E. V. Towards a methodology of sustainable competitiveness of organization // International Journal of Civil Engineering and Technology. 2018. Vol. 9, N 11. P. 1б1-172. Available from: https://www.elibrary.ru/ item.asp?id=36518513& (date of access: 22.0Э.2021).
7. Hossain M. N., Zabed Ahmed S. M. Use of scholarly communication and citation-based metrics as a basis for university ranking in developing country perspective // Global Knowledge, Memory and Communication. 2019. Vol. б9, N б/7. P. 4б1-482. DOI: 10.1108/ GKMC-09-2019-0112
8. Berbegal-Mirabent J., Ribeiro-Soriano D. E. Behind league tables and ranking systems: A critical perspective of how university quality is measured // Journal of Service Theory and Practice. 2013. Vol. 25, № 3. P. 242-266. DOI: 10.1108/JSTP-04-2013-0059
9. Kusumastuti D., Idrus N. Nurturing quality of higher education through national ranking: a potential empowerment model for developing countries // Quality in Higher Education. 2017. Vol. 23, № 3. P. 230-248. DOI: 10.1080/13538322.2017.1407400
10. Jin J. C., Kim D. A. Higher education in South Korea: recent changes in school competitiveness and research productivity // Journal of Asian Public Policy. 2019. Vol. 14, № 7144. P. 1-23. DOI: 10.1080/17516234.2019.1622181
11. Donetskaia S. S. The Berlin Principles in Russian University Rankings // Problems of Economic Transition. 2017. Vol. 59, № 7-9. P. 614-626. DOI: 10.1080/10611991.2017.1394756
12. Kose M. F., Korkmaz M. Why are some universities better? An evaluation in terms of organizational culture and academic performance // Higher Education Research & Development. 2019. Vol. 38, № 6. P. 1213-1226. DOI: 10.1080/07294360.2019.1634679
13. Hosier M., Hoolash K. A. The effect of methodological variations on university rankings and associated decision-making and policy // Studies in Higher Education. 2019. Vol. 44, № 1. P. 201-214. DOI: 10.1080/03075079.2017.1356282
14. Rybinski K. Are rankings and accreditation related? Examining the dynamics of higher education in Poland // Quality Assurance in Education. 2020. Vol. 28, № 3. P. 193-204. DOI: 10.1108/QAE-03-2020-0032
15. Dogan G., Al U. Is it possible to rank universities using fewer indicators? A study on five international university rankings. // Aslib Journal of Information Management. 2019. Vol. 71, № 1. P. 18-37. DOI: 10.1108/AJIM-05-2018-0118
16. Hauptman Komotar M. Discourses on quality and quality assurance in higher education from the perspective of global university rankings. // Quality Assurance in Education. 2020. Vol. 28, № 1. P. 78-88. DOI: 10.1108/QAE-05-2019-0055
17. Gao X., Zheng Y. 'Heavy mountains' for Chinese humanities and social science academics in the quest for world-class universities // Compare: Journal of Comparative and International Education. 2020. Vol. 50, № 1. P. 1-19. DOI: 10.1080/03057925.2018.1538770
18. Shattock M. The 'world class' university and international ranking systems: what are the policy implications for governments and institutions? // Policy Reviews in Higher Education. 2017. Vol. 1, № 1. P. 4-21. DOI: 10.1080/23322969.2016.1236669
19. Jabnoun N. The influence of wealth, transparency, and democracy on the number of top ranked universities. // Quality Assurance in Education. 2015. Vol. 23, № 2. P. 108-122. DOI: 10.1108/QAE-07-2013-0033
20. Huang M. Exploring the h-index at the institutional level: A practical application in world university rankings // Online Information Review. 2012. Vol. 36, № 4. P. 534-547. DOI: 10.1108/14684521211254059
21. Van Raan A. F. J. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods // Scientometrics. 2005. Vol. 62, № 1. P. 133-143. DOI: 10.1007/s11192-005-0008-6
22. Ioannidis J. P. A., et al. International ranking systems for universities and institutions: a critical appraisal // BMC Medicine. 2007. Available from: http://www.biomedcentral. com/1741-7015/5/30 (date of access: 22.03.2021).
23. Holmes R. The THES university rankings: Are they really world class // Asian Journal of University Education. 2006. Vol. 1, № 1. P. 1-14. Available from: https://www.research-
gate.net/publication/301781569_The_THES_University_Rankings_Are_They_ReaUy_World_ Class (date of access: 22.03.2021).
24. Waltman L., et al. The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation. 2012. Available from: http://arxiv.org/abs/1202.3941 (date of access: 22.03.2021).
25. Billaut J.-C., Bouyssou D., Vincke P. Should you believe in the Shanghai ranking? // Scientometrics. 2010. Vol. 84, № 1. P. 237-263. DOI: 10.1007/s11192-009-0115-x
26. Van Raan A. F. J. Challenges in ranking of universities // Invited paper for the First International Conference on World Class Universities. Jaio Tong University. Shanghai. June
2005. P. 19-50. Available from: https://www.researchgate.net/publication/250794968_Chal-lenges_in_Ranking_of_Universities (date of access: 22.03.2021).
27. Zitt M., Filliatreau G. Big is (made) beautiful: Some comments about the Shanghai ranking of world-class universities // The World-Class University and Ranking: Aiming Beyond Status. Shanghai, China: Cluj University Press, 2007. P. 17-24. Available from: https://www. researchgate.net/publication/252727031_Big_is_made_Beautiful_Some_comments_about_ the_Shanghai_ranking_of_world-class_universities (date of access: 22.03.2021).
28. Moed H. F. Bibliometric rankings of world universities. CWTS Report 2006-01.
2006. Available from: http://www.cwts.nl/hm/bibl_rnk_wrld_univ_full.pdf. (date of access: 22.03.2021).
29. Soh K. The seven deadly sins of world university ranking: a summary from several papers // Journal of Higher Education Policy and Management. 2017. Vol. 39, № 1. P. 104115. DOI: 10.1080/1360080X.2016.1254431
30. Soh K. Rectifying an honest error in world university rankings: a solution to the problem of indicator weight discrepancies // Journal of Higher Education Policy and Management. 2013. Vol. 35. № 6. P.574-585. DOI: 10.1080/1360080X.2013.844670
31. Sheeja N. K., Susan Mathew K., Surendran Cherukodan. Impact of scholarly output on university ranking // Global Knowledge, Memory and Communication. 2018. Vol. 67, № 3. P. 154-165. DOI: 10.1108/GKMC-11-2017-0087
32. McCoy C. G., Nelson M. L., Weigle M. C. Mining the Web to approximate university rankings // Information Discovery and Delivery. 2018. Vol. 46, № 3. P. 173-183. DOI: 10.1108/ IDD-05-2018-0014
33. Qureshi M. S., Daud A., Hayat M. K., Afzal M. T. OpenRank - a novel approach to rank universities using objective and publicly verifiable data sources // Library Hi Tech. 2021. DOI: 10.1108/LHT-07-2019-0131
34. Brusca I., Cohen S., Manes-Rossi F., Nicoló G. Intellectual capital disclosure and academic rankings in European universities: Do they go hand in hand? // Meditari Accountancy Research. 2019. Vol. 28, № 1. P. 51-71. DOI: 10.1108/MEDAR-01-2019-0432
35. Jin J. C., Kim D. Higher education in South Korea: recent changes in school competitiveness and research productivity // Journal of Asian Public Policy. 2019. Vol. 14, № 3. P. 291-313. DOI: 10.1080/17516234.2019.1622181
36. Tutterow C., Evans J. A. Reconciling the Small Effect of Rankings on University Performance with the Transformational Cost of Conformity // The University Under Pressure. 2016. Vol. 46, P. 265-301. DOI: 10.1108/S0733-558X20160000046009
37. Salimova T., Guskova N., Neretina E. Title: Education for sustainable development in Russia: problems and challenges // International Journal of Innovation and Sustainable Development. 2015. Vol. 9, № 3/4. P. 246-261. DOI: 10.1504/IJISD.2015.071855
38. Marconi G., Ritzen J. Determinants of international university rankings scores // Applied Economics. 2015. Vol. 47, № 57. P. 6211-6227. DOI: 10.1080/00036846.2015.1068921
39. Zhu Y. Social media engagement and Chinese international student recruitment: understanding how UK HEIs use Weibo and WeChat // Journal of Marketing for Higher Education. 2019. Vol. 29, № 2. P. 173-190. DOI: 10.1080/08841241.2019.1633003
40. Qakir M. P., Acartürk C., Alkan S., Akbulut U. Multi-authoring and its impact on university rankings: a case study of CERN effect on Turkish universities // Studies in Higher Education. 2019. Vol. 44, № 6. P. 1052-1068. DOI: 10.1080/03075079.2017.1414780
41. Paruolo P., Saltelli A., Saisana M. Ratings and rankings: Voodoo or Science? // Journal of the Royal Statistical Society. Series A (Statistics in Society). 2011. Vol. 176, № 3. P. 609-634. Available from: https://www.researchgate.net/publication/51887919_Ratings_and_ rankings_Voodoo_or_Science (date of access: 22.03.2021).
42. Angelis L., Bassiliades N., Manolopoulos Y. On the necessity of multiple university rankings // Journal of Scientometrics and Information Management. 2019. Vol. 13, № 1. P. 11-36. DOI: 10.1080/09737766.2018.1550043
43. Hosier M., Hoolash B.K. The effect of methodological variations on university rankings and associated decision-making and policy // Studies in Higher Education. 2019. Vol. 44, № 1. P. 201-214. DOI: 10.1080/03075079.2017.1356282
44. Hallinger P. Riding the tiger of world university rankings in East Asia: where are we heading? // International Journal of Educational Management. 2014. Vol. 28, № 2. P. 230-245. DOI: 10.1108/IJEM-11-2012-0126
45. Tofallis С. A different approach to university rankings // Higher Education. 2012. Vol. 63, № 1. P. 1-18. DOI: 10.1007/s10734-011-9417-z
46. Nethal K. J., Harrison J. World university ranking systems: an alternative approach using partial least squares path modelling // Journal of Higher Education Policy and Management. 2014. Vol. 36, № 5. P. 471-482. DOI: 10.1080/1360080X.2014.936090
47. Luque-Martínez T., Faraoni N. Meta-ranking to position world universities // Studies in Higher Education. 2020. Vol. 45, № 4. P. 819-833. DOI: 10.1080/03075079.2018.1564260
48. Эрганова Н. Е., Колесникова Л. В. Построение рейтинга профессиональных образовательных организаций с учетом основных положений теории измерения латентных переменных // Образование и наука. 2016. № 4. C. 46-64. DOI: 10.17853/1994-56392016-4-46-64
49. Yurin A. Y. Group decision-making methods for adapting solutions derived from case-based reasoning // Scientific and Technical Information Processing. 2015. Vol. 42. P. 375-381. DOI: 10.3103/S014768821505010X
50. Наводнов В. Г., Мотова Г. Н., Рыжакова О. Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг [Электрон. ресурс] // Вопросы образования. 2019. № 3. С. 130-151. Режим доступа: https://vo.hse.ru/data/2019/09/16/1541237741/05%20Navodnov.pdf (дата обращения: 22.03.2021).
51. Фурсов В. В. О возможности вхождения медицинских вузов в глобальные рейтинги. // Образование и наука. 2017. Т. 19, № 5. С. 138-152. DOI: 10.17853/1994-56392017-5-138-152
References
1. Soh K. What the overall doesn't tell about world university rankings: Examples from ARWU, QSWUR, and THEWUR in 2013. Journal of Higher Education Policy and Management. 2015; 37 (3): 295-307. DOI: 10.1080/1360080X.2015.1035523
2. Marconi G., Ritzen J. Determinants of international university rankings scores. Applied Economics. 2015; 47 (7): 6211-6227. DOI: 10.1080/00036846.2015.1068921
3. Huang Z., Qiu R. A quantitative and model-driven approach to assessing higher education in the United States of America. Quality in Higher Education. 2016; 22 (1): 78-95. DOI: 10.1080/13538322.2016.1147215
4. Peters M. A. Global university rankings: Metrics, performance, governance. Educational Philosophy and Theory. 2019; 51 (1): 5-13. DOI: 10.1080/00131857.2017.1381472
5. Motova G., Navodnov V. Twenty years of accreditation in Russian higher education: Lessons learnt. Higher Education Evaluation and Development. 2020; 14 (1): 33-51. DOI: 10.1108/HEED-05-2019-0023
6. Salimova T. A., Biryukova L. I., Shilkina A. T., Khakhaleva E. V. Towards a methodology of sustainable competitiveness of organization. International Journal of Civil Engineering and Technology [Internet]. 2018 [cited 2021 Mar 22]; 9 (11): 161-172. Available from: https:// www.elibrary.ru/item.asp?id=36518513&
7. Hossain M. N., Zabed Ahmed S. M. Use of scholarly communication and citation-based metrics as a basis for university ranking in developing country perspective. Global Knowledge, Memory and Communication. 2019; 69 (6/7): 461-482. DOI: 10.1108/GKMC-09-2019-0112
8. Berbegal-Mirabent J., Ribeiro-Soriano D. E. Behind league tables and ranking systems: A critical perspective of how university quality is measured. Journal of Service Theory and Practice. 2013; 25 (3): 242-266. DOI: 10.1108/JSTP-04-2013-0059
9. Kusumastuti D., Idrus N. Nurturing quality of higher education through national ranking: A potential empowerment model for developing countries. Quality in Higher Education. 2017; 23 (3): 230-248. DOI: 10.1080/13538322.2017.1407400
10. Jin J. C., Kim D. A. Higher education in South Korea: recent changes in school competitiveness and research productivity. Journal of Asian Public Policy. 2019; 14 (7144): 1-23. DOI: 10.1080/17516234.2019.1622181
11. Donetskaia S. S. The Berlin principles in Russian university rankings. Problems of Economic Transition. 2017; 59 (7-9): 614-626. DOI: 10.1080/10611991.2017.1394756
12. Kose M. F., Korkmaz M. Why are some universities better? An evaluation in terms of organizational culture and academic performance. Higher Education Research & Development. 2019; 38 (6): 1213-1226. DOI: 10.1080/07294360.2019.1634679
13. Hosier M., Hoolash K. A. The effect of methodological variations on university rankings and associated decision-making and policy. Studies in Higher Education. 2019; 44 (1): 201-214. DOI: 10.1080/03075079.2017.1356282
14. Rybinski K. Are rankings and accreditation related? Examining the dynamics of higher education in Poland. Quality Assurance in Education. 2020; 28 (3): 193-204. DOI: 10.1108/QAE-03-2020-0032
15. Dogan G., Al U. Is it possible to rank universities using fewer indicators? A study on five international university rankings. Aslib Journal of Information Management. 2019; 71 (1): 18-37. DOI: 10.1108/AJIM-05-2018-0118
16. Hauptman Komotar M. Discourses on quality and quality assurance in higher education from the perspective of global university rankings. Quality Assurance in Education. 2020; 28 (1): 78-88. DOI: 10.1108/QAE-05-2019-0055
17. Gao X., Zheng Y. 'Heavy mountains' for Chinese humanities and social science academics in the quest for world-class universities. Compare: Journal of Comparative and International Education. 2018; 50 (1): 1-19. DOI: 10.1080/03057925.2018.1538770
18. Shattock M. The 'world class' university and international ranking systems: what are the policy implications for governments and institutions? Policy Reviews in Higher Education. 2017; 1 (1): 4-21. DOI: 10.1080/23322969.2016.1236669
19. Jabnoun N. The influence of wealth, transparency, and democracy on the number of top ranked universities. Quality Assurance in Education. 2015; 23 (2): 108-122. DOI: 10.1108/ QAE-07-2013-0033
20. Huang M. Exploring the h-index at the institutional level: A practical application in world university rankings. Online Information Review. 2012; 36 (4): 534-547. DOI: 10.1108/14684521211254059
21. Van Raan A. F. J. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics. 2005; 62 (1): 133-143. DOI: 10.1007/s11192-005-0008-6
22. Ioannidis J. P. A., et al. International ranking systems for universities and institutions: A critical appraisal. BMC Medicine [Internet]. 2007 [cited 2021 Mar 22]. Available from: http://www.biomedcentral.com/1741-7015/5/30
23. Holmes R. The THES university rankings: Are they really world class. Asian Journal of University Education [Internet]. 2006 [cited 2021 Mar 22]; 1 (1): 1-14. Available from: https: //www.researchgate.net/publication/301781569_The_THES_University_Rankings_Are_ They_Really_World_Class
24. Waltman L., et al. The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation [Internet]. 2012 [cited 2021 Mar 22]. Available from: http://arxiv.org/ abs/1202.3941
25. Billaut J.-C., Bouyssou D., Vincke P. Should you believe in the Shanghai ranking? Scientometrics [Internet]. 2010; 84 (1): 237-263. DOI: 10.1007/s11192-009-0115-x
26. Van Raan A. F. J. Challenges in ranking of universities. In: Invited Paperfor the First International Conference on World Class Universities [Internet]. Jaio Tong University. Shanghai; 2005 June [cited 2021 Mar 22]. p. 19-50. Available from: https://www.researchgate.net/pub-lication/250794968_Challenges_in_Ranking_of_Universities
27. Zitt M., Filliatreau G. Big is (made) beautiful: Some comments about the Shanghai ranking of world-class universities. In: Sadlack J., Liu N. C. (eds.). The w orld-class university and ranking: Aiming beyond status [Internet]. Shanghai, China: Cluj University Press; 2007 [cited 2021 Mar 22]. p. 17-24. Available from: https://www.researchgate.net/publica-tion/252727031_Big_is_made_Beautiful_Some_comments_about_the_Shanghai_ranking_of_ world-class_universities
28. Moed H. F. Bibliometric rankings of world universities. In: CWTS Report 2006-01 [Internet]. 2006 [cited 2021 Mar 22]. Available from: http://www.cwts.nl/hm/bibl_rnk_wrld_ univ_full.pdf
29. Soh K. The seven deadly sins of world university ranking: A summary from several papers. Journal of Higher Education Policy and Management. 2017; 39 (1): 104-115. DOI: 10.1080/1360080X.2016.1254431
30. Soh K. Rectifying an honest error in world university rankings: A solution to the problem of indicator weight discrepancies. Journal of Higher Education Policy and Management. 2013; 35 (6): 574-585. DOI: 10.1080/1360080X.2013.844670
31. Sheeja N. K., Susan Mathew K., Surendran Cherukodan. Impact of scholarly output on university ranking. Global Knowledge, Memory and Communication. 2018; 67 (3): 154-165. DOI: 10.1108/GKMC-11-2017-0087
32. McCoy C. G., Nelson M. L., Weigle M. C. Mining the Web to approximate university rankings. Information Discovery and Delivery. 2018; 46 (3): 173-183. DOI: 10.1108/IDD-05-2018-0014
33. Qureshi M. S., Daud A., Hayat M. K., Afzal M. T. OpenRank - a novel approach to rank universities using objective and publicly verifiable data sources. Library Hi Tech. 2021. DOI: 10.1108/LHT-07-2019-0131
34. Brusca I., Cohen S., Manes-Rossi F., Nicoló G. Intellectual capital disclosure and academic rankings in European universities: Do they go hand in hand? Meditari Accountancy Research. 2019; 28 (1): 51-71. DOI: 10.1108/MEDAR-01-2019-0432
35. Jin J. C., Kim D. Higher education in South Korea: Recent changes in school competitiveness and research productivity. Journal of Asian Public Policy. 2019; 14 (3): 291-313. DOI: 10.1080/17516234.2019.1622181
36. Tutterow C., Evans J. A. Reconciling the small effect of rankings on university performance with the transformational cost of conformity. The University Under Pressure. 2016; 46: 265-301. DOI: 10.1108/S0733-558X20160000046009
37. Salimova T., Guskova N., Neretina E. Education for sustainable development in Russia: problems and challenges. International Journal of Innovation and Sustainable Development. 2015; 9 (3/4): 246-261. DOI: 10.1504/IJISD.2015.071855
38. Marconi G., Ritzen J. Determinants of international university rankings scores. Applied Economics. 2015. 47 (57): 6211-6227. DOI: 10.1080/00036846.2015.1068921
39. Zhu Y. Social media engagement and Chinese international student recruitment: understanding how UK HEIs use Weibo and WeChat. Journal of Marketing for Higher Education. 2019; 29 (2): 173-190. DOI: 10.1080/08841241.2019.1633003
40. Qakir M. P., Acartürk C., Alkan S., Akbulut U. Multi-authoring and its impact on university rankings: A case study of CERN effect on Turkish universities. Studies in Higher Education. 2019; 44 (6): 1052-1068. DOI: 10.1080/03075079.2017.1414780
41. Paruolo P., Saltelli A., Saisana M. Ratings and rankings: Voodoo or science? Journal of the Royal Statistical Society. Series A (Statistics in Society) [Internet]. 2011 [cited 2021 Mar 22]; 176 (3): 609-634. Available from: https://www.researchgate.net/publication/51887919_ Ratings_and_rankings_Voodoo_or_Science
42. Angelis L., Bassiliades N., Manolopoulos Y. On the necessity of multiple university rankings. Journal of Scientometrics and Information Management. 2019; 13 (1): 11-36. DOI: 10.1080/09737766.2018.1550043
43. Hosier M., Hoolash B. K. The effect of methodological variations on university rankings and associated decision-making and policy. Studies in Higher Education. 2019; 44 (1): 201-214. DOI: 10.1080/03075079.2017.1356282
44. Hallinger P. Riding the tiger of world university rankings in East Asia: where are we heading? International Journal of Educational Management. 2014; 28 (2): 230-245. DOI: 10.1108/IJEM-11-2012-0126
45. Tofallis С. A different approach to university rankings. Higher Education. 2012; 63 (1): 1-18. DOI: 10.1007/s10734-011-9417-z
46. Netha! K. J., Harrison J. World university ranking systems: An alternative approach using partial least squares path modelling. Journal of Higher Education Policy and Management. 2014; 36 (5): 471-482. DOI: 10.1080/1360080X.2014.936090
47. Luque-Martínez T., Faraoni N. Meta-ranking to position world universities. Studies in Higher Education. 2020; 45 (4): 819-833. DOI: 10.1080/03075079.2018.1564260
48. Erganova N. E., Kolyasnikova L. V. Rating creation for professional educational organizations based on the item response theory. Obrazovanie i nauka = The Education and Science Journal. 2016; 4: 46-64. DOI: 10.17853/1994-5639-2016-4-46-64 (In Russ.)
49. Yurin A. Y. Group decision-making methods for adapting solutions derived from case-based reasoning. Scientific and Technical Information Processing. 2015; (42): 375-381. DOI: 10.3103/S014768821505010X
50. Navodnov V. G., Motova G. N., Ryzhakova O. Е. Comparison of international rankings and results of Russian monitoring of HEIs effectiveness by the methodology of league analysis. Voprosy obrazovaniya = Educational Studies. Moscow [Internet]. 2019 [cited 2021 Mar 22]; 3: 130-151. Available from: https://vo.hse.ru/data/2019/09/16/1541237741/05%20 Navodnov.pdf (In Russ.)
51. Fursov V. V. About the possibility for medical universities to enter world university rankings. Obrazovanie i nauka = The Education and Science Journal. 2017 [cited 2021 Mar 22]; 19 (5): 138-152. Available from: https://doi.org/10.17853/1994-5639-2017-5-138-152 (In Russ.)
Информация об авторах:
Салимова Татьяна Анатольевна - доктор экономических наук, профессор, декан экономического факультета Национального исследовательского Мордовского государственного университета им. Н. П. Огарева; ORCID 0000-0003-4050-2702, Scopus Author ID 56303996800; Саранск, Россия. E-mail: tasalimova@yandex.ru
Иванова Ирина Анатольевна - кандидат экономических наук, доцент кафедры статистики, эконометрики и информационных технологий в управлении Национального исследовательского Мордовского государственного университета им. Н. П. Огарева; ORCID 0000-0003-1113-0858, Scopus Author ID 57189094424; Саранск, Россия. E-mail: ivia16@mail.ru
Сысоева Евгения Александровна - доктор экономических наук, профессор, заведующий кафедрой статистики, эконометрики и информационных технологий в управлении Национального исследовательского Мордовского государственного университета им. Н. П. Огарева; ORCID 0000-0003-4050-2702, Scopus Author ID 57200044294; Саранск, Россия. E-mail: sysoewa@mail.ru
Вклад соавторов. Авторы внесли равный вклад в подготовку статьи.
Информация о конфликте интересов. Авторы заявляют об отсутствии конфликта интересов.
Статья поступила в редакцию 22.03.2021; поступила после рецензирования 01.10.2021; принята к публикации 10.11.2021.
Авторы прочитали и одобрили окончательный вариант рукописи.
Information about the authors:
Tatyana A. Salimova - Dr. Sci. (Economics), Professor, Dean of Faculty of Economics, Ogarev Mordovia State University; ORCID 0000-0003-4050-2702, Scopus Author ID 56303996800; Saransk, Russia. E-mail: tasalimova@yandex.ru
Irina A. Ivanova - Cand. Sci. (Economics), Associate Professor, Department of Statistics, Econometrics and Information Technologies in Management, Ogarev Mordovia State University; ORCID 0000-0003-1113-0858, Scopus Author ID 57189094424; Saransk, Russia. E-mail: ivia16@mail.ru
Evgeniya A. Sysoeva - Dr. Sci. (Economics), Professor, Head of Department of Statistics, Econometrics and Information Technologies in Management, Ogarev Mordovia State University; ORCID 0000-0002-8823-6792, Scopus Author ID 57200044294; Saransk, Russia. E-mail: sysoewai@mail.ru
Contribution of the authors. The authors made an equal contribution to the preparation of the article.
Conflict of interest statement. The authors declare that there is no conflict of interest.
Received 22.03.2021; revised 01.10.2021; accepted for publication 10.11.2021.
The authors have read and approved the final manuscript.
