CC BY
19Метрологический подход к анализу результатов российских университетских рейтингов в аспекте реализации Программы «Приоритет-2030»
Кураев Алексей Николаевич,
доктор исторических наук, профессор, профессор кафедры «История, философия, литература и непрерывное казачье образование», ФГБОУ ВО «Московский государственный университет технологий и управления имени К.Г. Разумовского (ПКУ)»
Удовик Елена Эдуардовна,
д.пед.н., доцент, профессор кафедры экономики и финансов ФГБОУ ВО «Кубанский государственный технологический университет»
E-mail: ydovik-ydovik@rambler.ru Мамаев Олег Алексеевич,
к.т.н., доцент, заведующий кафедрой военно-политической работы, ФГКВОУ ВО «Военная академия материально-технического обеспечения имени генерала армии А.В. Хрулева» Министерства обороны Российской Федерации
Игнатова Марина Николаевна,
к.пед.н., доцент, доцент кафедры международных отношений и государственного управления, ФГБОУ ВО «Юго-Западный государственный университет»
Таточенко Ирина Михайловна,
к.т.н., доцент, ЧУ ВО «Институт государственного
администрирования»
E-mail: a.fem@yandex.ru
В статье рассматриваются вопросы анализа результатов разработанных в России университетских рейтингов «Три миссии университета» и «RAEX-100». Решаемые авторами задачи актуальны в двух аспектах: 1) объективного определения группы сильнейших отечественных университетов для включения их в Программу стратегического академического лидерства «Приритет-2030», 2) адекватной оценки конкурентоспособности российских вузов на мировом образовательном рынке. На основе метрологического подхода авторами показано, что оба рассматриваемых рейтинга характеризует высокая степень соответствия результатов при определении групп университетов «лучшие из лучших» (топ-25) и «сильнейшие» (топ-100). Также выявлена значительная схожесть метрологических характеристик рейтингов, обеспечивающих возможность ранжирования участников с приемлемой точностью. Авторами получены основные аналитические выражения (уравнение шкалы рейтинга, цена деления шкалы, значения рейтинговых оценок в опорных точках шкалы), позволяющие оценивать и минимизировать величину погрешности позиционирования. Установлена схожесть метрологических характеристик рассматриваемых рейтингов и их ведущих мировых аналогов. Сделаны выводы о возможности использования обоих рейтингов в качестве инструмента определения сильнейших российских вузов, а рейтинга «Три миссии университета» - для оценки их международной конкурентоспособности.
Ключевые слова: рейтинг университетов, Программа «Приоритет 2030», метрологические характеристики, соответствие рейтинговых позиций, уравнение шкалы, погрешность позиционирования.
см
О)
Введение. Инициированная в 2021 г. Программа стратегического академического лидерства «Приоритет-2030» предъявляет высокие требования к российским университетам: в ближайшее десятилетие они должны сыграть ведущую роль в социально-экономическом развитии своих «родных» регионов. Условиями достижения поставленной цели являются: подготовка высококвалифицированных кадров для национальной экономики на самом современном мировом уровне, интенсивное развитие университетской науки с ориентацией на выполнение инновационных разработок для реального сектора экономики, повышение результативности финансовой деятельности - в т.ч. за счет привлечения на обучение иностранных студентов. В Программе участвуют более 100 отечественных вузов, многие - в статусе национальных исследовательских либо федеральных университетов. При этом возникает вопрос определения сильнейших представителей российского университетского сообщества, наиболее успешных в достижении стратегического академического превосходства. До недавнего времени критерием успешности университетов считалась их позиция в ведущих мировых рейтингах - Таймс (THE), Quacquarelli Symonds (QS) и Шанхайском (ARWU) - т.н. «большой тройке». Продвижению российских вузов в ней на позиции топ-100 был посвящен «Проект 5-100», реализовывавшийся в 2012-2020 г.г. По проблематике «рейтинговой гонки» проведено значительное количество работ [1], [2], [3] и др. Авторами оценивались показатели динамики продвижения российских университетов в «большой тройке» [4], при этом было установлено, что наилучшие результаты были достигнуты в QS-рейтинге [5]. Однако в сложившейся внешнеполитической обстановке нельзя игнорировать вероятность исключения из них участников из РФ -как это уже имело место с QS-рейтингом в марте 2022 г. Кроме того, упомянутые рейтинги включают далеко не все сильнейшие вузы России: так, в 2022 г. в списках THE, QS и ARWU их было 60, 48 и 10 соответственно, что существенно меньше числа участников программы «Приоритет-2030». Адекватным инструментом определения академического лидерства могут служить отечественные рейтинги «100 лучших вузов России» и «Три миссии университетов» (далее - RAEX-100 и ТМУ соответственно). Первый является внутренним российским и составляется рейтинговым агентством «РА Эксперт» с 2012 г., а второй - международным. Он разработан в 2017 г. Ассоциацией соста-
вителей рейтингов (НКО «АСР») по инициативе МГУ им. Ломоносова, число включаемых в него вузов постоянно растет, достигнув к 2022 г. 1800 (в т.ч. 146 - российских). Очевидно, по количеству участников оба рейтинга вполне соответствуют масштабу программы «Приоритет 2030». Остается открытым вопрос, насколько адекватно они оценивают показатели академического превосходства. Данный аспект авторы попытаются проанализировать в настоящей работе.
Постановка задач исследования
Исследование проводится на основании официальных данных о результатах RAEX-100 и ТМУ, размещаемых в открытом доступе [6], [7]. При этом авторами решаются следующие основные задачи: 1. Оценка схожести результатов обоих рейтингов в выявлении т.н. группы «лучших из лучших» -университетов, занимающих 25 верхних позиций. С учетом числа вузов в РФ (более 700), процентная доля группы составляет менее 4%, что по понятиям статистики соответствует выходу за границы 2-х «сигм», т.е. группу составляют безоговорочные обладатели академического лидерства. Очевидно, если подходы к ранжированию различны, но объективны, формируемые
на их основе списки лучших из лучших не должны иметь значительных различий.
2. Анализ состава топ-100 рейтингов, определяемого как «группа сильнейших». Характерно, что целью Проекта «5-100», предшествовавшего Программе «Приоритет-2030» являлось вхождение как минимум 5 отечественных университетов в топ-100 рейтингов THE, QS и AR-WU. Участники группы могут быть охарактеризованы как реальные претенденты на включение в Программу «Приоритет-2030».
3. Анализ метрологических характеристик изучаемых рейтингов. В первую очередь к ним относится уравнение шкалы «Рейтинговая оценка-Место в рейтинге», при этом представляют интерес такие показатели как линейность и цена деления шкалы. Также важно определить примерные значения оценок важнейших опорных точек шкалы, в качестве которых могут быть выбраны границы квартилей - отрезков в четверть полной шкалы. Перейдем к последовательному изложению решения сформулированных задач.
Сравнение топ-25 рейтингов
Обратимся к результатам рейтингов RAEX-100 и ТМУ 2022 г. и выберем вузы, занимающие верхние 25 позиций - таблица 1.
Таблица 1. Состав топ-25 ведущих отечественных университетских рейтингов 2022 г.
№ п/п Рейтинг Показатели совпадения*
три миссии университета 100 лучших вузов России Вхождение в топ-25 позиции отклонение, позиций
1 Московский государственный университет имени М.В. Ломоносова Московский государственный университет имени М.В. Ломоносова 1 1 0
2 Санкт-Петербургский государственный университет Московский физико-технический институт 1 0 +1
3 Московский физико-технический институт Санкт-Петербургский государственный университет 1 0 -1
4 Национальный исследовательский университет «ВШЭ» Национальный исследовательский университет «МИФИ» 1 0 +1
5 Национальный исследовательский университет «МИФИ» Национальный исследовательский университет «ВШЭ» 1 0 -1
6 Национальный исследовательский Томский государственный университет Московский государственный технический университет имени Н.Э. Баумана 1 0 +12
7 Новосибирский национальный исследовательский государственный университет МГИМО МИД России 1 0 +5
8 Уральский федеральный университет имени первого Президента России Б.Н. Ельцина Санкт-Петербургский политехнический университет Петра Великого 1 0 +3
9 Университет ИТМО Национальный исследовательский Томский политехнический университет 1 0 +4
10 Национальный исследовательский Томский политехнический университет Российская академия народного хозяйства и государственной службы при Президенте РФ 1 0 -1
11 Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет) Уральский федеральный университет имени первого Президента России Б.Н. Ельцина 1 0 -5
Окончание
№ п/п Рейтинг Показатели совпадения*
три миссии университета 100 лучших вузов России Вхождение в топ-25 позиции отклонение, позиций
12 Российский университет дружбы народов Новосибирский национальный исследовательский государственный университет 1 0 +7
13 Национальный исследовательский технологический университет «МИСИС» Университет ИТМО 1 0 +3
14 Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России Финансовый университет при Правительстве РФ 1 0 +3
15 МГИМО МИД России (поз. 15-17) Российский экономический университет им. Плеханова 1 0 -8
16 Российская академия народного хозяйства и государственной службы при Президенте РФ (поз. 15-17) Национальный исследовательский технологический университет «МИСиС» 1 0 -5
17 Санкт-Петербургский политехнический университет Петра Великого (поз. 15-17) Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России 1 0 -7
18 Казанский (Приволжский) федеральный университет (поз. 18-22) Национальный исследовательский Томский государственный университет 1 0 +2
19 Национальный исследовательский Нижегородский государственный университет имени Н.И. Лобачевского (поз. 18-22) Российский университет дружбы народов 0 0 -
20 Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова Минздрава России (поз. 18-22) Казанский (Приволжский) федеральный университет 1 0 +5
21 Российский национальный исследовательский медицинский университет имени Н.И. Пирогова Минздрава России (поз. 18-22) Национальный исследовательский университет «МАИ» 1 1 0
22 Финансовый университет при Правительстве РФ (поз. 18-22) Российский национальный исследовательский медицинский университет имени Н.И. Пирогова Минздрава России 1 0 -4
23 Университет «Иннополис» Национальный исследовательский университет «МЭИ» 0 0 -
24 Дальневосточный федеральный университет (поз. 24-27) Сибирский федеральный университет 1 1 0
25 Российский государственный университет нефти и газа им. И.М. Губкина (поз. 24-27) Дальневосточный федеральный университет 1 1 0
26 Южный федеральный университет (поз. 24-27) Российский государственный университет нефти и газа имени И.М. Губкина 0 0 -
27 Санкт-Петербургский электротехнический университет «ЛЭТИ» (поз. 24-27) Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова Минздрава России 0 0
*Совпадение - 1, несовпадение - О
При этом из списков ТМУ выбираются 25 сильнейших российских университетов. Ввиду большого количества участников рейтинга многие из них получают одинаковые рейтинговые оценки и занимают условно-равные позиции. Данные позиции (места 15-17, 18-22, и т.д.) отражены в таблице в скобках после названия вуза. Сложившаяся ситуация обусловила расширение списка до 27 ву-
зов, т.к. сразу 4 участника ТМУ занимают условно-равные места 24-27. Из табличных данных можно видеть, что 23 университета входят в число лидеров обоих рейтингов, несовпадения отмечены серой заливкой (по 4 вуза в каждом). Таким образом, соответствие по списочному составу группы составляет 85% (23 из 27), что является достаточно высоким показателем. За редким исключени-
ем участники обоих списков являются либо университетами с особым статусом (МГУ и СПбГУ), либо находятся в статусе национальных исследовательских (НИУ) или федеральных (ФУ). Следует признать, что проведенная в 2008-2012 г.г. работа по формированию сети ФУ и НИУ дала ощутимые результаты: практически все они занимают достойные позиции в отечественных, а многие -и в мировых рейтингах.
Для упорядочения анализа соответствия позиций введем следующие показатели: а) близкие результаты - совпадение либо расхождение не более чем на 2 позиции; б) умеренное расхождение - несовпадение на 3-5 позиций; в) значительное расхождение - несовпадение на 6-10 позиций; г) сильное расхождение - несовпадение более чем на 10 позиций. Информация о совпадениях (символ - 1) и расхождениях (символ - 0) по занимаемым позициям представлена в трех правых столбцах табл. 1. На ее основании количественные показатели совпадений/несовпадений вычислены и сведены в таблицу 2.
Таблица 2. Анализ соответствия группы «топ-25» ведущих университетских рейтингов
№ Показатель Значение показателя
п/п Абсолютное В процентах
1 Совпадений по участникам списка 23 из 27 85%
2 Совпадений по позициям списка 4 из 27 15%
3 Несовпадений по позициям списка 23 из 27 85%
4 В т.ч. на 1 позицию 5 из 23 22%
5 В т.ч. на 2 позиции 1 из 23 4%
6 В т.ч. на 3 позиции 3 из 23 13%
7 В т.ч. на 4 позиции 2 из 23 9%
8 В т.ч. на 5 позиций 4 из 23 17%
9 В т.ч на 6-10 позиций 3 из 23 13%
10 В т.ч. более чем на 10 позиций 5 из 23 22%
Табличные материалы свидетельствуют, что близких результатов насчитывается 10 из 23 возможных (с учетом отмечавшихся выше 4 несовпадений списочного состава), т.е. 37% (строки 2-5). Умеренных расхождений наблюдается 9 или 33% (строки 6-8), значительных - 3 или 11% (строка
9), а сильных расхождений - 5, или 19% (строка
10). Т.е. в первом приближении можно считать, что в 60% случаев университеты, определяемые обоими рейтингами как лучшие из лучших, занимают в них места, незначительно отличающиеся друг от друга.
Анализ состава топ-100 рейтингов. Как правило, в состав авторитетного международного рейтинга включается не менее 1000 университетов: в 2022 г. в QS их было 1300, в THE - 1662, в ARWU - 1000. Соответственно, топ-100 характе-
ризуется как группа сильнейших. Особенностью RAEX-100 является то, что он изначально ориентирован на выявление 100 сильнейших вузов России. Проведем сравнение состава его участников и 100 лучших отечественных вузов в рейтинге ТМУ. Воспользуемся для этого официальными данными о результатах рейтингов 2022 г. -табл. 3.
Таблица 3. Сильнейшие 100 российских университетов в рейтингах НАЕХ-100 и ТМУ2022 г. (выборочно)
№ п/п Университет Место в рейтинге
РАЭКС ТМУ ТМУ*
1 Московский государственный университет имени М.В. Ломоносова 1 18 1
2 Московский физико-технический институт 2 44 3
3 Санкт-Петербургский государственный университет 3 35 2
4 Национальный исследовательский университет «МИФИ» 4 162 5
5 Национальный исследовательский университет «ВШЭ» 5 142 4
6 Московский государственный технический университет имени Н.Э. Баумана 6 262 11
7 МГИМО МИД России 7 351400 15-17(15)
8 Санкт-Петербургский политехнический университет Петра Великого 8 351400 15-17(16)
9 - - - -
10 Российский технологический университет «МИРЭА» 54 Не включен
11 Уфимский государственный научно-технологический университет 55 15011650 73-85(75)
12 Южноуральский государственный университет 56 801900 27-34(31)
13 Белгородский государственный технический университет им. Шухова 57 157 73-85(76)
14 Пермский национальный исследовательский политехнический университет 58 11011200 44-47(45)
15 Сибирский государственный медицинский университет 59 9011000 35-39(37)
16 Национальный исследовательский университет «СТАНКИН» 60 12011300 48-55(55)
17 - - - -
18 Воркутинский государственный университет 93 16511800 87-95(91)
19 Тихоокеанский государственный университет 94 16511800 87-95(92)
20 Кабардино-Балкарский государственный университет им. Бербекова 95 16511800 87-95(93)
Окончание
№ п/п Университет Место в рейтинге
РАЭКС ТМУ ТМУ*
21 Российский новый университет «РосНОУ» 96 1725 87-95(94)
22 Национальный исследовательский Мордовский государственный университет им. Огарева 97 14011500 66-72(72)
23 Башкирский государственный медицинский университет 98 9011000 35-39(39)
24 Арктический федеральный университет им. М.В. Ломоносова 99 13011400 56-65(64)
25 Академия социального управления 100 13011400 56-65(65)
университетов в рейтингах ТМУ и RAEX-100. Поле корреляции показателей (см. табл. 3) представлено на рис. 1.
о с
CJ
см о
*Место среди российских участников рейтинга
Заполнение таблицы 3 осуществлялось в соответствии со следующим принципом: вузы, занимающие в рейтинге ТМУ условно-равные позиции, располагались соответственно положению в RAEX-100. Так, МГИМО МИД РФ и Санкт-Петербургский политехнический университет Петра Великого находятся на общей рейтинговой позиции 351-400, а среди российских вузов - 15-17. Но поскольку позиция МГИМО в RAEx-100 выше (7 место против 8-го места у Политеха), он поставлен выше и в ТМУ - строки 7, 8. Соответственно третий университет на той же условно-равной позиции (Академия народного хозяйства и госслужбы, 10 место в RAEX-100) занимает в ряду российских участников рейтинга 17 место. Академия в таблице не показана, в ней выборочно представлены 23 вуза из верхней, средней и нижней частей анализируемого списка. Обратим внимание на строку 10: МИРЭА, занимающий в RAEX-100 весьма достойное 54 место, не попал в первую сотню ТМУ. Кроме него, еще 5 университетов, занимающих в RAEX-100 места от 49 до 91, не вошли в топ-100 ТМУ. Среди них (по нисходящей): Санкт-Петербургский архитектурно-строительный университет, Научно-исследовательский медицинский центр им. Алмазова (СПб), Ставропольский аграрный университет, Гуманитарно-технологический и Социально-гуманитарный университеты (оба - Москва). Тем не менее, списки топ-100 обоих рейтингов совпадают на 94%, что является очень высоким показателем.
При рассмотрении списка «лучших из лучших» был проведен лишь общий анализ соответствия позиций в нем (таблица 2). Более подробно вопрос не рассматривался, поскольку для любого университета вхождение в топ-25 уже является убедительным признанием его «звездного» статуса, и в свете этого не столь важно, находится он на 19-й или же на 22-й позиции. При работе же с группой сильнейших интерес представляет более точная количественная оценка соответствия позиций. В качестве такой оценки может использован коэффициент парной корреляции между местами
100 90 80
>
S 70 и
£ 60 'I 50
" 40 о
«¡ 30
S
20 10 0
о «S9
о Д."
о о °° о
о о о " 0 о ¿
о О о и О уОСР
о и о о О О о Э
О О О п о О О о
о „° Ой??о
•О.
0 20 40 60 80 100 120 Место в ретинге RAEX-100
Рис. 1. Поле корреляции позиций российских университетов в рейтингах ТМУ и RAEX-100
Расчетное значение коэффициента корреляции для 94 пар значений (поскольку 6 университетов выпадают из общего списка топ-100) составляет 0,82. Согласно шкале Чеддока, это свидетельствует о наличии тесной связи между рассматриваемыми показателями (граничное значение коэффициента - 0,70).
Метрологические характеристики рейтингов. Вопросы обеспечения объективности и достоверности результатов университетских рейтингов рассматриваются в ряде работ [8], [9] и др. При этом эффективно применяются инструменты анализа из таких дисциплин, как математическая статистика, эконометрика и др. [10]. Погрешности позиционирования университетов могут быть существенно снижены за счет использования метрологического подхода к анализу результатов рейтинга [11]. Применительно к задаче настоящего исследования в первую очередь целесообразно получить и проанализировать уравнения шкалы обоих рейтингов в виде «Рейтинговая оценка -Место в рейтинге». На официальном сайте ТМУ результаты с рейтинговыми оценками приводятся лишь до 2018 г., проведем расчеты на основании имеющихся данных. В 2018 г. в рейтинг было включено 333 университета, получивших оценки от 90,918 (Университет Гарварда, США) до 32,114 балла (Университет Фрайбурга, Швейцария). Российские были представлены в количестве 17, с оценками от 71,420 (МГУ им. Ломоносова, 23 место) до 33,342 балла (Финансовый университет при Правительстве РФ, 320 место). Диаграмма «балл-место» представлена на рис. 2.
С помощью Мастера диаграмм MS Excel легко получить уравнение шкалы (опция «линия тренда»). Приемлемую точность обеспечивает полиномиальный тренд 2-го порядка - см. рис. 2, коэффициент детерминации тренда очень высок - 0,97 (граничное значение для трендовой модели хорошего качества - 0,8). Среднее значение модуля погрешности аппроксимации составляет 2,5% (граничное значение показателя для приемлемой точности расчетов по модели - 10%). Максимальное значение погрешности аппроксимации при
этом равно 15,6% - для позиции № 1 - крайняя левая точка диаграммы на рис. 2.
y = 0,0003x2 0,229x + 76,879
R2 = 0,9744
150 200
Позиция в рейтинге
Рис. 2. Уравнение шкалы рейтинга ТМУ (2018 г.)
Результаты RAEX-100 на официальном сайте постоянно размещаются с баллами, поэтому уравнение шкалы может быть получено на основании данных 2022 г. Рейтинговые оценки участников имеют значения от 4,6523 (МГУ им. Ломоносова) до 2,0331 (Академия социального управления).
4,5 4
* 3,5
О)
Í 3
m 2,5
0
1 2
ÜP 1,5
y = 0 ,0003x2 - 0.< 588x + 4.66 52
R2 = 0, >851
Позиция в рейтинге
Рис. 3. Уравнение шкалы рейтинга ЯДЕХ-100 (2022 г.)
Визуально диаграммы «балл-место» обоих рейтингов весьма схожи, тренд для ТМУ также описывается полиномом 2-го порядка при коэффициен-
те детерминации 0,98 - рис. 3. Среднее значение модуля погрешности аппроксимации - 6,6%, максимальное - 14,8% (для позиции 72). Заметим, что уравнения шкалы RAEX-100 и ТМУ являются однотипными с уравнениями шкалы ведущих международных рейтингов, полученными в работах [9], [11]. Для сравнения - на рис. 4 представлена диаграмма «балл-место» QS-рейтинга 2022 г., рассчитанная по материалам источника [12], а также соответствующее уравнение шкалы в виде полинома 2-го порядка. Очевидна как визуальная схожесть характеристик, так и близость значений фигурирующих в них коэффициентов, в особенности - для рейтингов ТМУ и QS.
y = 0,00< 3x2 - 0,2915 ¡x + 89,63
R2 = 0,981 ■
0 100 200 300 400 500 600
Позиция в рейтинге
Рис. 4. Уравнение шкалы QS-рейтинга (2022 г.)
Все характеристики имеют выраженный нелинейный характер, вследствие чего цена деления не остается постоянной на различных участках шкалы. Представляет интерес величина цены деления на различных интервалах шкалы. Как оговорено выше, в качестве таковых могут быть выбраны квартили. Квартили рейтинга RAEX-100 содержат по 25 позиций, а ТМУ - по 75, за исключением последнего условного, дополнительно к позициям 226-300 включающего крайние нижние позиции 301-333. Основные характеристики шкал рейтингов представлены в таблице 4.
Таблица 4. Метрологические характеристики шкалы ведущих отечественных университетских рейтингов
100
10
0
0
50
100
250
300
350
120
100
QJ 80
60
40
20
5
0
0
20
40
60
80
100
120
№ п/п Показатель Значение показателя в рейтинге
RAEX-100, квартили ТМУ, квартили
1 2 3 4 1 2 3 4
1 Верхняя позиция квартиля 1 26 51 76 1 76 151 225
2 Нижняя позиция квартиля 25 50 75 100 75 150 225 333
3 Отрезков в квартиле 24 24 24 24 74 74 74 108
4 Рейтинговая оценка верхней позиции квартиля, баллы 4,652 3,334 2,474 2,239 90,918 58,694 49,961 41,989
5 Рейтинговая оценка нижней позиции квартиля, баллы 3,415 2,508 2,243 2,033 58,916 50,158 42,225 32,114
6 Средняя рейтинговая оценка квартиля, баллы 4,014 2,841 2,392 2,108 68,559 54,316 45,667 36,962
7 Цена деления шкалы квартиля, баллов/позицию 0,051 0,034 0,010 0,009 0,433 0,115 0,105 0,092
8 Отношение показателей строк 3 и 4,% 1,3 1,2 0,4 0,4 0,6 0,2 0,2 0,2
9 Средняя цена деления шкалы, баллов/позицию 0,026 0,162
10 Средняя оценка участников рейтинга, баллы 2,839 49,950
11 Отношение показателей строк 9 и 10,% 0,9 0,3
сз о со "О
1=1 А
—I
о
сз т: о m О от
З
ы о со
о с
U
см а>
Результаты расчетов позволяют заключить
следующее:
1. Абсолютная величина рейтинговых оценок ТМУ на порядок больше аналогичного показателя у RAEX-100: максимум - 90,918 и 4,652 баллов, минимум - 36,962 и 2,108 балла соответственно (строка 4). Это может быть объяснено ориентацией ТМУ на ведущие мировые аналоги (THE, QS и ARWU), оценивающие достижения университетов из максимума 100 баллов. Кроме того, число участников ТМУ существенно больше, чем RAEX-100, для разграничения их положения удобнее использовать оценки большей величины. Обе рейтинговые оценки вычисляются до 3-х знаков после запятой, соответственно оценка ТМУ включает 5 значащих цифр, а оценка RAEX-100-4. Как следствие, в первом случае погрешность округления снижается до уровня 0,01%, во втором - 0,1%. В метрологии такая точность характерна для прецизионных измерений, обеспечивающих погрешность в диапазоне 0,5-0,05%. Как правило, в технических измерениях придерживаются правила округления результата до 3 значащих цифр, погрешность округления при этом не превосходит 1%. В свете этого 5 значащих цифр в рейтинговой оценке ТМУ представляются явно избыточными - так, в QS-рейтинге оценка вычисляется из максимума 100 баллов при округлении до десятых долей, т.е. содержит всего 3 значащих цифры. При этом большее число значащих цифр в оценке ТМУ все равно не исключает ситуации условно-равных позиций - см. табл. 2, строки 7, 8 и др.
2. Как следствие разницы на порядок абсолютных величин рейтинговых оценок при равном порядке участников (100 и 333), цена деления шкалы ТМУ оказывается на порядок большей, чем у RAEX-100-0,162 и 0,026 балла/деление соответственно (строка 9). Однако отношение данного показателя к среднему значению рейтинговой оценки (строка 10: ТМУ - 49,950 балла, RAEX-100-2,839 балла) для рейтинга RAEX-100 оказывается втрое больше (0,9% и 0,3% соответственно строка 11). На практике это означает, что при продвижении на 1 позицию вверх рейтинговая оценка ТМУ увеличивается в среднем на 0,3%, а RAEX-100 - на 0,9%, и наоборот. Таким образом, с точки зрения метрологии чувствительность шкалы второго рейтинга оказывается существенно выше.
3. Нелинейность уравнений шкалы обуславливает непостоянство цены деления в различных квартилях - у обоих рейтингов она последовательно снижается при переходе в каждый нижестоящий квартиль - строка 7. Та же сама тенденция отмечается и для показателя в относительном выражении - строка 8. В 4 квартиле RAEX-100 рейтинговая оценка при переходе на одну позицию изменяется в среднем на 0,4%, а у ТМУ - на 0,2%. Как отмечалось, в метрологии измерения с погрешностью 0,5%
и ниже относятся к прецизионным, у рейтинга ТМУ даже в 1 квартиле средняя разница оценок двух соседствующих позиций составляет лишь 0,6%. Вероятно, следствием этого является объективная сложность точного разграничения мест, приводящая к значительному количеству условно-равных позиций. 4. Скорректировать нелинейность уравнения шкалы можно с помощью кусочно-линейной аппроксимации на нескольких отрезках. Погрешность определения оценок, соответствующих различным рейтинговым позициям, существенно снижается. Соответствующие расчеты проделаны в работе [9]. В качестве опорных точек шкалы при кусочно-линейной аппроксимации целесообразно использовать верхние и нижние границы квартилей. Однако с учетом того, что полиноминальные тренды 2-го порядка обеспечивают приемлемую точность при работе с уравнением шкалы, описывать получение линеаризованной характеристики в ограниченном формате данной работе нецелесообразно. В заключение следует отметить, что по метрологическим характеристикам разработанные в России университетские рейтинги показывают значительное сходство с ведущими мировыми аналогами. Так, для QS-рейтинга 2022 г. (см. рис. 4) расчетные значения основных показателей шкалы составляют: а) число позиций с присвоенными рейтинговыми оценками - 501; б) верхнее и нижнее значения рейтинговых оценок - 100 (Массачусетский технологический институт, США) и 24,1 балла (Йоркский университет, Великобритания) соответственно; в) среднее значение рейтинговой оценки- 44,8 балла, г) средняя цена деления шкалы - 0,15 балла/деление; д) цена деления шкалы, приведенная к средней рейтинговой оценке -
0.3.. Можно заметить значительное сходство данных показателей с приведенными в табл. 4, в особенности - для рейтинга ТМУ.
Выводы
1. Несмотря на различия подходов к формированию рейтингового функционала, условные группы «лучших из лучших» и «сильнейших» среди российских университетов определяются рейтингами RAEX-100 и ТМА весьма схожим образом. Подтверждением тому служит совпадение списков топ-25 рейтингов на 85%, а топ-100 -на 94%. При этом отмечена высокая теснота связи между местами, занимаемыми университетами из группы сильнейших (топ-100) в обоих рейтингах - значение коэффициента парной корреляции показателей составляет 0,82.
2. Уравнения шкалы рейтингов (зависимость «рейтинговая оценка- позиция в рейтинге») имеют схожий характер и с приемлемой точностью описываются полиномиальными зависимостями 2-го порядка. При этом отмечается значительное типологическое сходство шкал отечественных и ведущих международных уни-
верситетских рейтингов (QS, THE), их общий недостаток (нелинейность) может быть скорректирован кусочно-линейной аппроксимацией, позволяющей заметно повысить точность расчетов по уравнению шкалы. 3. Шкала рейтинга RAEX-100 характеризуется существенно большей чувствительностью по сравнению с ТМА, что позволяет точнее осуществлять позиционирование университетов-участников. При этом у обоих рейтингов нелинейность шкалы обуславливает уменьшение цены ее деления при смещении к низшим позициям, что повышает вероятность ошибок позиционирования вузов, находящихся в замыкающей части списка участников. Для уменьшения погрешностей позиционирования целесообразно применять кусочно-линейную аппроксимацию шкалы, опорными точками при этом могут служить верхние и нижние границы квартилей. В целом же результаты исследования позволяют заключить, что по своим метрологическим показателям разработанные в России университетские рейтинги RAEX-100 и ТМА не уступают ведущим мировым аналогам. Оба рейтинга могут применяться как инструмент определения сильнейших университетов для последующего включения в Программу стратегического академического превосходства «Приоритет 2030». Кроме того, рейтинг «Три миссии университета» имеет большой потенциал использования в качестве инструмента оценки конкурентоспособности отечественных университетов на мировом рынке образовательных услуг [13].
Литература
1. Rodionov D., Yaluner E., Kushneva O. DRAG RACE 5-100-2020 NATIONAL PROGRAM. European Journal of Science and Theology. 2015. Т. 11. № 4. С. 199-212.
2. Rodionov D.G., Rudskaia I.A., Alexandrovna K.O. HOW KEY RUSSIAN UNIVERSITIES ADVANCE TO BECOME LEADERS OF WORLDWIDE EDUCATION: PROBLEM ANALYSIS AND SOLVING. World Applied Sciences Journal. 2014. Т. 31. № 6. С.1082-1089.
3. Stukalova I., Shishkin A., Stukalova A. INTERNATIONALIZATION OF HIGHER EDUCATION: A CASE OF RUSSIAN UNIVERSITIES. Economics & Sociology. 2015. Т. 8. № 1. С. 275-286.
4. Кудинова, М.Г. Направления государственной финансовой поддержки и роль SWOT-анализа в научно-технологическом форсайте отрасли растениеводства Алтайского края / М.Г. Кудинова, Н.М. Сурай, П.А. Неверов // Модернизация экономических систем: взгляд в будущее (MESLF-2021): сборник научных трудов, Прага, 22 декабря 2021 года. - Прага: Vedecko vydavatelske centrum «Sociosfera-CZ», 2021. -С. 42-49. - EDN TLEWZJ.
5. Tatochenko A., Tatochenko I., Chernegov N., Poletaeva L. ANALYSIS OF THE POTENTIAL OF
RUSSIAN UNIVERSITIES DUE THE PROJECT 5-100 IMPLEMENTATION. В сборнике: E3S Web of Conferences. 14th International Scientific and Practical Conference on State and Prospects for the Development of Agribusiness, INTERAGRO-MASH 2021. Rostov-on-Don, 2021.
6. Официальный сайт Московского международного рейтинга вузов «Три миссии университета» [электронный ресурс]. Режим доступа: https://mosiur.org/ranking/
7. Официальный сайт рейтинга вузов «100 лучших вузов России» [электронный ресурс]. Режим доступа: https://raex-rr.com/pro/edu-cation/russian_universities/top-100_universi-ties/2022/?ysclid=l8lwignulr925174956
8. Mussard M., James A.P. ENGINEERING THE GLOBAL UNIVERSITY RANKINGS: GOLD STANDARDS, LIMITATIONS AND IMPLICATIONS. IEEE Access. 2018. Т. 6. С. 6765-6776.
9. Метрологический подход к анализу результатов университетских рейтингов: метод опорных точек шкалы как инструмент повышения точности прогнозных оценок / И.В. Положенце-ва, Н.М. Сурай, А.Л. Таточенко [и др.] // Современное педагогическое образование. - 2022. -№ 4. - С. 54-62. - EDN OELYVU.
10. Эконометрика образования: анализ факторов продвижения российских университетов в мировых рейтингах методом корреляционной матрицы / А.Л. Таточенко, И.М. Таточенко, Н.М. Сурай, П.А. Неверов // Модернизация экономических систем: взгляд в будущее (MESLF-2021): сборник научных трудов, Прага, 22 декабря 2021 года. - Прага: Védecko vydavatelské centrum «Sociosféra-CZ», 2021. -С. 74-83. - EDN YGHVHC.
11. Метрологический подход к описанию результатов мировых университетских рейтингов как инструмент успешной реализации программы «Приоритет 2030» в отечественной высшей школе / Н.М. Сурай, А.Л. Таточенко, Н.А. Мамаева [и др.] // Современное педагогическое образование. - 2022. - № 4. - С. 21-29. - EDN GESMOA.
12. Официальный сайт университетского рейтинга Quacquarelli Symonds [электронный ресурс]. Режим доступа: https://www.qs.com/rankings/
13. Безопасность цифровой среды в образовании / А.Н. Гончаренко, А.Н. Жавнеров, И.А. Гле-бова [и др.], 2020. - 159 с. - ISBN 978-1-00583576-7. - EDN QUIUUE.
METROLOGICAL APPROACH TO THE ANALYSIS OF THE RESULTS OF RUSSIAN UNIVERSITY RANKINGS IN THE ASPECT OF THE IMPLEMENTATION OF THE PRIORITY 2030 PROGRAM
Kuraev A.N., Udovik E.E., Mamaev O.A., Ignatova M.N., Tatochenko I.M.
Moscow State University of Technology and Management named after K.G. Razumovsky (PKU), Kuban State Technological University, Military Academy of Logistics named after Army General A.V. Khrulev, Southwest State University, Institute of Public Administration
The article deals with the analysis of the results of the university rankings developed in Russia "Three Missions of the University" and
сз о
CO "O
1=1 А
—I
о
сз т; о
m О
от
З
ы о со
"RAEX-100". The tasks solved by the authors are relevant in two aspects: 1) an objective determination of the group of the strongest domestic universities for their inclusion in the Priority 2030 Strategic Academic Leadership Program, 2) an adequate assessment of the competitiveness of Russian universities in the global educational market. Based on the metrological approach, the authors show that both of the considered ratings are characterized by a high degree of conformity of the results in determining the groups of universities "best of the best" (top 25) and "strongest" (top 100). A significant similarity of the metrological characteristics of the ratings was also revealed, providing the possibility of ranking participants with acceptable accuracy. The authors obtained the main analytical expressions (rating scale equation, scale division value, rating values at the scale reference points), which allow estimating and minimizing the positioning error. The similarity of the metrological characteristics of the considered ratings and their leading world analogues has been established. Conclusions are drawn about the possibility of using both ratings as a tool for determining the strongest Russian universities, and the Three University Missions rating for assessing their international competitiveness.
Keywords: university ranking, Priority 2030 Program, metrological characteristics, conformity of ranking positions, scale equation, positioning error.
References
1. Rodionov D., Yaluner E., Kushneva O. DRAG RACE 5-1002020 NATIONAL PROGRAM. European Journal of Science and Theology. 2015. V. 11. No. 4. S. 199-212.
2. Rodionov D.G., Rudskaia I.A., Alexandrovna K.O. HOW KEY RUSSIAN UNIVERSITIES ADVANCE TO BECOME LEADERS OF WORLDWIDE EDUCATION: PROBLEM ANALYSIS AND SOLVING. World Applied Sciences Journal. 2014. V. 31. No. 6. S. 1082-1089.
3. Stukalova I., Shishkin A., Stukalova A. INTERNATIONALIZATION OF HIGHER EDUCATION: A CASE OF RUSSIAN UNIVERSITIES. Economics & Sociology. 2015. V. 8. No. 1. S. 275286.
4. Kudinova, M. G., Surai N.M., Neverov P.A. Directions of state financial support and the role of SWOT-analysis in the scientific and technological foresight of the crop industry of the Altai Territory // Modernization of economic systems: a look into the future (MESLF-2021): collection of scientific papers, Prague,
December 22, 2021. - Prague: Vedecko vydavatelske centrum "Sociosfera-CZ", 2021. - P. 42-49. - EDN TLEWZJ.
5. Tatochenko A., Tatochenko I., Chernegov N., Poletaeva L. ANALYSIS OF THE POTENTIAL OF RUSSIAN UNIVERSITIES DUE THE PROJECT 5-100 IMPLEMENTATION. In the collection: E3S Web of Conferences. 14th International Scientific and Practical Conference on State and Prospects for the Development of Agribusiness, INTERAGROMASH 2021. Rostov-on-Don, 2021.
6. Official website of the Moscow International University Ranking "Three Missions of the University" [electronic resource]. Access mode: https://mosiur.org/ranking/
7. Official website of the ranking of universities "100 best universities in Russia" [electronic resource]. Access mode: https:// raex-rr.com/pro/education/russian_universities/top-100_univer-sities/2022/?ysclid=l8lwignulr925174956
8. Mussard M., James A.P. ENGINEERING THE GLOBAL UNIVERSITY RANKINGS: GOLD STANDARDS, LIMITATIONS AND IMPLICATIONS. IEEE Access. 2018. V. 6. S. 6765-6776.
9. Polozhentseva I. V., Surai N.M., Tatochenko A.L. [et al.] Metro-logical approach to the analysis of the results of university rankings: the method of scale reference points as a tool for improving the accuracy of forecast estimates // Modern Pedagogical Education. - 2022. - No. 4. - S. 54-62. - EDN OELYVU.
10. Tatochenko A. L., Tatochenko I.M., Surai N.M., Neverov P.A. Econometrics of education: analysis of the factors of promotion of Russian universities in world rankings by the correlation matrix method // Modernization of economic systems: a look into the future (MESLF-2021): collection of scientific papers, Prague, December 22, 2021. - Prague: Vedecko vydavatelske centrum "Sociosfera-CZ", 2021. - P. 74-83. - EDN YGH-VHC.
11. Surai N. M., Tatochenko A.L., Mamaeva N.A. [et al.] A metro-logical approach to describing the results of world university rankings as a tool for the successful implementation of the Priority 2030 program in Russian higher education // Modern Pedagogical education. - 2022. - No. 4. - S. 21-29. - EDN GES-MOA.
12. Official website of the university ranking Quacquarelli Symonds [electronic resource]. Access mode: https://www.qs.com/rank-ings/
13. Security of the digital environment in education / A.N. Goncha-renko, A.N. Zhavnerov, I.A. Glebova [et al.], 2020. - 159 p. - ISBN 978-1-005-83576-7. - EDN QUIUUE.
o d
u
CM O)
