CC BY
26Метрологический подход к описанию результатов мировых университетских рейтингов как инструмент успешной реализации программы «Приоритет 2030» в отечественной высшей школе
Сурай Наталья Михайловна,
к.т.н., доцент, доцент базовой кафедры торговой политики, ФГБОУ ВО «Российский экономический университет имени Г.В. Плеханова»
E-mail: natalya.mixajlovna.1979@mail.ru
Таточенко Александр Львович,
к.т.н., доцент, ЧУ ВО «Институт государственного администрирования»
Мамаева Наталья Анатольевна,
к.т.н., доцент, ФГКВОУ ВО «Военная академия материально-
технического обеспечения имени генерала армии
А.В. Хрулева» Министерства обороны Российской Федерации
Положенцева Ирина Вениаминовна,
к.э.н., профессор, ФГБОУ ВО «Московский государственный университет технологий и управления имени К.Г. Разумовского» (ПКУ)
оценки, обеспечивающих перемещение на вышестоящую позицию. Существенно упрощает работу со шкалой рейтинга ее кусочно-линейная аппроксимация на участках, соответствующих сотням позиций в составе топ-500. Предлагаемый авторами подход имеет реальные перспективы применения при реализации программы «Приоритет 2030». Во время работы над статьей (07.03.2022) компания «Quacquarelli Symonds» объявила о приостановлении взаимодействия с российскими университетами из-за событий на Украине. Однако предлагаемый авторами метрологический подход в силу своей универсальности может быть при работе с любыми другими рейтингами.
Ключевые слова: Программа «Приоритет 2030», проект «5100», международный университетский рейтинг, метрологический подход, итоговая рейтинговая оценка, уравнение шкалы рейтинга, кусочно-линейная аппроксимация.
Зылева Галина Викторовна,
к.э.н., доцент, ФГБОУ ВО «Московский государственный университет технологий и управления имени К.Г. Разумовского» (ПКУ)
В статье анализируются и формулируются проблемы продвижения отечественных университетов в международных рейтингах в рамках выполнения программы «Приоритет 2030», являющейся продолжением и развитием проекта «5-100» в российской высшей школе. Среди них выделяется проблема отсутствия адекватного подхода к оценке результатов участия российских вузов в ведущих мировых рейтингах, в частности -в QS-рейтинге. Данная проблема препятствовала достижению целей проекта. Цель статьи: выявить и обосновать принципы и методологию разработки метрологического подхода к описанию результатов рейтинга, обеспечивающего их адекватную количественную оценку. Соответствующим инструментом может стать шкала рейтинга в виде аналитической зависимости «итоговая оценка-позиция в рейтинге».
Методологию исследования составляют анализ и обобщение данных научно-исследовательских работ по избранной проблематике, выполненных зарубежными и отечественными учеными, признанными научным сообществом, а также отчетной документации консалтингового агентства «Quacquarelli Symonds» о результатах QS-рейтинга.
С помощью методических подходов статистики, эконометрики и метрологии показано, что для QS-рейтинга исходное нелинейное уравнение шкалы с высокой степенью точности представляется кусочно-линейной аппроксимирующей зависимостью по первым пяти сотням позиций. Данная зависимость позволяет провести расчеты приращения итоговой оценки, обеспечивающего выход на целевую позицию в рейтинге. Как следствие, уравнение шкалы позволяет более объективно оце- А
нивать результаты, достигнутые университетами, а также перспективы их продвижения в рейтинге.
Предлагаемый в статье метрологический подход обеспечивает информационную базу процесса планирования продвижения университетов в международных рейтингах. При этом в отличие от традиционно применяемого анализа динамики
от
занимаемых позиций предлагается учитывать также динами- А
ку рейтинговых оценок. Связь переменных «оценка-позиция» О
отражает аналитическое выражение уравнения шкалы рей- А
тинга. Нелинейный характер шкалы создает в верхних сотнях рейтинга эффект резкого роста минимальных приращений
о
сз о
В настоящей статье авторы рассматривают вопросы количественной оценки результатов участия университетов в международных рейтингах. Не вызывает сомнений, что продвижение на лидирующие позиции в мировой «большой тройке» («Шанхайский» рейтинг - ARWU, Рейтинг «Таймс» - THE, рейтинг агентства «Quacquarelli Symonds» - QS-рейтинг) является ярким свидетельством успешности университетов [Попова, 6]. В многочисленных источниках ежегодно отражаются результаты участия российских университетов в международных рейтингах, однако практически всегда при анализе ситуации принимаются во внимание лишь занимаемые вузами места [Российские вузы ..., 8; Четыре российских вуза..., 10; 25 российских вузов., 13; 32 российских вуза., 14] и т.д. Как следствие, прогресс того или иного университета оценивается по динамике его продвижения по позициям списка участников, безотносительно получаемых им рейтинговых оценок. Так, образовательный портал «Study in Rus-sia» описывает успехи отечественных вузов в авторитетном QS-рейтинге 2020 г. следующим образом: «многие вузы значительно улучшили свой результат по сравнению с QS2019. Например, Новосибирский ГУ поднялся на 13 позиций, Томский ГУ - на девять, МФТИ - на 10 позиций, НИУ ВШЭ -на 21, Уральский ФУ - на 48, Казанский ФУ -на 47, РУДН - на 54, а Университет ИТМО - более чем на 70» [25 российских вузов., 13]. Издание «Коммерсантъ» приводит следующий анализ результатов QS-рейтинга 2022 г.: «РУДН (317 место) поднялся за последний год на девять позиций, улучшая свое положение пятый год подряд; Казанский ФУ (347 место) поднимается в рейтинге шестой год подряд; Дальневосточный ФУ (461 место) поднялся на 32 позиции за прошедший год, демонстрируя рост в рейтинге четвертый год подряд» [Четыре российских вуза., 10]. Однако анализ показателей динамики университетов, проводимый только по данным о занимаемых ими местах, является достаточно поверхностным и не обеспечивает объективного количественного подхода к оценке результатов процесса. Известно, что основой для распределения мест в QS-рейтинге являются итоговые оценки, выставляемые на основании 6 составляющих: академической и рабочей репутации, численности иностранных преподавателей и студентов, обеспеченности учебного процесса профессорско-преподавательским составом, индекса цитирования научных трудов университета в ведущих международных изданиях. Каждому показателю, оцениваемому из 100 баллов, присваивается весовой коэффициент (от 0,05 до 0,4), а итоговая рейтинговая оценка вычисляется как средневзвешенное значение всех составляющих. При этом итоговая оценка выставляется только 5 500 сильнейшим участникам рейтинга (заметим, о что в QS-2022 участвовало 1300 университетов). й Как следствие, распределение мест за пределами еЗ топ-500 не опирается на соответствующий массив ¡в количественных показателей, в связи с чем име-
ет достаточно приблизительный характер. Так, в последнем опубликованном на момент написания данной работы рейтинге QS-2022 6-я сотня его участников представлена декадами с условно-равными позициями 501-510, 511-520, ... 591600. В 7-й и 8-й сотнях участники сгруппированы по 50 следующим образом: 601-650, 651-700 и 701-750, 751-800. 9-я и 10-я сотни объединены в группу с условной общей позицией 801-1000, а 11-я и 12-я - в группу 1001-1200. Замыкает рейтинг группа 1200+ [Рейтинг мировых университетов., 7]. Очевидно, предметный количественный анализ продвижения по позициям рейтинга возможен лишь в топ-500 [Тараканов, 9], однако инструментарий такого анализа пока не разработан.
Цель статьи: Выявить и обосновать принципы и методологию разработки метрологического подхода к описанию результатов рейтинга, обеспечивающего их адекватную количественную оценку. Для этого необходимо получить соответствующее аналитическое выражение, которое в терминах эконометрики может быть определено как уравнение регрессии, связывающей результирующую переменную У (место университета в рейтинге) с факторной переменной Х (соответствующей итоговой рейтинговой оценкой в баллах). На языке метрологии данная зависимость называется уравнением шкалы рейтинга [Шайтура, 11].
Методологию исследования составляют анализ и обобщение данных научно-исследовательских работ по избранной проблематике, выполненных зарубежными и отечественными учеными, признанными научным сообществом, а также отчетной документации консалтингового агентства «Quacquarelli Symonds» о результатах QS-рейтинга. Массивы данных систематизировались, обобщались, обрабатывались и верифицировались с применением методов статистики, эконометрики и метрологии. Использованный методологический подход подтверждает достоверность результатов исследования.
Обзор научной литературы проведен на основе анализа работ по тематике исследования. Методологические аспекты составления международных университетских рейтингов и результаты участия в них отечественных вузов рассматривается в работах [Попова, 6; Шибанова, 12; Ьо, 15; Mussard, 16; Rodionov, 17; Rodionov, 18]. Авторы подтверждают актуальность задачи продвижения университетов в рейтингах «большой тройки» в условиях глобализации рынка образовательных услуг. Достойные места в рейтингах помимо международного признания существенно усиливают экономическую составляющую деятельности университетов, поскольку стоимость оказываемых ими образовательных услуг тесно коррелирует с занимаемой рейтинговой позицией. Особую роль при этом играет академическая репутация, являющаяся непременной составляющей итоговой оценки в ведущих рейтингах [Антонова, 1]. Авторы констатируют, что цели проекта «5-100» не были достигнуты полностью, во многом - из-за отсут-
ствия адекватной количественном оценки результатов участия в рейтингах. При этом наибольших успехов российские вузы смогли добиться в ОБ-рейтинге [ТаЮ^епко, 19]. На основании проведенного обзора авторами сделан вывод о целесообразности разработки метрологического подхода к описанию результатов университетских рейтингов с целью получения объективных и достоверных количественных оценок [Бегунов, 2], в качестве информационной базы использовать данные официальной отчетности ОБ-рейтинга [Официальный сайт..., 5]
Результаты исследования. 1. Построение шкалы рейтинговых оценок. Для получения уравнения шкалы воспользуемся результата-
ми QS-рейтинга за 2022 г.г., размещенными на официальном сайте компании в форме Ex-cel-таблицы, что существенно облегчает работу с ними (рис. 1). Проведем для первых 500 позиций обработку массивов данных по результирующей и факторной переменным в Мастере диаграмм Excel, задаваясь целью получить уравнение регрессии с приемлемым (более 0,8) коэффициентом детерминации (R2). Можно видеть, что даже наиболее простой линейный тренд характеризуется достаточно высоким коэффициентом детерминации - 0,87, однако его отклонения от ярко выраженной нелинейной шкалы рейтинга очень велики практически на всех рассматриваемых участках (рис. 2).
Рис. 1. Результаты рейтинга 0Б-2022 на официальном сайте консалтингового агентства ОиасриагеШ Бутопс1в [7]
у = -0Д222х + 75,448
К - и,О 11
Урасч.(421) = 0,0003*(421)2-0,2911*421 + 89,605 = = 20,2 балла.
Рис. 2. Зависимость «Итоговая оценка - место в рейтинге» и соответствующее уравнение линейного тренда для топ-500 0Б-2022 (получено авторами)
При переходе к полиномиальному тренду 2-го порядка (параболическому) коэффициент детерминации повышается до значения 0,98, при этом визуально отмечается лучшее соответствие тренда характеру шкалы рейтинга (рис. 3).
Однако расчеты, проведенные на основании полученного уравнения тренда, показывают, что с его помощью результирующая переменная, принимающая на рассматриваемом интервале позиций значения от 100,0 до 24,1 балла, может быть определена со значительными погрешностями. Так, например, для позиции 421 (Х = 421) с итоговой оценкой 27,3 балла (У = 27,3) расчет по уравнению тренда дает результат:
0,0003х2 R2 -0,2911хН = 0,9814
к у -
Рис. 3. Зависимость «Итоговая оценка - место
в рейтинге» и соответствующее уравнение параболического тренда для топ-500 0Б-2022 (получено авторами)
Абсолютными погрешность (Дабс.) при этом составит:
Дабс.(421) = Урасч. - У = 20,2-27,3 = 7,1 балла
Соответствующая относительная погрешность (Еотн.) будет равна:
Еотн.(421) = (Дабс./У)*100% = (7,1/27,3) = 25,9%.
Наибольшая абсолютная погрешность возникает при расчете итоговой оценки для 1-й позиции (Х = 1; У= 100):
сз о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
У расч.(1) = 0,0003*(1)2-0,2911*1 + 89,605 = = 89,3 балла;
Дабс.(1) = 89,3-100 = - 10,7 балла Очевидно, относительная погрешность составляет 10,7%, такая точность расчетов неприемлема, кроме того, расчеты по параболическому тренду менее удобны, чем по линейному. В связи с этим представляется целесообразным определить уравнения шкалы на отдельных интервалах топ-500, например, по сотням рейтинга - возможно, для более коротких интервалов окажется возможной кусочно-линейная аппроксимация и ошибки расчетов будут меньшими. Порядок действий при этом аналогичен применявшемуся при работе с полной шкалой, т.е. для каждой сотни рейтинга с помощью Мастера диаграмм находится уравнение тренда (предпочтительно - линейного) и значение коэффициента детерминации. Далее последовательно по всем позициям сотни производится расчет значений результирующей переменной, а также соответствующих абсолютных и относительных погрешностей расчета. При этом приемлемыми значениями для коэффициента детерми-
нации считаются 0,85 и более, а для относительной ошибки - 3% и менее. Пример кусочно-линейной аппроксимации шкалы для 3-й сотни рейтинга представлен на рис. 4, нумерация позиций по оси абсцисс на диаграмме - не сплошная по топ-500, а внутрисотенная, т.е. от 1(201) до 100(300). Результаты расчетов аппроксимирующих зависимостей приведены в таблице 1.
----------
|
у = -0,0886х + 43,063
Ы2 = 0,9884
О 20 40 60 80 100 120
Рис. 4. Линейная аппроксимация зависимости «Итоговая оценка - место в рейтинге» для позиций 3-й сотни рейтинга (получено авторами)
Таблица 1. Уравнения трендов «итоговая оценка-место в рейтинге» на отдельных участках топ-500 рейтинга QS-2022 (получено авторами)
№ п/п Места рейтинга Уравнение тренда (У - итоговая оценка, баллы; Х - позиция в сотне/полусотне) R2, отн.ед.* макс., Баллы** Емакс., %***
1 1-100 (1-я сотня) У = -0,384*Х + 96,159 0,977 4,2 4,2
2 1-100 (1-я сотня) У = 0,002*Х2-0,5916*Х + 99,723 0,995 2,1 2,3
3 1-50 (1-я сотня) У = -0,481*Х + 98,655 0,975 2,1 2,3
4 51-100 (1-я сотня) У = -0,288*Х + 73,874 0,963 1,9 2,5
5 101-200 (2-я сотня) У = -0,160*Х + 59,124 0,988 1,2 2,5
6 201-300 (3-я сотня) У = -0,089*Х + 43,063 0,988 0,9 2,1
7 301-400 (4-я сотня) У = -0,064*Х +34,454 0,995 0,3 1,0
8 401-500 (5-я сотня) У = -0,042*Х +28,053 0,998 0,1 0,5
о с
и
см
* Я2 -коэффициент детерминации; Дмакс. и Емакс. - максимальные абсолютная и относительная погрешности аппроксимации соответственно
Табличные данные свидетельствуют, что на всех рассмотренных участках высокие значения коэффициента детерминации обеспечиваются при различных формах уравнения тренда. Однако линейный тренд для 1-й сотни рейтинга дает значения относительной погрешности аппроксимации (4,2%), превосходящие установленный максимум (строка 1). Угловой коэффициент тренда (-0,384) показывает, что на рассматриваемом участке при переходе на ближайшую нижнюю позицию итоговая оценка уменьшается в среднем на 0,4 балла.
Данный коэффициент в терминах метрологии соответствует цене деления шкалы, разделяющей две соседние позиции. С учетом этого максимальной абсолютной погрешности в 4,2 балла соответствует максимальная ошибка определения места университета более чем на 10 позиций, что недопустимо много. Приемлемую величину погрешности обеспечивает параболический тренд (строка 2) -максимальной абсолютной погрешности 2,1 балла соответствует ошибка позиционирования примерно в 5 мест. Однако работать с линейными трен-
дами значительно удобнее, в связи с этим целесообразно разбить 1-ю сотню рейтинга на 2 равновеликих участка (полусотни) и подобрать для них соответствующие уравнения - строки 3 и 4. Можно видеть, что погрешность такой кусочно-линейной аппроксимации не хуже, чем для параболического тренда.
Для остальных сотен топ-500 линейные тренды обеспечивают приемлемую точность аппроксимации (строки 5-8). При этом при переходе в каждую последующую сотню уменьшаются угловой коэффициент линейного тренда, а также абсолютная и относительная погрешности. Так, в 5-й сотне при цене деления шкалы 0,042 балла и максимальной абсолютной погрешности 0,1 балла (строка 8) предельная ошибка позиционирования не превосходит 3 мест. Таким образом, исходная нелинейная шкала рейтинга может быть заменена кусочно-линейной аппроксимирующей зависимостью, состоящей из 6 участков: 1-50; 51-100; 101-200; 201-300; 301-400; 401-500. При этом двум первым участкам можно поставить в соответствие общий условный угловой коэффициент величиной 0,384 (см. строку 1 таблицы 1), являющийся средним арифметическим угловых коэффициентов 1-й
и 2-й полусотен (0,481 и 0,288 - строки 3 и 4 таблицы 1).
2. Анализ метрологических характеристик полученной шкалы рейтинга. Рассмотрим основные соотношения для угловых коэффициентов аппроксимирующих зависимостей. Отмеченный выше эффект уменьшения коэффициентов при переходе к низшим сотням рейтинга имеет явно выраженный нелинейный характер - рис. 5.
• V = 0 З'МЙУ '-та
II2 = 0,9969
■ф...... .........
0 12 3 4 5 6
Рис. 5. Степенной тренд зависимости «угловой коэффициент уравнения шкалы - порядковый номер сотни рейтинга» (получено авторами)
Таблица 2. Анализ основных соотношений для угловых коэффициентов уравнения шкалы рейтинга
№ п/п Показатель Значения показателя
1 Сотня рейтинга 1 2 3 4 5
2 Угловой коэффициент уравнения шкалы рейтинга 0,384 0,160 0,089 0,064 0,042
3 Отношение показателя строки 2 к показателю последующей сотни, отн. ед. 2,4 1,8 1,4 1,5 "
4 Расчетное значение углового коэффициента уравнения шкалы по уравнению степенного тренда 0,395 0,154 0,089 0,060 0,045
5 Абсолютная погрешность расчета углового коэффициента по уравнению степенного тренда 0,011 -0,006 0,0003 -0,004 0,003
6 Относительная погрешность расчета углового коэффициента по уравнению степенного тренда,% 2,8 -3,5 0,3 -5,5 6,5
Данная нелинейная зависимость хорошо описывается степенным трендом - коэффициент детерминации для которого практически равным единице - см. рис. 5. Ошибка расчетов по выбранному уравнению тренда не превышает 6,5% (таблица 2, строки 5, 6). На практике степенной характер тренда означает резкий рост цены деления шкалы при переходе в высшие сотни рейтинга. Так, если при переходе от 5-й к 4-й и от 4-й к 3-й сотням показатель возрастает в 1,4-1,5 раза, то на переходах от 3-й к 2-й и от 2-й к 1-й сотням отмечается рост в 1,8 и 2,4 раза соответственно -таблица 2, строка 3.
Величина, обратная угловому коэффициенту уравнения шкалы, представляет собой характеристику чувствительности положения в рейтинге к изменению итоговой оценки и показывает, на сколько позиций продвинется участник рейтинга при изменении итоговой оценки на 1 балл (таблица 3, строка 2). Можно видеть, что при равном
увеличении оценки на 1 балл продвижение в 5-й сотне оказывается почти на порядок большим, чем в 1-й сотне (23,8 и 2,6 позиций соответственно - строки 2, 3). Однако при анализе данного эффекта необходимо учитывать, что оценки участников 1-й сотни значительно выше, поэтому прибавка в 1 балл будет для них менее существенной, чем для всех низших сотен, в особенности - чем для 5-й. Корректнее провести сравнение в относительных единицах, анализируя результаты приращений в сотнях не в 1 балл, а в равных долях от оценки общей условно-равной позиции. В качестве таковой может быть выбрана срединная позиция каждой сотни, т.е. 50, 150, 250, 350, 450. Соответствующие значения итоговых оценок QS-2022 приведены в строках 4 (в баллах) и 5 (в отношении к показателю 5-й сотни). Можно видеть, что величина итоговой оценки при перемещении из 5-й сотни в 1-ю возрастает в 2,9 раза (строка 5). Соответственно, для участников 1-й сотни прибав-
ка 1 балла к оценке будет стоить кратно меньших усилий, что подтверждает справедливость подхода к сравнению продвижений на основе условно-равных приращений. Примем в качестве базового 10%-е приращение к итоговой оценке срединной позиции - его значения для различных сотен приведены в строке 6. Соответствующие им значе-
ния продвижения в рейтинге, рассчитанные по характеристике чувствительности (строка 2) представлены в строках 7 (позиции) и 8 (в отношении к показателю 1-й сотни). Можно видеть, что при условно-равном приращении рейтинговой оценки продвижение в рейтинге оказывается для 5-й сотни троекратно большим, чем для 1-й сотни.
Таблица 3. Показатели чувствительности шкалы рейтинга к изменению его итоговой оценки (составлено авторами)
№ п/п Показатель Значения показателя
1 Сотня рейтинга 1 2 3 4 5
2 Продвижение в рейтинге при увеличении итоговой оценки на 1 балл, позиций 2,6 6,3 11,2 15,6 23,8
3 То же самое, отн. ед. 1,0 2,4 4,3 6,0 9,2
4 Итоговая оценка средней позиции, баллы 75,6 50,4 38,6 31,3 25,9
5 То же самое, отн. ед. 2,9 1,9 1,5 1,2 1,0
6 Прирост показателя строки 4 на 10%, баллы 7,6 5,0 3,9 3,1 2,6
7 Продвижение в рейтинге при 10%-ном приросте итоговой оценки, позиций 19,7 31,8 43,2 48,8 61,6
8 То же самое, отн. ед. 1,0 1,6 2,2 2,5 3,1
На практике это означает, что 10%-е приращение итоговой оценки способно гарантированно перевести участника рейтинга со срединной позиции 5-й сотни (450) в 4-ю сотню, т.к. соответствующее продвижение в рейтинге (61,6 позиций) превышает 50. В 4-й сотне аналогичное приращение гарантирует переход в локальный топ-3 - с 350-й на 301-302 позиции. В 3-й и 2-й сотнях обеспечивает вхождение в локальные топ-10 и топ-20 (с 250 на 207 и со 150 на 118-119 позиции соответственно). В 1-й же сотне условно-равное приращение итоговой оценки позволяет продвинуться с 50-й на 30-31 позиции, не обеспечивая вхождения даже в топ-25. Отмеченные закономерности необходимо учитывать при оценке показателей динамики университетов в ОБ-рейтинге, т.е. анализ продвижения по позициям должен дополняться рассмотрением сопутствующего изменения итоговой рейтинговой оценки. При углубленном же подходе необходимо рассматривать также изменения составляющих итоговой рейтинговой оценки, особое внимание при этом должно уделяться академической репутации [Антонова, 1].
3. Практическое применение предлагаемого метрологического подхода. Полученные в настоящей работе результаты актуальны в аспекте продвижения российских университетов в международных рейтингах. Рассмотрим в качестве примера Новосибирский национальный исследовательский университет (НГУ) - абсолютный лидер среди университетов - участников известного «Проекта 5-100». В ОБ-рейтинге 2022 г. он занял место в верхней половине 3-й сотни (246), лучшие результаты показали лишь МГУ им. Ломо-„ носова и СПбГУ (78 и 242 места) - университеты = с особым статусом, не участвовавшие в проекте. ^ НГУ включался в ОБ-рейтинг с первого года его = самостоятельного существования (2010 г.), зани-"5 мая в то время 375-ю позицию [Официальный сайт
..., 5]. Продвижение в рейтинге на рассматриваемом временном интервале составило 129 позиций при среднегодовом приросте 11 позиций/год. В первом приближении результат представляется весьма впечатляющим, расчетные показатели динамики позволяют прогнозировать подъем во 2-ю сотню рейтинга в ближайшие 5 лет. Согласно полученным в работе результатам чувствительность шкалы рейтинга для 3-й сотни составляет 11,2 позиции/балл (таблица 3, строка 2). Т.е. стабильный ежегодный подъем на 11 позиций в 3-й сотне должен обеспечиваться ростом итоговой оценки на 1 балл в год. Итоговая рейтинговая оценка 2010 г. НГУ равнялась 30,9 балла согласно [Рейтинг мировых университетов., 7], в рейтинге 2022 г. она выросла до 38,8 балла, среднегодовой прирост при этом составил 0,66 балла/год. Расчетное значение показателя оказывается в 1,5 раза меньше необходимого для обеспечения стабильного продвижения в требуемом темпе. Соответственно, сроки вхождения НГУ в топ-200 рейтинга должны быть откорректированы. Практика оценки итогов участия в международных рейтингах исключительно по динамике продвижения по позициям дала свои негативные результаты при реализации «Проекта 5-100». Так, многие участники проекта продвигались в ОБ-рейтинге даже активнее НГУ -таблица 4.
Высокие среднегодовые показатели продвижения (на 14-15 позиций/год - таблица 4, строка 4) создавали иллюзию близкой достижимости цели проекта. Однако ни один из перечисленных университетов не смог подняться выше 3-й сотни. Следует оговорить, что в таблице представлены лишь участники проекта, включавшиеся в рейтинг с первого года его самостоятельного существования (2010 г.), и именно этот рубеж выбран базовым годом для расчета показателей динамики. «Проект 5-100» реализовывался в 2013-2020 г.г.,
если в качестве отправной точки принять 2013 г., показатели окажутся даже выше табличных. При анализе динамики не учитывался нелинейный характер шкалы рейтинга, обеспечивающий значительное продвижение в нижних сотнях даже при небольшом росте итоговой оценки. Так, из табличных данных можно видеть, что стартовые позиции университетов в 2010 г. были низкими настолько, что даже не позволяли им претендовать на итоговые рейтинговые оценки (выставляются участ-
никам 5-й сотни лишь с 2019 г.). Как отмечалось выше, заметного продвижения в 5-й и 4-й сотнях рейтинга можно добиться за счет незначительного увеличения итоговой оценки, однако уже в 3-й сотне задача существенно усложняется (таблица 3, строка 2). Как следствие, несмотря на значительную бюджетную поддержку (более 80 млрд руб.), за 8 лет реализации проекта ни один из его участников не приблизился к топ-100.
Таблица 4. Показатели динамики участия в QS-рейтинге российских университетов-участников «Проекта 5-100» (выборочно) -составлено авторами на основании данных источников [Официальный сайт..., 5; Рейтинг мировых университетов..., 7].
№ п/п Показатель Значение показателя для университетов*
ТГУ НИУ ВШЭ КФУ УрФУ
1 Место в QS-2022 272 305 347 351
2 Место в QS-2013 401-425 450-500 500-550 500-550
3 Прирост на интервале 2010-2022, позиций 153 170 178 174
4 Среднегодовой прирост, позиций/год 13 14 15 15
*НИТГУ и НИУ ВШЭ - Национальные исследовательские университеты Томска и Высшая школа экономики; КФУ и УрФУ - Казанский и Уральский национальные исследовательские университеты
Для успешного продвижения университетов в ходе исполнения программы «Приоритет 2030» целесообразно применять следующий алгоритм:
- для конкретного университета определить реалистичный целевой показатель в виде желаемой позиции в рейтинге (с учетом текущего положения и его динамики за последние годы);
- по уравнению шкалы рейтинга (таблица 1) определить итоговую оценку, обеспечивающую выход на целевую позицию;
- оценить динамику итоговой оценки университета на временном интервале длиной более 7 лет (это необходимо для обеспечения приемлемой точности прогнозирования) и рассчитать с ее учетом рубеж достижения целевого показателя;
- наметить основные направления увеличения рейтинговой оценки, исходя из возможностей университета.
Рассмотрим в качестве примера НГУ с текущей позицией 246. Реалистичной задачей на краткосрочную перспективу представляется вхождение в локальный топ-25, т.е. выход на позицию 225 (25 внутри сотни). Рассчитаем по тренду уравнения шкалы для 3-й сотни (таблица 1) требуемое значение итоговой оценки:
У = -0,089*Х + 43,063 = -0,089*25 + 43,063 = = 40,8 балла
Текущая оценка НГУ - 38,8 балла, требуемый прирост оценки - 2,0 балла или 5,2%. Ранее отмечалось, что среднегодовой прирост показателя для университета составляет 0,66 балла/год. С учетом этого реалистичным представляется достижение целевого показателя за 3 года. Далее необходимо проанализировать, какие составляющие итоговой оценки наиболее целесообразно использовать для обеспечения ее роста, исходя
из текущих возможностей университета. Однако такой углубленный анализ является предметом самостоятельной работы.
Заключение. Предлагаемый в статье метрологический подход обеспечивает информационную базу процесса планирования продвижения университетов в международных рейтингах. При этом в отличие от традиционно применяемого анализа динамики занимаемых позиций предлагается учитывать также динамику рейтинговых оценок. Связь переменных «оценка-позиция» отражает аналитическое выражение уравнения шкалы рейтинга. Нелинейный характер шкалы создает в верхних сотнях рейтинга эффект резкого роста минимальных приращений оценки, обеспечивающих перемещение на вышестоящую позицию. Существенно упрощает работу со шкалой рейтинга ее кусочно-линейная аппроксимация на участках, соответствующих сотням позиций в составе топ-500. Предлагаемый авторами подход имеет реальные перспективы применения при реализации программы «Приоритет 2030». Во время работы над статьей (07.03.2022) компания <Юиас-quarelli Symonds» объявила о приостановлении взаимодействия с российскими университетами из-за событий на Украине. Однако предлагаемый авторами метрологический подход в силу своей универсальности может быть при работе с любыми другими рейтингами.
Литература
1. Антонова Н.Л., Сущенко А.Д. Академическая репутация университета как фактор лидерства на глобальном образовательном рынке. Высшее образование в России. 2020. Т. 29. № 6. С.144-152.
сз о со "О
1=1 А
—I
о
сз т; о т О от
З
и о со
u
CM
2. Бегунов А.А., Булгаков Е.И. Метрология в системе контроля. Пищевая индустрия. 2019. № 1 (39). С. 42-45.
3. Волокитина И.В., Протасьев В.В., Ну-ждин Г.А. Метрология в высшем образовании. инструмент для оценки эффективности. Справочник. Инженерный журнал с приложением. 2008. № 6 (135). С. 47-48.
4. Орлов В.В., Таточенко И.М., Таточен-ко А.Л. Статистический анализ состава участников топовых позиций мировых университетских рейтингов. Modern Science. 2022. № 1-2. С.55-61.
5. Официальный сайт Университетского рейтинга консалтингового агентства «Quacquarelli Symonds» [электронный ресурс]. Режим доступа: https://www.topuniversities.com/
6. Попова Д.И. Управление программой повышения конкурентоспособности российских университетов (Проект 5-100). Научные труды Северо-Западного института управления РАН-ХиГС. 2016. Т. 7. № 1 (23). С. 72-78.
7. Рейтинг мировых университетов QS2021. Размещено 10.06.2020 г. на портале «Интерфакс -Высшее образование в России» [электронный ресурс]. Режим доступа: https://academia.inter-fax.ru/ru/analytics/research/4809/
8. Российские вузы в мировом рейтинге QS -2021. Размещено 08.06.2021 на информационном портале «РИА-Новости» [электронный ресурс]. Режим доступа: https://na.ria.ru/20210608/ qs-global-1735239149.html
9. Тараканов А.В., Таточенко А.Л., Лебедева М.А. Статистический анализ оценок университетов, занимающих высшие позиции в ведущих мировых рейтингах. Modern Science. 2022. № 1-2. С. 71-78.
10. Четыре российских вуза поднялись на небывалую высоту. Размещено 09.06.2021 на официальном сайте издания «Коммерсантъ» [электронный ресурс]. Режим доступа: https://www. kommersant.ru/doc/4848887
11. Шайтура С.В. Метрология и ее разделы. В книге: Средства и методы выполнения измерений. Медведев Ю.Н., Замятин А.Ю., Шайтура С.В. Монография. Бургас, 2020. С. 5-17.
12. Шибанова Е.Ю., Платонова Д.П., Лисют-кин М.А. Проект 5-100: динамика и паттерны развития университетов. Университетское управление: практика и анализ. 2018. Т. 22. № 3 (115). С. 32-48.
13. 25 российских вузов - в рейтинге QS2020. Размещено 19.06.2019 на официальном сайте о высшем образовании в России для иностранных студентов «Study in Russia» [электронный ресурс]. Режим доступа: https://studyinrussia. ru/actual/news/25-rossiyskikh-vuzov-v-reytinge-qs-2020/
14. 32 российских вуза вошли в международный рейтинг QS2021. Размещено на официальном сайте Инновационного центра образования «Lancman School» [электронный ресурс].
Режим доступа: https://vuzyi.lancmanschool.ru/ poleznyie-stati/
15. Lo, W.Y.W. (2011). Soft Power, University Rankings and Knowledge Production: Distinctions between Hegemony and Self-Determination in Higher Education. Comparative Education. Vol. 47, no. 2, pp. 209-222. DOI: 10.1080/03050068.2011.554092
16. Mussard M., James A.P. Engineering the global university rankings: gold standards, limitations and implications. IEEE Access. 2018. Т. 6. С. 67656776.
17. Rodionov D., Yaluner E., Kushneva O. Drag race 5-100-2020 national program. European Journal of Science and Theology. 2015. Т. 11. № 4. С.199-212.
18. Rodionov D.G., Rudskaia I.A., Alexandrov-na K.O. How key russian universities advance to become leaders of worldwide education: problem analysis and solving. World Applied Sciences Journal. 2014. Т. 31. № 6. С. 1082-1089.
19. Tatochenko А., Tatochenko I., Chernegov N., Poletaeva L. Analysis of the potential of Russian universities due the Project 5-100 implementation. В сборнике: E3S Web of Conferences. 14. Сер. "14th International Scientific and Practical Conference "State and Prospects for the Development of Agribusiness, INTERAGROMASH 2021" 2021.
METROLOGICAL APPROACH TO THE DESCRIPTION OF THE RESULTS OF THE WORLD UNIVERSITY RANKINGS AS A TOOL FOR THE SUCCESSFUL IMPLEMENTATION OF THE "PRIORITY 2030" PROGRAM IN THE DOMESTIC HIGHER SCHOOL
Surai N.M., Tatochenko A.L., Mamaeva N.A., Polozhentseva I.V., Zyleva G.V.
Russian Economic University named after G.V. Plekhanov, Institute of Public Administration, Military Academy of Logistics named after General of the Army A.V. Khrulev, Ministry of Defense of the Russian Federation, Moscow State University of Technology and Management named after K.G. Razumovsky (PKU)
The problem and the goal. The article analyzes and formulates the problems of promoting domestic universities in international rankings within the framework of the "Priority 2030" program, which is a continuation and development of the "5-100" project in Russian higher education. Among them, the problem of the lack of an adequate approach to assessing the results of the participation of Russian universities in the world's leading rankings, in particular, in the QS-rating, stands out. This problem hindered the achievement of the project's goals. The purpose of the article is to identify and substantiate the principles and methodology of developing a metrolog-ical approach to describing the results of the rating, ensuring their adequate quantitative assessment. A rating scale in the form of an analytical dependence "final score-position in the rating" can become an appropriate tool.
The methodology of the research consists of the analysis and generalization of the data of scientific research works on selected issues carried out by foreign and domestic scientists recognized by the scientific community, as well as the reporting documentation of the consulting agency "Quacquarelli Symonds" on the results of the QS rating.
Results. Using methodological approaches of statistics, econometrics and metrology, it is shown that for the QS rating, the initial nonlinear equation of the scale with a high degree of accuracy is represented by a piecewise linear approximating dependence on the first five hundred positions. This dependence makes it possible to calculate the increment of the final score, which provides access to the target position in the rating. As a result, the equation of the scale allows for a more objective assessment of the results achieved by universities, as well as the prospects for their advancement in the ranking.
Conclusion. The metrological approach proposed in the article provides an information base for the process of planning the promotion of universities in international rankings. At the same time, in contrast to the traditionally applied analysis of the dynamics of occupied positions, it is also proposed to take into account the dynamics of rating ratings. The relationship of the "score-position" variables reflects the analytical expression of the rating scale equation. The non-linear nature of the scale creates in the top hundreds of the rating the effect of a sharp increase in the minimum increments of the assessment, ensuring a move to a higher position. The piecewise linear approximation of the rating scale in sections corresponding to hundreds of positions in the top 500 significantly simplifies the work with the rating scale. The approach proposed by the authors has real prospects for application in the implementation of the Priority 2030 program. While the authors were working on the article (07.03.2022), «Quac-quarelli Symonds» announced the suspension of cooperation with Russian universities due to the events in Ukraine. However, the metrological approach proposed by the authors, due to its universality, can be used when working with any other ratings.
Keywords; Priority 2030 program, 5-100 project, international university rating, metrological approach, final rating assessment, rating scale equation, piecewise linear approximation.
References
1. Antonova N.L., Sushchenko A.D. THE Academic reputation of the university as a factor of leadership in the global educational market. Higher education in Russia. 2020. Vol. 29. No. 6. pp. 144-152.
2. Begunov A.A., Bulgakov E.I. Metrology in the control system. Food industry. 2019. No. 1 (39). pp. 42-45.
3. Volokitina I.V., Protasyev V.V., Nuzhdin G.A. Metrology in higher education. A tool for evaluating effectiveness. Guide. Engineering magazine with an appendix. 2008. No. 6 (135). pp. 4748.
4. Orlov V.V., Tatochenko I.M., Tatochenko A.L. Statistical analysis of the composition of participants in the top positions of the world university rankings. Modern Science. 2022. No. 1-2. pp. 55-61.
5. Official website of the University rating of the consulting agency "Quacquarelli Symonds" [electronic resource]. Access mode: https://www.topuniversities.com/
6. Popova D.I. Management of the program for improving the competitiveness of russian universities (PROJECT 5-100). Scientific papers of the Northwestern Institute of Management of the RANEPA. 2016. Vol. 7. No. 1 (23). pp. 72-78.
7. Ranking of world universities QS2021. Posted on 10.06.2020 on the portal "Interfax - Higher Education in Russia" [electronic resource]. Access mode: https://academia.interfax.ru/ru/analytics/ research/4809/
8. Russian universities in the QS - 2021 world ranking. Posted on 08.06.2021 on the information portal "RIA-Novosti" [electronic resource]. Access mode: https://na.ria.ru/20210608/qs-glob-al-1735239149.html
9. Tarakanov A.V., Tatochenko A.L., Lebedeva M.A. Statistical analysis of the assessments of universities occupying the highest positions in the leading world rankings. Modern Science. 2022. No. 1-2. pp. 71-78.
10. Four Russian universities have risen to an unprecedented height. Posted on 06/09/2021 on the official website of the Kom-mersant publication [electronic resource]. Access mode: https:// www.kommersant.ru/doc/4848887
11. Shaitura S.V. Metrology and its sections. In the book: Means and methods of performing measurements. Medvedev Yu.N., Zamyatin A. Yu., Shaitura S.V. Monograph. Burgas, 2020. pp. 5-17.
12. Shibanova E. Yu., Platonova D.P., Lisyutkin M.A. Project 5-100: dynamics and patterns of university development. University management: Practice and analysis. 2018. vol. 22. No. 3 (115). pp. 32-48.
13. 25 Russian universities are in the QS2020 ranking. Posted on 06/19/2019 on the official website about higher education in Russia for foreign students "Study in Russia" [electronic resource]. Access mode: https://studyinrussia.ru/actual/ news/25-rossiyskikh-vuzov-v-reytinge-qs-2020/
14. 32 Russian universities were included in the international QS2021 rating. Posted on the official website of the Innovation Center of Education "Lancman School" [electronic resource]. Access mode: https://vuzyi.lancmanschool.ru/poleznyie-stati/
15. Lo, W.Y.W. (2011). Soft Power, University Rankings and Knowledge Production: Distinctions between Hegemony and Self-Determination in Higher Education. Comparative Education. Vol. 47, no. 2, pp. 209-222. DOI: 10.1080/03050068.2011.554092
16. Mussard M., James A.P. Engineering the global university rankings: gold standards, limitations and implications. IEEE Access. 2018. Т. 6. С. 6765-6776.
17. Rodionov D., Yaluner E., Kushneva O. DRAG RACE5-100-2020 NATIONAL PROGRAM. European Journal of Science and Theology. 2015. Т. 11. № 4. С. 199-212.
18. Rodionov D.G., Rudskaia I.A., Alexandrovna K.O. How key russian universities advance to become leaders of worldwide education: problem analysis and solving. World Applied Sciences Journal. 2014. Т. 31. № 6. С. 1082-1089.
19. Tatochenko А., Tatochenko I., Chernegov N., Poletaeva L. Analysis of the potential of Russian universities due the Project 5-100 implementation. В сборнике: E3S Web of Conferences. 14. Сер. "14th International Scientific and Practical Conference "State and Prospects for the Development of Agribusiness, IN-TERAGROMASH 2021" 2021.
