CC BY
7Метрологический подход к анализу результатов университетских рейтингов: метод опорных точек шкалы как инструмент повышения точности прогнозных оценок
Положенцева Ирина Вениаминовна,
к.э.н., профессор, ФГБОУ ВО Московский государственный университет технологий и управления имени К.Г. Разумовского (ПКУ)
Сурай Наталья Михайловна,
к.т.н., доцент, доцент базовой кафедры торговой политики, ФГБОУ ВО Российский экономический университет имени Г.В. Плеханова E-mail: natalya.mixajlovna.1979@mail.ru
Таточенко Александр Львович,
к.т.н., доцент, ЧУ ВО «Институт государственного администрирования»
Сморчкова Валентина Петровна,
доктор пед.наук, профессор кафедры педагогики и современных образовательных технологий, ГОУ ВО МО «Московский государственный областной университет»
Гордеев Игорь Анатольевич,
канд.истор.н., доцент кафедры административного и трудового права, ФГБОУ ВО «Юго-Западный государственный университет»
В статье рассматриваются вопросы оценивания результатов участия университетов в ведущих мировых рейтингах. Авторами предлагается метрологический подход, позволяющий существенно повысить точность количественных оценок. Сущность подхода заключается в анализе статистических характеристик итоговых оценок в опорных точках шкалы рейтинга, определяемой как зависимость между переменными «оценка» и «позиция в рейтинге». В качестве опорных точек предлагается использовать нижние границы квартилей внутри каждой из сотен позиций, начиная от топ-100 и до замыкающей сотни. На материалах рейтинга компании «Quacquarelli Symonds» 2010-2022 гг. показано, что оценки опорных точек подвержены слабой временной вариации и могут быть использованы для краткосрочного прогнозирования динамики продвижения университетов по позициям рейтинга. Предлагаемый подход позволяет адекватно оценивать перспективы выхода отечественных вузов на ведущие позиции мировых университетских рейтингов.
Ключевые слова: «Проект 5-100», программа «Приоритет 2030», мировые университетские рейтинги, метрологический подход, анализ динамики продвижения в рейтинге, рейтинговые оценки, шкала рейтинга, опорные точки шкалы.
о с
U см
Введение. Несмотря на изменения внешнеполитической обстановки, имевшие место после февраля 2022 г., задача повышения конкурентоспособности отечественных университетов на мировом рынке образовательных услуг остается актуальной для российской высшей школы. Ее решению был посвящен «Проект 5-100», ре-ализовывавшийся в 2013-2020 гг. Целью проекта являлось вхождение как минимум 5 российских университетов в топ-100 ведущих международных рейтингов. В проекте участвовал 21 вуз, большинство из них - в статусе федерального либо национального исследовательского университета [1]. Бюджетная поддержка проекта составила в совокупности более 80 млрд руб., несмотря на это, ни одному из участников проекта не удалось продвинуться в мировой топ-100. О значимости проекта для отечественной высшей школы свидетельствует внушительное количество посвященных ему научных работ - [2], [3] и др. Инициированная в 2021 г. программа «Приоритет 2030», являющаяся продолжением и развитием «Проекта 5-100», направлена прежде всего на повышение роли отечественных университетов в обеспечении научно-исследовательской составляющей национальной экономики [4]. Однако для достижения этой цели им необходимо успешно интегрироваться в мировое образовательное сообщество. При этом критерием успеха является достойное представительство в «большой тройке» мировых университетских рейтингов - ARWU (Шанхайский рейтинг), THE (рейтинг «Таймс») и QS (рейтинг компании «Quacquarelli Symonds»). В ряде работ показано, что наиболее успешно отечественные университеты продвигаются в QS-рейтинге, у которого методологический подход достаточно близок к используемому ведущим отечественным рейтинговым агентством «Эксперт РА» [5], [6]. Соответственно, дальнейший анализ будет проводиться с ориентацией именно на этот рейтинг. При реализации «Проекта 5-100» отмечалось как устойчивое увеличение общего присутствия российских вузов в рейтинге (в QS-2021, составленном по итогам 2020 г., их число достигло 35, а в QS-2022-48), так и впечатляющее продвижение большинства из них вверх. Так, НИУ (Национальный исследовательский университет) Томска, занимавший в 2013 г. позицию 551-600, к 2021 г. переместился на 250 место, а НИУ ВШЭ (Высшая школа экономики) за то же самое время - с 501550 на 298 и т.д. Эти успехи неоднократно отмечались как в средствах информации, так и в матери-
алах официального сайта «Проекта 5-100». Однако, несмотря на определенные успехи, изначально поставленные цели все же не были достигнуты, о чем прямо говорится в отчете Счетной палаты РФ по итогам исполнения «Проекта 5-100» [7]. Все это указывает на необходимость совершенствования методов анализа результатов мировых университетских рейтингов для получения более объективной информации о степени достижения поставленных целей.
Проблематика и постановка задачи исследования. Авторы работы предполагают, что невыполнение целевых показателей «Проекта 5-100» в определенной степени связано с отсутствием адекватного количественного подхода к анализу динамики продвижения университетов в рейтинге. Так, при оценке итогов участия в рейтинге практически всегда учитывались лишь занимаемые российскими вузами позиции, а выставляемым им рейтинговым оценкам не уделялось должного внимания. Вместе с тем, серьезный анализ немыслим без рассмотрения соответствующих местам рейтинговых оценок, тем более, что у каждого рейтинга система их формирования индивидуальна. Вопросам объективности и адекватности рейтинговых оценок посвящено значительное количество работ - [8], [9] и др. В русле общемирового
методического подхода места в QS-рейтинге распределяются на основании итоговых оценок. Составители рейтинга обоснованно утверждают, что имеет место очень тесная связь «оценка - место в рейтинге» - коэффициент корреляции показателей практически равен единице. При этом итоговые оценки, рассчитываемые как средневзвешенное 6 составляющих (репутация в академическом сообществе и у работодателей, обеспеченность профессорско- преподавательскими кадрами, индекс цитирования научных работ, численность иностранных преподавателей и студентов), получают только лучшие 500 университетов. Справоч-но: QS-2022 включает 1300 университетов, т.е. итоговые оценки в нем получили лишь 38% участников; из 48 российских вузов в составе рейтинга лишь 17 (35%) смогли войти в топ-500. Таким образом, на основании объективного количественного подхода распределяются лишь первые 500 мест в рейтинге. Поэтому показатели динамики продвижения на позициях 501-1300 и в топ-500 могут существенно различаться. В качестве примера рассмотрим результаты участия в QS-рейтинге отечественных университетов на отрезке 2013-2022 гг., т.е. от момента инициации «Проекта 5-100» и до последнего опубликованного на момент написания статьи рейтинга - таблица 1.
Таблица 1. Российские университеты, входившие в топ-500 QS-рейтинга в 2013-2022 гг.
№ п/п Университет* Участие в «5-100» Позиция в рейтинге, годы ПР**, поз. СГПР***, поз./год
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
1 МГУ - 116 120 114 108 108 95 90 84 74 78 38 4,2
2 СПбГУ - 253 240 233 256 258 240 235 234 225 242 11 1,2
3 НГУ + 371 352 328 317 291 250 244 231 228 246 125 13,9
4 ТГУ + 551600 551600 491500 484 377 323 277 268 250 272 278 30,9
5 МГТУ - 352 334 322 338 306 291 299 284 282 281 71 7,9
6 МФТИ + — 441450 411420 436 350 355 312 302 281 290 155 19,4
7 НИУ ВШЭ + 501550 501550 501550 507 411420 382 343 322 298 305 220 24,4
8 РУДН + 501550 491500 471480 636 601650 501550 446 392 326 317 208 23,1
9 МИФИ + — — 481490 515 401410 373 329 329 314 319 166 23,7
10 КФУ + 601 + 601650 551600 574 501550 441450 439 392 370 347 353 39,2
11 УрФУ + 451500 501550 551600 621 601650 491500 412 364 331 351 124 13,8
12 МГИМО - 367 386 399 397 350 373 355 366 348 362 5 0,6
13 ИТМО + 601650 511520 436 360 365 260 65,0
14 СПбПУ + — 451460 481490 476 411420 411420 401410 404 439 401 62 7,8
15 ТПУ + 601 + 551600 501550 488 400 400 386 373 387 401 305 33,9
№ п/п Университет* Участие в «5-100» Позиция в рейтинге, годы ПР**, поз. СГПР***, поз./год
2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
16 ДВФУ + 601 + 701 + 701 + 695 551600 551600 601650 541550 531540 461 239 26,6
17 МИСИС + — — 701 + 703 601650 601650 501550 476 451 487 313 44,7
ТУ - государственный университет: МГУ - Московский им. М.В. Ломоносова, СПбГУ - Санкт-Петербургский, НГУ - Новосибирский, ТГУ - Томский; ФУ - Федеральный университет: КФУ - Казанский (Приволжский), УрФУ - Уральский им. Б.Н. Ельцина, ДВ-ФУ - Дальневосточный; МГТУ - Московский государственный технический университет им. Н.Э. Баумана, МФТИ - Московский инженерно-физический институт, НИУ ВШЭ - Национальный исследовательский университет Высшая школа Экономики, РУДН -Российский университет дружбы народов, МИФИ - Московский инженерно-физический институт, МГИМО - Московский государственный институт международных отношений, ИТМО - Институт точной механики и оптики, СПбПУ - Санкт-Петербургский политехнический университет, ТПУ - Томский политехнический университет, МИСИС-Московский институт стали и сплавов;
** ПР - абсолютный прирост позиции университета в рейтинге в 2013-2022 г., позиций;
*** СГПР - среднегодовой прирост позиции университета в рейтинге в 2013-2022 г., позиций/год.
В таблицу включены только участники топ-500,
которыми были получены итоговые оценки. Табличные материалы позволяют заключить следующее:
1. В первую сотню рейтинга смог продвинуться только 1 университет - МГУ им. М.В. Ломоносова, не являющийся участником проекта «5100» (строка 1). На старте проекта он находился во 2-й сотне, в топ-100 входит с 2018 г. Вторая сотня рейтинга оказалась недоступной для отечественных университетов, в 3-й сотне их количество за время реализации проекта «5-100» увеличилось с 4 до 5 (строки 2-6). При этом 3 университета-участника проекта занимают долю 60% представительства в 3-й сотне. Число университетов в 4-й сотне рейтинга выросло с 5 до 7, из них 6 - участники проекта «5-100» (86%). В состав 5-й сотни вошли 4 университета, все они являются участниками «5100», причем на старте проекта в топ-500 входили только 2 из них (строки 14-17).
2. За время реализации проекта «5-100» число отечественных университетов в топ-500 рейтинга увеличилось с 12 до 17, т.е. в 1,4 раза. При этом все 5 вузов, вошедшие в топ-500 в 2014-2022 гг. - участники проекта «5-100». Доля участников проекта в топ-500 составляет 76% (13 из 17). Университеты, не участвующие в проекте, не увеличили своего представительства в топ-500, их число осталось постоянным -4 (строки 1, 2, 5, 12). Т.е. несмотря на то, что изначально поставленные цели проекта «5-100» не были достигнуты, его реализация стимулировала продвижение российских университетов в ведущих мировых рейтингах.
3. Показатели динамики продвижения университетов в рейтинге - приросты позиций как абсолютные, так и среднегодовые - имеют более высокие значения в низших сотнях рейтинга (столбцы 13 и 14). Так, МГУ (1-я сотня рейтинга, строка 1) поднимался в среднем на 4,2 позиции/год. В то же время 5 университетов 3-й сотни в среднем продвигались вверх на 14,7
позиций/год (строки 2-6), а в 4-й и 5-й сотнях значение показателя увеличивается до значений 27,1 и 28,2 позиций/год (строки 7-13 и 1417 соответственно). Отмеченная ситуация отражает общее правило восхождения по «лестнице успеха»: усилия по преодолению каждой очередной ступени кратно возрастают по мере продвижения вверх. Верно и обратное правило - первые шаги по «лестнице успеха» даются относительно легко и не требуют напряжения ресурсов организма (биологического, хозяйственного, экономического и пр.). В контексте продвижения в рейтинге это означает, что для университетов, находящихся на низших позициях, для улучшения своего положения бывает достаточно улучшить одну из составляющих итоговой оценки. Например, привлечь дополнительный контингент студентов-иностранцев, усилить публикационную активность и пр. Напротив, в топ-500 для достижения успеха необходимо улучшать показатели сразу по нескольким компонентам итоговой оценки, а в топ-100 - по всем компонентам без исключения. Вследствие этого показатели динамики в группе 500+, не имеющей итоговых оценок, ожидаемо оказываются существенно выше, чем в 5-й сотне рейтинга, однако формат настоящей работы не позволяет провести результаты анализа в полном объеме. Задача исследования - разработка аналитического инструментария для адекватной оценки как текущего положения университетов в рейтинге, так и динамики их местоположения. При этом должны учитываться возможные различия в сложности продвижения в топовых, срединных и замыкающих позициях. Иными словами, речь идет о разработке метрологического подхода к оценке результатов рейтинга, опирающегося на объективные количественные данные в форме итоговых оценок. Такой подход обеспечит возможность реалистичного планирования продвижения университетов в рейтинге на основе процессов прогнозирования.
Информационная база и методология исследования. Как отмечалось, объектом исследования является университетский рейтинг компании «Quacquarelli ЗутопйБ». На официальном сайте компании в открытом доступе размещаются результаты рейтинга прошлых лет, при этом начиная с 2018 г. публикуются полные данные, включая информацию по итоговым оценкам и по всем их 6 составляющим, а ранее указанной даты - лишь по занимаемым участниками рейтинга местам. Начиная с 2020 г. компания размещает итоговые таблицы в формате Ехсе11, что существенно облегчает обработку данных. Материалы сайта [10] послужили информационной базой исследования. Как было показано выше, сложность продвижения в рейтинге возрастает при переходе к более высоким позициям, поэтому базой анализа показателей динамики должны выступать не просто позиции рейтинга, но также - соответствующие им итоговые оценки. При этом для описания продвижения университета в рейтинге можно использовать 2 подхода: 1) на основе шкалы рейтинга в виде аналитической зависимости «итоговая оценка в баллах - позиция в рейтинге»; 2) на основе опорных точек на шкале рейтинга.
Таблица 2. К уравнению шкалы рейтинга QS-2022 -по результатам работы [11]
№ п/п Места рейтинга Аппроксимирующая зависимость для уравнения шкалы (У - итоговая оценка, баллы; Х - позиция в сотне/полусотне) Максимальная погрешность аппроксима-ции,%
1 1-50 (1-я сотня) У = -0,481*Х + 98,655 2,3
2 51-100 (1-я сотня) У = -0,288*Х + 73,874 2,5
3 101-200 (2-я сотня) У = -0,160*Х + 59,124 2,5
4 201-300 (3-я сотня) У = -0,089*Х + 43,063 2,1
5 301-400 (4-я сотня) У = -0,064*Х +34,454 1,0
6 401-500 (5-я сотня) У = -0,042*Х +28,053 0,5
Первый подход описывается в работе [11]: предлагается исходное нелинейное параболи-
ческое уравнение шкалы заменить кусочно-линейными аппроксимирующими зависимостями в 5 первых сотнях рейтинга. При этом для обеспечения погрешности аппроксимации менее 3% для 1-й сотни необходимо применить 2 аппроксимирующих зависимости - на позициях 1-50 и 51-100, для прочих сотен приемлемая точность обеспечивается одной зависимостью - табл. 2
Недостатком подхода является необходимость построения индивидуального уравнения шкалы для каждого нового рейтинга - осреднение результатов по нескольким годам существенно понижает точность расчетов и приводит к необходимости увеличения числа аппроксимирующих зависимостей в каждой сотне для поддержания допустимой погрешности.
Второй подход предполагает расчет значений итоговых оценок для специально выбранных опорных точек уравнения шкалы. Таковыми могут выступать квартили по сотням рейтинга, т.е. позиции 25, 50, 75 и 100. Условно к квартилям могут быть отнесены четверти участников каждой сотни: 1 - сильнейшая (1-25), 2 - продвинутая (26-50), 3 - отстающая (51-75), 4 - слабейшая (76-100). Итоговые рейтинговые оценки, соответствующие границам квартилей, могут быть вычислены на основании статистических данных QS-рейтинга разных лет. Зная оценки для опорных точек шкалы, можно реалистично определить перспективы продвижения конкретного университета вверх по позициям рейтинга (в локальный топ - 1-й квартиль текущей сотни, в вышестоящую сотню и пр.), исходя из текущей итоговой оценки и ее динамики. Очевидно, что итоговые оценки, соответствующие опорным точкам, подвержены вариации по годам, поэтому для них необходимо вычислять набор статистических характеристик, и на их основании получать соответствующие интервальные оценки (в виде доверительных интервалов). По мнению авторов, такой методический подход способен существенно увеличить точность прогнозирования динамики продвижения университетов по позициям рейтинга.
Результаты исследования и их обсуждение. На официальном сайте компании «Quacquarelli Symonds» размещены данные о результатах QS-рейтинга за 2018-2022 гг., на их основе произведем необходимые расчеты - соответствующие данные представлены в таблице 3.
сз о со "О
Таблица 3. Опорные точки шкалы QS-рейтинга в 2018-2022 гг. - границы квартилей сотен
№ п/п Позиция рейтинга Год - Итоговая рейтинговая оценка позиции, баллы Статистические показатели рейтинговой оценки*
2018 2019 2020 2021 2022 МО, баллы СКО, баллы СУ,% ДИверхн., баллы ДИнижн., баллы
1 25 85,6 84,3 83,8 82,7 85,9 84,5 1,3 1,6 86,1 83,1
2 50 78 75,1 74,2 73,6 75,8 75,3 1,7 2,3 77,5 73,6
3 75 69,1 64,8 65,9 65,8 66,2 66,4 1,6 2,4 68,4 64,7
4 100 64,6 59,5 59,9 58,8 59,6 60,5 2,3 3,9 63,4 58,1
5 125 58,4 54,4 54,0 53,7 55,3 55,2 1,9 3,5 57,5 53,3
2П А
—I О
сз т; о т О от
З
и о со
№ п/п Позиция рейтинга Год - Итоговая рейтинговая оценка позиции, баллы Статистические показатели рейтинговой оценки*
2018 2019 2020 2021 2022 МО, баллы СКО, баллы СТ% ДИверхн., баллы ДИнижн., баллы
6 150 54,3 49,5 50,3 50,3 50,5 51,0 1,9 3,7 53,3 49,1
7 175 50,3 46,4 46,8 45,8 46,8 47,2 1,8 3,7 49,4 45,5
8 200 47,9 43,9 44,0 42,8 44,1 44,5 2,0 4,4 47,0 42,6
9 225 44,0 40,9 40,4 39,9 40,4 41,1 1,6 4,0 43,2 39,5
10 250 41,3 38,0 37,7 37,7 38,6 38,7 1,5 3,9 40,5 37,1
11 275 39,4 35,9 35,9 35,5 36,5 36,6 1,6 4,3 38,6 35,1
12 300 37,7 34,5 34,5 34,3 34,7 35,1 1,4 4,1 36,9 33,7
13 325 35,6 32,5 33,0 32,1 32,9 33,2 1,4 4,1 34,9 31,8
14 350 33,8 31,1 31,1 30,9 31,4 31,7 1,2 3,8 33,2 30,5
15 375 32,5 29,3 29,2 29,1 29,6 29,9 1,4 4,8 31,7 28,5
16 400 30,5 28,2 28,2 28,1 28,0 28,6 1,1 3,7 29,9 27,5
17 425 29,1 27,0 27,2 26,9 27,1 27,5 0,9 3,4 28,6 26,5
18 450 28,1 25,7 25,7 25,7 25,9 26,2 1,1 4,0 27,5 25,2
19 475 26,5 24,8 25,0 25,0 25,0 25,3 0,7 2,8 26,1 24,6
20 500 25,3 23,5 24,2 23,9 24,1 24,2 0,7 2,8 25,0 23,5
*МО - математическое ожидание, СКО - среднеквадратическое отклонение, ^ - коэффициент вариации, ДИверхн., ДИнижн. верхняя и нижняя границы доверительного интервала для доверительной вероятности 0,95
Таблица содержит 20 строк - по 4 строки на каждую из первых 5 сотен рейтинга. Для каждой опорной точки рассчитаны математическое ожидание (МО - столбец 7), среднеквадратическое отклонение (СКО - столбец 8), коэффициент вариации (^ - столбец 9), а также верхняя и нижняя границы доверительного интервала при доверительной вероятности 0,95 (ДИверхн. и ДИнижн. -столбцы 10 и 11 соответственно). Итоговая оценка 1-й позиции рейтинга во все годы равна 100 баллам при нулевых значениях СКО и соответственно, она является не интервальной, а точечной и в таблицу не включается. Табличные данные позволяют сделать следующие выводы:
1. Колеблемость оценок всех опорных точек шкалы рейтинга низка, поскольку коэффициент вариации признака существенно меньше 10% (столбец 9).
2. Как следствие, ширина доверительного интервала средних значений оценок невелика (столбцы 10-11). Максимальное абсолютное значение показателя достигается в 4-м квартиле 1-й сотни - 5,3 балла (строка 4), что в относительных единицах составляет 8,8% от МО соответствующей итоговой оценки. Наибольшее значение в относительных единицах ширина доверительного интервала принимает в 3-м квартиле 4-й сотни - 10,7% от МО соответствующей итоговой оценки (строка 15). Во всех опорных точках шкалы оценки 2022 г. (столбец 6) оказываются ниже, чем в 2018 г. (столбец 2), за исключением 1-го квартиля 1-й сотни (строка 1). Известно, что число участников рейтинга ежегодно увеличивается. В связи с этим актуальным становится анализ возможного тренда
снижения итоговых рейтинговых оценок по ме ре увеличения числа его участников.
1..........]...........!...........
у1 = -ОДх + 286,46 уЗ = |о,48х +1036
= 0,2196
у2 - 0,59х + 1267,1 у4 = -1,07х + 2221,9
Я2 = 0,2982 —(Й-=-СЫ»2з6—
2017,5 2018 2018,5 2019 2019,5 2020 2020,5 2021 2021,5 2022 2022,5
Ряд1
Ряд2
РядЗ
Линейная(РядЗ)
Линейная (Ряд1)-"-.....Линейная (Ряд2)
Линейная(Ряд4)
Рис. 1. Проверка наличия трендов к снижению итоговых оценок в опорных точках уравнения шкалы по квартилям 1-й сотни рейтинга ^ - итоговая оценка нижней границы нго квартиля, Х - год)
Рис. 2. Проверка наличия трендов к снижению итоговых оценок в опорных точках уравнения шкалы по квартилям 5-й сотни рейтинга ^ - итоговая оценка нижней границы нго квартиля, Х - год)
Мастер диаграмм Ехсе11 позволяет построить временные диаграммы для итоговых оценок в опорных точках шкалы рейтинга и проверить наличие тренда к их снижению. Соответствующие иллюстративные материалы для 1-й и 5-й сотен рейтинга приведены на рис. 1 и 2. Временные диаграммы приводятся выборочно ввиду их выраженной однотипности. Уравнения трендов для границ сотен рейтинга (выборочное представление, как и для временных диаграмм) представлены в таблице 4.
Таблица 4. Уравнения трендов для итоговых оценок границ первых 5 сотен QS-рейтинга 2018-2022 гг.
№ п/п Позиция в рейтинге Уравнение тренда (У-итоговая оценка, баллы; Х - год) Коэффициент детерминации, отн. ед.
1 100 У = -1,07*Х + 2221,9 0,524
2 200 У = -0,87*Х + 1801,9 0,498
3 300 У = -0,62*Х + 1287,5 0,465
4 400 У = -0,51*Х + 1058,8 0,573
5 500 У = -0,20*Х + 428,2 0,222
Анализ временных диаграмм показывает, что тенденция к снижению итоговых оценок под-
тверждается, однако все выявленные линейные тренды характеризуются недостаточно высокими коэффициентами детерминации. Так, значения показателя не превосходят величины 0,57 (4-я сотня, 4-й квартиль), в то время как расчеты по линейным трендам с приемлемой точностью возможны при коэффициентах детерминации выше 0,8. Кроме того, трендовые зависимости для каждой опорной точки получены по 5 наблюдениям (2018-2022 гг.), в то время как в эконометриче-ской практике допустимым минимумом считается 7 наблюдений. К сожалению, авторам не удалось найти полных данных о результатах QS-рейтинга за 2013-2017 гг., с помощью которых можно было бы существенно повысить точность анализа.
Для проверки полученной информации обратимся к данным источника [12], приводящего данные о результатах QS-рейтинга в 2010-2012 гг. (2010 - год первой самостоятельной публикации рейтинга). Проведем статистические расчеты, аналогичные проводившимся для временного интервала 2018-2022 гг. (таблица 3). В 2011-2012 гг. итоговые оценки в 5-й сотне рейтинга не выставлялись, в связи с этим расчеты проведены по 4-м первым сотням, результаты расчетов представлены в таблице 5.
Таблица 5. Опорные точки шкалы QS-рейтинга в 2010-2012 гг. - границы квартилей сотен
№ п/п Позиция рейтинга Год - Итоговая рейтинговая оценка позиции, баллы Статистические показатели рейтинговой оценки*
2010 2011 2012 МО, баллы СКО, баллы СУ,% ДИверхн., баллы ДИнижн., баллы
1 25 85,9 85,9 87,2 86,3 0,8 0,9 88,2 84,5
2 50 76,1 74,9 76,8 75,9 1,0 1,3 78,3 73,5
3 75 69,6 68,7 70,5 69,6 0,9 1,3 71,8 67,4
4 100 64,2 64,5 65,9 64,9 0,9 1,4 67,1 62,6
5 125 59 57,8 59,9 58,9 1,1 1,8 61,5 56,3
6 150 53,7 53,8 55,3 57,6 6,7 1,7 56,5 52,0
7 175 51,1 50,3 52,1 51,2 0,9 1,8 53,4 48,9
8 200 47,5 47,1 49,1 47,9 1,1 2,2 50,5 45,3
9 225 44,4 44,2 46,3 45,0 1,2 2,6 47,8 42,1
10 250 41,9 41,2 42,2 41,8 0,5 1,2 43,0 40,5
11 275 39,1 39,4 40,4 39,6 0,7 1,7 41,3 37,9
12 300 37,2 37,2 38,9 37,8 1,0 2,6 40,2 35,3
13 325 34,9 34,9 36 35,3 0,6 1,8 36,8 33,7
14 350 32,7 32,7 34,3 33,2 0,9 2,8 35,5 30,9
15 375 30,9 30,9 32,8 31,5 1,1 3,5 34,3 28,8
16 400 28,8 29,2 31,3 29,8 1,3 4,5 33,1 26,4
сз о со "О
1=1 А
—I
о
сз т; о
т О
от
З
и о со
*МО - математическое ожидание, СКО - среднеквадратическое отклонение, ^ - коэффициент вариации, ДИверхн., ДИнижн. ■ верхняя и нижняя границы доверительного интервала для доверительной вероятности 0,95
Построение временных диаграмм не производилось ввиду малого числа наблюдений. Из табличных данных видно, что по уровню колеблемости статистические показатели 20102012 гг. (столбец 7) и 2018-2022 гг. практиче-
ски идентичны. Величина же интервальных оценок для опорных точек шкалы в раннем периоде (столбцы 8, 9) несколько выше, что подтверждает гипотезу о наличии нисходящего тренда «итоговая оценка-год» (см. табл. 4), связанного
с ежегодным ростом числа включаемых в рейтинг университетов. Таким образом, допустимо предположение, что рассчитанные для 20182022 гг. значения оценок опорных точек шкалы рейтинга в среднесрочной перспективе не будут увеличиваться. С учетом этого, на их основе можно планировать ближайшие цели по продвижению отечественных университетов в рей-
тинге и прогнозировать количественные показатели, обеспечивающие достижение поставленных целей.
Рассмотрим в качестве примера отечественные вузы, находящиеся в 3-й сотне QS-2022. Их пять, они занимают позиции от 242 до 290 с итоговыми оценками от 39,2 до 35,1 балла - таблица 6, столбцы 2,3.
Таблица 6. Ближайшие цели российских университетов в QS-рейтинге и условия их достижения
№ п/п Университет* Место в (^-2022 Итоговая оценка в С^-2022, баллы Ближайшая цель Границы итоговой оценки для достижения цели, баллы Необходимое увеличение итоговой оценки
Максимум Минимум баллы %
1 СПбГУ 242 39,2 1-й квартиль 3-й сотни 43,2 39,5 4 10,2
2 НГУ 246 38,8 1-й квартиль 3-й сотни 43,2 39,5 4,4 11,3
3 ТГУ 272 36,6 2-й квартиль 3-й сотни 40,5 37,1 3,9 10,7
4 МГТУ им. Баумана 281 36,2 3-й квартиль 3-й сотни 38,6 35,1 2,4 6,6
5 МФТИ 290 35,1 3-й квартиль 3-й сотни 38,6 35,1 3,5 10,0
6 НИУ ВШЭ 305 34,1 4-й квартиль 3-й сотни 36,9 33,7 2,8 8,2
7 РУДН 317 33,4 4-й квартиль 3-й сотни 36,9 33,7 3,5 10,5
8 МИФИ 319 33,1 4-й квартиль 3-й сотни 36,9 33,7 3,8 11,5
9 КФУ 347 31,4 1-й квартиль 4-й сотни 34,9 31,8 3,5 11,1
10 УрФУ 351 31,3 1-й квартиль 4-й сотни 34,9 31,8 3,6 11,5
11 МГИМО 362 30,8 2-й квартиль 4-й сотни 33,2 30,5 2,4 7,8
12 ИТМО 365 30,5 2-й квартиль 4-й сотни 33,2 30,5 2,7 8,9
13 СПбПУ 401 28,4 3-й квартиль 4-й сотни 31,7 28,5 3,3 11,6
14 ТПУ 401 28,3 3-й квартиль 4-й сотни 31,7 28,5 3,4 12,0
15 ДВФУ 461 25,4 2-й квартиль 5-й сотни 27,5 25,2 2,1 8,3
16 МИСИС 487 24,4 3-й квартиль 5-й сотни 26,1 24,6 1,7 7,0
*ГУ - государственный университет: СПбГУ - Санкт-Петербургский, НГУ - Новосибирский, ТГУ- Томский; ФУ - Федеральный университет: КФУ - Казанский (Приволжский), УрФУ - Уральский им. Б.Н. Ельцина, ДВФУ - Дальневосточный; МГТУ - Московский государственный технический университет им. Н.Э. Баумана, МФТИ - Московский инженерно-физический институт, НИУ ВШЭ -Национальный исследовательский университет Высшая школа Экономики, РУДН - Российский университет дружбы народов, МИФИ - Московский инженерно-физический институт, МГИМО - Московский государственный институт международных отношений, ИТМО - Институт точной механики и оптики, СПбПУ - Санкт-Петербургский политехнический университет, ТПУ - Томский политехнический университет, МИСИС-Московский институт стали и сплавов
Можно видеть в таблице 6, что в локальный топ-25 (1-й квартиль - сильнейшую группу) ни один из участников 3-й сотни не входит, соответственно, перспективы перехода во 2-ю сотню рассматривать преждевременно. В качестве ближайшей цели для каждого университета можно задать переход в вышестоящий квартиль текущей сотни - столбец 4. Условия вхождения в квартили задаются границами доверительного интервала для соответствующих опорных точек шкалы (таблица 3, строки 9-12), Данные границы для каждого университета перенесены в столбцы 5 и 6 таблицы 6, для гарантированного вхождения в целевой квартиль необходимо обеспечить итоговую оценку, соответствующую верхней границе. Разница целевой и фактической оценок представлена в столбцах 7 и 8 - в абсолютном (баллы) и относительном (процентная доля от фактической оценки)
выражении. Из табличных данных можно видеть, что для достижения ближайших целей достаточно обеспечить увеличения итоговых оценок 2022 г. на 10-11%, что представляется задачей вполне реалистичной Аналогичным образом проведем расчеты для университетов 4-й (строки 6-12) и 5-й сотен рейтинга (строки 13-16). Заметим, что для политехнических университетов Санкт-Петербурга и Томска (строки 13, 14), занимающих условно-равные позиции 401, актуален переход не просто в 4-ю сотню, но сразу в ее 3-й квартиль, т.е. на 26 позиций вверх. Результаты расчетов подтверждают предположение, что увеличения итоговой оценки на 10-12% достаточно для достижения ближайших целей продвижения в рейтинге. Для МГУ им. М.В. Ломоносова расчеты не проводились, т.к. он уверенно закрепился в составе топ-100, что уже является существенным успехом.
Выводы. Предложенная методика расчета оценок опорных точек шкалы позволяет реалистично определять основные количественные показатели процесса продвижения университетов в QS-рейтинге. Как результат, появляется возможность более точно прогнозировать динамику рейтинговой позиции с учетом изменений итоговой оценки. На следующем этапе исследования представляется актуальным анализ возможных путей увеличения итоговых рейтинговых оценок российских университетов, т.е. какие из составляющих оценки необходимо улучшать в первоочередном порядке для скорейшего получения результата. Проработку данного вопроса целесообразно провести в рамках самостоятельного исследования. Заметим, что к моменту завершения настоящей работы компания «Quacquarelli Symonds» исключила российские и белорусские университеты из своего рейтинга, руководствуясь сомнительными политическими мотивами. Тем не менее, разработанный аналитический аппарат может быть применен для анализа результатов любого рейтинга, например. Шанхайского, из которого отечественные университеты гарантированно не будут исключены.
Литература
1. Официальный сайт Проекта по повышению конкурентоспособности ведущих российских университетов среди ведущих мировых научно-образовательных центров [электронный ресурс] Режим доступа: https://www.5top100.ru/
2. Rodionov D., Yaluner E., Kushneva O. DRAG RACE5-100-2020 NATIONAL PROGRAM. European Journal of Science and Theology. 2015. Т. 11. № 4. С. 199-212.
3. Rodionov D.G., Rudskaia I.A., Alexandrovna K.O. HOW KEY RUSSIAN UNIVERSITIES ADVANCE TO BECOME LEADERS OF WORLDWIDE EDUCATION: PROBLEM ANALYSIS AND SOLVING. World Applied Sciences Journal. 2014. Т. 31. № 6. С.1082-1089.
4. Распоряжение Правительства РФ от 31.12.2020 № 3697-Р «О реализации программы стратегического академического лидерства «Приоритет 2030»
5. Tatochenko А., Tatochenko I., Chernegov N., Poletaeva L. Analysis of the potential of Russian universities due the Project 5-100 implementation. В сборнике: E3S Web of Conferences. 14. Сер. "14th International Scientific and Practical Conference "State and Prospects for the Development of Agribusiness, INTERAGROMASH 2021" 2021.
6. Мировой vs национальный. На каких позициях вузы - лидеры рейтинга RAEX в списке QS-2022. Размещено 10.06.2021 на информационно-аналитическом портале «Skillbox-Образование» [электронный ресурс]. Режим доступа: https:// skillbox.ru/media/education/
7. Отчет Счетной палаты РФ о результатах экспертно-аналитического мероприятия «Анализ эффективности мер государственной
поддержки российских университетов, направленных на повышение их конкурентоспособности среди ведущих мировых научно-образовательных центров». Бюллетень Счетной палаты РФ Университеты. № 2 (279) 2021. 172 с.
8. Mussard M., James A.P. ENGINEERING THE GLOBAL UNIVERSITY RANKINGS: GOLD STANDARDS, LIMITATIONS AND IMPLICATIONS. IEEE Access. 2018. Т. 6. С. 6765-6776.
9. Lo, W.Y.W. (2011). Soft Power, University Rankings and Knowledge Production: Distinctions between Hegemony and Self-Determination in Higher Education. Comparative Education. Vol. 47, no. 2, pp. 209-222. DOI: 10.1080/03050068.2011.554092
10. Официальный сайт компании «Quacquarelli Symonds» [электронный ресурс] Режим доступа: https://www.qs.com/rankings/
11. Сурай Н.М., Таточенко А.Л., Мамаева Н.А., Положенцева И.В., Зылева Г.В. Метрологический подход к описанию результатов мировых университетских рейтингов как инструмент успешной реализации программы «Приоритет 2030» в отечественной высшей школе. Современное педагогическое образование. 2022. № 4. С.
12. QS2010-2012: Рейтинг лучших университетов мира. Размещено на официальном сайте Швейцарского консалтингового центра «Me-delle S.A.» [электронный ресурс] Режим доступа: https://www.education-medelle.com/articles/ qs-2012-rejting-luchschikh-universitetov-mira.html
METROLOGICAL APPROACH TO THE ANALYSIS OF THE RESULTS OF UNIVERSITY RANKINGS: THE METHOD OF SCALE REFERENCE POINTS AS A TOOL FOR IMPROVING THE ACCURACY OF PREDICTIVE ASSESSMENTS
Polozhentseva I.V., Surai N.M., Tatochenko A.L., Smorchkova V.P., Gordeev I.A.
Moscow State University of Technology and Management named after K.G. Razumovsky (PKU), Russian University of Economics named after G.V. Plekhanov, Institute of Public Administration, Moscow State Regional University, Southwestern State University"
The article deals with the issues of evaluating the results of the participation of universities in the world's leading rankings. The authors propose a metrological approach that can significantly improve the accuracy of quantitative estimates. The essence of the approach lies in the analysis of the statistical characteristics of the final ratings at the reference points of the rating scale, defined as the relationship between the variables "score" and "position in the rating". As reference points, it is proposed to use the lower boundaries of the quartiles within each of the hundreds of positions, from the top 100 to the bottom hundred. Based on the materials of the Quacquarelli Symonds rating 2010-2022. it is shown that the scores of the pivot points are subject to slight temporal variation and can be used for short-term forecasting of the dynamics of the progress of universities in the ranking positions. The proposed approach makes it possible to adequately assess the prospects for domestic universities to enter the leading positions in world university rankings.
Keywords: "Project 5-100", "Priority 2030" program, world university rankings, metrological approach, analysis of the dynamics of progress in the ranking, rating scores, rating scale, scale reference points
References
1. Official website of the Project to improve the competitiveness of leading Russian universities among the world's leading scientif-
C3
о
CO "O
1=1 А
—I
о
C3 t; о m О от
З
ы о со
ic and educational centers [electronic resource] Access mode: https://www.5top100.ru/
2. Rodionov D., Yaluner E., Kushneva O. DRAG RACE5-100-2020 NATIONAL PROGRAM. European Journal of Science and Theology. 2015. V. 11. No. 4. S. 199-212.
3. Rodionov D.G., Rudskaia I.A., Alexandrovna K.O. HOW KEY RUSSIAN UNIVERSITIES ADVANCE TO BECOME LEADERS OF WORLDWIDE EDUCATION: PROBLEM ANALYSIS AND SOLVING. World Applied Sciences Journal. 2014. V. 31. No. 6. S. 1082-1089.
4. Decree of the Government of the Russian Federation of December 31, 2020 No. 3697-R "On the implementation of the program of strategic academic leadership "Priority 2030"
5. Tatochenko A., Tatochenko I., Chernegov N., Poletaeva L. Analysis of the potential of Russian universities due the Project 5-100 implementation. In the collection: E3S Web of Conferences. 14. Ser. "14th International Scientific and Practical Conference "State and Prospects for the Development of Agribusiness, INTERAGROMASH 2021" 2021.
6. World vs national. In what positions are universities leading the RAEX ranking in the QS-2022 list. Posted on 06/10/2021 on the information and analytical portal "Skillbox-Education" [electronic resource]. Access mode: https://skillbox.ru/media/education/
7. Report of the Accounts Chamber of the Russian Federation on the results of the expert and analytical event "Analysis of the ef-
fectiveness of state support measures for Russian universities aimed at increasing their competitiveness among the world's leading scientific and educational centers." Bulletin of the Accounts Chamber of the Russian Federation Universities. No. 2 (279) 2021. 172 p.
8. Mussard M., James A.P. ENGINEERING THE GLOBAL UNIVERSITY RANKINGS: GOLD STANDARDS, LIMITATIONS AND IMPLICATIONS. IEEE Access. 2018. V. 6. S. 6765-6776.
9. Lo, W.Y.W. (2011). Soft Power, University Rankings and Knowledge Production: Distinctions between Hegemony and Self-Determination in Higher Education. Comparative Education. Vol. 47, no. 2, pp. 209-222. DOI: 10.1080/03050068.2011.554092
10. Official website of Quacquarelli Symonds [electronic resource] Access mode: https://www.qs.com/rankings/
11. Surai N.M., Tatochenko A.L., Mamaeva N.A., Polozhentse-va I.V., Zyleva G.V. A metrological approach to describing the results of world university rankings as a tool for the successful implementation of the Priority 2030 program in Russian higher education. Modern pedagogical education. 2022. No. 4. S.
12. QS2010-2012: Ranking of the best universities in the world. Posted on the official website of the Swiss consulting center "Medelle S.A." [electronic resource] Access mode: https://www. education-medelle.com/articles/qs-2012-rejting-luchschikh-universitetov-mira.html
о с
u
см
