CC BY-NC-ND
90
Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг
В. Г. Наводнов, Г. Н. Мотова, О. Е. Рыжакова
Статья поступила Наводнов Владимир Григорьевич
в редакцию доктор технических наук, профессор, в феврале 2019 г. директор Национального центра профессионально-общественной аккредитации. Адрес: 424000, Марий Эл, Йошкар-Ола, ул. Волкова, 206а. E-mail: director@ncpa.ru Мотова Галина Николаевна доктор педагогических наук, заместитель директора Национального центра профессионально-общественной аккредитации. Адрес: 424000, Марий Эл, Йошкар-Ола, ул. Волкова, 206а. E-mail: g.motova@ncpa.ru Рыжакова Ольга Евгеньевна аспирант кафедры прикладной математики и информационных технологий Поволжского государственного технологического университета. Адрес: 424000, Марий Эл, Йошкар-Ола, пл. Ленина, 3. E-mail: olgaryzh@yandex.ru
Аннотация. Представлена новая методика, позволяющая проводить сравнительный анализ деятельности образовательных организаций при разных процедурах оценивания, — метод анализа лиг (МетАЛиг). Она дает возможность строить агрегированные таблицы лиг вузов по результатам оценивания, проведенного в разных системах, с использованием известных методов сверток из теории голосования в малых группах. Тем самым появляется возможность агрегировать абсолютно разные оценки вуза в единую оценку в форме таблиц лиг и проводить сравнитель-
ный анализ разных подходов к оцениванию. Применение МетАЛиг позволило решить задачу сравнительного анализа результатов деятельности российских вузов — участников Проекта «5100», отраженных в наиболее известных международных рейтингах: ARWU, QS, THE. Предложена формализация понятия «мировой рейтинг», позволившая визуализировать динамику развития лучших российских вузов и сравнить ее с динамикой развития лучших вузов других стран (США, Великобритания, Австралия, Германия, Китай). Рассматривается также вариант использования МетАЛиг на национальном уровне для анализа результатов Мониторинга эффективности деятельности вузов и их сравнения с позициями в «мировом рейтинге». Делается вывод о возможности применения данной методики органами управления образованием, а также исследователями и образовательными организациями для определения направлений стратегического развития как отдельных вузов, так и отечественной системы высшего образования в целом.
Ключевые слова: высшие учебные заведения, международные рейтинги, Мониторинг эффективности деятельности вузов, процедуры свертки, процедура Борда, методика анализа лиг (МетАЛиг), ранжирование.
DOI: 10.17323/1814-9545-2019-3-130-151
Сбор, обработка и анализ статистической информации являются сегодня основой большинства механизмов и методов управления в социальных и экономических системах, и в частности в сфере образования [Alden, Lin, 2004; Rauhvargers, 2011; Tofal-lis, 2012; Аржанова и др., 2013].
Государственная образовательная политика в последние пять лет характеризуется особым вниманием к повышению качества и конкурентоспособности российского образования. Для этих целей были введены в практику и активно используются два основных механизма: рейтинг и мониторинг1.
С одной стороны, это два различных механизма управления системой образования, имеющие разные целевые установки. Участие ведущих российских вузов в международных рейтингах имеет целью повышение конкурентоспособности российского образования и свидетельствует о его качестве и признании на международном уровне. Целью мониторинга в системе высшего образования России является оптимизация сети образовательных организаций и повышение эффективности национальной системы образования в целом.
С другой стороны, инициированные государством, эти механизмы направлены на повышение качества образования и его эффективности, являясь, таким образом, «вектором развития» как отдельных университетов, так и системы высшего образования в целом, и оба инструмента административно и финансово поддерживаются государством. Система Мониторинга эффективности деятельности вуза (МЭДВ) регламентируется Федеральным законом от 29 декабря 2012 г. № 273-Ф3 «Об образовании в Российской Федерации», постановлением Правительства РФ от 5 августа 2013 г. № 662 «Об осуществлении мониторинга системы образования» и ежегодным приказом «О проведении мониторинга эффективности образовательных организаций высшего образования». Государственная программа «5-100», направленная на поддержку крупнейших российских вузов, разработана и запущена Министерством образования и науки Российской Федерации в соответствии с указом Президента РФ от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки».
Механизмы оценки, используемые в рейтингах и мониторин-гах, различаются содержанием оценки, организацией процедур и представлением результатов. Обе системы оценивания измеряют различные аспекты деятельности вуза, учитывая показатели, которые допускают количественную и в отдельных слу-
1 Доклад Правительства Российской Федерации Федеральному Собранию Российской Федерации о реализации государственной политики в сфере образования (2017). http://static.government.ru/media/files/ i6yH0TiCpoJ6dcd0zebKpxcts8ttFE42.pdf
чаях качественную оценку. Итоговые данные международных рейтингов представлены в виде списка в определенной последовательности, а результатом МЭДВ является бинарная оценка (соответствует или не соответствует).
И рейтинги, и мониторинг проводятся ежегодно и оценивают вуз в целом (институциональное оценивание). Они основаны на сборе, обработке (методах свертки) и анализе количественной информации.
Целью данного исследования является разработка методики сравнения (соотнесения) различных процедур оценивания, основанных на сборе количественной информации, в частности нескольких международных рейтингов и МЭДВ, а также оценка связи между двумя разными (международными и национальным) подходами к оцениванию.
Для достижения цели были поставлены следующие задачи.
1. Определить и сравнить основные требования международных рейтингов и требования МЭДВ.
2. Предложить математическую модель для сравнения различных процедур оценивания.
3. Использовать предложенную модель для построения таблиц лиг по результатам международных рейтингов и МЭДВ.
4. Предложить понятие агрегированного («мирового») рейтинга.
5. Оценить корреляции результатов международных рейтингов и МЭДВ.
6. В качестве примера процедур международного оценивания использованы рейтинги так называемой большой тройки — это авторитетные международные рейтинги ARWU, QS и THE [Harvey, 2008; Наводнов и др., 2012], именно они пользуются доверием мировой общественности и учитываются как достижения в рамках Проекта «5-100», который был запущен Минобрнауки Россииз с 2014 г. Российская система оценивания представлена результатами МЭДВ, разработанного и используемого Минобрнауки России с 2012 г.4
1. Формулировка На основе методов сверток в процедурах голосования в малых математической группах [Ларичев, 2000; Петровский, 2009] предложена новая модели
2 В последние годы мировые рейтинги переходят на предметный уровень, но в данном исследовании предметные рейтинги не рассматриваются.
3 С 2018 г. — Министерство науки и высшего образования Российской Федерации. Здесь и далее рассматривается деятельность Министерства образования и науки Российской Федерации (Минобрнауки России).
4 Официальный сайт Главного информационно-вычислительного центра Министерства науки и высшего образования Российской Федерации. https://miccedu.ru/monitoring/
методика анализа лиг (МетАЛиг), позволяющая проводить сравнительный анализ деятельности образовательных организаций при различных процедурах оценивания.
Пусть результаты какого-либо оценивания совокупности образовательных организаций {а} представлены в виде линейно упорядоченной порядковой шкалы Z, т. е. введены бинарные отношения, и любые два элемента сравнимы (больше, меньше, равно). Такую процедуру называют рейтингом.
Рассмотрим случай л-систем оценивания, когда итоговые результаты различных форм оценивания представляются в виде совокупности линейно упорядоченных шкал Z¡, где / = 1, N.
Разобьем каждую такую шкалу Z¡ на непересекающиеся связные группы Л), Б), О), ... X! с естественным порядком а: > Ь1 > с! ...> х!, если Л' > Б' > О' > ... > X¡. Для каждой шкалы Z¡ может быть различное собственное разбиение. Через Л1 будем обозначать оценку той образовательной организации а, которая попала в первую группу Л'. Б' — оценка образовательной организации Ь, которая попала во вторую группу Б' соответственно, и т. д. Элементы а,, попавшие в одну группу, считаются равными.
По совокупности всех процедур оценивания каждая образовательная организация получает вектор оценок, например (Л3, Б1, О1, ... Хп).
Поскольку рейтинги строятся по разным показателям и разным методикам, непосредственное агрегирование представляет сложную задачу. Продуктивными могут оказаться подходы, разработанные для других задач в теории принятия решений. Для перехода от многокритериального выбора к однокритери-альной задаче используем аналоги методов Борда, Кондорсе, Симпсона и др., применяемых в процедурах голосования в малых группах [Ларичев, 2000; Петровский, 2009]. Эти различные процедуры дают, вообще говоря, различные итоговые результаты.
В данной работе рассмотрим только одну (интуитивно понятную) процедуру —Борда. Другие процедуры требуют более сложных алгоритмов и специализированного программного обеспечения. Их описание выходит за рамки данной статьи.
В процедуре Борда каждому элементу а1 приписывается ранг. Если имеется к областей, то первой упорядоченной области приписывается ранг, равный (к - 1), второй — (к - 2) и т. д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов. Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов, приписываемых областям.
Таким образом, каждая область (а следовательно, и все образовательные организации, входящие в нее) получает определенное количество баллов. И все образовательные организации
в каждой системе оценивания разбиваются на определенное количество лиг. Фактически для совокупности процедур оценивания мы получили новую агрегированную процедуру оценивания в форме лиг В частном случае п = 2 агрегированную систему оценивания можно представить на плоскости в форме матрицы МакКинси. Аналитическая модель МакКинси представляет собой построение двумерной матрицы путем сравнения отдельных участников исследования на основании ряда критериев. Таким образом, позиция каждой образовательной организации отображается в двумерном пространстве. При п = 3 модель совпадает с моделью Абеля, где для графического представления используется трехмерное пространство [Божук, Ковалик, 2004; Наводнов, Рыжакова, 2018]. В этой работе мы обобщаем эти модели на п-мерный случай.
Каждая образовательная организация получает свой индекс Борда, по значению которого все образовательные организации естественным образом ранжируются и разбиваются на лиги.
2. Анализ результатов и их интерпретация
С целью апробации данной методики сравним, как соотносятся процедуры международного оценивания (в частности, международные рейтинги «большой тройки») с российскими системами оценивания (в частности, с системой Мониторинга эффективности деятельности вузов), и проанализируем зависимость между двумя разными системами оценивания.
Предлагается создать единый агрегированный рейтинг на основе трех международных рейтингов и рейтинг на основе данных системы МЭДВ и применить полученные результаты для проведения сравнительного анализа.
2.1. Анализ позиционирования российских вузов в «мировом рейтинге»
Рейтинги в последнее время стали популярным инструментом исследования деятельности различных организаций, в частности в системе образования. Рейтинг — это список объектов, расположенных в определенной последовательности в зависимости от оценок, полученных по различным показателям их деятельности. Как правило, по принципу «от лучших к худшим». Первый национальный университетский рейтинг появился в США в 1983 г. Этот метод оценки быстро развивался, и уже в 2003 г. был создан первый международный рейтинг учебных заведений. По данным Международной ассоциации по ранжированию организаций и университетов (IREG Observatory on Academic Ranking and Excellenc)5, сегодня в мире насчитывается более 100 академических рейтингов — международных, региональных, национальных. Наиболее признанные международ-
5 Официальный сайт IREG. http://ireg-observatory.org/en/ 134 Вопросы образования/ Educational Studies Moscow. 2019. № 3
ные рейтинги — это Шанхайский рейтинг вузов мира (Academic Ranking of World Universities, ARWU) и два английских рейтинга: QS World University Rankings (QS) и Times Higher Education (THE) [Hou, Jacob, 2017; Shehatta, Khalid, 2016; Ларионова, 2012].
Один из способов привлечения абитуриентов для учебных заведений — наращивание конкурентного преимущества перед другими организациями и достижение лидирующих позиций на рынке. Перспективы участия в международных рейтингах поставили перед российским академическим сообществом множество новых проблем, к решению которых в последнее время присоединяется все больше научно-педагогических коллективов [Салми, Фрумин, 2013; Фатхутдинов, 2006]. Эту деятельность активно поддерживает Министерство образования и науки РФ, которое инициировало Проект «5-100».
В целях дальнейшего совершенствования государственной политики в области образования и науки и подготовки квалифицированных специалистов с учетом требований инновационной экономики «...поставлена задача вхождения к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов»6, а к 2025 г. — не менее десяти. Но в Указе Президента не уточняется, какой именно рейтинг имеется в виду. Каждый рейтинг имеет собственные конкретные задачи и собственные методики расчета. В одних случаях акцент делается на научные достижения (вуза, преподавателей, выпускников), в других — на интернационализацию и развитие мобильности и т. д. Университет вправе сам выбирать рейтинговые системы, в которых он хотел бы принимать участие, в зависимости от собственной миссии, целей и задач [Filinov, Ruchkina, 2002]. Однако во всех признанных международных рейтингах, как правило, лидируют одни и те же университеты, демонстрируя достижения по всем направлениям деятельности: ведущий вуз — ведущий во всем.
Вполне оправдана постановка задачи агрегировать результаты нескольких рейтингов, чтобы получить относительно цельную картину динамики развития российских вузов по показателям международных рейтингов.
Для проведения настоящего исследования выбрана группа из 23 университетов. Это 21 университет — участник Проекта «5-100» и два ведущих университета страны: Московский государственный университет им. М. В. Ломоносова и Санкт-Петербургский государственный университет. Таким образом, в исследовании принимают участие n = 1; 23 образовательных организаций. Каждая из них имеет определенную позицию
6 Указ Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки».
Рис. 1. Пример разбиения оси на области
A B C D E F G
,-,-1-,-1-1-1-1->
1 100 200 300 400 500 700 1000
в трех международных рейтингах. В международных рейтингах также представлены девять других российских университетов, которые не являются участниками Проекта «5-100», но в данное исследование они не включены.
На первом этапе предлагается сформировать агрегированный рейтинг на основе трех международных рейтингов—«большой тройки». Он позволит оценить позицию университета в мировой академической системе и отслеживать ее динамику.
Каждый из рейтингов «большой тройки» ежегодно отбирает 1000 лучших университетов мира. Разобьем шкалу на группы (рис. 1).
A — группа вузов, занимающих по шкале места с 1-го по 100-е; В' — группа вузов, занимающих места со 101-го по 200-е, и т. д. Введем буквенную оценку: так, через А обозначим оценку того вуза, который попал в первую сотню лучших, через B — оценку вуза, который попал во вторую сотню лучших, через С — оценку вуза, который попал в третью сотню лучших и т. д. Оценки выставляются с естественным порядком: A > B > C > D > E > F > > G > H. Тогда в каждом из рейтингов университет получает свою оценку.
По совокупности каждый вуз получает свой вектор оценок. Например, МГУ им. М. В. Ломоносова по рейтингу QS оценку имеет А (в первой сотне лучших), по рейтингу THE — В (во второй сотне) и по рейтингу ARWU — А (в первой сотне). Таким образом, он получает векторную оценку (А, В, А).
Для перехода из многокритериального выбора к однокрите-риальной задаче воспользуемся процедурой Борда. В данном случае на оценочной шкале восемь областей, последняя, H, получит ранг, равный 0 баллов, а первая, А, — 7 баллов соответственно. Находим индекс Борда, который рассчитывается как сумма рангов принадлежности к областям по каждому элементу a.
Предложенный метод ранжирования позволяет разделить все вузы исследуемой группы на лиги. Максимальное суммарное значение, которое может набрать вуз, — 21 балл, а минимальное — 0. Таким образом, все вузы естественным образом разбиваются на 22 лиги. В первой лиге будут представлены образовательные организации, которые по всем трем рейтингам вошли в первую сотню лучших, т. е. векторная оценка имеет вид (А, А, А), и в этом случае индекс Борда равен 21. В последнюю лигу попадут образовательные организации, которые не вошли
Таблица 1. Результаты, полученные с использованием МетАЛиг
для исследуемой группы по данным международных рейтингов 2018 г.
Вузы (участвующие в Проекте «5-100», МГУ, СПбГУ) QS2018 ТНЕ2018 ARWU2018 Оценка Индекс Борда Лига
Московский гос. ун-т им. М. В. Ломоносова 95 194 86 АВА 20 2
Санкт-Петербургский гос. ун-т 240 401-500 301-400 CED 12 10
Московский физико-технический ин-т (МФТИ) 355 251-300 401-500 DCE 12 10
Новосибирский гос. ун-т (НГУ) 250 401-500 401-500 СЕЕ 11 11
Высшая школа экономики (ВШЭ) 382 351-400 901-1000 DDG 9 13
Томский политехнический ун-т (ТПУ) 386 301-350 901-1000 DDG 9 13
Нац. исслед. ядерный ун-т «МИФИ» 373 401-500 — DEH 7 15
Казанский (Приволжский) фед. ун-т (КФУ) 441-450 401-500 801-900 EEG 7 15
Томский гос. ун-т (ТГУ) 323 501-600 701-800 DFG 7 15
Нац. исслед. технологический ун-т «МИСиС» 501-550 601-800 801-900 FFG 5 17
Ун-т ИТМО 601-650 501-600 801-900 FFG 5 17
Санкт-Петербургский политехнический ун-т им. Петра Великого (СПбПУ) 401-410 601-800 — EFH 5 17
Самарский нац. исслед. ун-т им. академика С. П. Королева (Самарский ун-т) 801-1000 601-800 — GFH 3 19
Уральский фед. ун-т (УрФУ) 491-500 1001+ — ЕНН 3 19
Нижегородский гос. ун-т им. Н. И. Лобачевского (ННГУ) 701-750 801-1000 — GGH 2 20
Дальневосточный фед. ун-т (ДВФУ) 601-650 1001+ — FHH 2 20
Российский ун-т дружбы народов (РУДН) 501-550 1001+ — FHH 2 20
Балтийский фед. ун-т им. И. Канта (БФУ им. И. Канта) — — — НИИ 0 22
Первый Московский гос. медицинский ун-т им. И. М. Сеченова (МГМУ им. И. М. Сеченова) — 1001+ — ННН 0 22
Санкт-Петербургский гос. электротехнический ун-т (ЛЭТИ) — — — НИН 0 22
Сибирский фед. ун-т (СФУ) — 1001+ — ННН 0 22
Тюменский гос. ун-т (ТюмГУ) — — — ННН 0 22
Южно-Уральский гос. ун-т (ЮУрГУ) — — — ННН 0 22
в 1000 лучших университетов мира по всем трем рейтингам, т. е. векторная оценка имеет вид (^ H, В этом случае индекс Борда равен 0.
Для исследуемой группы использовались результаты трех рейтингов 2018 г., для каждого из представленных вузов были рассчитаны векторная оценка, индекс Борда и присуждена лига (табл. 1).
Предложенная методика позволяет дать определение понятию «мировой рейтинг». Оно активно используется в системе образования (например, в приведенном выше Указе Президента Российской Федерации от 7 мая 2012 г. № 599: «...вхождение <...> в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов») и обычно смешивается с понятием «международный рейтинг». В настоящее время нет также четкого определения понятия «мировой университет» (все университеты имеют национальную принадлежность), и в данном случае скорее имеется в виду устоявшееся понятие «университеты мирового класса» [Salmi, 2009; 2016]. Под международными рейтингами, как правило, понимаются рейтинги, объектом анализа в которых являются университеты всех стран [Полихина, Тростянская, 2018], вместе с тем субъектом проводимого рейтинга является организация, имеющая национальную идентификацию. В ряде исследований используется также понятие «глобальный рейтинг», близкое по содержанию понятию «международный рейтинг».
Термин «мировой рейтинг» не имеет четкого определения, вероятно, в силу отсутствия мирового (наднационального) субъекта для проведения сравнительных исследований университетов всего мира. Мы предлагаем понимать под «мировым рейтингом» агрегированный рейтинг, полученный в результате применения процедуры МетАЛиг. Такое определение имеет допущения и ограничения, поскольку предполагает субъективно выбранное конечное количество признанных международной общественностью n рейтингов. Достоинство такого подхода состоит в том, что он учитывает совокупность различных подходов к оцениванию, предложенных организациями (субъектами) разных стран. Совокупность субъективных методик оценивания может дать относительно объективный результат.
Такое определение также допускает множественность итоговых результатов, которые зависят от:
а) количества и перечня выбранных исходных рейтингов;
б) процедуры разбиения шкал оценивания каждого из выбранных рейтингов;
в) процедур свертки (Борда, Кондорсе, Симпсона и т. п.).
МетАЛиг позволяет отслеживать динамику вуза (рис. 2) в «мировом рейтинге». На рис. 2 представлена динамика изменения лиг шести лучших вузов России, полученная при разбиении шкал как на рис. 1.
Рис. 2. Динамика изменения лиг шести лучших вузов России
2 4 6 8 10 12 14 16 18 20
_—
СПбГУ
—
у / V /
........
НГУ
2014
2015
2016
2017
2018
Рис. 3. Динамика изменения суммы лиг для пяти лучших вузов России в совокупности
9 Среднее значение суммы лиг
10 11 12
13
14
15
2014
2015
2016
2017
2018
Рисунок 2 однозначно свидетельствует о том, что с начала финансирования Проекта «5-100» прогресс заметен. Но пока в первой сотне «мирового рейтинга» представлен только один российский вуз — МГУ им. М. В. Ломоносова.
Если посмотреть на показатели пяти лучших вузов в совокупности, можно также отметить определенный прогресс: в 2014 г. Россия была в 15-й лиге, а в 2018 г. — в 9-й лиге (рис. 3).
На рис. 4 представлено сравнение позиций пяти лучших вузов России с пятью лучшими вузами США, Великобритании,
Рис. 4. Динамика изменения суммы лиг по представлению пяти лучших вузов страны
Австралии, Китая и Германии [Kusumastuti, Idrus, 2017; Levin, Jeong, On, 2007; Задорожнюк, Коростелева, Тебиев, 2019; Прохоров, Свирина, Чехонадских, 2016] в динамике. Вывод очевиден: показатели России (по сумме пяти лучших вузов) поступательно растут, но до мировых лидеров еще далеко.
2.2. Анализ В последние годы в России одним из самых обсуждаемых мето-эффективности дов оценивания стал Мониторинг эффективности деятельности ведущих вузов вузов, который введен в практику Минобрнауки России с 2012 г по результатам В отличие от рейтингов эта процедура оценивания массовая, мониторинга она учитывает результаты деятельности практически всех вузов страны и их филиалов. Процедура МЭДВ стала знаковой государственной оценкой деятельности вузов, его результаты являются основой для принятия управленческих решений [Прохоров, Свирина, Чехонадских, 2016].
МЭДВ — это дополнительное статистическое наблюдение, по итогам которого оценивается деятельность вузов. По результатам МЭДВ образовательные организации делятся на две группы: эффективные и остальные.
Минобрнауки России, используя административный ресурс, проделало большую работу по созданию МЭДВ:
• определило показатели и индикаторы, по которым проходит сбор информации7;
В данной работе мы не анализируем валидность данных показателей для развития системы образования.
7
• разработало специализированное программное обеспечение для сбора и систематизации данных;
• ежегодно начиная с 2013 г. производило сбор данных и их выборочную верификацию.
Фактически министерство построило таблицу лиг, но выделило лишь две лиги: эффективные вузы и остальные (первоначальное определение «неэффективные»). Однако бинарная шкала оценки не дает полной картины. Есть вузы, которые легко преодолели все пороговые значения, а есть вузы, преодолевшие пороговые значения с большим трудом, есть также вузы, не преодолевшие порог почти по всем показателям. Методика деления на лиги является более тонким инструментом, чем бинарная шкала, и она может быть значительно эффективнее использована для управления системой образования [Мотова, Наводнов, 2018]. Предлагается построить агрегированный рейтинг на основе данных МЭДВ с применением МетАЛиг, чтобы сравнить конкретный вуз с другими вузами страны и отследить его динамику за несколько лет.
Образовательные организации ежегодно представляют в Минобнауки России формализованные отчеты по семи направлениям деятельности. Предлагается на основе открытых официальных статистических данных по результатам ежегодного мониторинга разработать и описать новую математическую модель для ранжирования образовательных организаций на основе многокритериальной оптимизации с использованием методов теории голосования. Предложенная методика ранжирования позволит разделить все вузы, участвовавшие в МЭДВ, на п групп, т. е. создать более тонкий инструмент дифференциации.
В МЭДВ используются семь показателей, все они количественные, и по каждому (с учетом специфики вуза) проводится ранжирование образовательных организаций в порядке убывания значений показателя и выделяется пороговое значение [Вильданов, Наводнов, Рыжакова, 2017]. Соответственно по каждому из показателей строится диаграмма ранжирования, которую можно разбить на четыре естественные области (квартили). Первоначально в принятой Минобнауки России методике расчета показателей медианное значение совпадало с пороговым значением, но в последние годы пороговое значение отлично от медианного, что позволяет выделить пятую область (рис. 5).
Введем, как и ранее, буквенную оценку: так, через А обозначим оценку того вуза, который попал в первый квартиль диаграммы ранжирования; через B — вуз, который попал во второй квартиль; через С — вуз, не пересекший порогового значения; через D — вуз, который попал в третий квартиль и пересек пороговое значение; через E— вуз, который попал в последний квартиль диаграммы ранжирования. Оценки выставляются с естествен-
Рис. 5. Разбиение диаграммы ранжирования на области
A BCD E
Значение Г показателя
Пороговое значение
Л/4
M
X3/4
III Образовательные
,...................................................................|.....................................1................................1. организации, %
0 25 50 Пороговое 75 100
значение
ным порядком, где А > В > С > О > Е. Соответственно по каждому рейтингу выставляем вектор оценок каждому университету.
Каждый вуз исследуемой группы получает некий вектор оценок, где каждая координата представляет собой буквенный символ в зависимости от того, в какую область он попал по каждому показателю. Например, МГУ им. М. В. Ломоносова по показателю «Образовательная деятельность» имеет оценку А, по показателю «Научно-исследовательская деятельность» — оценку А, «Международная деятельность» — оценку В, «Финансово-экономическая деятельность» — оценку В, «Заработная плата ППС» — оценку С, «Трудоустройство» — оценку В, по Дополнительному показателю образовательных организаций — оценку А.
Применим процедуру Борда для определения лиги, в которую попал вуз по данным МЭДВ. Каждая область в упорядоченном представлении получает определенное количество баллов с шагом 1, так что последняя область получает 0. В данном случае это пять областей, последняя, Е, получит 0 баллов, а первая, А,— 4 балла соответственно. Из многокритериального выбора к однокритериальной задаче переходим с использованием метода свертки критериев. Вводится индекс Борда, т. е. мы суммируем полученные оценки.
Максимальное суммарное значение индекса Борда, которое может получить вуз, равно 28, а минимальное — 0. Таким образом, возможно разбиение университетов на 29 лиг. В первой лиге будут представлены вузы, у которых оценки по всем семи показателям равны А, т. е. многомерная оценка представлена вектором (А, А, А, А, А, А, А), в этом случае индекс Борда равен 28.
Таблица 2. Результаты, полученные с использованием МетАЛиг для исследуемой группы по данным МЭДВ
Вузы (участвующие в Проекте «5-100», МГУ, СПбГУ) Оценка Индекс Борда Лига
Томский политехнический ун-т (ТПУ) АААААВА 27 2
Нац. исслед. ядерный ун-т «МИФИ» ААААВАА 27 2
Казанский (Приволжский) фед. ун-т (КФУ) АААААВА 27 2
Ун-т ИТМО АААААВА 27 2
Высшая школа экономики (ВШЭ) ААВААВА 26 3
Московский физико-технический ин-т (МФТИ) АААААСА 26 3
Новосибирский гос. ун-т (НГУ) ААВААВА 26 3
Томский гос. ун-т (ТГУ) АААААСА 26 3
Нац. исслед. технологический ун-т «МИСиС» ААААВВА 26 3
Санкт-Петербургский политехнический ун-т им. Петра Великого (СПбПУ) ААААВВА 26 3
Российский ун-т дружбы народов (РУДН) АААААСА 26 3
Самарский нац. исслед. ун-т им. академика С. П. Королева (Самарский ун-т) ААСВААА 25 4
Уральский фед. ун-т (УрФУ) ААВВАВА 25 4
Дальневосточный фед. ун-т (ДВФУ) ВААААСА 25 4
Санкт-Петербургский гос. ун-т ААААССА 24 5
Нижегородский гос. ун-т им. Н. И. Лобачевского (ННГУ) ААСВАВА 24 5
Балтийский фед. ун-т им. И. Канта (БФУ им. И. Канта) ААВВАСА 24 5
Первый Московский гос. медицинский ун-т им. И. М. Сеченова (МГМУ им. И. М. Сеченова) ААААССА 24 5
Санкт-Петербургский гос. электротехнический ун-т (ЛЭТИ) АААВСВА 24 5
Московский гос. ун-т им. М. В. Ломоносова ААВВСВА 23 6
Сибирский фед. ун-т (СФУ) ААСАССА 22 7
Южно-Уральский гос. ун-т (ЮУрГУ) ВААСВВВ 22 7
Тюменский гос. ун-т (ТюмГУ) ВАВАСВС 21 8
В последнюю лигу попадут те вузы, у которых по всем показателям оценки Е, в этом случае индекс Борда равен 0.
Для исследуемой группы использовались результаты МЭДВ, представленные Минобнауки России в 2017 г.8 Для каждого
8 На момент проведения исследования и подготовки статьи данные по 2018 г. опубликованы не были.
Рис. 6. Динамика изменения лиг четырех лучших вузов
Рис. 7. Динамика изменения лиг четырех других ведущих вузов
из представленных вузов были рассчитаны векторная оценка, индекс Борда и определена лига (табл. 2).
Предлагаемый подход также позволяет отслеживать динамику вуза. За годы реализации МЭДВ у некоторых вузов заметен рост показателей, однако есть вузы с отрицательной динамикой (рис. 6, 7).
Приведенный пример использования МетАЛиг основан только на данных МЭДВ и представляет собой вариант свертки семи разных показателей в один (принадлежность к лиге). Од-
Рис. 8. Диаграмма рассеяния
Российский мониторинг эффективности
1
3
11 13 15
МИФИ, Лидеры мониторинга ИТМО КФУ ТПУ эффективности • • • :
.............• РУДН ■•••».......Ф ТГУ-».........МФТИ
; ! ВШЭ НГУ
ДВФУ • К МИСиС,
»-...,.. • ННГУ чУрФУ, СПбПУ Самарский ун-т БФУ, ..
СФУ, ЮУрГУ •............
• ТюмГУ
ЛЭТИ, МГМУ
IСПбГУ
23 21
17 15 13 11
Лидер
международного рейтинга
• МГУ
5 3
Агрегированный международный рейтинг
5
7
9
19
9
7
нако в России в настоящее время реализуются несколько национальных проектов по мониторингу и оценке качества образования. При желании (или необходимости) методика позволяет формировать агрегированный «наднациональный» рейтинг достижений российских вузов, учитывающий разные подходы и правила оценки.
Предложенная в данном исследовании методика позволяет определить позиции каждого вуза представленной группы в определенной лиге в соответствии с агрегированным «мировым рейтингом» (в данном случае на основе трех международных рейтингов) и в соответствии с агрегированным рейтингом по данным МЭДВ.
Методика расчета лиг, разработанная на основе теории голосования в малых группах, показала свою универсальность и пригодность для анализа результатов, полученных с помощью разных методов оценивания. Она также позволяет провести сопоставление различных методов и подходов, существенно различающихся по целям и задачам оценивания, по методам обработки (свертки) полученных данных и представления результатов. Такое сопоставление вполне возможно при наличии данных по всем вузам исследуемой группы в определенный промежуток времени. В этом случае появляется возможность определить наличие (отсутствие) корреляции результатов разных механизмов оценки.
На координатную плоскость нанесем вузы исследуемой группы, они обозначены точками, где по оси абсцисс указана
2.3. Сопоставление динамики развития ведущих вузов по результатам разных методов оценивания
лига, в которую они попали в соответствии с агрегированным международным рейтингом, а по оси ординат — лига, полученная в российском МЭДВ (рис. 8).
Из рис. 8 видно, что в МЭДВ лидируют те вузы, которые не лидируют в международных рейтингах, и наоборот. Коэффициент корреляции двух построенных агрегированных рейтингов Я = 0,32 — связь двух систем оценивания слабая, но все-таки положительная.
При всей очевидности полученного результата сопоставления он базируется на математической модели расчета и позволяет сделать важные выводы для определения государственной образовательной политики. Она направлена на повышение позиций отечественных вузов в мировых международных рейтингах, с одной стороны, а с другой — на повышение эффективности деятельности всей высшей школы России в целом.
Перед вузами, которые входят в Проект «5-100», стоят сразу две задачи: добиваться высоких показателей в МЭДВ и занимать достойное место в мировых рейтингах. Такие требования к ведущим вузам страны обоснованны и логичны, но, как показало наше исследование, это разные требования. Лидеры международного агрегированного рейтинга не являются лидерами в МЭДВ.
Если в первых двух случаях использования методики результаты агрегированных рейтингов имели большое значение прежде всего для вузов — их участников, то результаты сопоставления двух механизмов управления качеством образования важны для оценки эффективности государственной образовательной политики. Речь идет не о необходимости ориентировать показатели МЭДВ на показатели международных рейтингов, скорее — о балансе приоритетов и согласовании целей.
3. Выводы Методика анализа лиг (МетАЛиг), представленная в исследовании, позволяет строить агрегированные таблицы лиг вузов по результатам разных систем оценивания. Процедура использования методики двухэтапная. На первом этапе результаты оценивания вузов (в форме рейтингов или мониторингов) представляются в форме таблиц лиг. На втором этапе с использованием известных методов сверток из теории голосования в малых группах (Борда, Кондорсе, Симпсона и т. п.) формируется агрегированная таблица лиг. Такой подход позволяет агрегировать абсолютно разные оценки вуза в единую оценку в форме таблиц лиг и проводить сравнительный анализ разных вариантов оценивания.
Преимуществом МетАЛиг является использование только открытых официальных статистических данных и новых методов расчета. Методика используется для проведения сравнительного анализа разных систем оценивания и создания нового «миро-
вого рейтинга» как результата агрегирования известных рейтингов. Кроме того, она позволяет увидеть общую картину системы управления высшим образованием с двух разных точек зрения: с позиций международного позиционирования вуза и в контексте выполнения национальных требований, а также сделать выводы о взаимосвязи подходов к оценке качества образования.
МетАЛиг может стать удобным и эффективным механизмом комплексной оценки субъектов образовательной деятельности и в дальнейшем использоваться как органами управления образованием, так и исследователями и образовательными организациями.
Органы управления образованием могут опираться на понятие «мирового рейтинга» (агрегированного международного рейтинга) при определении эффективности вложений в Проект «5-100». Как показало исследование, прогресс в повышении конкурентоспособности вузов—участников проекта есть, но явно недостаточный.
МетАЛиг может также применяться при осуществлении мониторинга деятельности вузов — для более тонкой кластеризации вузов в форме таблиц лиг [Вильданов, Наводнов, Рыжакова, 2017]. При использовании совокупности различных инструментов мониторинга (например, мониторингов, проводимых Мин-обрнауки России, Рособрнадзором, независимых систем оценки качества образования) инструмент агрегирования (в формате лиг) позволит анализировать динамику развития системы высшего образования «в целом».
На основе МетАЛиг могут быть построены «наднациональные» рейтинги как агрегирование нескольких национальных рейтингов. Вузам — участникам международных и национальных рейтингов методика построения единых «мирового» и «наднационального» рейтингов позволит отслеживать динамику своего участия «в целом» по совокупности рейтингов и проектов, в которых они принимают участие.
1. Аржанова И. В., Барышникова М. Ю., Жураковский В. М. и др. (2013) Литература Модельная методология многомерного ранжирования российских вузов // Вестник международных организаций: образование, наука, новая экономика. Т. 8. № 1.
2. Божук С. Г., Ковалик Л. Н. (2004) Маркетинговые исследования. СПб.: Питер.
3. Вильданов Р. К., Наводнов В. Г., Рыжакова О. Е. (2017) Семь оттенков мониторинга // Аккредитация в образовании. № 94. С. 64-73.
4. Задорожнюк И. Е., Коростелева Л. Ю., Тебиев Б. К. (2019) Топ-200 вузов в четырех международных рейтингах // Высшее образование в России. Т. 28. № 3. С. 85-95.
5. Ларионова М. В. (2012) Методология сравнительного анализа международных подходов ранжирования высших учебных заведений // Вестник международных организаций: образование, наука, новая экономика. Т. 7. № 1. С. 34-69.
6. Ларичев О. И. (2000) Теория и методы принятия решений, а также Хроника событий в Волшебных Странах: учебник. М.: Логос.
7. Мотова Г. Н., Наводнов В. Г. (2018) От институциональной аккредитации к мониторингу эффективности // Высшее образование в России. № 4. С. 9-21.
8. Наводнов В. Г., Мотова Г. Н., Кузьминых Ж. О., Красильникова Н. В. (2012) Рейтинги вузов: глобальные и национальные: учебно-методические материалы к семинару. Йошкар-Ола: Учебно-консультационный центр.
9. Наводнов В. Г., Рыжакова О. Е. (2018) Обобщение модели Мак-Кинси для ранжирования образовательных организаций высшего образования с равнозначными критериями // Вестник Поволжского государственного технологического университета. (Экономика и управление). № 2 (38). С. 5-18. doi: 10.15350/2306-2800.2018.2.5.
10. Петровский А. Б. (2009) Теория принятия решений. М.: Академия.
11. Полихина Н. А., Тростянская И. Б. (2018) Рейтинги университетов: тенденции развития, методология изменения. М.: ФГАНУ «Социоцентр».
12. Прохоров С. Г., Свирина А. А., Чехонадских А. И. (2016) Мониторинг эффективности: инструмент сокращения или поиск точек роста? // Высшее образование в России. № 1 (197). С. 63-68.
13. Салми Д., Фрумин И. Д. (2013) Как государства добиваются международной конкурентоспособности университетов: уроки для России // Вопросы образования/Educational Studies Moscow. № 1. С. 25-68.
14. Фатхутдинов Р. А. (2006) Управление конкурентоспособностью вуза // Высшее образование в России. № 9. С. 35-37.
15. Alden J., Lin G. (2004) Benchmarking the Characteristics of a World Class University: Developing an International Strategy at University Level. London: The UK Higher Education Leadership Foundation.
16. Filinov N. B., Ruchkina S. (2002) Ranking of Higher Education Institutions in Russia: Some Methodological Problems // Higher Education in Europe. Vol. 27. No 4. P. 407-421.
17. Harvey L. (2008) Rankings of Higher Education Institutions: A Critical Review // Quality in Higher Education. Vol. 14. Iss. 3. P. 187-207.
18. Hou Y. W., Jacob W. J. (2017) What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings // International Education Journal: Comparative Perspectives. Vol. 16. No 4. P. 29-46.
19. Kusumastuti D., Idrus N. (2017) Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries // Quality in Higher Education. Vol. 23. Iss. 3. P. 230-248.
20. Levin H., Jeong D. W., On D. (2007) What is a World Class University? Paper Prepared for the 2006 Conference of the Comparative & International Education Society. www.tc.columbia.edu/centers/ coce/pdf files/c12.pdf
21. Rauhvargers A. (2011) Global University Rankings and Their Impact. Brussels: European University Association.
22. Salmi J. (2009) The Challenge of Establishing World-Class Universities. Washington: The International Bank for Reconstruction and Development.
23. Salmi J. (2016) Excellence Strategies and the Creation of World-class Universities. Matching and Perfomance. Rotterdam: Sense Publishers. P. 15-48.
24. Shehatta I., Khalid M. (2016) Correlation among Top 100 Universities in the Major Six Global Rankings: Policy Implications // Scientometrics. Vol. 109. Iss. 2. P. 1231-1254.
25. Tofallis C. (2012) A Different Approach to University Rankings // Higher Education. Vol. 63. No 1. P. 1-18.
The Method of League Analysis and Its Application in Comparing Global University Rankings and Russia's University Performance Monitoring
Vladimir Navodnov Authors
Doctor of Sciences in Engineering, Professor, Director of the National Centre for Public Accreditation. Address: 206a Volkova Str., 424000 Yoshkar-Ola, Ma-ri-El Republic, Russian Federation. E-mail: director@ncpa.ru
Galina Motova
Doctor of Sciences in Pedagogy, Deputy Director of the National Centre for Public Accreditation. Address: 206a Volkova Str., 424000 Yoshkar-Ola, Mari-El Republic, Russian Federation. E-mail: g.motova@ncpa.ru
Olga Ryzhakova
Graduate Student, Department of Applied Mathematics and Information Technology, the Volga State University of Technology. Address: 3 Lenina Sq., 424000 Yoshkar-Ola, Mari-El Republic, Russian Federation. E-mail: olgaryzh@yandex.ru
A new technique called Method of Analysis of Leagues (MethALeague) is pro- Abstract posed for comparing performance of higher education institutions measured by different assessment methods. The MethALeague uses the convolution operations from the theory of small-group decision making to create aggregate charts of university leagues based on the performance indicators obtained with different assessment techniques. Specifically, researchers are given the opportunity to bring widely divergent university performance indicators into unified assessment charts and carry out comparative analysis of different assessment approaches. The MethALeague was applied successfully to compare the performance indicators of the Project 5-100 universities reflected in three major global rankings, Academic Ranking of World Universities, QS World University Rankings, and Times Higher Education World University Rankings. A formalized concept of "world ranking" proposed in the article makes it possible to visualize the performance dynamics of Russia's top universities and compare it to that of the top universities in other countries (United States, Great Britain, Australia, Germany, and China). Suggestions are made on using a modified version of the MethALeague at the national level to analyze the results of university performance monitoring and compare them to the universities' global ranking positions. The method described in the article could be applied by educational authorities, researchers and higher education institutions to determine the frameworks of strategic development, both for specific universities and for Russia's higher education system as a whole.
higher education institutions, global rankings, performance monitoring, convo- Keywords lution operations, the Borda count method, Method of Analysis of Leagues (MethALeague), ranking.
Alden J., Lin G. (2004) Benchmarking the Characteristics of a World Class Uni- References versity: Developing an International Strategy at University Level. London: The UK Higher Education Leadership Foundation. Arzhanova I., Baryshnikova M., Zhurakovsky V. et al. (2013) Modelnaya metodo-logiya mnogomernogo ranzhirovaniya rossiyskikh vusov [Template Methodology of Russian Heis Multidimensional Ranking]. International Organizations Research Journal, vol. 8, no 1.
Bozhuk S., Kovalik L. (2004) Marketingovye issledovaniya [Marketing Research]. St. Petersburg: Piter.
Fatkhutdinov R. (2006) Upravlenie konkurentosposobnostyu vuza [Management of University Competitiveness]. Vysshee obrazovanie v Rossii [Higher Education in Russia], no 9, pp. 35-37.
Filinov N. B., Ruchkina S. (2002) Ranking of Higher Education Institutions in Russia: Some Methodological Problems. Higher Education in Europe, vol. 27, no 4, pp. 407-421.
Harvey L. (2008) Rankings of Higher Education Institutions: A Critical Review. Quality in Higher Education, vol. 14, iss. 3, pp. 187-207.
Hou Y. W., Jacob W. J. (2017) What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings. International Education Journal: Comparative Perspectives, vol. 16, no 4, pp. 29-46.
Kusumastuti D., Idrus N. (2017) Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries. Quality in Higher Education, vol. 23, iss. 3, pp. 230-248.
Larichev O. (2000) Teoriya i metody prinyatiya resheniy, a takzhe Khronika so-bytiy v Volshebnykh Stranakh: uchebnik [Theory and Methods of Decision Making, and The Chronicles of Fairy Lands: A Textbook]. Moscow: Logos.
Larionova M. (2012) Metodologiya sravnitelnogo analiza mezhdunarodnykh po-dkhodov ranzhirovaniya vysshikh uchebnykh zavedeniy [Analysis Methods for Comparing Different World University Ranking Methodologies]. Vestnik Mezhdunarodnykh Organizatsiy: Obrazovanie, Nauka, Novaya Ekonomika [International Organizations Research Journal: Education, Science, and the New Economy], vol. 7, no 1, pp. 34-69.
Levin H., Jeong D. W., On D. (2007) What is a World Class University? Paper Prepared for the 2006 Conference of the Comparative & International Education Society. Available at: www.tc.columbia.edu/centers/ coce/pdf files/ c12.pdf (accessed 1 August 2019).
Motova G., Navodnov V. (2018) Ot institutionalnoy akkreditatsii k monitoring ef-fektivnosti [From Institutional Accreditation to Monitoring of Effectiveness]. Vysshee obrazovanie v Rossii (Higher Education in Russia), vol. 27, no 4, pp. 9-21.
Navodnov V., Motova G., Kuzminykh Z., Krasilnikova N. (2012) Reytingi vuzov: globalnye i natsionalnye. Uchebno-metodicheskie materialy k seminaru [University Rankings: Global and National Scales. Teaching Aids for Group Discussion]. Yoshkar-Ola: Training and Consultancy Center.
Navodnov V., Ryzhakova O. (2018) Obobshchenie modeli McKinsey dlya ranzhirovaniya obrazovatelnykh organizatsiy vysshego obrazovaniya s ra-vnoznachnymi kriteriyami [Generalization of the McKinsey Model to Rank Higher Educational Institutions with Equal Criteria]. Vestnik of Volga State University of Technology. (Economics and management), no 2 (38), pp. 5-18. doi: 10.15350/2306-2800.2018.2.5.
Petrovsky A. (2009) Teoriya prinyatiya resheniy [Decision Theory]. Moscow: Aka-demiya.
Polikhina N., Trostyanskaya I. (2018) Reytingi universitetov: tendentsii razvitiya, metodologiya izmeneniya [University Rankings: Development Trends and the Methodology of Change]. Moscow: Federal State Autonomous Scientific Institution Center for Sociological Research ("Sociocenter").
Prokhorov S., Svirina A., Chekhonadskikh A. (2016) Monitoring effektivnosti: instrument sokrashcheniya ili poisk tochek rosta? [Efficiency Monitoring: An Instrument for Reduction or an Engine for Growth?]. Vysshee obrazovanie v Rossii (Higher Education in Russia), no. 1 (197), pp. 63-68.
Rauhvargers A. (2011) Global University Rankings and Their Impact. Brussels: European University Association.
Salmi J. (2009) The Challenge of Establishing World-Class Universities. Washington: The International Bank for Reconstruction and Development.
Salmi J. (2016) Excellence Strategies and the Creation of World-class Universities. Matching and Perfomance. Rotterdam: Sense Publishers. P. 15-48.
Salmi J., Froumin I. (2013) Kak gosudarstva dobivayutsya mezhdunarodnoy konkurentosposobnosti universitetov: uroki dlya Rossii [Excellence Initiatives to Establish World-Class Universities: Evaluation of Recent Experiences]. Voprosy obrazovaniya/Educational Studies Moscow, no 1, pp. 2568.
Shehatta I., Khalid M. (2016) Correlation among Top 100 Universities in the Major Six Global Rankings: Policy Implications. Scientometrics, vol. 109, iss. 2, pp. 1231-1254.
Tofallis C. (2012) A Different Approach to University Rankings. Higher Education, vol. 63, no 1, pp. 1-18.
Vildanov R., Navodnov V., Ryzhakova O. (2017) Sem' ottenkov monitoringa [Seven Shades of Monitoring]. Akkreditatsiya v obrazovanii [Accreditation in Education], no 94, pp. 64-73.
Zadorozhnyuk I., Korosteleva L., Tebiyev B. (2019) Top-200 vuzov v chetyrekh mezhdunarodnykh reitingakh [Top-200 Higher Education Institutions in Four International Ratings: Comparative Analysis]. Vysshee obrazovanie v Rossii (Higher Education in Russia), vol. 28, no 3, pp. 85-95.
