CC BY
57
^ НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ ]
DOI: https://doi.org/l0.31992/0869-3617-2020-29-1-9-24
Как сконструировать национальный агрегированный рейтинг?
Болотов Виктор Александрович - д-р пед. наук, академик РАО, научный руководитель Центра мониторинга качества образования. E-mail: [email protected]
Национальный исследовательский университет «Высшая школа экономики», Москва, Россия Адрес: 101000, Москва, ул. Мясницкая, 20
Мотова Галина Николаевна - д-р пед. наук, заместитель директора. E-mail: [email protected] Национальный центр профессионально-общественной аккредитации, Йошкар-Ола, Россия Адрес: 424000, Йошкар-Ола, ул. Волкова, 206А
Наводнов Владимир Григорьевич - д-р техн. наук, директор. E-mail: [email protected] Национальный центр профессионально-общественной аккредитации, Йошкар-Ола, Россия Адрес: 424000, Йошкар-Ола, ул. Волкова, 206А
Рыжакова Ольга Евгеньевна - аспирант, кафедра прикладной математики и информационных технологий. E-mail: [email protected]
Поволжский государственный технологический университет, Йошкар-Ола, Россия Адрес: 424000, Йошкар-Ола, пл. Ленина, 3
Аннотация. Впервые предложена методика проектирования национального рейтинга вузов на основе агрегирования всех известных публичных национальных рейтингов. Новая методика агрегирования МетАЛиг (Методика Анализа Лиг) может дать возможность отказаться от монополизма в оценивании (отсутствием диктата) и тем самым придать стимул к разработке независимой оценки деятельности вузов. Проведён анализ современного состояния процедур и методов независимого оценивания российских вузов в форме рейтингов и баз данных. Предложенная методика МетАЛиг основана на применении математического аппарата теории голосования в малых группах и позволяет агрегировать различные независимые оценки в единый формат Рассматривается возможный подход к созданию такого единого национального рейтинга в форме 10 лиг и приводятся результаты расчётов. Разработанные методики ранжирования и полученные результаты могут быть полезны для самодиагностики и активизации научной и организационно-методической деятельности вузов, а также при введении риск-ориентированного подхода в контрольно-надзорной деятельности.
Ключевые слова.: ранжирование вузов, рейтинг, национальный агрегированный рейтинг, таблица лиг, методика МетАЛиг, процедуры свёртки, независимая оценка деятельности вузов, риск-ориентированный подход
Для цитирования: Болотов В.А, Мотова Г.Н, Наводнов В.Г, Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России. 2020. Т. 29. № 1. С. 9-24.
DOI: https://doi.org/10.31992/0869-3617-2020-29-1-9-24
И
В последние годы рейтинги в сфере образования становятся всё более популярными и востребованными как за рубежом, так и в нашей стране. Причины понятны: это самый доступный, наглядный, относительно простой способ презентации сравнительной оценки и информации для принятия политических решений. Кроме того, они являют собой новый инструмент измерения и оценки деятельности вузов на национальном и международном уровне.
Об особом внимании к «повышению конкурентоспособности ведущих университетов Российской Федерации среди ведущих мировых научно-образовательных центров»1 со стороны российского правительства и отраслевого министерства свидетельствует «Проект 5-100», который был инициирован в 2012 г. Указом Президента и имел чётко определённую задачу: «вхождение к 2020 году не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов»2. В 2019 г. принят к реализации Национальный проект «Образование», согласно которому Россия до 2024 г. должна выйти на 10-е место в мире по присутствию университетов в Т0П-500 глобальных рейтингов, а не менее 30 ведущих российских университетов, получающих господдержку, должны не менее двух лет подряд входить в топ-1000 международных рейтингов и в топ-200 как минимум одного предметного или отраслевого международного рейтинга3. Вместе с тем считать данный
1 Постановление Правительства РФ от 16 марта 2013 г. N 211 «О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров».
2 Указ Президента Российской Федерации от 7 мая 2012 г. N 599 «О мерах по реализации государственной политики в области образования и науки».
3 Федеральный проект «Молодые профессио-
налы (Повышение конкурентоспособности про-
проект массовым не приходится, поскольку в мировых рейтингах «большой тройки»4 (включая предметные рейтинги) представлено лишь 45 российских университетов, что составляет 6% общего числа вузов в России.
Чем обосновано такое внимание правительства страны к участию российских университетов в мировых рейтингах понятно. Оно сравнимо с участием в олимпийских играх. Но для российского потребителя (абитуриентов, самих вузов), органов управления образованием мировые рейтинги не слишком информативны. Гораздо в большей степени им нужны национальные и, возможно, региональные и отраслевые рейтинги. Но разные рейтинги (в том числе и мировые) из-за того, что они используют разные индикаторы, дают различные результаты для конкретного университета. Они имеют разных адресатов и строятся по разным методикам. Рейтингов много, и получить необходимую достоверную и обоснованную информацию непросто.
Постановка задачи. Идеальный рейтинг, который бы устраивал всех, построить невозможно. Рейтинг строится с определённой целью, для конкретного адресата и служит ему источником информации. Рейтинг субъективен, даже если основан на количественных данных и объективных факторах, особенно в тех случаях, когда вводится экспертная оценка значимости (весовые коэффициенты) отдельных показателей. Именно это - его субъективность в выборе показателей и методике их расчёта - в большей степени подвергается критике со стороны специалистов, а также тех, кого рейтингуют и кто не попал в топ.
Имея большой объём накопленных за последние годы и доступных данных по результатам рейтингов и мониторингов в системе высшего образования страны, мож-
фессионального образования)» национального проекта «Образование».
4 Academic Ranking of World Universities (ARWU), QS World University Rankings (QS), Times Higher Education (THE).
но предпринять попытку сконструировать национальный агрегированный рейтинг, в котором, с одной стороны, учесть весь положительный опыт (ориентация на результаты образовательной и научной деятельности, использование количественных измеряемых показателей и др.), а с другой - снизить фактор субъективизма: совокупность субъективных мнений может дать относительно объективный результат. Для этого необходимо изучить все существующие в настоящее время в стране рейтинги вузов, предложить правила их отбора для составления агрегированного рейтинга, ввести новый, интуитивно понятный и обоснованный математический аппарат - методику расчёта данных по результатам определённой выборки рейтингов. Такая методика, получившая название «МетАЛиг» [1], предполагает:
a) переход от мест в рейтингах к лигам;
b) использование нового математического аппарата свёрток, базирующихся на теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарной и др.);
c) введение новых «слабых» свёрток -
Бп,т .
Решение задачи разработки относительно простой многофакторной системы построения рейтинга российских вузов [2; 3] позволит получить более объёмную картину их достижений, расширить круг участников и пользователей такого рейтинга, а значит, привлечь внимание к действительно важным для всей общественности проблемам развития высшей школы.
Методология исследования
Коротко остановимся на используемой методике МетАЛиг, которая предполагает представление результатов оценивания в формате лиг. Поскольку каждая рассматриваемая система оценивания носит количественный характер (место, балл), все вузы отранжированы в порядке убывания. По каждому отдельному рейтингу разбиваем шкалу ранжирования на непересекающиеся группы, например, на квартили (в
данной работе мы преимущественно будем использовать такое разбиение). Хотя для каждой шкалы может быть, вообще говоря, различное собственное разбиение. В результате разбиения каждый вуз по каждому ьму рейтингу попадает в определённую группу (например, первую, вторую, третью или четвёртую квартиль) и получает соответствующую оценку А,, Б,, С, или Ц. Таким образом, положение вуза может быть охарактеризовано п-мерным рейтингом, где п - число рассматриваемых рейтингов, например (А, D, С,.., В).
На следующем этапе на основе использования как известных, так и новых методов свёрток из теории голосования в малых группах формируется агрегированная таблица лиг. Для перехода от многокритериального выбора к однокритериальной задаче используются аналоги методов Борда, Кондорсе, Симпсона, плюралитарной и др. [4; 5]. Отметим, что различные процедуры свёрток дают, вообще говоря, различные итоговые результаты. В данной работе мы ограничимся рассмотрением только двух интуитивно понятных процедур - Борда и плюралитарной.
В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (^1), второй -(^2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов. Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов, приписываемых областям. Принцип использования плюралитарной процедуры позволяет на основании полученных векторов оценок (А, D, С, ... В) выстраивать ранжирование по «сумме первых мест» (т.е. получивших оценки А), далее -«сумме вторых мест» (т.е. получивших оценки Б) и т.д. Такая процедура используется, например, при подведении итогов олимпийских игр. Команды ранжируются по количе-
ству золотых медалей, далее - серебряных и далее - бронзовых.
Дополнительно в данном исследовании предложено использование так называемых слабых свёрток - Вп,т. Во многих видах спорта участнику даётся три попытки, и выбирается лучший результат, т.е. выполняется свёртка В1>3. Суть процедуры состоит в том, что в итоговой оценке учитываются не все результаты, а только лучшие. Чем меньше п (количество лучших попыток) и больше т (общее количество попыток), тем результаты в целом, вообще говоря, лучше. В данной работе рассматриваются восемь рейтингов и, следовательно, использована свёртка В5,8. Но итоговая оценка вычисляется по пяти лучшим результатам (у каждого вуза они свои) из восьми оценок в целом. Отметим, что вопрос о выборе количества рейтингов, которые идут в зачёт, является дискуссионным: их может быть как больше, так и меньше. Понятно, что чем больше рейтингов с разной целевой направленностью и группой пользователей, тем больший системный результат мы можем получить.
Предлагаемая методика МетАЛиг позволяет агрегировать абсолютно разные оценки вуза, выраженные в «местах» и «баллах», в разных по своим подходам и методикам рейтингах и оценочных системах в единую оценку в форме таблиц лиг.
Обзор существующих в России рейтингов
По данным IREG5, сегодня в мире насчитывается более 100 академических рейтингов различного уровня: международных, региональных, национальных, в том числе как институциональных, так и предметных.
Разработчиками рейтингов, как правило, являются независимые структуры (журналы, специализированные агентства), но могут выступать и государственные органы управления образованием (чаще всего неявно, в формате мониторингов, по резуль-
5 IREG Observatory on Academic Ranking and Excellence. URL: http://ireg-observatory.org/en/
татам которых и строятся рейтинги). Государство заинтересовано в развитии новых рейтингов, финансируя их создание через конкурсные процедуры. Но, как показывает практика, такие рейтинги существуют только пока есть государственное финансирование. В настоящее время в РФ почти нет рейтингов-«долгожиителей». Например, обзор российских рейтингов, существовавших по состоянию на 2012 г., проведён Е. Балац-ким [6]. Из семи рейтингов, описываемых в его работе, на сегодняшний день остались лишь два (рейтинг «Интерфакс» и «Лучшие образовательные программы инновационной России»). Ещё одна проблема: рейтинги оценивают незначительное количество вузов, большинство вузов страны выпадает из их поля зрения. Кроме того, ни один из рейтингов не является доминирующим. Вместе с тем приметой последних лет является появление большого числа открытых баз данных (данные мониторинга эффективности вузов, результаты ЕГЭ и ФИЭБ, студенческих олимпиад и конкурсов, публикационной активности преподавателей, сведения о профессионально-общественной и международной аккредитации и др.), позволяющих оперативно создавать новые рейтинги.
Вопрос числа и правил выбора рейтингов для агрегирования их результатов, как мы отметили, остаётся дискуссионным. Сформулируем выбранные (на наш взгляд, очень мягкие) критерии отбора рейтингов и систем оценивания: публичность (полная информация представлена в открытом доступе); стабильность (существуют не менее трёх лет); массовость (оценивают не менее 100 вузов); периодичность (исследование проводится ежегодно). Таким критериям удовлетворяют только четыре рейтинга, представленные в таблице 1. Заметим, что незначительное повышение возраста рейтинга (до пяти лет) и (или) количества оцениваемых вузов («не менее 500») резко сужает поле для исследования. По нашему мнению, со временем требования к отбору рейтингов и систем оценивания должны, конечно же, повы-
Таблица 1
Рейтинги, удовлетворяющие выделенным критериям отбора
№ Название Год начала проекта Количество вузов, представленных в рейтинге 2018 год Сайт
1. Национальный рейтинг университетов - Интерфакс 2009 288 https://academia.interfax.ru/ru/ratings/Prati ng=1&year=2019&page=1
2. «Первая миссия» 2010 721 https://www.best-edu.ru/ranking/reyting-obrazovatelnyh-organizaciy-pervaya-missiya
3. Рейтинги университетов МЕХ 2015 100 https://raex-rr.com/education/universities/ top-100-univercities_of_russia#table
4. Рейтинг востребованности вузов (РИА Новости) 2017 444 https://na.ria.ru/20181212/1547815645.html
шаться. Только регулярно работающие системы оценивания, пользующиеся доверием широкой общественности, нужно включать в итоговый Национальный агрегированный рейтинг.
Национальный рейтинг университетов рассчитывается в течение последних десяти лет Международной информационной группой «Интерфакс». Оценка деятельности вузов проводится по результатам обработки данных анкет, представленных самими университетами. Деятельность университетов оценивается по шести параметрам: образовательная деятельность; исследовательская деятельность; социализация (отражает деятельность вуза в социальной сфере); интернационализация или международная деятельность вуза; бренд вуза; инновации и предпринимательство (деятельность вуза в сфере технологического предпринимательства). По каждому из параметров строится свой частный рейтинг. Методика формирования общего рейтинга представляет собой линейную комбинацию частных параметрических рейтингов, где каждый параметрический рейтинг носит свой весовой коэффициент, а именно: оценка деятельности университета в сфере «Образование» - 20%; оценка деятельности университета в сфере «Исследования» - 20%; оценка деятельности университета в сфере «Социальная среда» - 15%; оценка деятельности университета в сфере «Интернационализация» - 15%; оценка деятельности университета в сфере
«Инновации и Предпринимательство» -15%; оценка бренда университета - 15%6.
Рейтинг «Первая миссия» создан по итогам проекта «Лучшие образовательные программы инновационной России». Разработчиком проекта является Гильдия экспертов в сфере образования совместно с журналом «Аккредитация в образовании» и Национальным центром профессионально-общественной аккредитации. Проект основан на трёх группах показателей: экспертная оценка образовательных программ, достижения студентов, достижения образовательной программы. Экспертная оценка - это результат, полученный на основе онлайн-голосования экспертов. Кроме того, специальное программное обеспечение (модуль сбора данных) даёт возможность руководителям образовательных программ внести всю информацию о достижениях программы (конкурсы, олимпиады, выставки и др.). В расчётах учитываются также данные открытых источников, свидетельствующие о достижениях студентов и преподавателей (гранты, стипендии, победы в олимпиадах и др.). Данные собираются по отдельным образовательным программам, а не по вузу в целом, что позволяет построить предметные рейтинги по восьми областям образования. На основе предметных рейтингов представлен агрегированный рейтинг всех вузов стра-
6 Национальный рейтинг университетов «Ин-
терфакс». URL: https://academia.interfax.ru/ru/ra tings/?rating=1&year=2019&page=1
ны. Все показатели, которые учитываются в проекте, ориентированы на оценку качества подготовки студентов и достижения в образовательной деятельности, поэтому рейтинг получил название «Первая миссия» [7; 8].
Рейтинговое агентство ЯЛЕХ представляет рейтинг 100 лучших вузов России. Оценка вузов производится на основании анализа статистических показателей и результатов онлайн-опросов. В качестве статистической информации используются данные анкетирования вузов. Целевыми группами для опроса выступают студенты и выпускники, представители академического и научного сообществ, представители компаний-работодателей. Расчёт места в рейтинге происходит по результатам анализа трёх интегральных факторов: условия для получения качественного образования в вузе (50%), уровень востребованности работодателями выпускников вуза (30%), уровень научно-исследовательской деятельности вуза (20%). По каждому показателю рассчитывается индекс, характеризующий позицию вуза относительно других. Расчёт производится путём сравнения количественного показателя вуза со средним значением данного показателя по всем вузам, участвующим в рейтинге7.
Рейтинг востребованности вузов, представленный «Социальным навигатором» МИА «Россия сегодня», использует для оценки востребованности результатов деятельности вуза следующие показатели: доля выпускников, получивших направление на трудоустройство после завершения профессиональной подготовки по очной форме обучения; доля доходов от НИР, образовательных услуг сторонним организациям в общих доходах образовательной организации; индекс цитирования трудов сотрудников организации. Все количественные данные собраны из открытых источников информации. Выбранные показатели имеют разные
7 Рейтинговое агентство RAEX. URL: https:// raex-rr.com/education/universities/top-100-univercities of russia
условия формирования в разных сферах деятельности, поэтому составители рейтинга выделяют шесть групп вузов по направлениям деятельности: классические университеты, инженерные вузы (технические университеты), сельскохозяйственные вузы, сфера управления - экономика, финансы, юриспруденция, гуманитарные вузы (педагогические, филологические), медицинские вузы. Итоговый рейтинг строится как сумма нормированных значений трёх показателей рейтинга в порядке их убывания. Вузы ранжируются по каждому из трёх избранных показателей в выделенных группах по шести направлениям деятельности8.
Обзор баз данных по результатам оценивания образовательной деятельности
Основой построения рейтингов являются базы данных. Практически все российские рейтинговые агентства собирают базы данных самостоятельно. С одной стороны, это хорошо, так как расширяет объём информации по результатам оценивания, но, с другой стороны, это оставляет возможность для манипулирования, так как собранные базы данных чаще всего не публичны. Другой тренд, который становится всё более явным в последние годы, - это появление публичных открытых баз данных в системе образования, например: данные по результатам мониторинга, проводимого Минобрнауки (https:// miccedu.ru/), мониторинг качества приёма в вузы РФ (https://ege.hse.ru/), данные по результатам национальной профессионально-общественной аккредитации (https:// accredpoa.ru/), результаты международной аккредитации (https://www.eqar.eu/) и др. Наличие открытых публичных баз данных в системе образования позволяет оперативно создавать новые рейтинги. В качестве примера возьмём четыре возможных: 1) рейтинг по данным мониторинга эффективности вузов; 2) рейтинг ОКО (оценка качества обучения);
8 Рейтинг востребованности вузов в РФ. URL: https://na.ria.ru/20181212/1547815645.html
3) рейтинг «Международное признание»; 4) рейтинг по результатам профессионально-общественной аккредитации. Формально эти рейтинги могут рассматриваться как новые, но информация о составляющих их индикаторах доступна, открыта более трёх лет и публикуется ежегодно.
Рассмотрим рейтинг по данным Мониторинга эффективности деятельности вузов. Он введён в практику Минобрнауки России с 2012 г., учитывает результаты деятельности практически всех вузов страны и их филиалов. Фактически министерство построило таблицу лиг, но выделило лишь две лиги: эффективные вузы и остальные. Данные мониторинга эффективности представлены по семи количественным показателям, по каждому из них проводится ранжирование образовательных организаций в порядке убывания значений показателя и выделяется пороговое значение. Результаты ранжирования можно разбить не на две области (выше или ниже порогового значения), а на четыре естественные области (квартили) и оценить значениями A, B, C, D (или E, если вуз не входит в данное ранжирование). На основе процедуры Борда каждой локальной оценке присваивается вес. Интегральный индекс Борда J вычисляется как сумма всех локальных индексов. Отметим, что весовые коэффициенты, определяющие важность того или иного показателя, не используются.
Цель данного рейтинга - при помощи программного комплекса LiftUp9 составить по открытым данным мониторинга эффективности деятельности вузов более тонкий, чем бинарная шкала, инструмент ранжирования вузов и разделить все вузы на 10 лиг [9].
Рейтинг «Международное признание» может основываться, например, на четырёх показателях, представленных в открытых базах данных, а именно: достижения в международных рейтингах, результаты международной аккредитации, достижения
9 Программно-методический комплекс LiftUp. URL: https://msd-nica.ru/
Таблица 2
Достижения в международных рейтингах
Оценка Количество вузов
А МГУ им. М.В. Ломоносова
B 11 вузов
С 17 вузов
D 16 вузов
E 684 вуза
в студенческих международных олимпиадах и конкурсах, численность иностранных студентов. Кратко опишем каждый из них.
Достижения в международных рейтингах могут быть представлены по данным трёх признанных мировых глобальных рейтингов: Шанхайского рейтинга (Academic Ranking of World Universities, ARWU) и двух английских рейтингов: QS World University Rankings (QS) и Times Higher Education (THE). Заслуживающий внимания и быстроразвивающийся российский рейтинг «Три миссии» в этом году не включён в расчёты по формальным признакам (ему менее трёх лет). В последние годы отчётливо заметна тенденция расширения глобальных рейтингов на предметный уровень. В нашей работе учитываются не только основные институциональные рейтинги, но и их предметные вариации. Каждый из рейтингов ежегодно отбирает лучшие университеты мира. В рейтингах «большой тройки» (включая предметные рейтинги) в 2018 г. были представлены 45 российских вузов. Обозначим через А вуз, который попал в топ-100 хотя бы одного из основных рейтингов «Большой тройки», через B оценим вуз, который попал в топ-500 (места 101-500), через С - вуз, который занимает место от 500 до 1000+, D - вуз, который не представлен в основных рейтингах, но попал хотя бы в один предметный рейтинг; Е - остальные вузы, которые не представлены в международных рейтингах «большой тройки» (Табл. 2).
Для расчёта рейтинга по показателю международной аккредитации возьмём за основу данные Европейского реестра ак-
кредитованных программ DEQAR10. Вузы, чьи программы включены в этот регистр (т.е. прошли аккредитацию в признанном аккре-дитационном агентстве), получают оценку -А, остальные - оценку Е.
Достижения в студенческих международных олимпиадах и конкурсах также будем учитывать по открытым источникам. Согласно исследованию11,12, на данный момент насчитывается 14 международных студенческих олимпиад. Кроме того, дополнительно к этим олимпиадам учитываем конкурсы в области культуры и искусства и Открытые международные студенческие Интернет-олимпиады (https://olymp.i-exam. ш/). Анализ результатов 2018 г. показал, что студенты из российских вузов представлены лишь в шести международных олимпиадах. Таким образом, можно оценить каждый вуз по степени успешности выступления (и участия) студентов в этих олимпиадах, т.е. каждый вуз получит шестивекторную оценку. В качестве метода свёртки воспользуемся «слабой» процедурой В1,6, т.е. возьмём лучший результат из возможных шести. Вуз попадает в первую группу, если его студенты получили хотя бы одно первое место (золотую медаль) в данной выборке; во вторую группу, если его студенты получили хотя бы одно второе место (серебряную медаль) и вуз не попал в первую группу; в третью группу, если его студенты получили хотя бы одно третье место (бронзовую медаль) и вуз не входит в первую или вторую группу; в четвёртую группу, если студенты вуза принимали участие в этих олимпиадах; в пятую
10 DEQAR - Database of External Quality Assurance Results. URL: https://www.eqar.eu/qa-results/deqar-project/
11 Международные студенческие олимпиады // Исследование на материалах Московского международного рейтинга вузов «Три миссии университета 2018».
12 Методология Московского международного рейтинга вузов «Три миссии университета»
(ноябрь 2018). URL: https://mosiur.org/methods/ methodology/
Таблица 3 Достижения в студенческих международных олимпиадах и конкурсах
Группа Оценка Количество вузов
Первая А 33
Вторая B 26
Третья С 15
Четвёртая D 0
Пятая E 655
Таблица 4
Результаты рейтинга «Международное признание»
Лига Оценка Количество вузов
Первая А 184
Вторая B 170
Третья С 189
Четвёртая D 162
Пятая E 16
группу, если студенты вуза не принимают участие в перечисленных международных олимпиадах (Табл. 3).
Данные о численности иностранных студентов берутся из открытых данных мониторинга эффективности деятельности вузов13. Ранжируем вузы по данному показателю и разбиваем на квартили. Оценку А получает вуз, который попал в первый квартиль, В - вуз, который попал во второй квартиль, С - вуз, который попал в третий квартиль, D - вуз, который попал в последний квартиль, Е - если нет данных (нет иностранных студентов) по данному показателю.
Таким образом, каждый вуз по каждому из четырёх показателей получает четырёх-векторную оценку. Разбиение на лиги также проводится с использованием «слабой» процедуры В1,4. Вуз попадает в первую лигу, если хотя бы одна из четырёх оценок - А; во вторую, если хотя бы одна из оценок В и вуз не
13 Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования. URL: http:// indicators.miccedu.ru/monitoring/?m=vpo
попал в первую лигу; в третью, если хотя бы одна из оценок С и вуз не попал в первую и вторую лиги; в четвёртую, если хотя бы одна из оценок D и вуз не попал в первую, вторую и третью лиги. В пятую попадают оставшиеся вузы (Табл. 4).
Составить Рейтинг по результатам профессионально-общественной аккредитации (российской и международной) можно по информации официальных сайтов [10]. В соответствии с действующим законодательством такой рейтинг может и должен иметь место, а информация о результатах должна быть доступной14. Поскольку аккредитация основана на оценке программ, а не вуза в целом, каждый вуз получит восьмизначный вектор оценок, исходя из 8 областей образования15. Критериями для присуждения разного рода оценок могут быть следующие:
- включение образовательных программ в Европейский реестр аккредитованных программ DEQAR по данной области образования - категория А;
- получение международной аккредитации в агентствах, входящих в Европейский реестр гарантии качества образования (EQAR) или являющихся полноправными членами международной ассоциации инженерного образования Washington Accord, - категория В;
- получение образовательной программой национальной профессионально-общественной аккредитации в агентствах, входящих в Европейский реестр гарантии качества образования (EQAR) или являющихся полноправными членами Washington Accord, -категория С;
- получение образовательной программой национальной профессионально-обще-
14 Федеральный закон "Об образовании в Российской Федерации" N 273-Ф3 от 29 декабря 2012 года с изменениями 2019 года, статья 96, п.5, 7.
15 Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от
12 сентября 2013 г. N 1059 г. Москва «Об утверждении Порядка формирования перечней профессий, специальностей и направлений подготовки».
Таблица 5
Результаты рейтинга по результатам профессионально-общественной аккредитации
Лига Оценка Количество вузов
Первая А 14 вузов
Вторая B 20 вузов
Третья С 43 вуза
Четвёртая D 103 вуза
Пятая E 541 вуз
ственной аккредитации и внесение в базу АИС «Мониторинг ПОА» (accredpoa.ru)16 -категория D.
Категория Е включает образовательные программы, не вошедшие в вышеперечисленные реестры.
Далее с применением плюралитарной свёртки разбиваем выборку вузов на лиги (Табл. 5).
Любая система оценивания вузов является неполной, если она не учитывает результаты прямого измерения результатов своей деятельности, т.е. результатов обучения. Рейтинг результатов оценки качества обучения в вузах страны был бы самым показательным и востребованным рейтингом для широкого круга общественности. Однако, к сожалению, сегодня в России фактически единственным успешным проектом (не будем останавливаться на недостатках) по прямому измерению качества образования является ЕГЭ, реализуемый с 2001 г. Для вузов - это оценка спроса вуза или программы со стороны абитуриентов, но её можно рассматривать и как «оценивание на входе». Для «оценивания на выходе» можно учитывать результаты проекта ФИЭБ (Федеральный интернет-экзамен для выпускников бакалавриата), реализуемый с 2015 г. Ежегодно в нём принимают участие около 150 вузов, а потому этот проект соответствует всем четырём критериям выборки систем оценивания (напомним: публичность, стабиль-
16 Система мониторинга профессионально-общественной аккредитации. URL: https:// accredpoa.ru/
ность, массовость, периодичность). Оценку деятельности вуза, его «вклад» в качество образования можно рассчитать по разнице «выход» минус «вход».
Представление результатов ЕГЭ и ФИЭБ также даётся в форме таблицы лиг. Данные по показателям среднего балла ЕГЭ по вузу берутся из открытых данных мониторинга эффективности деятельности вузов и исследования НИУ ВШЭ «Мониторинг качества приёма в вузы РФ»17,18. Так, например, по результатам МЭ-2018 данные по среднему баллу ЕГЭ представлены для 721 вуза (без филиалов). Далее ранжируем вузы по показателю среднего балла ЕГЭ и разбиваем вузы на квартили. Каждый вуз получит оценку от А до Е в зависимости от того, в какую квартиль он попал. А - если в первую квартиль (входит в лучшие 25% по среднему баллу ЕГЭ), В - во вторую квартиль, С - в третью квартиль, D - в четвёртую квартиль. Оценку Е вуз получает, если не представил информацию по среднему проходному баллу.
Федеральный интернет-экзамен для выпускников бакалавриата (ФИЭБ) - это независимая как от органов управления, так и от вузов процедура сертификации выпускников бакалавриата на соответствие требованиям ФГОС. Каждый студент, прошедший экзамен, получает сертификат (золотой, серебряный, бронзовый, участника) в зависимости от результата оценки19. В свою очередь, каждый вуз (и каждая образовательная программа) могут быть описаны пятимерным вектором оценок, где первая оценка вектора - количество золотых сертификатов, вторая - серебряных сертифи-
17 Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования. URL: http:// indicators.miccedu.ru/monitoring/?m=vpo
18 Мониторинг качества приёма в вузы Национального исследовательского университета Высшая школа экономики. URL: https://ege.hse.ru/
19 ФИЭБ - Единый портал интернет-тестирования. URL: https://bakalavr.i-exam.ru/
Таблица 6
Результаты рейтинга «Оценка качества обучения»
Лига Оценка Количество вузов
Первая А 194 вуза
Вторая B 171 вуз
Третья С 152 вуза
Четвёртая D 157 вузов
Пятая E 47 вузов
катов, третья - бронзовых, четвёртая - число участников в ФИЭБ, последняя - неучастие. В качестве метода свёртки используется плюралитарная процедура.
Таким образом, в итоге расчёта показателя «качество обучения» каждый вуз получает вектор из двух оценок (Xi, Yi), где Xi -оценка по итогам ЕГЭ, Yi - оценка по итогам ФИЭБ.
Очевидно, что сегодня не все вузы принимают участие в сертификационном экзамене ФИЭБ, поскольку он является добровольным и для вузов, и для студентов. Поэтому прямое использование формулы «качество = выход минус вход» пока неприменимо. Предлагается использовать более «мягкую» формулу, основанную на максимуме достижений по результатам двух независимых педагогических измерений, так называемую «слабую» плюралитарную процедуру: Zi = max (Xi, Yi), где Zi - итоговая оценка, которая может принимать оценку от A до E. В результате каждый вуз получит одну из пяти оценок от A до E по показателю «оценка качества обучения» с использованием «слабой» процедуры Bi,2, т.е выбор лучших результатов по одному из двух. Распределение вузов по лигам представлено в таблице 6.
Данный рейтинг, несмотря на его ограничения, может вызвать большой интерес. Проведённые исследования, наряду с очевидными результатами (когда вузы, набрав «высокобалльных» абитуриентов, показывают высокие результаты своих выпускников), дают и совершенно удивительную информацию: вузы отдельных отраслей по объективным причинам набирают довольно
Таблица 7
Пример оценки вузов по восьми рейтингам
Рейтинги Университеты Рейтинг RAEX, 2018 Рейтинг Интерфакс, 2018 Рейтинг востребованности вузов РИА новости, 2018 Рейтинг Первая миссия,2018 Оценка по результатам мониторинга эффективности Оценка Международное признание Оценка ПОА Оценка качества обучения
Санкт-Петербургский государственный университет A A A A A A B A
НИУ «Высшая школа экономики» A A A A A A B A
Санкт-Петербургский политехнический университет Петра Великого A A A B A A A A
Казанский (Приволжский) федеральный университет A A A B A A A A
слабых абитуриентов, но готовят успешных выпускников (например, ряд транспортных и педагогических вузов).
Подводя итог, можно отметить, что в последние годы появляются новые перспективные рейтинги, основанные на использовании нестандартных показателей. Упомянем рейтинг «Три миссии университета», рейтинг лучших вузов России Forbes, рейтинг вузов Благотворительного фонда В. Потанина и др. На наш взгляд, пройдя этап становления, эти рейтинги будут играть важную роль в оценке деятельности вузов.
Национальный агрегированный рейтинг
Обзор соответствующих установленным критериям систем ранжирования и оценивания даёт нам возможность построить агрегированный рейтинг деятельности вузов. В описанных нами восьми рейтингах все вузы получили оценки от А до Е (Табл. 7).
Следующим шагом используем слабую свёртку Борда В5,8, то есть по каждому вузу из восьми представленных оценок выберем пять лучших и вычислим индекс Борда. За каждую оценку «А» вуз получает 4 балла, за «В» - 3 балла, за «С» - 2 балла, за «D» - 1 балл, за «Е» - 0 баллов. В сумме вуз может получить от 0 до 20 баллов. Значение 20 баллов получили 24 вуза. Они образуют «Пре-
мьер-лигу». Это явные лидеры российского образования, большая часть из них - федеральные и национальные исследовательские университеты, участники «Проекта 5/100». Более половины лидеров (13 вузов) - вузы Москвы, четыре - Санкт-Петербурга, два - Томска, по одному - из Белгорода, Екатеринбурга, Казани, Нижнего Новгорода и Самары (Табл. 8).
В следующую - первую - лигу вошли вузы, у которых индекс Борда принимает значение от 18 до 19 баллов включительно. Таких вузов 38 (Табл. 9).
В результате все вузы страны (721) разделились на 10 лиг (Табл. 10). Подробно с ре-
20
зультатами можно ознакомиться на сайте20. Кроме того, для более удобного использования результатов и принятия правильных решений все вузы можно распределить на четыре большие зоны. Первую зону составляют вузы Премьер-лиги, вторую (это может быть зелёная зона) - вузы первых трёх лиг, занимающие лидирующие места во многих российских рейтингах и системах оценивания. В жёлтой зоне (четвёртая, пятая и шестая лиги) находятся стабильно работающие вузы, которым ещё предстоит показать выдающиеся результаты. И, наконец, в красной зоне (седьмая, восьмая и де-
20 URL: best-edu.ru или msd-nica.ru
Таблица 8 Премьер-лига Национального агрегированного рейтинга
Название образовательной организации
Московский государственный университет имени М.В. Ломоносова
Санкт-Петербургский государственный университет
Национальный исследовательский университет "Высшая школа экономики"
Санкт-Петербургский политехнический университет Петра Великого
Казанский (Приволжский) федеральный университет
Первый Московский государственный медицинский университет имени И.М. Сеченова
Санкт-Петербургский университет информационных технологий, механики и оптики
Томский политехнический университет
Самарский университет имени академика С.П. Королева
Томский государственный университет
Национальный исследовательский технологический университет "МИСиС"
Национальный исследовательский ядерный университет "МИФИ"
Российский государственный университет нефти и газа имени И.М. Губкина
Московский физико-технический институт
Российский университет дружбы народов
Нижегородский государственный университет им. Н.И. Лобачевского
Финансовый университет при Правительстве Российской Федерации
Российский национальный исследовательский медицинский университет имени Н.И. Пирогова
Российская академия народного хозяйства и государственной службы при Президенте РФ
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
Белгородский государственный национальный исследовательский университет
Уральский федеральный университет имени первого Президента России Б.Н. Ельцина
Московский государственный технический университет имени Н.Э. Баумана
Национальный исследовательский университет "МЭИ"
Таблица 9 Первая лига Национального агрегированного рейтинга
Название образовательной организации Новосибирский государственный технический университет_
Северо-Кавказский федеральный университет_
Российский государственный педагогический университет им. А.И. Герцена_
Казанский государственный медицинский университет Российский экономический университет имени Г.В.
Плеханова_
Дальневосточный федеральный университет_
Северный (Арктический) федеральный университет
имени М.В. Ломоносова_
Новосибирский национальный исследовательский
государственный университет_
Санкт-Петербургский горный университет_
Балтийский федеральный университет имени Иммануила Канта_
Московский государственный институт международных отношений_
Ставропольский государственный аграрный университет Казанский национальный исследовательский технологический университет_
Московский политехнический университет_
Томский государственный педагогический университет Первый Санкт-Петербургский государственный медицинский университет имени И.П. Павлова_
Санкт-Петербургский государственный педиатрический медицинский университет_
Национальный исследовательский университет "МИЭТ" Воронежский государственный медицинский университет им. Н.Н. Бурденко_
Тверской государственный медицинский университет
Алтайский государственный университет_
Южный федеральный университет_
Томский государственный университет систем управления и радиоэлектроники_
Санкт-Петербургский государственный экономический университет_
Национальный исследовательский Мордовский государственный университет им. Н.П. Огарева_
Московский авиационный институт_
Сибирский федеральный университет_
Белгородский государственный технологический
университет им. В.Г. Шухова_
Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ_
Тюменский государственный университет_
Северо-Западный государственный медицинский
университет им. И.И. Мечникова_
Южно-Уральский государственный университет_
Московский государственный технологический университет "СТАНКИН"_
Сибирский государственный медицинский университет Российский государственный социальный университет Тамбовский государственный университет имени Г.Р.
Державина_
Северный государственный медицинский университет Российская академия музыки имени Гнесиных
Таблица 10
вятая лиги) находятся вузы, руководство которых, по-видимому, не слишком озабочено репутацией вверенных им образовательных учреждений, поскольку они практически не представлены ни в каких рейтингах (не проходят процедуры внешней независимой оценки и профессионально-общественной аккредитации, их студенты не участвуют в престижных конкурсах и олимпиадах, у них низкая научная активность). Конечно, это не даёт достаточных оснований считать, что качество образования в этих вузах низкое. Но они не попадают в поле зрения независимых систем оценивания и, следовательно, информационно закрыты для общественности.
Как и любой рейтинг, представленный здесь способ ранжирования не лишён недостатков. Хотя в стране накоплен довольно обширный и разнообразный опыт по оценке качества образования, немногие рейтинги и системы оценивания являются массовыми. Только некоторые из них оценивают большинство вузов, остальные - лишь небольшое число. Очевидно, что чем в большем количестве рейтингов вуз принимает участие, тем выше для него вероятность подняться в агрегированном рейтинге.
Кроме того, вошедшие в наш расчёт рейтинги с большой долей вероятности могут коррелировать друг с другом [11; 12]. Индикаторы, используемые в одном рейтинге,
могут применяться и в других рейтингах. Например, индикатор «Наука» присутствует в большинстве рейтингов. В этом случае «двойной счёт» будет оказывать более сильное влияние на повышение позиций вуза, чем те индикаторы, которые учитываются только в одном рейтинге. При этом индикаторы, которые можно получить только из открытых источников, могут не охватывать все аспекты деятельности вузов. Вместе с тем разумное, обоснованное, структурированное представление всех доступных данных о достижениях вуза в едином агрегированном рейтинге позволяет получить всестороннюю оценку его активности и потенциала развития.
Выводы
Впервые предложен новый подход к оценке деятельности всех вузов, основанный на агрегировании известных публичных, признаваемых профессиональным сообществом систем оценивания (включая рейтинги) в высшем образовании России. Можно сказать, что фактически применён сетевой метод оценивания, когда ни одна из точек зрения не превалирует над остальными.
Для конструирования агрегированного рейтинга использован «мягкий» математический аппарат, позволяющий минимизировать недостатки отдельных систем оценивания. Все данные для расчёта и методы свёртки открыты, прозрачны и могут быть проверены независимыми исследователями. При увеличении количества рейтингов и независимых систем оценивания объективность Национального агрегированного рейтинга будет только возрастать.
Результаты агрегированного рейтинга представляются в виде 10 лиг, которые естественным образом разбиваются на четыре зоны, упорядоченные по степени значимости их достижений в существующих национальных системах оценивания (как государственных, так и независимых). В лидерах находятся вузы, являющиеся лидерами в
Распределение вузов по лигам
Лига Индекс Борда Количество вузов в лиге
Премьер-лига 20 24
1-я лига от 18 до 19 3 оо
2-я лига от 16 до 17 49
3-я лига от 14 до 15 70
4-я лига от 12 до 13 101
5-я лига от 10 до 11 132
6-я лига от 8 до 9 115
7-я лига от 6 до 7 114
8-я лига от 4 до 5 53
9-я лига меньше 3 25
большинстве систем оценивания. В аутсайдерах - вузы, чьи результаты не отслеживаются ни одним из признанных независимых рейтингов, ни одной из существующих систем оценивания (в формате баз данных). Такие вузы информационно закрыты для академической общественности.
Применение Национального агрегированного рейтинга может позволить сделать оценку вуза максимально прозрачной и избежать субъективности оценивания при проведении контрольно-надзорных мероприятий, когда судьба вуза может зависеть от мнений ограниченного числа проверяющих.
Национальный агрегированный рейтинг может быть использован самым широким кругом пользователей - не только абитуриентами при выборе вуза, но и администрацией вуза для самодиагностики и стратегического планирования (фактически используя бенчмаркинг).
Литература
1. Наводнов В.Г, Мотова Г.Н, Рыжакова О.Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг // Вопросы образования. 2019. № 3. С. 130-151.
2. Болотов В.А., Вальдман И.А., Горбовский Р.В, ЗахирЮ.С., Мерцалова Т.А. Ключевые вопросы развития национальных и региональных систем оценки качества образования (экспертный обзор). М.: Изд. дом Высшей школы экономики, 2016. 232 с.
3. БолотовВ.А. Прошлое, настоящее и возможное будущее российской системы оценки качества образования // Вопросы образования. 2018. № 3. С. 287-297.
4. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Вол-
шебных Странах: Учебник. М.: Логос, 2000. 296 c.
5. Петровский А.Б. Теория принятия решений. М.: Академия, 2009. 399 с.
6. Балацкий Е.В. Российская практика оценки эффективности университетских программ // Общество и экономика. 2012. № 11. С. 68-84.
7. Наводнов В.Г, Рыжакова О.Е. Рейтинг «Первая миссия» создан по итогам проекта «Лучшие образовательные программы инновационной России» // Аккредитация в образовании. 2018. № 7(107). С. 50-64.
8. Наводнов В.Г, Рыжакова О.Е. Российские вузы распределились по 14 лигам агрегированного рейтинга «Первая миссия» // Аккредитация в образовании. 2018. № 8 (108). С. 50-57.
9. Наводнов В.Г., Рыжакова О.Е. Обобщение модели Мак-Кинси для ранжирования образовательных организаций высшего образования с равнозначными критериями // Вестник Поволжского государственного технологического университета. Сер. Экономика и управление. 2018. № 2(38). С. 5-18. DOI: 10.15350/2306-2800.2018.2.5
10. Матвеева О.А. Развитие добровольной аккредитации образовательных программ в России // Высшее образование в России. 2019. Т. 28. № 7. С. 19-28. DOI: https://doi. org/10.31992/0869-3617-2019-28-7-19-28
11. Гайсенок В.А, Наумович О.А, Самохвал В.В. Корреляционные связи позиций вузов в международных рейтингах // Высшее образование в России. 2018. Т. 27. № 12. С. 20-28.
12. Задорожнюк И.Е, Коростелева Л.Ю, Тебиев Б.К. Т0П-200 вузов в четырёх международных рейтингах // Высшее образование в России. 2019. Т. 28. № 3. С. 85-95. DOI: https://doi. org/10.31992/0869-3617-2019-28-3-85-95
Статья поступила в редакцию 30.10.19 После доработки 19.11.19 Принята к публикации 10.12.19
How to Design a National Aggregated Ranking?
Victor Bolotov A. - Dr. Sci. (Education), Academician of the Russian Academy of Education, Research Advisor of the Centre for Education Quality Monitoring. E-mail: [email protected] National Research University Higher School of Economics, Moscow, Russia Address: 20, Myasnitskaya str., Moscow, 101000, Russian Federation
Galina N. Motova - Dr. Sci. (Education), Deputy Director. E-mail: [email protected]
Vladimir G. Navodnov - Dr. Sci. (Engineering.), Prof., Director. E-mail: [email protected]
National Centre for Public Accreditation, Yoshkar-Ola, Russia
Address: 206a, Volkova str., Yoshkar-Ola, 424000, Mari El, Russian Federation
Olga E. Ryzhakova - PhD student. E-mail: [email protected]
Volga State University of Technology, Yoshkar-Ola, Russia
Address: 3, Lenin sq., Yoshkar-Ola, 424000, Mari El, Russian Federation
Abstract. The article presents a new method of designing a national ranking of higher education institutions on the basis of aggregating all existing public national rankings. The new aggregating method MetALeague (Method of Analysis of Leagues) can help to do away with monopoly in evaluation, thus, providing room for independent evaluation of HEIs. The analysis of the current state of procedures and methods of independent evaluation of Russian HEIs in the form of rankings and databases was carried out. The suggested MetALeague method is based on the mathematical tool of the voting theory in small groups and helps to combine different independent evaluations in a single format. A possible approach to creating such a unified national ranking in the form of 10 leagues is considered and the calculation results are presented. The developed ranking methods and the obtained results can be useful for self-diagnosis and promotion of research, organizational and methodological activities of HEIs, and also when introducing a risk-oriented approach in oversight activities.
Keywords: ranking of higher education institutions, rating, national aggregated ranking, league table, MetALeague method, convolution procedure, independent evaluation of HEIs' activities, risk-oriented approach
Cite as: Bolotov, A.V., Motova, G.N., Navodnov, V.G., Ryzhakova, O.E. (2020). How to Design a National Aggregated Ranking? Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 1, pp. 9-24. (In Russ., abstract in Eng.)
DOI: https://doi.org/l0.31992/0869-3617-2020-29-1-9-24
References
1. Navodnov V.G., Motova, G.N., Ryzhakova O.E. (2019). The Method of League Analysis and Its Application in Comparing Global University Rankings and Russia's University Performance Monitoring. Voprosy obrazovaniya =Educational Studies Moscow. No. 3, pp. 130-151. DOI:10.17323/1814-9545-2019-3-130-151 (In Russ., abstract in Eng.)
2. Bolotov, V.A., Valdman, I.A., Gorbovsky, R.V., Zakhir, Yu.S., Mertsalova, T.A. (2016). Kluchevye voprosy rasvitia natsionalnykh i regionalnykh system otsenki katchestva obrazova-nia (expertny obzor) [Key Issues of Development of National and Regional Systems of Education Quality Assessment (Expert Review)]. Moscow: Higher School of Economics Publ., 232 p. (In Russ.)
3. Bolotov, V.A. (2018). The Past, Present, and Possible Future of the Russian Education Assessment System. Voprosy obrazovaniya =Educational Studies Moscow. No. 3, pp. 287-297. DOI: https://doi.org/10.17323/1814-9545-2018-3-287-297
4. Larichev, O.I. (2000). Teoriya i metody prinyatiya resheniy, a takzhe Khronika sobytiy v Volshebnykh Stranakh: uchebnik [Theory and Methods of Decision Making, and The Chronicles of Fairy Lands: A Textbook]. Moscow: Logos Publ., 296 p. (In Russ.)
5. Petrovsky, A.B. (2009). Teoriya prinyatiya resheniy [Decision Theory]. Moscow: Akademiya Publ., 396 p. (In Russ.)
6. Balatskii, E.V. (2012). [Russian Practices in Rating the Effectiveness of University Programs]. Obshestvo i ekonomika = Society and Economy. No. 11, pp. 68-84. (In Russ.)
7. Navodnov, V.G., Ryzhakova, O.E. (2018). [The «First Mission» Ranking Was Created on the Basis of the Project «The Best Educational Programs of Innovative Russia»]. Akkreditatsiya v obrazovanii [Accreditation in Education]. No. 7 (107), pp. 50-64. (In Russ.)
8. Navodnov, V.G., Ryzhakova, O.E. (2018). [Russian Universities Were Divided into 14 Leagues of the «First Mission» Aggregated Ranking]. Akkreditatsiya v obrazovanii [Accreditation in Education]. No. 8 (108), pp. 50-57. (In Russ.)
9. Navodnov, V.G., Ryzhakova, O.E. (2018). [Generalization of the McKinsey Model to Rank Higher Educational Institutions with Equal Criteria]. Vestnik Povolzhskogo gosudarstvennogo tekh-nologicheskogo universiteta. Ser. Ekonomika i upravlenie = Vestnik of Volga State University of Technology. Series "Economics and Management", No. 2 (38), pp. 5-18. DOI: https://doi. org/10.15350/2306-2800.2018.2.5 (In Russ.)
10. Matveeva, O.A. (2019). Development of the Voluntary Accreditation for Study Programmes in Russia. Vysshee obrazovanie v Rossii = Higher Education in Russia.. Vol. 28, no. 7, pp. 19-28. DOI: https://doi.org/10.31992/0869-3617-2019-28-7-19-28 (In Russ., abstract in Eng.)
11. Gaisenok, V.A., Naumovich, O.A., Samokhval, V.V. (2018). Correlational Relationships between International Rankings for Higher Education Institutions. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 27, no. 12, pp. 20-28. DOI: https://doi.org/10.31992/0869-3617-2018-27-12-20-28 (In Russ., abstract in Eng.)
12. Zadorozhnyuk, I.E., Korosteleva, L.Yu., Tebiyev, B.K. (2019). TOP-200 Higher Education Institutions in Four International Ratings: Comparative Analysis. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 3, pp. 85-95. DOI: https://doi.org/10.31992/0869-3617-2019-28-3-85-95 (In Russ., abstract in Eng.)
The paper was submitted 30.10.19 Received after reworking19.11.19 Accepted for publication 10.12.19
