CC BY
88Р01:10.255867RNU.HET.19.04.02 УДК 378.1
В.А. Садовничий,
Московский государственный университет имени М.В. Ломоносова
Московский международный рейтинг «Три миссии университета» как инструмент оценки качества высшего образования
Московский государственный университет имени М.В. Ломоносова
Проблемы оценки качества образования обсуждаются уже много лет. Практически все эксперты сходятся во мнении, что удовлетворительной системы оценки этого ключевого показателя деятельности вузов в настоящее время не существует.
Как же сегодня решается задача ранжирования высших учебных заведений в зависимости от их научных достижений, авторитета, масштабов подготовки специалистов и научных кадров? Основной инструмент -рейтинги вузов, которые стали составляться и все более широ-© Садовничий В.А., 2019 2
ко использоваться с середины 1980-х годов.
Ключевой вопрос любого рейтинга - найти четкие, ясные, легко верифицируемые критерии, по которым можно сравнить различные университеты. Подходы к составлению рейтингов, определению критериев ранжирования высших учебных заведений активно обсуждаются на многих конференциях, симпозиумах как у нас в стране, так и за рубежом.
Иногда этой актуальной теме посвящается целая серия мероприятий. Например, на Зальцбург-ском семинаре в 1990-е годы неод-
нократно обсуждались вопросы критериев при определении рейтингов вузов. В 2011 году в Париже состоялся глобальный форум ЮНЕСКО «Рейтинг и оценка качества высшего образования -сильные и слабые стороны».
Когда идеи создания рейтингов только начали рассматриваться на различных симпозиумах и конференциях с участием отечественных ученых, многие эксперты из зарубежных стран неоднократно говорили о том, что качество образования в российских вузах высоко оценивается в мире и положение наших университетов в рейтингах может служить мерилом их объективности.
За последние годы был создан и получил развитие целый ряд международных и отечественных систем определения рейтинга вузов. В настоящее время действует более 100 национальных и международных рейтингов университетов, из которых наиболее известны и широко используются около 20. Сложился пул наиболее известных и, пожалуй, весьма авторитетных мировых рейтингов, в котором главными являются рейтинги так называемой «большой тройки» - THE (Рейтинг университетов мира по версии «Таймс»), QS (Международный рейтинг лучших университетов мира по версии консалтинговой компании Quacquarelli Symonds) и ARWU
ВИКТОР АНТОНОВИЧ САДОВНИЧИИ
доктор физико-математических наук, профессор, академик Российской академии наук и Российской академии образования, ректор Московского государственного университета имени М.В. Ломоносова, президент Российского союза ректоров. Сфера научных интересов: классическая и вычислительная математика, механика, теория гравитации, педагогика общего и высшего образования. Автор более 450 опубликованных научных работ. Электронная почта: info@rector.msu.ru
В контексте задач оценки качества высшего образования рассматривается международная практика ранжирования высших учебных заведений и присвоения им мест в рейтингах. Показано, что практически все современные рейтинги университетов, включая наиболее авторитетные, основаны на наукометрических либо репутационных показателях, далеко не в полной мере отражающих уровень деятельности вузов. Обоснован замысел создания рейтинга нового типа, где ключевое место отведено измеримым показателям качества образования и взаимодействия университетов и общества. Освещены ключевые моменты разработки Московского международного рейтинга «Три миссии университета», охарактеризовано активное и заинтересованное участие в этом проекте представителей международных организаций и академических кругов. Приведены первые результаты реализации рейтинга «Три миссии университета» и дана оценка его вклада в повышение объективности международных сравнений и в улучшение качества высшего образования.
Ключевые слова: качество высшего образования, рейтинг, миссия университета, наукометрические, репутационные и объективные показатели и критерии оценки деятельности вузов и международных сравнений.
The international practice of ranking higher education institutions and assigning them ratings is considered in the context of the tasks of assessing the quality of higher education. It is shown that almost all modern University rankings, including the most authoritative ones, are based on scientometric or reputational indicators, which do not fully reflect the level of activity of universities. The author substantiates the idea of creating a new type of rating, where the key place is given to measurable indicators of the quality of education and interaction between universities and society. The key moments of the development of the Moscow international rating "Three missions of the University" are highlighted, the active and interested participation of representatives of international organizations and academia in this project is characterized. The first results of the rating "Three missions of the University" and the assessment of its contribution to improving the objectivity of international comparisons and improving the quality of higher education are demonstrated.
Key words: quality of higher education, rating, mission of the University, scientometric, reputation and objective indicators and criteria for assessing the activities of universities and international comparisons.
(Академический рейтинг университетов мира по версии Шанхайского университета).
Одна из важнейших функций университета - образование, однако его качество современными рейтингами практически не учитывается. Хотя необходимо отметить, что все рейтинговые агентства считают этот показатель очень важным. Так, в рейтинге THE сделана попытка оценить качество образования, однако при анализе критериев определения рейтингов можно сделать вывод, что оцениваются только условия преподавания. Это, безусловно, важные показатели, которые необходимо учитывать, но условия преподавания не являются критериями качества образования (табл. 1).
Сравнительный анализ рейтингов университетов свидетельствует о сложности ситуации, в которой оказалась российская система высшего образования на глобальном рынке образовательных услуг.
Во-первых, выбор исходных наукометрических данных при прочих равных условиях оказывает зачастую определяющее влияние на положение в рейтинге.
Во-вторых, используемые в ведущих рейтингах методики учета публикационной активности, качества исследований и числа исследователей однозначно ориентированы на отображение специфики англосаксонской модели университетов.
В-третьих, методики определения репутационных составляющих ряда рейтингов строят-
ся весьма субъективно. При этом существует перекос в географическом распределении членов пула экспертов.
В-четвертых, при создании рейтинга не учитывается роль и степень влияния университета в обществе.
По нашему мнению, сказанное определяет необходимость создания новой, адекватной, реалистичной и понятной системы определения рейтинга университетов. Эта система должна быть более объективной, комплексной, современной, учитывающей ключевые показатели качества образования и специфику университетов стран с тысячелетней историей, древнейшей культурой, уникальными традициями и обычаями.
Среди условий качественной подготовки специалистов в высшей школе по своему значению выделяются наличие содержательного и гибкого учебного плана, высокий уровень квалификации преподавателей и качество читаемых курсов. Уровень этих курсов, кроме формальной оценки, должен проходить и независимую экспертизу, то есть должна быть осуществлена качественная экспертная оценка их фундаментальности и междисциплинарного характера.
Мы полагаем, что если университет занимается лишь профессиональной подготовкой обучающихся, то он не может претендовать на лидирующие позиции в рейтингах. Ведь общепризнанным является следующее: университет формирует современное мировоззрение, оказывает реальное влияние на экономическое развитие. Поэтому в рейтингах необходимо учитывать роль университета как центра культуры и экономики своего региона.
Идея создания российского рейтинга вузов неоднократно обсуждалась в Российском союзе ректоров. Обсуждения показали,
Таблица 1
Распределение критериев, используемых в международных рейтингах университетов THE, QS, ARWU, по группам (в %)
Название критерия THE QS ARWU
Репутация в академической среде 33% 40%
Отношение числа НПР к числу студентов 4,5% 20%
Доля иностранных НПР 2,5% 5%
Доля иностранных студентов 2,5% 5%
Отношение выпускников со степенью PhD к числу НПР 6%
Доход на одного НПР 2,25%
Отношение числа выпускников PhD к числу выпускников бакалавриата 2,25%
Доход вуза от научной деятельности 6%
Число научных публикаций на одного НПР 6%
Нормализованное число цитирований одной статьи 30%
Число цитирований на одного НПР 20%
Доля заказов бизнеса в общих доходах вуза 2,5%
Доля опубликованных научных статей с участием иностранных соавторов 2,5%
Репутация среди работодателей 10%
Число выпускников — лауреатов Нобелевской или Филдсовской премии 10%
Число сотрудников — лауреатов Нобелевской или Филдсовской премии 20%
Число наиболее часто цитируемых исследователей в 21-й предметной области 20%
Число статей, опубликованных в журналах Nature и Science 20%
Число статей, проиндексированных в Science Citation Index Expanded и Social Sciences Citation Index 20%
Сумма баллов по всем критериям, поделенная на численность НПР 10%
Примечание. НПР - научно-педагогические работники.
что есть необходимость посмотреть на деятельность университетов и на результативность системы высшего образования более широко, отразить влияние университетов на общество. По мнению экспертов, это более обоснованный подход к оценке деятельности университетов. Наконец, по итогам X съезда Российского союза ректоров, состоявшегося в 2014 году, Президент России В.В. Путин дал прямое поручение «представить в установленном порядке предложения по формированию ежегодного национального рейтинга организаций, осуществляющих образовательную деятельность по программам высшего образования».
Университеты всегда учили, занимались научными исследованиями, служили обществу. Практи-
чески любой университет всегда решал эти три основополагающие задачи. Но существующие рейтинги, как мы уже отмечали, отражают только некоторые функции университетов, чаще всего лишь одну или две, в силу чего в них не удавалось охватить всю многогранную деятельность университетов. Вот так и возникло название нашего варианта рейтинга - «Три миссии университета».
В ходе работы над критериями рейтинга, над подходами к его построению возникла необходимость более тесного сотрудничества с зарубежными экспертами и авторитетными международными организациями, работающими в этой области.
Прежде всего были налажены рабочие контакты с IREG Observatory - авторитетной международной некоммерческой ассоциацией организаций ранжирования университетов, которая занимается аудитом рейтингов и следит за их качеством. Необходимость таких контактов была обусловлена тем, что без тесного сотрудничества с IREG сделать качественный вариант рейтинга, который признавался бы во всем мире, невозможно. В процессе работы над рейтингом эксперты IREG принимали активное участие в рассмотрении самых разнообразных проблем создания
Члены экспертной группы совета Московского международного рейтинга «Три миссии университета»,
8-9 июня 2017 года
Ян Садлак, авторитетный международный деятель в области оценки качества образования, от лица ¡НЕС активно поддержал идею рейтинга «Три миссии университета»
рейтинга «Три миссии университета». В обсуждении методологии составления рейтинга принимали участие и руководители ШЕО Я. Садлак, Л. Коста, В. Сивински.
После объявления о начале работ по созданию рейтинга «Три миссии университета» состоялись встречи с представителями ведущих рейтинговых агентств
мира, по итогам которых с ними было налажено продуктивное взаимодействие. Возможно, внимание к нашему рейтингу было обусловлено как авторитетом российской системы образования, так и тем, что с самого начала работы были установлены конструктивные отношения с ГОЕО и с владельцами междуна-
Джон Грин выступает на семинаре «Научные метрики: текущее состояние и перспективы развития. Роль современных метрик в развитии российской науки»
родных баз данных - это показало серьезность наших намерений и подхода.
В самом начале работы над рейтингом прошли конференции, состоялся ряд семинаров, в работе которых принимали участие многие известные в мире эксперты в сфере образования. Так, важные предложения по методологии рейтинга сделал известный английский эксперт, почетный доктор Кембриджского университета, партнер крупнейшего издательства научной литературы Elsevier Джон Грин.
В своем выступлении он убеждал, и с ним нельзя не согласиться, что всякий рейтинг - это неустойчивая задача, поскольку малейшее изменение одного из условий приводит к резким изменениям решения. Неустойчивая задача - это основная задача математической физики. Академик Андрей Николаевич Тихонов предложил способ регуляризации этих некорректно поставленных задач. Собственно, то же самое, не будучи математиком, говорил и английский эксперт Джон Грин: всякие рейтинги нуждаются в определенном регулировании. Тогда проблема - не в нахождении конкретных решений, а в рассмотрении некоторых множеств, в которых находится решение, с тем чтобы даже минимальные колебания параметров не приводили к абсурду.
8-9 июня 2017 года состоялось заседание Международного экспертного совета Московского международного рейтинга вузов «Три миссии университета». В нем приняли участие более 30 экспертов из разных стран: Канады, Бельгии, Турции, Китая, Нидерландов, Ирана, Италии, Бразилии, Индии, США, Польши и других. Именно представительный характер нашего экспертного совета явился основным фактором его высокого авторитета, так как только в случае непосредствен-
ного участия экспертов из разных стран рейтинг может называться международным.
В ходе заседания были рассмотрены методологические подходы к составлению рейтинга, а также группы критериев, определяющих успешность выполнения университетами таких миссий, как образовательная деятельность, научная активность, а также взаимосвязь университета и общества.
По итогам совещания эксперты поддержали инициативу создания Московского международного рейтинга университетов и одобрили ключевые принципы его методологии, высказав ряд предложений по доработке конкретных показателей.
Стоит отметить, что составители ни одного из ведущих рейтингов не собирали перед началом работы по оцениванию университетов столько экспертов из разных стран. И это подчеркивает, что мы подходили к созданию рейтинга продуманно и конструктивно. Уже тогда многие эксперты высказывали мнение, что наш рейтинг будет признан мировым сообществом.
Российскому союзу ректоров удалось организовать широкое обсуждение возможных подходов к новому рейтингу. Вопросы его создания рассматривались на встречах с ректорами и представителями профессиональных сообществ многих стран, в том числе Бразилии, Индии, Ирана, Италии, Канады, Китая, США, Польши, Турции, Японии и других. В обсуждении критериев и методики нашего рейтинга приняли участие в общей сложности более двух тысяч зарубежных экспертов.
Как уже отмечалось, более двадцати известных международных рейтингов ориентированы практически на одну и ту же систему оценки международной конкурентоспособности вузов. В ее основе -унифицированные наукометриче-
ские и репутационные показатели. В таблицах 2 и 3 приведены показатели корреляции основных рейтингов. Известно, что если корреляция близка или превышает 60%, то итоговые рейтинги будут очень мало различаться. Этим и объясняется тот факт, что показатели рейтингов сильно коррелируют между собой. Например, в топ-100 входят, как правило, одни и те же вузы.
Одним из самых важных моментов был выбор компании для реа-
лизации нашего проекта. Российский союз ректоров решил пригласить российскую организацию, которая имеет наибольший опыт ранжирования показателей и составления рейтингов. В конечном счете предпочтение было отдано Ассоциации составителей рейтингов, обладающей большим опытом и авторитетом. Ассоциация входит в состав ШЕО, а ее руководитель Д.Э. Гришанков - в правление этой организации. Всю работу по аналитике, сбору информации
и составлению Московского международного рейтинга проводила эта организация. Ей пришлось обеспечить формирование базы данных, их обработку, организацию контактов с университетами и переписку с ними. Для создания рейтинга необходимы идеология, которая была определена Российским союзом ректоров, и хорошая работа управляющей компании, в роли которой выступала и выступает Ассоциация соста-
вителей рейтингов.
При работе над международными рейтингами используются одни и те же базы данных для определения наукометрических показателей, а репутационные оценки опираются на субъективные мнения экспертов, среди которых преобладают носители английского языка.
Чтобы преодолеть односторонность устоявшейся практики, нужно было с более широких позиций взглянуть на универси-
Таблица 2
Корреляция глобальных рейтингов со значительным весом наукометрических критериев
ARWU CWUR Webometrics SCImago
ARWU 0,76 0,71 0,67
CWUR 0,76 0,80 0,65
Webometrics 0,71 0,80 0,59
SCimago 0,67 0,65 0,59
Примечание. БС!тадо - наукометрический рейтинг, где учитывается не только число, но и авторитетность ссылок.
Таблица 3
Корреляция глобальных рейтингов со значительным весом репутационных критериев
THE QS U.S. News Global Education Trendence
THE 0,79 0,77 0,65
QS 0,79 0,57 0,60
U.S. News Global Education 0,77 0,57
Trendence 0,65 0,60 0,53 0,53
Примечание. Тгвпс1епсе - глобальный рейтинг трудоустройства выпускников университетов
Рис. 1. Структура и агрегированные показатели рейтинга «Три миссии университета»
теты и реализацию ими своих основных миссий. В свете этого мы разработали новый комплексный подход к оценке деятельности университетов. Если в существующих рейтингах оценке науки
отдавался приоритет, а образо- та видное место. Можно поэтому
вание оценивалось лишь частично, то взаимодействие университета и общества в них в принципе не учитывалось. Мы же отвели общественной роли университе-
сказать, что главной отличительной чертой нашего рейтинга является именно учет вклада университета в развитие общества.
Московский международный рейтинг «Три миссии университета»
у
Миссия «Образование» 45%
Миссия «Научные исследования» 25%
У
Миссия «Взаимодействие с обществом» 30%
Рис. 2. Соотношение индикаторов различных миссий в показателях рейтинга «Три миссии университета»
Впервые оцениваются одновременно три миссии: к двум традиционно рассматриваемым добавляется взаимодействие университетов с обществом. Надо также подчеркнуть, что мы используем только объективные данные. Всякие репутационные опросы, предполагающие сбор и обобщение частных мнений, были полностью исключены. Мы основываемся только на измеряемых показателях, на измеряемых свойствах. Конечно, учитывается роль университета для региона, для общества и роль университета в формировании социального лифта для молодежи.
Не будет преувеличением сказать, что на сегодняшний день третья миссия университета -взаимодействие университета с обществом - наиболее модный тренд.
Третья миссия отражает:
• коммуникации с широкими слоями общества,
• вклад вуза в развитие национальной экономики,
• востребованность выпускников работодателями,
• влияние выпускников на общество, в том числе через принятие решений,
• трансфер знаний, вывод технологий на рынок,
• продолжение образования,
• иные аспекты, служащие на благо общества.
Сам же рейтинг составлялся следующим образом.
Вначале была собрана публичная информация более чем от трехсот университетов. Рабочая группа Российского союза ректоров первоначально предложила 45 критериев. После длительных обсуждений из их числа было отобрано 30.
Однако в свободном доступе были полные данные только по 17 критериям. И тогда мы решили взять 17 верифицируемых критериев, по которым есть все необходимые сведения. При этом мы подсчитали, что корреляция
результатов рейтинга, составленного по 17 показателям, по отношению к рейтингу, охватывающему 30 критериев, составляет более 90%.
При разработке методологии рабочая группа учитывала различие понятий «образование» и «обучение». Она исходила из того, что ключевая миссия университета - образование, то есть не просто выучка, а формирование мировоззрения и профессиональная подготовка. Поэтому блок «качество образования» должен иметь наибольший вес -наибольший, но не подавляющий. Отсюда и значительная доля весов индикаторов, характеризующих качество образования, которая составила 45%.
Что же у нас получилось в результате?
Корреляция нашего рейтинга с другими глобальными рейтингами приблизилась к 50%. Это подобие, но не совпадение. Таким образом, мы можем сказать, что это все-таки новый - теперь уже третий - кластер рейтингов. Он отличается от тех двух видов рейтингов университетов, в основном наукометрических и в основном репутационных, которые были до него.
В лидерах оказались крупные многопрофильные вузы с вековой историей. Бенефициарами рейтинга являются страны - доноры умов: рейтинг зафиксировал высокое качество образования и конкурентоспособность студентов и выпускников университетов Восточной Европы, Латинской Америки, России.
Учтена значимость университетов для своих стран. Страно-вые срезы нашего международного рейтинга «Три миссии университета» сильно коррелируют с национальными рейтингами, то есть в нашем рейтинге высоко располагаются те вузы, которые занимают лидирующие позиции в национальных рейтингах: в Бразилии, Соединенных
Штатах, Ирландии, Польше, России.
По итогам пилотного рейтинга 2017 года в шорт-лист были включены 338 университетов, в их число вошли вузы из топ-100 глобальных рейтингов: и THE, и QS. Лидеры национальных рейтингов взяты также из каталога IREG, который мы использовали как источник данных. Для публикации первого пилотного проекта были отобраны 200 лучших вузов из 39 стран. В топ-200 рейтинга вошли 13 вузов из России.
В мае 2018 года высокое качество московского рейтинга было подтверждено: им успешно пройден аудит, выполненный ведущей международной компанией «Прайсвотерхаус Куперс Аудит», входящей в глобальную сеть PwC. Стоит отметить, что помимо нашего рейтинга такой аудит прошел еще только один рейтинг -Times Higher Education.
В ноябре 2018 года была представлена вторая версия рейтинга «Три миссии университета». В топ-333 глобального рейтинга вошли университеты из 53 стран. Количество вузов из России в рейтинге выросло по сравнению с пилотной версией: в список лучших вошли 17 российских университетов.
С 30 ноября по 1 декабря 2018 года в Москве была проведена Международная конференция «Третья миссия университета», участниками которой стали свыше 260 делегатов из 23 стран. Конференция была приурочена к выходу второй версии рейтинга вузов «Три миссии университета». По словам президента Международной ассоциации IREG Observatory Луиса Клаудио Ко-сты, «Московский рейтинг открывает новое, второе поколение академических рейтингов... Почти все существующие рейтинги в той или иной мере опираются преимущественно на исследовательские и репутационные показатели. Пришло время новому
поколению рейтингов более пристально рассмотреть связь между университетом и обществом».
Таким образом, Московский международный рейтинг вузов «Три миссии университета» позволил объективно оценить систему высшего образования России и других стран. Адекватное место в нем заняли университеты, играющие большую роль в жизни своих стран. При этом рейтинг не ущемляет наукометрические показатели, а объективно оценивает значение научных исследований в деятельности ведущих университетов.
Впереди нас ждет большая работа по популяризации рейтинга «Три миссии университета», равно как и подготовка его третьего выпуска. Уже идет работа над новым шорт-листом, в который вошли 1640 университетов пяти континентов, 112 стран и территорий. Мы убеждены, что авторитет нашего рейтинга по мере включе-
ния в него новых высших учебных заведений различных стран будет только возрастать, а его результаты будут эффективно использоваться на благо студенческой молодежи, широких кругов общества и, конечно, самих университетов.
Но вернемся к теме, с которой мы начали эту статью: к качеству высшего образования. Что даст для его оценки, а значит, и улучшения рейтинг «Три миссии университета»?
Есть основания считать, что мы совершили большой шаг вперед в этом принципиально важном для нас деле. Прежде всего удалось продвинуться от сбора мнений о качестве высшего образования к его более непосредственному и прямому определению. Мы повернули от односторонних моделей к универсальной. Благодаря этому рейтинг университетов стал более глубоким, комплексным и объективным, на его ос-
нове стало возможным вырабатывать более достоверные суждения и оценки. Следовательно, и университеты, и государство, и общество в целом получили надежные ориентиры для определения траектории движения вперед в достижении качества высшего образования, адекватного вызовам XXI века и потенциалу конкретных университетов.
Существенно важно, что рейтинг «Три миссии университета» является не застывшим, а предполагает динамизм, нацеленность в будущее. А наше будущее связано со становлением общества знаний, где интеллектуальными центрами, своего рода «мыслящими головами», лоцманами социально-экономического и научно-технологического развития призваны выступать именно университеты. В этом и заключена их третья миссия, определяющая новое измерение качества высшего образования.
ЛИТЕРАТУРА
1. Академический рейтинг университетов мира (Шанхайский рейтинг). URL: http://www.shanghairanking.com (дата обращения: 12.03.2019).
2. Жэнгра Ив. Ошибки в оценке науки, или Как правильно использовать библиометрию. М.: НЛО, 2018. 144 с.
3. Международный рейтинг лучших университетов мира по версии консалтинговой компании Ouacquarelli Symonds. https://www.topuniversities.com/university-rankings/world-university-rankings/2018 (дата обращения: 12.03.2019).
4. Рейтинг университетов мира по версии «Таймс». URL: https://www.timeshighereducation.com/world-university-rankings (дата обращения: 12.03.2019).
5. Управление в высшей школе: опыт, тенденции, перспективы / колл. авт. под рук. В.М. Филиппова. 2-е изд. М.: Логос, 2006, 488 с.
LITERATURA
1. Akademicheskij rejting universitetov mira (Shanxajskij rejting). URL: http://www.shanghairanking.com (data obrashheniya: 12.03.2019).
2. Zhe'ngra Iv. Oshibki v ocenke naukiiLi Kak praviTno ispol'zovat bibliometriyu. M.: NLO, 2018. 144 s.
3. Mezhdunarodny'j rejting Luchshix universitetov mira po versii konsaltingovoj kompanii Ouacquarelli Symonds. https:// www.topuniversities.com/university-rankings/world-university-rankings/2018. (data obrashheniya: 12.03.2019).
4. Rejting universitetov mira po versii «Tajms». URL: https://www.timeshighereducation.com/world-university-rankings (data obrashheniya: 12.03.2019).
5. Upravlenie v vy'sshej shkole: opy't, tendencii, perspektivyY koll. avt. pod ruk. V.M. Filippova. 2-e izd. M.: Logos, 2006, 488 s.
