CC BY
52
Анализ результатов апробации модельной методологии многомерного ранжирования российских вузов
Л.В. Заварыкина, И.В. Лазутина, М.В. Ларионова, А.С. Лопатина, В.А. Нагорнов, О.В. Перфильева
Заварыкина Любовь Валерьевна — MEd, м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: lzavarykina@hse.ru Лазутина Ирина Викторовна — MSc in Cultural Management, м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Ilazutina@hse. ru
Ларионова Марина Владимировна — д.полит.н., директор Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики», руководитель международных программ Национального фонда подготовки кадров (НФПК); E-mail: mlarionova@hse.ru
Лопатина Анастасия Сергеевна — MSc in Political Economy, стажер-исследователь Американо-российской программы партнерства для развития гражданского общества Фонда «Евразия», Вашингтон, США; E-mail: alopatina@eurasia.org
Нагорнов Виталий Александрович — PhD in Economics, к.э.н., директор научно-исследовательского Центра содействия международному развитию Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: vnagornov@hse.ru
Перфильева Ольга Владимировна — к.соц.н., директор Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Perfilieva@ hse.ru
В предлагаемой вашему вниманию статье анализируются итоги апробации методологии многомерного ранжирования российских вузов, разработанной в рамках проекта НФПК «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки РФ в 2011-2013 гг.
Авторы рассматривают методологические аспекты проведения ранжирования, выделяют группы университетов и их ключевые характеристики, выявленные в результате ранжирования, а также обсуждают возможные направления развития системы образования РФ на современном этапе.
Также в статье обсуждаются перспективы использования методологии и возможные пути ее совершенствования.
Ключевые слова: многомерное ранжирование, федеральные университеты, НИУ, высшие учебные заведения, институциональный ландшафт системы высшего образования РФ.
Key words: multidimensional ranking, Federal universities, National Research universities, HEIs, RF Higher Education institutional landscape.
Введение
В 2012 г. завершилась разработка подхода, системы индикаторов и основных инструментов для комплексной оценки российских вузов с помощью многомерного ранжирования в рамках проекта «Разработка и апробация модельной методологии рейтин-гования образовательных учреждений профессионального образования». Состоялось первое пилотное ранжирование в целях тестирования инструментария, на основании которого были внесены необходимые корректировки; проведена апробация методологии. В рамках апробации был протестирован не только сам подход, но и инструменты сбора, обработки и анализа получаемых данных. Результаты апробации позволили создать основу для признания нового инструмента ранжирования сообществом российских университетов и заявить на международном уровне о возможности осуществления всесторонней оценки национальной системы высшего образования системно и методологически обоснованно.
Процесс апробации сопровождался широкой дискуссией между всеми участниками. В целях продвижения методологии и повышения осведомленности участников о ходе разработки и апробации проекта в течение года состоялось несколько специальных мероприятий1. Особое внимание уделялось методологии рейтингования, основанного на многомерном ранжировании; системе индикаторов, сформированной для многомерной оценки российских вузов; процедурам сбора и обработки данных и результатам многомерной оценки, полученным в ходе апробации. Помимо этого, важное место в обсуждениях занимал вопрос о будущем дальнейшего применения разработанной методологии многомерной комплексной оценки отечественных вузов.
Следует отметить несколько общих положительных эффектов от реализации проекта. Прежде всего, сформирована платформа для диалога между ключевыми заинтересованными сторонами процесса оценки качества и/или рейтингования вузов: вузами, разработчиками систем оценки, органами управления сферой образования, экспертами и потребителями будущих результатов. Проект позволил обратиться к вопросу о потребностях основных участников образовательного процесса: участникам высказать свои основные интересы, а разработчикам услышать, понять и, по возможности, учесть разнообразные ожидания в отношении будущей системы многомерной комплексной оценки. Согласование интересов различных стейкхолдеров является важнейшим приоритетом проекта.
В качестве другого эффекта было выявлено понимание важности проведения оценок подобного рода со стороны самих университетов. Современные условия развития национальной системы высшего образования диктуют вузам новые требования и правила игры: большая интеграция с промышленным сектором, больший акцент на развитие университетской науки в интересах экономики страны и отдельных регионов, сохранение традиций классического образования, диверсификация источников
1 Международный семинар «Оценка эффективности деятельности вузов и их международное позиционирование», Санкт-Петербургский государственный политехнический университет, Санкт-Петербург, февраль 2012 г. URL: http://nru.spbstu.ru/novosti/news_nru/news130 (дата обращения: 29.01.2013).
Международный экспертный семинар «Разработка методологии многомерного ранжирования российских университетов». Москва, май 2012 г. URL: http://www.hse.ru/org/hse/iori/news/54970888. html (дата обращения: 29.01.2013).
Научно-практическая конференция «Перспективы применения модельной методологии ранжирования российских вузов». Москва, сентябрь 2012 г. URL: http://ranking.ntf.ru/p123aa1.html (дата обращения: 29.01.2013).
финансирования, продвижение в глобальное пространство высшего образования. Для решения новых задач вузам необходимы ориентиры, контрольные значения, которые бы не только задавали направления движения, созвучные сегодняшнему дню, но также предоставляли возможность сравнения вузов относительно конкурентов на национальном и международном уровнях. Стоит признать, что количественные оценки, несмотря на имеющиеся ограничения, дают возможность выработать для вузов эти необходимые ориентиры и бенчмарки, прежде всего посредством предоставления оперативной и динамичной информации, позволяющей принимать управленческие решения, важные для развития вуза.
Предложение по количественным оценкам для российских вузов сегодня разнообразно: присутствуют и российские, и зарубежные игроки, в основном формирующие национальные и международные (глобальные) одномерные рейтинги университетов. Российские вузы включаются в глобальные рейтинги, принимают активное участие в национальных рейтингах. Под воздействием внешних условий развития российские вузы рассматривают рейтинги в качестве действенного инструмента маркетинга и стратегического управления, тем самым укрепляя спрос на различные системы оценки качества и расширяя текущее предложение. Таким образом, российские вузы имеют возможность выбрать инструмент, в наибольшей степени отвечающий их задачам развития. Некоторые вузы работают сразу с несколькими инструментами для укрепления своих позиций на национальном и международном рынке образовательных услуг.
При разработке нового подхода к оценке качества российских вузов разработчики ориентировались на текущее состояние рынка и востребованность систем оценки качества вузов в целом исходя из сравнительного анализа существующих практик в России и за ее пределами. Анализ показал, что в наибольшей степени современным требованиям развития системы высшего образования в России отвечает подход, основанный на многомерной оценке. Данный подход учитывает не только разнообразие национальной системы высшего образования в стране, но и множественность функций, свойственных современным вузам в России на текущем этапе, а также разнообразие интересов основных потребителей услуг высшего образования в стране.
Разработанный подход включает пять основных направлений деятельности российских вузов: научно-исследовательскую, образовательную, международную деятельность, а также работу вуза по трансферу знаний и взаимодействию с регионом. Учет разнообразия потребителей услуг высшего образования обеспечивается за счет ориентации методологии на потребностях различных групп стейкхолдеров: абитуриентов и их родителей, высших учебных заведений, кадровых агентств, органов власти, работодателей, рейтинговых агентств и разработчиков других систем оценки вузов. Учет многообразия миссий российских вузов в рамках подхода многомерного ранжирования обеспечивается за счет комплексной системы индикаторов. Систему индикаторов многомерного ранжирования составляют 54 индикатора, распределенные по пяти основным направлениям деятельности вузов и выработанные на основании экспертных оценок (19 дополнительных параметров профайла университетов).
Индикаторы оценки — камень преткновения всех современных систем ранжирования, будь то национальных или глобальных. Индикаторы всегда будут вызывать шквал критики, поскольку качество вузовского образования, вузовской науки или любой другой деятельности в преломлении экспертных оценок всегда содержит элемент субъективности. Достичь состояния, при котором система используемых индикаторов удовлетворяла бы требованиям надежности, доступности, релевантности, была бы понятна всем без исключения стейкхолдерам, учитывала бы все многообразие вузов, их миссии, региональные особенности, практически невозможно. Всегда найдутся экс-
перты, по мнению которых «набор индикаторов мог бы быть более релевантным». Система индикаторов и их релевантность практике разнообразных российских вузов были ядром общественных обсуждений методологии. Участники высказали рекомендации по сокращению набора используемых индикаторов, а также укреплению отдельных направлений оценки, таких как трансфер знаний и взаимодействие с регионом. Система индикаторов представляет собой основной объект дискуссии, что в целом соответствует общемировым тенденциям. Это бесконечный процесс, поэтому крайне важно на определенном этапе остановиться на выбранных и неоднократно обсужденных на экспертном уровне индикаторах. Именно это и было сделано разработчиками на этапе апробации модельной методологии ранжирования.
Прогнозируемые и неожиданные трудности процесса апробации модельной методологии многомерного ранжирования российских вузов
В целом можно говорить о выполнении всех намеченных на 2012 г. планов по реализации проекта: и разработка подхода, и его апробация прошли достаточно успешно. Тем не менее, как при реализации любого подобного проекта, связанного с оценкой или рейтингованием вузов, при апробации модельной методологии многомерного ранжирования также возникали трудности, которые в основном носили ожидаемый, практический и часто технический характер.
Формирование выборки. Приглашение к участию вузов, соблюдение характеристики выборки и требований по ее полноте, репрезентативности и достижимости можно назвать главной трудностью проекта на стадии апробации. У некоторых вузов участие в апробации модельной методологии сразу вызвало явный интерес, что выразилось в готовности и согласии принять участие в апробации; для некоторых решение об участии требовало дополнительного анализа и оценки целесообразности и необходимости такого мероприятия для вуза, поскольку (и это справедливо) процедура сбора данных представляет собой достаточно сложный процесс, требующий участия нескольких структурных подразделений вуза, согласования отдельно собираемых данных и последующего утверждения ректором или проректором вуза. Некоторым было необходимо получить дополнительную информацию о преимуществах участия в проекте, целью которого является лишь разработка подхода. Как видно, процесс отбора (или, точнее, подключения) вузов к апробации имел свои ограничения, однако в конечном счете требования по формированию выборочной совокупности (и заодно технического задания проекта) были выполнены. Из 148 российских вузов, которым были отправлены официальные приглашения, участие в апробации приняли 103 (табл. 1):
— федеральные университеты (8 университетов);
— национальные исследовательские университеты (28 вузов + СПбГУ);
— вузы — победители проекта конкурсной поддержки программ стратегического развития государственных образовательных учреждений высшего образования
Министерства образования и науки РФ (31 вуз);
— категория «Другие» (35 вузов), включая:
• вузы, предлагающие лучшие образовательные программы (данные каталога
«Лучшие образовательные программы инновационной России 2011—2012»);
• вузы, дополнительно рекомендованные экспертной группой проекта;
• вузы, выразившие желание принять участие в апробации.
Таблица 1. Структура выборочной совокупности для апробации модельной методологии ранжирования
Федеральный округ
¡5 £
о
н р
е
о Э № и ре
^ £ я Е
В о ияв
е
и "в
ф и
У ®
5 ^
® и
о&З *
Р) Я «
е
О
2
Ф М
«с в
■ м
йы
Й Р
« ^
о в
* ф
з I
и £
льне
и б
ДВФО
ПФО
СЗФО
СКФО
СФО
УФО
ЦФО
ЮФО
Итого приглашены к участию
Итого приняли участие
6 9 7 5 5 3 9 3
47
39
2 12 8 1 7
3
17
4 54
39
19
12
1 2 3
3 1 5 2 17
9
29 22 7 22 7
42
10 148
103
2
2
1
8
1
4
9
4
0
И по территориально-географическому принципу, и по профильной принадлежности вузы распределены в достаточной степени сбалансированно. Выборка составила 10% от общего числа институтов высшего образования в стране, стремилась учесть профильное разнообразие и распределение вузов по территории федеральных округов страны в целом.
Сбор данных. Сбор данных в рамках апробации в общем не отличался от принятых в практике процедур: был разработан опросник, содержащий перечень показателей, по которым вузам требовалось предоставить первичные данные; разработаны методические рекомендации, объясняющие суть запрашиваемой информации, и источники, откуда, предположительно, она может быть ретранслирована в опросник модельной методологии многомерного ранжирования; единицы исчисления и возможность для участников апробации оставить свои комментарии и замечания по каждой из запрашиваемых позиций. Опросник передавался для заполнения вузу-участнику, при этом консультации по заполнению, по возможности, предоставлялись оперативно. Несмотря на желание разработчиков учесть различия в восприятии запрашиваемой информации со стороны представителей разных типов вузов, отличия в восприятии сохранялись. В силу различных критериев, по которым дифференцируется национальная система высшего образования, для многих участников апробации обнаружилось различие в восприятии индикаторов, связанных с финансированием научно-исследовательской деятельности. Не в полной мере релевантными для всех типов вузов, участвовавших в апробации, явились индикаторы трансфера знаний. Например, достаточно часто отсутствие возможности предоставить данные по индикатору «Доход от продажи объектов интеллектуальной собственности» вузы объясняли вполне объективными причинами. Практически всем составом вузы-участники отмечали сложности при предоставлении информации о доле образовательных программ, аккредитованных международными
организациями из блока индикаторов направления «Обучение и преподавание». Индикаторы, вызывающие различные сложности при сборе, свидетельствуют в пользу многообразия и дифференцированности национальной системы высшего образования, и подтверждают ограниченность одномерных количественных оценок качества деятельности вузов. Следует отметить, что различие в восприятии индикаторов разными типами вузов ожидалось: еще на этапе разработки подхода и инструментария этот аспект был положен в основу пробного тестирования. Благодаря тестированию и широкому экспертному обсуждению системы индикаторов в целом количество таких «проблемных» индикаторов не оказалось высоким2.
Обработка данных. Если сбор данных при проведении апробации многомерного ранжирования был выполнен в целом в соответствии с принятыми практиками работы с вузами (например, используемыми при мониторинге исполнения вузами показателей программ развития), то последующая обработка полученных данных имела свои особенности. Каждый заполненный опросник проходил обязательную процедуру проверки данных на предмет достоверности. Данный шаг продиктован стремлением разработчиков обеспечить корректность оценки и объективность итогового ранжирования. При этом достоверность части данных подтверждалась через открытые источники информации, прежде всего это относится к библиометрическим показателям вузов, часть данных требовала повторного обращения в вузы за дополнительными разъяснениями и подтверждением достоверности. Повторное обращение в вузы может быть отмечено как одна из сложностей организационного характера при обработке данных, поскольку требует дополнительного времени и, соответственно, существенно затягивает процесс, влияя на ход сбора и обработки данных в целом. Учитывая экспериментальный характер проведенной апробации, крайне важным было оценить все стороны этого процесса и сделать соответствующие выводы для организации и проведения многомерного ранжирования в будущем, в том числе для планирования цикла ранжирования.
Верификация данных. Апробация в целом выявила большое количество «тонкостей» процесса, понимание которых на следующих этапах работы представляется критически важным. Одна из таких «тонкостей» при обработке данных проявилась при работе с пропущенными данными. Вузы, участвовавшие в апробации, не всегда имели возможность предоставить данные из запрашиваемого перечня показателей. Апробация показала, что пропуск данных имеет объективные причины. Например, информация не была предоставлена, поскольку запрашиваемый показатель не отражает деятельность того или иного вуза (фактический пропуск). В ряде случаев пропущенные значения были связаны с отсутствием учета соответствующей деятельности в вузе. Например, формируются содержательные отчеты, но формализующая и учитывающая статистика отсутствует (номинальный пропуск). Для обеспечения надежности получаемых расчетов и распределений важно выявить, что стоит за этим нулем. В этой связи при проверке данных выявлялся перечень пропущенных значений, который затем анализировался на предмет фактического или номинального пропуска. Далее в вуз отправлялось письмо с просьбой проверить пропуски и согласиться с присвоенным нулевым значением, либо представить скорректированные данные. «Верификация» полученных от вуза данных была выполнена для каждого из 103 вузов — участников апробации.
2 Более подробно о том, что показали результаты апробации с точки зрения используемой системы индикаторов см. в докладе О.В. Перфильевой «Основные положения модельной методологии ранжирования российских вузов. Что показали результаты апробации?», подготовленном для научно-практической конференции Национального фонда подготовки кадров «Перспективы применения модельной методологии ранжирования российских вузов» (Москва, 21 сентября 2012 г., Международный центр торговли). URL: http://ranking.ntf.ru/p132aa1.html (дата обращения: 28.01.2012).
Отметим, что данная процедура позволила вузам проверить предоставленные ими данные еще раз, увидеть свои потенциальные «слабые» стороны при расчете итогового ранжирования через подтверждение своих пропусков и нулей, а разработчикам — получить дополнительную качественную информацию о вузах-участниках и выбрать наиболее подходящий способ учета пропущенных значений при расчете итогового ранжирования. По итогам обратной связи от вузов по верификации многие нули получили подтверждение. По канонам количественного анализа данных разработчикам следовало исключить из выборки вузы, имеющие пропущенные данные. Однако, учитывая отсутствие выбросов по выборочной совокупности, было принято решение о проведении пробного итогового ранжирования с учетом пропущенных данных, т.е. с учетом имеющихся (подтвержденных) нулей.
Представление результатов по итогам апробации было связано с двумя ограничениями: обнародованием результатов итогового многомерного ранжирования и собственно представлением, визуализацией полученных результатов. Первый аспект изначально определялся экспериментальным характером ранжирования и техническим заданием проекта в целом, по которому открытая презентация и тем более публикация данных не предусматривалась. Проект носит прикладной характер, посвящен разработке подхода и методологии многомерного ранжирования, и апробация, в первую очередь, должна быть направлена на тестирование инструментария и подхода в целом, чтобы по результатам внести необходимые коррективы и доработки в методологию. Однако, понимая живой интерес вузов-участников к результатам ранжирования и имеющееся обязательство по представлению результатов, было найдено трудоемкое, практически значимое решение — представить результаты многомерного ранжирования в зашифрованном виде, указав в качестве отличительных характеристик вузов только категорию, к которой они относятся (федеральные университеты, национальные исследовательские университеты, университеты, получившие поддержку программ стратегического развития от Министерства образования и науки РФ, и вузы другой категории), и номер занятой каждым из них позиции по результатам многомерного ранжирования.
Второй аспект проблемы также носил технический характер и был связан с поиском решений для визуализации результатов многомерного ранжирования в доступной и удобной для аудитории форме. Результаты многомерного ранжирования были представлены с помощью классических гистограмм и лепестковых диаграмм. Для построения лепестковых диаграмм использовались данные о распределении 103 вузов по каждому из пяти направлений оценки (научно-исследовательская, образовательная, международная деятельность, деятельность по трансферу знаний и взаимодействию с регионом) на основе максимального и минимального значений суммарного балла базовых индикаторов внутри отдельного направления. На график, при таком подходе, выводились вузы, продемонстрировавшие минимальное и максимальное значение суммарного балла по отдельному направлению, что обеспечивало возможность содержательного, качественного анализа результатов многомерного ранжирования. Классические гистограммы использовались в печатном виде для демонстрации результатов итогового многомерного ранжирования по совокупности суммарных баллов, полученных вузом по каждому из пяти направлений оценки, а также по совокупности баллов, получаемых вузом по отдельным индикаторам внутри отдельного направления. Дальнейшая работа по проведению многомерного ранжирования российских вузов потребует разработки отдельного программного обеспечения и электронного (возможно, интерактивного) ресурса, посвященного результатам многомерного ранжирования.
Обработка результатов апробации модельной методологии многомерного ранжирования российских вузов
Апробация модельной методологии многомерного ранжирования российских вузов состоялась в период с апреля по июль 2012 г.
Передача вузам анкеты для самозаполнения, с одной стороны, означает делегирование вузам части ответственности за качество предоставляемых данных, т.е. повышает их значимость как участников для общих результатов исследования, но, с другой стороны, увеличивает важность их последующей проверки. Процедура проверки массива данных стала важным элементом обеспечения достоверности и надежности полученной эмпирической информации, позволила провести ревизию качества предоставленных первичных данных, обеспечить их максимальную полноту. Полнота предоставления данных имела особое значение, поскольку отсутствие данных влияет на итоговое распределение значений базовых индикаторов для каждого университета, сокращая общее количество баллов, которое вуз может получить при последующем ранжировании по каждому из пяти направлений оценки деятельности (научно-исследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом).
В практике ранжирований существует возможность замещения пропущенных данных расчетными данными, когда пропуск связан с невозможностью предоставить данные или с технической ошибкой, а не с фактическим отсутствием такой деятельности в вузе. Например, используется способ замещения пропущенных данных минимальными значениями субиндикаторов в категории вузов. Минимальное значение по категории замещает пропущенные данные, таким образом вузы, не предоставившие данные, получают минимальное значение показателя по вузам их категории. Такой подход применяется в некоторых методологиях глобальных рейтингов, однако он серьезно критикуется, поскольку искажает оценку. В рамках апробации ранжирования были построены без применения замещения пропущенных данных минимальными значениями. В целом в будущем проблема пропущенных значений может быть преодолена за счет повышения уровня полноты предоставляемых вузами данных.
Последующая математико-статистическая обработка данных осуществлялась после проверки и восстановления данных — получения от вузов, принявших участие в апробации, подтверждения своих пропущенных значений и согласия/несогласия с предлагаемыми интерпретациями отсутствующих данных (со значением «0»).
Математико-статистическая обработка данных
Несмотря на то что разработанная методология наряду с ранжированием предусматривает возможность построения также рейтинга вузов, для анализа и представления результатов апробации было построено только многомерное ранжирование. Весовые коэффициенты применены не были, прежде всего по причине продолжающейся экспертной работы по определению ключевых индикаторов рейтинга и выработке для них и в соответствии с ними весовых коэффициентов.
Собранные вузами первичные данные (субиндикаторы) оценивают различные области деятельности высших учебных заведений и выражаются в различных единицах измерения: количество человек, штуки, часы, единицы, баллы, тысячи рублей. Для построения агрегированного показателя, который включал бы в себя данные различного типа, все первичные данные приводятся к единому диапазону, т.е. производится нор-
мирование данных3. Нормирование данных было первым шагом при построении ранжирования (и также рейтинга), поскольку эти инструменты предполагают дальнейшее агрегирование первичных данных для получения единой оценки.
При обработке данных в рамках апробации модельной методологии многомерного ранжирования были использованы методы нормирования «отношение к референтному значению» и метод агрегирования «линейного суммирования».
После получения нормированных агрегированных показателей (совокупных значений базовых индикаторов внутри каждого направления для каждого отдельного вуза, приведенных к единой системе измерения) производится ранжирование вузов — участников апробации.
Ранжирование — операция распределения данных от одного крайнего значения показателей в группе к другому крайнему показателю — распределение отдельных единиц совокупности в порядке возрастания или убывания исследуемого признака. Ранжирование позволяет производить сравнение эффективности вузов путем выстраивания совокупности оценок вузов от максимального значения к минимальному. Ранжироваться могут как ненормированные данные, выраженные в одной единице измерения, так и нормированные агрегированные и взвешенные данные.
Ранжирование позволяет посмотреть на отдельные показатели деятельности вуза в сравнении с другими вузами; разделить вузы на группы относительно их достижений и потенциала, выделить лидеров и отстающих в разрезе отдельных субиндикаторов, направлений оценки и общего сравнения вузов. Недостатком ранжирования, возможно, является тот факт, что каждый вуз может занять одну позицию относительно других вузов, и все вузы выстраиваются в линейку от наибольшего показателя к наименьшему, даже если разница в оценке вузов невелика. Так, при ранжировании данных могут образоваться кластеры вузов, которые имеют приблизительно равную оценку, тем не менее их позиции в ранжировании могут различаться.
Позиция вуза в ранжировании во многом зависит от однородности профайла высшего учебного заведения: вузы с равномерным уровнем развития отдельных направлений оценки занимают более устойчивые позиции и менее зависимы от метода построения ранжирования. Существенное значение для надежности оценки позиции вузов в ранжировании и рейтингах имеет полнота предоставления данных.
Группировка данных
Для интерпретации результатов проведенного ранжирования был применен метод статистической группировки данных, который позволяет систематизировать распределение полученных оценок и представить результаты более информативно. Кроме того, выделение групп вузов составляет основу анализа результатов ранжирования.
Для получения групп вузов, демонстрирующих в среднем высокие, средние и низкие значения, был применен метод статистической группировки данных — группировка по интервальным значениям. Для определения равномерных интервалов используется формула
х - x .
j _ max_mm
где I — длина интервала, хтах и хтЫ — максимальное и минимальное значения группиро-вочного признака, п — количество групп, на которые разбивается выборка. В ходе об-
3 Нормирование — операция приведения данных к безразмерному виду, к единому диапазону, при котором возможно сравнение различных видов данных.
n
работки данных апробации было принято деление на три группы. Однако может быть использована и более чувствительная шкала деления, например, на пять групп.
Для получения группы вузов, демонстрирующих высокие значения, от xmax максимального значения отнимается i — длина интервала, так определяется нижняя граница первого интервала и, соответственно, верхняя второго.
Для получения группы вузов, демонстрирующих низкие значения, к xmjn минимального значения прибавляется i — длина интервала, так определяется верхняя граница третьего интервала и, соответственно, нижняя второго.
В выборке 103 вузов x = 100; x = 25,95, i = 24,68. В первый интервал, таким
г ^ max ' min 777 г г
образом, вошли вузы со значениями от 100 до 75,31, во второй — от 75,31 до 50,63, в третий — от 50,63 до 25,95.
Основные результаты многомерного ранжирования российских вузов
Для анализа результатов апробации были осуществлены следующие типы ранжирований вузов:
1) общее ранжирование вузов (N103);
2) общее ранжирование вузов по пяти направлениям деятельности (N103);
3) общее ранжирование вузов по 13 индикаторам глобальных рейтингов (N103);
4) ранжирование вузов по отдельным категориям (N8, N28 + 1, N31, N35);
5) ранжирование вузов отдельных категорий вузов по пяти направлениям деятельности (N8, N28 + 1, N31, N35);
6) ранжирование отдельных категорий вузов по 13 индикаторам глобальных рейтингов (N8, N28 + 1, N31, N35).
С помощью метода статистической группировки данных для каждого из указанных типов ранжирований были получены три группы вузов, демонстрирующие высокие, средние и низкие значения по каждому из ранжирований. Группы лидеров были выделены внутри своих категорий и в общей выборке вузов, по отдельным направлениям (функциям) деятельности вузов внутри отдельных групп и в общей выборке, а также в рамках специального ранжирования в общей выборке и внутри отдельных категорий по 13 индикаторам глобальных рейтингов (табл. 2).
Таблица 2. Распределение вузов — участников апробации по трем группам, выделенным с помощью метода статистической группировки данных (число вузов)
Группа Все 103 Все (103) по 13 ФУ (8) НИУ (28 + 1) ПСР (31) «Другие» (35) ФУ (8) по 13 НИУ (28 + 1) по 13 ПСР (31) по 13 «Другие» (35) по 13
Лидеры 8 (8 НИУ) 3 (3 НИУ) 4 9 2 4 1 3 4 4
Конкуренты 31 (18 НИУ, 6 ПСР, 4 ФУ, 3 - Другие) 16 (12 НИУ, 4 ПСР) 1 9 14 15 3 9 15 12
Догоняющие 64(3 НИУ, 25 ПСР, 4 ФУ, 32 - Другие) 84 (14 НИУ, 27 ПСР, 8 ФУ, 35 - Другие) 3 11 15 16 4 17 12 19
В рамках данной статьи далее будут представлены основные результаты общего ранжирования 103 вузов по пяти направлениям оценки и частично рассмотрены результаты общего ранжирования 103 вузов по 13 индикаторам глобальных рейтингов.
Общее ранжирование вузов (п = 103)
В общем ранжировании 103 вузов лидируют 8 университетов, представляющие категорию «Национальные исследовательские университеты».
В группу университетов, демонстрирующих средние значения по совокупному нормализованному баллу (конкуренты), входит 31 университет: 18 — НИУ, 4 — ФУ, 6 вузов, представляющих категорию, условно названную «ПСР»4, и 3 вуза, представляющие условную категорию «Другие».
Замыкающая, третья группа университетов состоит из 64 вузов: большая часть этой группы представлена вузами, относящимися к категории «Другие» (32); вторыми по представленности в данной группе являются вузы категории «ПСР» (25). В эту группу также попали три вуза категории «НИУ» и четыре ФУ.
С учетом основных характеристик три группы получили условные названия:
1-я группа — группа лидеров;
2-я группа — группа вузов-конкурентов;
3-я группа — группа догоняющих вузов.
По результатам ранжирования 103 вузов можно выделить некоторые тенденции общего порядка:
1. Однородность группы лидеров: все восемь вузов, вошедших в нее, представляют категорию «Национальные исследовательские университеты».
2. По мере продвижения от верхней группы лидирующих вузов к нижней повышается неоднородность представленных в них категорий вузов:
— большую часть средней группы (конкуренты) представляют вузы категории «НИУ», тем не менее, наряду с ними, не так широко, но представлены вузы остальных категорий: «ФУ», «ПСР», «Другие»;
— в структуре последней, третьей группы, в большей степени представлены вузы категорий «Другие» и «ПСР» (большая часть от их индивидуальных выборок: 32 из 35 и 25 из 31 соответственно). Тем не менее, наряду с ними, в эту группу также вошли три вуза категории «НИУ» и четыре вуза категории «ФУ».
По результатам общего ранжирования, таким образом, можно сделать следующий вывод. Конкуренция за попадание в группу лидеров наблюдается между вузами категории «НИУ», «ФУ» и вузами категории «ПСР». При этом конкуренция за лидерство внутри категории «НИУ» является наиболее острой, поскольку представителям данной группы приходится конкурировать с вузами своей категории, чтобы попасть в верхнюю группу, а также с сильнейшими представителями вузов категории «ПСР». Средняя группа неоднородна и включает сильных представителей каждой из представленных в выборке категорий вузов, способных потенциально конкурировать с вузами-лидерами, включенными в первую группу.
Необходимо еще раз подчеркнуть, что на положение вузов в общем итоговом ранжировании влияют как результаты деятельности вузов, выраженные в значениях 54 базовых индикаторов, так и полнота предоставленных вузами данных.
4 К категории «ПСР» были отнесены вузы — победители конкурса программ стратегического развития Министерства образования и науки РФ.
Распределение 103 вузов в ранжировании по пяти направлениям деятельности позволяет провести более детальный анализ выявленных общих тенденций. Рассмотрение результатов ранжирования через призму направлений оценки деятельности вузов помогает определить качественные характеристики трех выделенных групп вузов, их сильные и слабые стороны по пяти основным направлениям работы: в научных исследованиях, образовательной и обучающей деятельности, международной деятельности, а также в части, касающейся трансфера знаний и взаимодействия с регионом.
Группа лидеров
Группа лидеров характеризуются высокими показателями направлений «Научно-исследовательская деятельность» и «Обучение и преподавание». Однако в целом ни один из восьми вузов, лидирующих в общем ранжировании, не является абсолютным лидером по каждому из пяти направлений оценки. В наибольшей степени позиция в общем ранжировании вузов-лидеров формируется за счет вклада таких направлений, как «Научно-исследовательская деятельность» и «Обучение и преподавание». По направлениям «Трансфер знаний» и «Взаимодействие с регионом» показатели вузов, представленных в группе лидеров, невысоки.
Группа вузов-конкурентов
Вторая группа вузов, сформированная по итогам общего ранжирования в целом и по отдельным направлениям, почти наполовину представлена вузами категории «НИУ». Из 31 вуза данной группы 18 представляют категорию «НИУ», 4 — «ФУ», 6 — категорию «ПСР» и 3 вуза — категорию «Другие».
Так же как и в верхней группе лидеров, сильными сторонами вузов средней группы являются направления «Научно-исследовательская деятельность» и «Обучение и преподавание». Показатели деятельности вузов средней группы по данным направлениям являются главными составляющими позиций вузов в общем ранжировании. Не добавляют преимуществ вузам средней группы показатели трех остальных направлений — «Международная деятельность», «Трансфер знаний» и «Взаимодействие с регионом».
Группа «догоняющих» вузов
Третья группа вузов, сформированная по итогам общего ранжирования, — самая многочисленная, в нее попала большая часть вузов общей выборки — 64 из 103. Тем не менее с точки зрения распределения вузов различных категорий третья группа является более однородной, нежели вторая группа вузов, показавших средние значения по выборке. Так, большинство вузов третьей группы — это вузы категории «Другие» (32); следующей по многочисленности является группа вузов условно названной категории «ПСР» — 25 из 31 вуза, участвовавшего в апробации. Также в третью группу вошли три вуза категории «НИУ» и четыре вуза категории «ФУ».
С точки зрения сильных и слабых сторон третьей группы вузов можно сделать вывод об их существенных достижениях в части трансфера результатов своей научно-исследовательской или образовательной деятельности. Самой слабой стороной третьей группы вузов является международная составляющая их деятельности.
Можно предположить, что целенаправленные усилия по интернационализации образовательной и научной деятельности вузов этой группы с ориентиром на сотрудничество с наиболее сильными зарубежными университетами позволят повысить качество образования и исследований и, как следствие, конкурентоспособность и привлекательность вузов данной группы.
В табл. 3 представлено распределение 103 вузов различных категорий по пяти направлениям деятельности.
Таблица 3. Вузы четырех категорий в разрезе пяти направлений оценки (число вузов в верхней, средней и нижней группах) по итогам общего ранжирования по направлениям
Группа/ Наука Обучение Международная Трансфер Взаимодействие
направление деятельность знании с регионом
НИУ Лидеры 3 5 1 4 4
Конкуренты 9 20 5 14 17
Догоняющие 17 4 23 11 8
Всего 29 29 29 29 29
ФУ Лидеры 0 1 0 2 0
Конкуренты 1 6 0 3 7
Догоняющие 7 1 8 3 1
Всего 8 8 8 8 8
ПСР Лидеры 0 1 2 0 0
Конкуренты 0 9 0 14 23
Догоняющие 31 21 29 17 8
Всего 31 31 31 31 31
Другие Лидеры 0 0 0 1 0
Конкуренты 0 15 2 15 24
Догоняющие 35 20 33 19 11
Всего 35 35 35 35 35
Всего: 103
Из полученного распределения видно, что вузы всех четырех категорий представлены внутри каждой из трех групп неравномерно: верхняя группа лидеров в каждой категории вузов, как правило, является малочисленной. Основная часть вузов каждой категории сосредотачивается в группе вузов со средними (конкуренты) и низкими значениями (догоняющие).
Распределение вузов по отдельным направлениям также является неравномерным, т.е. вузы внутри своей категории по-разному наполняют группы с высокими (лидеры), средними (конкуренты) и низкими (догоняющие) значениями. Основная часть вузов категории «НИУ» по направлению «Научно-исследовательская деятельность» сосредоточена в группе низких значений (догоняющие) (17 из 29 НИУ). Большая часть НИУ также оказываются в третьей группе (догоняющие) по направлению «Международная деятельность» (23 из 29 НИУ).
В табл. 4 представлены вузы различных категорий, составляющие верхнюю (лидеры), среднюю (конкуренты) и нижнюю (догоняющие) группы, сформированные по итогам общего ранжирования 103 вузов по пяти направлениям.
Таблица 4. Распределение вузов четырех категорий по трем группам по итогам общего ранжирования по пяти направлениям
Группа/ направление Наука Обучение Международная деятельность Трансфер знаний Взаимодействие с регионом
Лидеры 3 НИУ 5 НИУ 1 НИУ 4 НИУ 4 НИУ
0 ФУ 1 ФУ 0 ФУ 2 ФУ 0 ФУ
0 ПСР 1 ПСР 2 ПСР 0 ПСР 0 ПСР
0 Другие 0 Другие 0 Другие 1 Другие 0 Другие
Всего 3 7 3 7 4
Конкуренты 9 НИУ 20 НИУ 5 НИУ 14 НИУ 17 НИУ
1 ФУ 6 ФУ 0 ФУ 3 ФУ 7 ФУ
0 ПСР 9 ПСР 0 ПСР 14 ПСР 23 ПСР
0 Другие 15 Другие 2 Другие 15 Другие 24 Другие
Всего 10 50 7 46 71
Догоняющие 17 НИУ 4 НИУ 23 НИУ 11 НИУ 8 НИУ
7 ФУ 1 ФУ 8 ФУ 3 ФУ 1 ФУ
31 ПСР 21 ПСР 29 ПСР 17 ПСР 8 ПСР
35 Другие 20 Другие 33 Другие 19 Другие 11 Другие
Всего 90 46 93 50 28
Неравномерная представленность НИУ в группе верхних значений по всем пяти направлениям открывает возможность вузам других категорий претендовать на место в группе лидеров в итоговом ранжировании. Конкуренцию НИУ в этом могут составить вузы категорий «ФУ» и «ПСР».
Общее ранжирование вузов по 13 индикаторам
глобальных рейтингов (n = 103)
По результатам ранжирования 103 вузов по 13 индикаторам, сопоставимых с индикаторами глобальных рейтингов, также были выделены три группы вузов, показавших по данной совокупности параметров высокие, средние и низкие значения.
В общем ранжировании по 13 индикаторам глобальных рейтингов лидируют три вуза — представители категории «НИУ». Они же входят в восьмерку лидеров по результатам общего ранжирования.
Внутри тройки лидеров по 13 индикаторам глобальных рейтингов наблюдаются существенные различия вузов по отдельным показателям. Не все лидеры данного ранжирования демонстрируют высокие значения по всем 13 индикаторам. Эти вузы задают максимум по группе и в общей выборке по 7 из 13 индикаторов, в том числе:
— количество цитирований на одного ППС в Web of Science;
— количество цитирований на одну статью в Scopus;
— количество цитирований на одну статью в Web of Science;
— количество публикаций на одного ППС в Scopus;
— количество публикаций на одного ППС в Web of Science;
— доля доходов от научных исследований;
— доля защитившихся аспирантов (до года);
— соотношение численности студентов и ППС.
Перечисленные индикаторы являются сильными конкурентными преимуществами вузов — лидеров верхней группы. Менее сильные показатели вузы-лидеры демонстрируют по оставшимся пяти индикаторам:
— доля защитившихся аспирантов (до 2 лет);
— доля иностранных студентов в общей численности студентов;
— численность иностранных ППС;
— доля доходов из внебюджетных источников;
— доля доходов вуза из региональных источников.
В целом средняя группа, сформировавшаяся по результатам ранжирования всех вузов по 13 индикаторам глобальных рейтингов, демонстрирует низкие значения показателей публикационной активности, что оказывает влияние на положение вузов в ранжировании. Итоги апробации подтверждают, что данные публикационной активности являются слабой стороной большинства вузов.
Сильными сторонами вузов, вошедших в третью группу по итогам ранжирования по 13 индикаторам глобальных рейтингов, являются индикаторы «Доля доходов от научных исследований» и «Доля доходов из внебюджетных источников». По всем остальным 10 индикаторам вузы третьей группы демонстрируют минимальные значения.
В целом по результатам ранжирования 103 вузов по 13 индикаторам глобальных рейтингов можно сделать вывод о необходимости наращивания потенциала по всем используемым для оценки индикаторам, как в нижней и средней, так и в верхней группе вузов, не только в части публикационной активности, но и в части индикаторов международной деятельности, а также повышения уровня доходов от научных исследований и из других источников, прежде всего внебюджетных.
Общие выводы из апробации методологии многомерного ранжирования российских вузов
Резюмируя представленные выше результаты ранжирований, можно сформулировать некоторые общие выводы относительно рассмотренной совокупности российских институтов высшего образования.
Лидерами среди 103 вузов по итогам общего ранжирования являются вузы категории «Национальные исследовательские университеты» («НИУ»). Серьезную конкуренцию лидерам могут составить вузы категорий «Федеральные университеты» («ФУ») и «ПСР», а по отдельным направлениям некоторые вузы категории «Другие».
Вузы, попавшие в группу лидеров, не являются лидерами по всем пяти направлениям: в каждой категории вузов есть свои лидеры по отдельным направлениям. Анализ верхней и средней группы по направлению «Трансфер знаний» показывает, что наравне с вузами категории «НИУ» в этот процесс активно включаются вузы категорий «ФУ» и «Другие» (табл. 4). Представляется, что с течением времени данная сфера деятельности вузов сможет получить дальнейшее развитие и стать одним из их главных конкурентных преимуществ.
Очевидно, что высокие показатели по научно-исследовательской деятельности должны подкрепляться сильными показателями по трансферу знаний, отражающими такие качества исследовательских университетов, как потенциал влияния на экономический, социальный, культурный, экологический контекст, а также значение (важность) исследований для национальных и (или) региональных задач развития.
Несмотря на то что сейчас обе сферы деятельности — трансфер знаний и взаимодействие вузов с регионами — не рассматриваются большей частью вузов в качестве приоритетных (что отражено и в количестве использованных для оценки индикаторов), есть основания полагать, что с сохранением текущих тенденций в части модернизации российской системы высшего образования значение этих направлений работы будет только усиливаться. Для адекватного представления достигнутых вузами результатов в части трансфера знаний и взаимодействия с регионом потребуется дальнейшая совместная работа с вузами-участниками по расширению и оптимизации системы индикаторов оценки по данным направлениям.
По показателям направления «Научно-исследовательская деятельность» основная часть вузов сконцентрирована в группе низких значений (90 из 103). Также проблемным для большинства вузов-участников можно считать направление «Международная деятельность», в группе низких значений по данному направлению сосредоточена большая часть вузов (93) (табл. 4). С этим связаны и скромные результаты ранжирования 103 вузов по 13 индикаторам глобальных рейтингов. По итогам ранжирования по индикаторам глобальных рейтингов на сегодняшний день безоговорочного лидера по всем 13 индикаторам пока нет. Вузы, лидирующие в этом специальном ранжировании, показывают высокие результаты по ограниченному количеству индикаторов: количество цитирований на одного ППС в Scopus; количество публикаций на одного ППС в Scopus; доля защитившихся аспирантов до года после окончания аспирантуры; доля доходов от научных исследований. В связи с тем, что индикаторы, выделенные для данного специального ранжирования, наиболее часто используются в основных глобальных рейтингах, в контексте задачи повышения международной конкурентоспособности российских вузов представляется важным для вузов сконцентрировать усилия на данных индикаторах как целевых показателях своей деятельности. Наращивать потенциал необходимо по всем представленным индикаторам, как в нижней и средней, так и в верхней группе вузов, не только в части публикационной активности, но и в части международной деятельности и повышения уровня доходов от научных исследований и из других источников, прежде всего внебюджетных.
Одним из важных результатов апробации методологии является апробация самого инструментария многомерной оценки деятельности российских вузов. Ранжирования по направлениям позволяют раскрыть качественные характеристики выделенных групп вузов в каждой из категорий, сделать выводы об их сильных и слабых сторонах по пяти основным направлениям работы, сравнить группы между собой, сравнить деятельность университетов внутри отдельных категорий. На основании многомерной оценки, таким образом, становится возможен качественный анализ преимуществ и недостатков развития каждого отдельного вуза и выработка на основе этого анализа обоснованных рекомендаций по укреплению потенциала российских вузов как внутри российской системы высшего образования, так и в глобальном пространстве высшего образования.
Институциональный ландшафт национальной системы высшего образования через призму результатов многомерного ранжирования российских вузов
Полученные результаты пробного ранжирования российских вузов и сформулированные на основе проведенного анализа общие выводы выявляют некоторую тенденцию. Вузы, принявшие участие в апробации, можно охарактеризовать в той или иной степе-
ни как ведущие университеты страны, на основании представляемой ими категории. Опираясь на характеристики и особенности каждой категории вузов, представленных в апробации, можно сформулировать некоторые общие ожидания, которые формируются сегодня в отношении ведущих университетов. Прежде всего, одной из основных составляющих деятельности таких университетов должно быть проведение научных исследований и разработок. Они должны вести активную деятельность по привлечению средств на осуществление НИР и ОКР из различных источников; вкладывать собственные ресурсы в развитие университетской науки; находиться во взаимодействии с промышленным сектором и регионами своей локализации; быть участниками государственных программ развития отдельных секторов экономики и отдельных территорий; работать на опережение потребностей экономического развития страны через подготовку высококвалифицированных кадров, востребованных современным рынком труда, и трансфер результатов своих исследований и разработок для целей социально-экономического развития отдельных отраслей экономики, регионов и страны в целом. Ожидания также распространяются на качество подготовки кадров и включенность таких университетов в международное сотрудничество и взаимодействие. Кроме того, важной характеристикой является узнаваемость и востребованность результатов исследований и разработок, образовательных услуг таких университетов в целом на национальном и международном уровнях.
По конкретным категориям вузов5, принявших участие в апробации (федеральные университеты, национальные исследовательские университеты, университеты — победители конкурса программ стратегического развития Министерства образования и науки РФ), в обществе также продолжают формироваться определенные ожидания, связанные с их миссией и вектором развития. Например, в отношении национальных исследовательских университетов формируются ожидания, согласно которым вузы, получившие такой статус, должны служить развитию отдельных отраслей экономики посредством реализации прикладных научных исследований и подготовки специалистов, востребованных отдельными отраслями. В отношении федеральных университетов ожидания складываются вокруг их особой миссии «локомотива» регионального развития. В отношении вузов — победителей в конкурсе стратегических программ развития также формируются ожидания по их вкладу в социально-экономическое развитие регионов через реализацию уникальных, ориентированных на развитие инновационных программ.
Результаты ранжирования показывают, что вузы в разной степени соответствуют этим ожиданиям. Кроме того, обследование ведущих университетов страны демонстрирует подвижность системы высшего образования и в какой-то степени отражает идущие внутри системы траснформационные процессы. Можно предположить, что в институциональном ландшафте высшего образования происходит формирование новых групп (или типов) вузов, объединяемых и дифференцируемых на основе сочетания ряда качественных характеристик.
Для подтверждения данной гипотезы на основании анализа результатов апробации был выявлен набор качественных признаков, которые определяют позиции вузов в ранжировании (табл. 5). За основание были приняты результаты ранжирования вузов
5 Три из перечисленных категорий вузов имеют официальный статус. Например, категория «Федеральные университеты» закреплена федеральным законом «Об образовании»; категория «Национальный исследовательский университет» — статус, присуждаемый вузу по итогам специального конкурса сроком на 10 лет; категория «ПСР» — список вузов, выделенных в отдельную группу перспективных вузов страны по итогам конкурса МОН РФ их программ стратегического развития.
по отдельным направлениям оценки и анализа того, по каким направлениям вузы входили в группу лидеров и конкурентов.
Таблица 5. Качественные признаки, определяющие позиции вузов в ранжировании в верхней, средней и нижней группе
Группа Место в общем ранжировании 3 * с ¡1 -ет ь п е и ани ая рос ан н Взаимодействие с регионом е
| Научно- исследоваг деятельно« Обучение и преподав У де жт ея 5 3 о* ре с анс £ Качестве! признаки
1 НИУ * * * * L(R)C(TITrE)
2 НИУ ДОТ)
3 НИУ ДОТ)
а Ф 4 НИУ * * * * * ДОТГОЕ)
¡3 5 НИУ * * * * * ДОТГОЕ)
6 НИУ * ! * Щ)С(ТЕ)
7 НИУ * * ДОТ)
8 НИУ * * * L(T)C(RTrE)
9 НИУ * * * ! ЦЕ)ДОТ1)
10 ПСР ! ЦТ1)
11 НИУ ! L(TTr)
12 НИУ * * * * ДОШЕ)
13 НИУ * * ДОТ)
14 ПСР * * ЦТ)С(Е)
15 НИУ * ! ЦТг)С(Т)
16 НИУ * * L(T)C(TrE)
17 НИУ * * * * ДОПТЕ)
18 НИУ * * * ДОТЕ)
19 ФУ * ! L(TE)C(Tr)
20 ФУ * С(Т)
= Ф 21 НИУ * * * С(Т1ТГ)
й 22 ФУ * * ! L(E)C(TTr)
23 Другие * * * С(ТТГЕ)
24 25 НИУ ФУ * * ! * L(Tr)C(TE) С(Т)
26 НИУ * * ДО1)
27 ПСР * ! * L(I)C(TE)
28 НИУ * * * С(ТТГЕ)
29 НИУ * * * С(ТТГЕ)
30 ПСР * * * С(Т1ТГ)
31 Другие * * С(ТЕ)
32 НИУ * * ! * L(Tr)C(RTE)
33 НИУ * * * С(ТТГЕ)
34 НИУ * * С(ТГЕ)
35 ПСР * * С(ТЕ)
СО
Догоняющие Конкуренты Группа
ON^^WWb-O^Ce^^^^W^HO^OONjONUi^WtOHO^OO-sJON^JiOJfOHO UJ UJ UJ UJ VO ОО ч] ON Место в общем ранжировании
ййеаяяййааййайяйядййайдйайдййояо^еййя ^ 12 12 12 12 12 12 12 i2 ^ 12 ^ ^ 12 s ^ ^ ~ LJ ~ ^ ~ ^ ^ [2 ММ м М м м м м м м м м м м М hj м мм1^ К К К К К К К К К К К К К К К К К S О О О О О О О О О О О О О О О ООО НИУ ПСР Другие НИУ Ihn
Научно- исследовательская деятельность
* * Обучение и преподавание
Международная деятельность
* * * — * * * * * — * — * Трансфер знаний
Взаимодействие с регионом
С(Т1Е) L(Tr)C(TE) С(ТЕ) С(ТТгЕ) С(Е) С(Тг) С(ТгЕ) L(Tr)C(TE) С(ТТг) С(ТТг) С(ТТгЕ) С(ТТгЕ) С(ТТг) С(Е) С(ТЕ) С(ТТгЕ) L(Tr)C(T) С(ТгЕ) С(ТТгЕ) С(ТЕ) С(Тг) С(ТТг) С(Е) С(ТгЕ) С(Тг) С(ТгЕ) С(Е) С(Тг) С(Т) С(Е) С(ТгЕ) С(Тг) С(ТгЕ) 0 С(ТТгЕ) С(ТгЕ) С(Т) С(Е) С(ТТг) С(ТТгЕ) С(ТТгЕ) Качественные признаки
О
ь
о ь
о
т
о
т
о
"О
>
т
"о
0
ш >
1
CD
О со
0 *
1
О
о
§
7s
0
1 О
0
J= m
1
7s
I
О
о
CD
<
СО
о
CD
Группа Место в общем ранжировании в ЕЗ Научно- исследовательская деятельность Обучение и преподавание Международная деятельность Трансфер знаний Взаимодействие с регионом Качественные признаки
77 ПСР * C(E)
78 Другие * C(E)
79 Другие * C(E)
80 Другие * C(E)
81 ПСР * C(E)
82 ПСР * C(E)
83 Другие * * * C(TTrE)
84 ПСР 0
85 ПСР * C(E)
86 ПСР * C(E)
87 Другие * * C(TE)
Ф в 88 Другие * C(I)
Э 89 Другие * C(E)
Я 90 Другие * C(E)
© Б* О 91 Другие * C(E)
92 Другие * * C(TE)
93 ПСР * C(E)
94 ПСР * C(E)
95 ПСР * C(Tr)
96 ПСР * * C(TrE)
97 Другие * C(E)
98 Другие 0
99 Другие * C(E)
100 Другие * C(Tr)
101 ПСР * C(E)
102 ПСР * C(E)
103 ПСР * C(E)
Примечания. В таблице использованы следующие условные обозначения:
1-я группа «Лидеры» — позиции с 1-й по 8-ю;
2-я группа «Конкуренты» — позиции с 9-й по 39-ю;
3-я группа «Догоняющие» — позиции с 40-й по 103-ю;
Чааег] - лиДер;
С ... , — конкурент;
[ощреШог] -1 г '
Я, ,, — научно-исследовательская деятельность;
^еагсп]
Т[еасЫп8] — обучение и преподавание;
. , — международная деятельность;
[nternatlonal cooperation] J L '
Tr, . , , . , — трансфер знаний;
[ansier Knowledge] a j. a 7
E, ,, — взаимодействие с регионом;
[ngagement regional] L '
! — вуз вошел в группу лидеров по отдельному/отдельным направления оценки;
* — вуз вошел в группу конкурентов по отдельному/отдельным направлениям.
Анализ качественных признаков позиций каждого из 103 вузов показал присутствие в исследуемой совокупности различных сочетаний лидерских и конкурентных качеств по ключевым направлениям деятельности у 100 университетов. Только у трех вузов такие качественные признаки отсутствуют. При этом наличие некоторых схожих признаков у вузов различных категорий позволяет выделить несколько групп.
Ключевые характеристики основных групп вузов
В первую группу безусловных лидеров входят университеты, которые характеризует сочетание лидерских и конкурентных качественных признаков по всем направлениям деятельности (наука, образование, международная деятельность, трансфер знаний и взаимодействие с регионом). Это самая немногочисленная группа включает три университета (табл. 6).
Таблица 6. Группа 1
№ Сочетание функций ТИп вуза Позиция в ранжировании
1 L(RT)C(ITrE) НИУ 1
2 ДОТ1ТгЕ) НИУ 4
3 С ^ТГГгЕ) НИУ 5
Вторую группу (девять университетов) составили университеты, для которых характерно сочетание лидерских и конкурентных качественных характеристик по науке и образованию. В эту же группу были включены университеты, сочетающие конкурентные качественные признаки по науке и образованию с лидерскими и конкурентными характеристиками по двум другим направлениям: трансферу знаний или взаимодействию с регионом. Все университеты первой и второй групп являются национальными исследовательскими университетами (табл. 7)
Таблица 7. Группа 2
№ Сочетание функций Тип вуза Позиция в ранжировании
1 ДОТ) НИУ 2
2 ДОТ) НИУ 3
3 ДОТ) НИУ 7
4 L (Т) ДОТгЕ) НИУ 8
5 L(E)C(RTTr) НИУ 9
6 ДОТ) НИУ 13
7 ДОТТгЕ) НИУ 17
8 ДОТЕ) НИУ 18
9 L(Tr)C(RTE) НИУ 32
В третью группу можно включить университеты, сочетающие лидерские или конкурентные качественные признаки по направлению обучения с высокими качественными характеристиками по международной деятельности и трансферу знаний или
взаимодействию с регионом, но не продемонстрировавшие высоких качественных показателей по направлению научно-исследовательской деятельности. На текущем этапе анализа в эту группу также включены университеты, демонстрирующие конкурентные качественные характеристики по направлению научно-исследовательской деятельности в сочетании с конкурентными или лидерскими признаками по международной деятельности и трансферу знаний или взаимодействию с регионом, но не продемонстрировавшие высоких качественных показателей по направлению обучения. Обе подгруппы университетов третьей группы имеют потенциал развития. Реализовать его они могут, опираясь либо на науку, либо на обучение как ключевые направления деятельности вузов, по которым они имеют конкурентные качественные характеристики. При этом они располагают дополнительным ресурсом развития через международное сотрудничество и трансфер и/или взаимодействие с регионом. Эта наиболее многочисленная группа объединяет 43 университета, включая НИУ, ФУ, университеты, реализующие программы стратегического развития, и вузы из условной категории «Другие». В основном в эту группу вошли университеты из группы «Конкуренты» и частично из группы «Догоняющие». При этом их объединяет сочетание общих качественных признаков, но различает уровень показателей по индикаторам данных признаков. Очевидно, для реализации потенциала этих университетов должны быть предусмотрены соответствующие мероприятия в их программах развития (табл. 8).
Таблица 8. Группа 3
№ Сочетание функций ТИп вуза Позиция в ранжировании
1 Щ)С(ТЕ) НИУ 6
2 ЩТ) ПСР 10
3 L(TTR) НИУ 11
4 С(ШтаЕ) НИУ 12
5 С(ТЕ) ПСР 14
6 L(TR)C(T) НИУ 15
7 L(T)C(TRE) ПСР 16
8 L(TE)C(TR) ФУ 19
9 септа) НИУ 21
10 L(E)C(TTR) ФУ 22
11 ССП^Е) Другие 23
12 L (та)С(та) НИУ 24
13 С (Ы) НИУ 26
14 Ц^С^Е) ПСР 27
15 ССП^Е) НИУ 28
16 ССП^Е) НИУ 29
17 септа) ПСР 30
18 сете) Другие 31
19 ССП^Е) НИУ 33
20 С (1Е) ПСР 35
№ Сочетание функций Шп вуза Позиция в ранжировании
21 С (TTR) ПСР 37
22 C (TTRE) Другие 38
23 C (TTRE) НИУ 39
24 C (TIE) ПСР 40
25 L(TR)C(TE) Другие 41
26 C(TE) Другие 42
27 C(TTRE) ФУ 43
28 L(TR)C(TE) ФУ 47
29 C(TTR) Другие 48
30 C(TTR) Другие 49
31 C(TTRE) НИУ 50
32 C(TTRE) Другие 51
33 C(TTR) ПСР 52
34 C(TE) НИУ 54
35 C(TTRE) Другие 55
36 L(TR)C(T) ПСР 56
37 C(TTRE) Другие 58
38 C(TE) НИУ 59
39 C(TE) Другие 61
40 C(TTRE) ФУ 74
41 C(TTRE) Другие 83
42 C(TE) Другие 87
43 C(TE) Другие 92
Университеты с лидерскими или конкурентными признаками только по образовательной деятельности, не подкрепленными высокими качественными признаками ни по одному из других направлений, были включены в четвертую группу. Таких университетов всего четыре. К этой группе относятся два федеральных университета, университет, реализующий программу стратегического развития, и вуз из условной группы «Другие». Безусловно, для реализации своих миссий эти университеты должны подтягивать качественные характеристики по науке, международной деятельности, трансферу и взаимодействию с регионом (табл. 9)
Таблица 9. Группа 4
№ Сочетание функций ТИп вуза Позиция в ранжировании
1 L(T) ФУ 20
2 QT) ФУ 25
3 QT) ПСР 68
4 QT) Другие 76
Университеты с конкурентными признаками только по трансферу и взаимодействию с регионом были включены в пятую группу. В эту же группу был включен вуз с конкурентными признаками по направлению международной деятельности, учитывая что для этого университета, осуществляющего активное трансграничное сотрудничество, оно в определенной степени может рассматриваться как взаимодействие с региональными партнерами и включает трансфер знаний. Эта группа университетов также довольно большая, в нее включен 41 университет, частично из группы вузов-конкурентов, частично — из группы догоняющих вузов. В нее вошли два НИУ и один ФУ, а также университеты, реализующие программы стратегического развития, и университеты из категории «Другие». Как и в случае третьей группы, их объединяет сочетание общих качественных признаков, но различает уровень показателей по индикаторам данных признаков. Безусловно, и трансфер, и взаимодействие с регионом являются приоритетными направлениями работы для региональных вузов, кроме того, они могут быть и русурсом развития для университета. Несмотря на высокую значимость этих направлений деятельности для ФУ и региональных вузов, реализация миссии по содействию региональному развитию должна опираться на качественные программы подготовки специалистов. Очевидно, первоочередной задачей для университетов этой группы должно стать повышение качества образовательной деятельности (табл. 10).
Таблица 10. Группа 5
№ Сочетание функций ТИп вуза Позиция в ранжировании
1 С(ТгЕ) НИУ 34
2 С(Е) НИУ 36
3 С(Е) Другие 44
4 С(Тг) ФУ 45
5 С(ТгЕ) ПСР 46
6 С(Е) Другие 53
7 С(ТгЕ) Другие 57
8 С(Тг) ПСР 60
9 С(Е) ПСР 62
10 С(ТгЕ) Другие 63
11 С(Тг) ПСР 64
12 С(ТгЕ) Другие 65
13 С(Е) Другие 66
14 С(Тг) ПСР 67
15 С(Е) Другие 69
16 С(ТгЕ) Другие 70
17 С(Тг) ПСР 71
18 С(ТгЕ) ПСР 72
19 С(ТгЕ) Другие 75
20 С(Е) ПСР 77
21 С(Е) Другие 78
22 С(Е) Другие 79
23 С(Е) Другие 80
№ Сочетание функций ТИп вуза Позиция в ранжировании
24 ДО) ПСР 81
25 ДО) ПСР 82
26 ДО) ПСР 85
27 ДО) ПСР 86
28 до ПСР 88
29 ДО) Другие 89
30 ДО) Другие 90
31 ДО) Другие 91
32 ДО) ПСР 93
33 ДО) ПСР 94
34 од ПСР 95
35 С(ЪБ) ПСР 96
36 ДО) Другие 97
37 ДО) Другие 99
38 од Другие 100
39 ДО) ПСР 101
40 ДО) ПСР 102
41 ДО) ПСР 103
Шестая группа (табл. 11) представлена тремя вузами, у которых не было выявлено лидерских или конкурентных признаков ни по одному из направлений деятельности.
Таблица 11. Группа 6
№ Сочетание функций Тип вуза Позиция в ранжировании
1 0 ПСР 73
2 0 ПСР 84
3 0 Другие 98
Предложенный взгляд на систематизацию вузов по результатам ранжирования носит экспериментальный характер, однако позволяет выйти за рамки количественного подхода и попытаться по-новому проанализировать трансформационные процессы, происходящие в системе, на основании полученных количественных оценок.
Дилеммы модельной методологии многомерного ранжирования российских вузов
Апробация модельной методологии многомерного ранжирования российских вузов, с одной стороны, является значимой частью реализуемого проекта, поскольку именно результаты апробации представляют собой ценный источник для дальнейшей доработки методологии, на их основе формируются рекомендации по комплексному применению национальной системы ранжирования вузов. С другой стороны, продолжающийся характер апробации ставит перед разработчиками перечень вопросов, от выбора ответов на которые зависит эффективность и надежность системы в будущем.
По итогам апробации и общественно-профессиональных консультаций разработчики проекта модельной методологии многомерного ранжирования российских вузов продолжают работать над совершенствованием инструментария с учетом рекомендаций профессионального сообщества. Особое внимание уделяется системе индикаторов, а также методам статистического анализа данных.
По итогам обсуждения результатов апробации и проекта в целом эксперты сформулировали ряд рекомендаций по доработке модельной методологии многомерного ранжирования, главным образом в отношении следующих аспектов.
Система используемых индикаторов. Вопрос количества используемых для оценки индикаторов составляет предмет дискуссий на всем протяжении реализации проекта. Большинство экспертов высказывается за сокращение избранного количества базовых индикаторов, аргументируя свою точку зрения главным образом тем, что это существенно усложняет процедуры сбора и последующей обработки получаемых данных, т.е. создает сложности как для вузов, принимающих участие в процессе, так и для самих разработчиков. Замечание вполне справедливо, поскольку данные для большей части используемых индикаторов не могут быть получены из открытых источников, при их сборе необходимым условием становится обращение в вузы.
Процедуры сбора данных. На решение процедурных вопросов влияют разные факторы: с одной стороны, не все вузы располагают необходимой информацией по причине отсутствия практики мониторинга и сбора собственной статистики; иногда получение данных от вуза ограничено отсутствием соответствующего направления работ (например, в вузе могут отсутствовать образовательные программы, аккредитованные международными агентствами); кроме того, любое обращение в вуз сопряжено с необходимостью официального обращения к ректору вуза за соответствующим разрешением, на основании которого назначается исполнитель, ответственный за сбор и предоставление запрашиваемых данных. Однако это только «вершина айсберга», поскольку за всем этим стоит необходимость выстраивания необходимой коммуникации с различными структурными подразделениями для сбора необходимой информации. Часто трудности коммуникации внутри вуза приводят к нарушениям сроков предоставления данных. Кроме того, согласование итоговой таблицы собранных данных с ответственным исполнителем, назначенным ректором, также занимает определенное время. Все это необходимо учитывать при планировании периода проводимого обследования.
По мнению экспертов, наиболее комфортным периодом обследования для вузов может стать период от трех до пяти лет. При этом, конечно, комфортность является не единственной причиной, по которой такой цикл мог бы быть принят за основу. Проведение обследования российских вузов один раз в три года имеет ряд важных преимуществ с точки зрения именно проводимой оценки. Во-первых, за период в три года наиболее заметны качественные изменения в достижениях вузов по тем или иным целевым индикаторам. Эксперты указывают на обязательность такого периода для сбора данных по индикаторам публикационной активности и цитируемости. Справедливо, что качественный прирост, это также показали результаты проведенной апробации, как в части объема публикаций, так и цитирований на одну статью/ППС, наиболее заметен при срезе за указанный период. Ежегодное обследование релевантно для получения информации о публикационной активности. В отношении отслеживания динамики цитируемости данный период неприемлем, поскольку не отражает реального положения дел (появление статей российских авторов в зарубежных базах научной периодики Web of Science, Scopus может происходить с задержкой, а цитируемость может увеличиваться за счет статей, вышедших в более ранний период). Во-вторых, 3-летний
период обследования значительно облегчает процесс сбора данных с вузов. Сегодня в вузы поступает множество запросов о предоставлении статистики, как правило, официального характера, а также по запросу национальных, международных и глобальных рейтинговых агентств. Справиться с потоком запросов, сроки предоставления данных по которым примерно одинаковые, вузам крайне сложно. Поэтому важно при планировании нового обследования учитывать поступающие в вузы запросы на регулярной основе.
В отношении содержания системы индикаторов эксперты отмечают необходимость произвести перегруппировку индикаторов для более точного отражения результатов (и условий) тех функций, которые сегодня выполняют российские вузы. В частности, речь идет об интеграции индикаторов международной деятельности в группу индикаторов научно-исследовательской и образовательной деятельности. Апробация показала, что индикаторы международной деятельности призваны измерять состояние международной составляющей либо вузовской науки, либо образовательного процесса. Для упрощения как самой системы индикаторов, так и процедур сбора и обработки данных эксперты рекомендуют перегруппировать индикаторы данной группы. Однако, с точки зрения сохранения принципа многомерности ранжирования, данную корректировку еще предстоит осмыслить.
Тот же аргумент характерен и для групп индикаторов направлений «Трансфер знаний» и «Взаимодействие с регионом». Стоит отметить, что индикаторы, составляющие оба направления, — тот редкий случай, когда удалось сохранить ориентацию системы на показатели результатов (outputs). Индикаторы обоих направлений отражают результаты научно-исследовательской и образовательной деятельности. Согласно комментариям вузов, грань между индикаторами обоих направлений достаточно условная, по содержанию они схожи. Рекомендация экспертов — объединить две группы индикаторов в одну под названием «Третья роль вуза», скорректировав формулировки уже имеющихся индикаторов и усилив данное направление дополнительными индикаторами.
Особое место в рекомендациях экспертов занимает вопрос верификации данных. Учитывая, что сбор данных осуществляют сами вузы и проверка этих данных по открытым источникам невозможна, эксперты рекомендуют проводить выборочную проверку данных на примере нескольких вузов выборки с сохранением структуры выборочной совокупности. На примере выборочной совокупности вузов для апробации подобная проверка данных должна была бы включать вузы, пропорционально представляющие четыре категории вузов-участников: федеральные университеты, национальные исследовательские университеты, вузы с поддержанными Министерством образования и науки РФ программами стратегического развития, вузы условной категории «Другие». Сама процедура проверки данных, по мнению экспертов, могла бы заключаться в мониторинговом визите в вуз и проверке данных на местах. Однако мониторинговые визиты — достаточно затратное мероприятие. В связи с этим наиболее оптимальным вариантом мог бы стать дополнительный запрос в вуз о предоставлении оригиналов документов для проверки собранных данных. (На сегодняшний день такие запросы проектом модельной методологии многомерного ранжирования не предусмотрены.)
В отношении объективной оценки качества выпускников вузов эксперты также высказывают свои рекомендации. По их мнению, необходимо отказаться от использования необъективных, с их точки зрения, количественных показателей. Например, рекомендации затронули такой показатель, как «Процент трудоустроенных выпускников в регионе». С одной стороны, данный показатель может считаться объективным, поскольку используется федеральной статистикой. Но, с другой, уровень надежности
данного показателя для оценки эффективности работы вуза не является достаточным, чтобы служить основанием для оценки. Данный индикатор крайне сложно проверить, система мониторинга трудоустройства выпускников, особенно в регионах, не отлажена, кроме того, процессы миграции молодежи из регионов в центр могут противоречить данным официальной статистики. По мнению большинства экспертов, принявших участие в обсуждении проекта модельной методологии многомерного ранжирования и результатов его апробации, наиболее надежным для оценки качества подготовки выпускников было бы использование качественных опросов самих выпускников и работодателей в регионах.
Российский и зарубежный опыт рейтингования вузов показывает, что практически все из существующих систем опираются на так называемые репутационные опросы. То есть наряду с количественными оценками используют и результаты качественных опросов. В глобальных рейтингах, таких как, например, QS и THE, оценки, получаемые с помощью качественных опросов, нормируются, приводятся к балльному значению и агрегируются, чтобы затем получить свой весовой коэффициент. В проекте разработанной модельной методологии многомерного ранжирования качественные опросы на момент разработки и апробации не были предусмотрены в силу дополнительных затрат на организацию и обработку данных, получаемых с их помощью. Однако, как показывает опыт и как указывают российские и зарубежные эксперты, система рейтингования в целом не может считаться полноценной, если не предусматривает оценку качества подготовки выпускников. Существуют, конечно, исключения из правил, например, глобальный Шанхайский рейтинг мировых университетов, который не обращается к качественным опросам, а опирается только на открытые и надежные источники, предоставляющие объективную количественную оценку результативности мировых университетов.
В ходе экспертных обсуждений используемой системы индикаторов было высказано мнение, что от количества используемых при оценке индикаторов могут варьировать не только результаты многомерного ранжирования, но и сфера их применения. Апробация показала, что включение в оценку всех 54 индикаторов позволяет получить точную картину не только развития системы высшего образования в стране в целом, но и отдельных вузов в частности. При подготовке индивидуальных профайлов с основными результатами ранжирования для каждого вуза — участника апробации было обнаружено, что подробнейший анализ состояния вуза по всей системе индикаторов позволяет выявить сильные и слабые стороны развития университета по каждому из пяти направлений деятельности и в целом может быть использован для выработки рекомендаций по дальнейшему планированию работы вуза с учетом целевых показателей. При этом важно, что именно широкий набор показателей создает основу для качественного всестороннего анализа положения университета внутри системы. В связи с этим вопрос сокращения индикаторов представляет собой существенную дилемму методологии, поскольку, с одной стороны, большое количество индикаторов обременительно для сбора и расчетов, а, с другой стороны, при их сокращении разработанный подход многомерного ранжирования уже не сможет служить целям стратегического развития университетов. В результате экспертных дискуссий было принято решение сохранить количество индикаторов, учесть рекомендации экспертов по их корректировке и перегруппировке и выделить ядро индикаторов для построения собственно рейтинга российских вузов.
Обобщая рекомендации, высказанные в адрес проекта модельной методологии многомерного ранжирования российских вузов в рамках проведенных профессиональ-
но-общественных и экспертных обсуждений, можно выделить несколько направлений, в которых предстоит дорабатывать представляемую методологию:
1. Корректировка системы индикаторов, в том числе перегруппировка и выделение ядра индикаторов для построения рейтинга вузов.
2. Вариативность методов построения ранжирований и рейтинга.
3. Разработка системы весовых коэффициентов для ядра индикаторов, применяемых для построения рейтинга российских вузов.
4. Разработка предложений для проведения качественных репутационных опросов студентов о качестве и условиях обучения в вузе и работодателей о качестве подготовки выпускников.
5. Продолжение работы по выработке наиболее релевантного подхода к классификации российских вузов на основе многомерного ранжирования и построения рейтинга российских вузов.
6. Совершенствование формы представления результатов ранжирования и рейтинга, в том числе разработка предложений по созданию портала национальной системы многомерного ранжирования.
7. Продолжение работы по выработке индикаторов оценки, сопоставимых в международном масштабе, главным образом для построения на основе БД многомерного ранжирования рейтинга российских вузов.
Данные направления работы частично решаются в настоящее время в рамках текущего проекта. Другие перспективные направления работ по созданию национальной системы многомерного ранжирования российских вузов будут решаться по мере появления дополнительных возможностей для их реализации. Уже сейчас методология многомерного ранжирования может быть использована для комплексного анализа и оценки деятельности вузов, учитывающей многообразие национальной системы высшего образования, с целью сравнения, бенчмаркинга, повышения конкурентоспособности, планирования и стратегического развития российской системы высшего образования.
