CC BY
106
Методология
многомерного ранжирования: возможности комплексной оценки деятельности вузов1
Модельная методология многомерного ранжирования российских вузов
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский, Л.В. Заварыкина, И.В. Лазутина, М.В. Ларионова, А.С. Лопатина, В.А. Нагорнов, О.В. Перфильева
Аржанова Ирина Вадимовна — к.т.н., исполнительный директор Национального фонда подготовки кадров (НФПК); E-mail: arzhanova@ntf.ru
Барышникова Марина Юрьевна — к.п.н., заместитель исполнительного директора Национального фонда подготовки кадров (НФПК); E-mail: baryshnikova@ntf.ru
Жураковский Василий Максимилианович — д.т.н., научный консультант Национального фонда подготовки кадров (НФПК); E-mail: zhurakovsky@ntf.ru
Заварыкина Любовь Валерьевна — MEd, м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: lzavarykina@hse.ru
Лазутина Ирина Викторовна — MSc in Cultural Management, м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Ilazutina@hse.ru
Ларионова Марина Владимировна — д.полит.н., директор Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики», руководитель международных программ Национального фонда подготовки кадров (НФПК); E-mail: larionova@hse.ru
Лопатина Анастасия Сергеевна — MSc in Political Economy, стажер-исследователь Российско-американской программы по сотрудничеству институтов гражданского общества Фонда «Евразия»; E-mail: alopatina@eurasia.org
Нагорнов Виталий Александрович — PhD in Economics, директор научно-исследовательского Центра содействия международному развитию Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: vnagornov@hse.ru
1 Настоящая методология разработана по результатам реализации проекта Национального фонда подготовки кадров (НФПК) «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования» по заказу Министерства образования и науки РФ (2011—2013 гг.). Подробнее о ходе реализации проекта и основных результатах см. на странице проекта на сайте НФПК (http://ranking.ntf.ru/) и ИМОМС НИУ ВШЭ (http://www.hse.ru/ о^^е/юпДорШ).
Перфильева Ольга Владимировна — к.соц.н., директор Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»; E-mail: Perfilieva@hse.ru
Представляем вашему вниманию проект модельной методологии многомерного ранжирования российских вузов, разработанной и апробированной в рамках проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки РФ в 2011—2013 гг. Апробация разработанного подхода состоялась в 2012 г., участниками эксперимента стали более 100 российских вузов.
Ключевые слова: ранжирование, многомерное ранжирование, вузы. Key words: ranking, multidimensional ranking, HEIs.
Введение
В Указе о мерах по реализации государственной политики в области образования и науки, подписанном президентом В.В. Путиным 7 мая 2012 г., поставлена задача обеспечить вхождение к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу. Распоряжением Правительства Российской Федерации от 29 октября 2012 г. утвержден план мероприятий, направленных на повышение конкурентоспособности ведущих российских вузов среди мировых научно-образовательных центров. Реализация комплексной системы мер призвана способствовать формированию кадрового потенциала, развитию образовательной и исследовательской деятельности университетов, инновационной активности и трансферу создаваемых знаний в экономику и общество. Вхождение в международные рейтинги и занятие в них равных или сопоставимых с ведущими мировыми университетами позиций является одним из показателей конкурентоспособности. Выход на ведущие позиции не может быть быстрым, поскольку конкуренция очень острая и продолжает усиливаться в условиях глобализации, взаимозависимости, обострения борьбы за финансовые и человеческие ресурсы.
Учитывая поставленные перед российскими вузами задачи, крайне важным становится обеспечение необходимых условий на национальном уровне для продвижения российских вузов в глобальное пространство высшего образования. Инструментом, способным обеспечить реализацию поставленных президентом РФ задач, может выступать национальная система ранжирования российских вузов, учитывающая особенности развития и функционирования российского высшего образования и его актуальные потребности, и опирающаяся на всесторонний анализ российского и зарубежного опыта построения рейтингования образовательных учреждений.
Концепция модельной методологии ранжирования
Модельная методология многомерного ранжирования, разработанная и апробированная Национальным фондом подготовки кадров (НФПК) по заказу Министерства образования и науки РФ в рамках проекта «Разработка и апробация модельной методологии ранжирования учебных заведений профессионального образования в России» в период 2011—2012 гг., закладывает основу для реализации национального подхода к оценке деятельности отечественных вузов, учитывающей многообразие (дифференцированность)
национальной системы высшего образования. Методология ранжирования направлена на решение таких стратегических задач, как всесторонняя оценка качества деятельности вузов и содействие продвижению российских университетов в глобальное образовательное пространство.
Многомерное ранжирование (multidimensional ranking) не стремится соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе, а ориентировано на разнообразные потребности разных категорий пользователей2. В этом его ключевое отличие от рейтингов или одномерных ранжирований, отражающих вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе [3]. Учитывая многообразие деятельности и функций университетов, методология служит источником надежной и объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов. Таким образом, данный подход удовлетворяет интересы различных потребителей услуг российского высшего образования, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими услуг. Поскольку положение в рейтингах является важным сигналом конкурентоспособности, методология способствует повышению качества деятельности и конкурентоспособности российских вузов. Одновременно, учитывая международные методологические стандарты построения ранжирований (стандарты проведения эмпирических исследований, критерии аудита качества ранжирований Международной экспертной группы по определению качества ранжирований IREG3, опыт построения глобальных, национальных и специализированных ранжирований), методология содействует интеграции российских вузов в глобальное образовательное и исследовательское пространство. В рамках предложенного подхода реализуется несколько основных задач:
1. Регулярная оценка высших учебных заведений по пяти направлениям деятельности вузов с учетом разнообразия системы высшего образования с возможностью построения ранжирований и рейтингов вузов по отдельно заданным параметрам.
2. Разработка и постоянное совершенствование инструмента прозрачной внешней оценки качества высших учебных заведений в России.
3. Формирование и пополнение базы данных о состоянии и развитии российской системы высшего профессионального образования.
4. Содействие развитию и повышению конкурентоспособности российской системы высшего образования через создание информационной и аналитической основы для бенчмаркинга (выявления лучших практик) и стимулирования спроса на услуги высшего образования в стране.
Основываясь на результатах анализа зарубежных и международных методологий ранжирования [1] и принимая во внимание специфику российской системы высшего образования, в качестве потребителей услуг высшего образования в России, интересы и информационные потребности которых должны быть учтены, выделены следующие целевые группы:
1) абитуриенты и их родители;
2) органы государственного управления различного уровня;
3) работодатели и рынок труда в целом;
2 См.: официальный вебсайт Института международных организаций и международного сотрудничества: http://www.hse.ru/org/hse/iori/toplist.
3 International Observatory on Academic Ranking and Excelence (IREG). URL: http://www.ireg-ob-servatory.org/index.php?option=com_frontpage&Itemid=1 (date of access: 04.02.2013).
4) академическое сообщество (вузы в целом, исследователи, преподаватели вузов);
5) бизнес-структуры разного уровня.
Для отражения многообразия российской системы высшего образования при разработке проекта модельной методологии рейтингования высших учебных заведений, опираясь на классификацию высших учебных заведений и современные проекты модернизации системы высшего образования, реализуемые Министерством образования и науки РФ, за объекты рейтингования были приняты государственные и негосударственные вузы, включая следующие категории:
— ведущие вузы (МГУ, СПбГУ, ФУ, НИУ);
— классические университеты;
— инженерно-технические вузы;
— гуманитарно-педагогические вузы;
— экономические и юридические вузы;
— сельскохозяйственные вузы.
Учитывая развитие и усложнение функций современных российских вузов, в анализ и ранжирование включены пять функций (направлений деятельности): научно-исследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом.
Таким образом, многомерность модельной методологии рейтингования выражается в пересечении нескольких оценочных плоскостей:
— пяти направлений деятельности вузов, выделенных в соответствии с разнообразием функций вузов: обучение, исследовательская деятельность, трансфер знаний, взаимодействие с регионом, международная деятельность;
— групп вузов, выделенных в соответствии с их миссиями: ведущие вузы (МГУ, СПбГУ, ФУ, НИУ), классические университеты, инженерно-технические вузы, гуманитарно-педагогические вузы, экономические и юридические вузы, сельскохозяйственные и медицинские вузы;
— групп пользователей, выделенных в соответствии с различными информационными потребностями: абитуриенты, академическое сообщество, власть, рынок труда, бизнес-структуры.
Модельная методология ранжирования пока не использует качественные данные, получаемые с помощью опросов студентов, сотрудников вузов и работодателей, прежде всего в связи с отсутствием специальных социологических исследований, которые бы велись на общероссийском уровне. Тем не менее использование качественных данных рассматривается как один из векторов развития национальной системы рейтингова-ния российских вузов. Для построения многомерного ранжирования вузов на текущем этапе используются количественные индикаторы, отражающие качество деятельности российских вузов.
Все используемые элементы методологии (прежде всего предлагаемые количественные индикаторы) прошли экспертную оценку и обсуждение с целью:
— определения набора количественных индикаторов для каждого из пяти предлагаемых направлений оценки деятельности вузов из разнообразия используемых индикаторов в международной и российской практике;
— оценки значимости выделенных количественных индикаторов для модельной методологии рейтингования и развития высшего образования в России, а также соответствия принципам надежности, доступности и релевантности;
— тестирования модельной методологии рейтингования;
— проведения дополнительной процедуры взвешивания индикаторов внутри каждого из пяти предлагаемых направлений.
На основании полученных экспертных оценок выделены 54 индикатора по пяти направлениям деятельности вузов (научно-исследовательская деятельность, обучение/ преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) и 19 дополнительных параметров профайла университетов (Приложение 1).
Инструментарий модельной методологии рейтингования
Структура групп индикаторов
Инструментарий для сбора данных по выделенным индикаторам является несущей конструкцией методологии. Шесть групп исходных индикаторов, сформированных на основании результатов работы экспертов рабочей группы проекта, составляют основу инструментария:
Группа А «Профайл вуза»;
Группа B «Научно-исследовательская деятельность»;
Группа C «Обучение и преподавание»;
Группа D «Международная деятельность»;
Группа E «Трансфер знаний»;
Группа F «Взаимодействие с регионом».
Каждая группа имеет соответствующую внутреннюю структуру и различное смысловое наполнение. Полный список индикаторов представлен в Приложении 1.
Группа A (A1—A19) состоит из показателей, представляющих основные характеристики профайла отдельных вузов, который складывается из таких индикаторов общего характера, как его вид (A2), категория, группа/тип вуза (А3, A4), ведомственная принадлежность (A5) и организационно-правовая форма (A6) вуза, его географическая (A7) и территориальная (A8) принадлежность. Профиль вуза может включать информацию о численности студентов (A9), профессорско-преподавательского состава (A10), научных сотрудников (A13), учебно-методического и административного персонала (A11). Данная группа индикаторов позволяет сформировать предварительную картину тех возможностей, которыми располагает вуз для предоставления услуг высшего образования. Более подробным профиль вуза делает информация о количестве предлагаемых образовательных программ (различных направлений подготовки) (A12), а также о возможностях послевузовского образования в аспирантуре (A14) и докторантуре (A15). Профайл вуза может быть дополнен другой информацией, полезной для потребителей услуг высшего образования.
Отличительной чертой индикаторов Группы А является их функциональность. С одной стороны, каждый индикатор в отдельности несет в себе конкретную информационную нагрузку и может использоваться самостоятельно, но не использоваться для оценки вузов. С другой стороны, некоторые из индикаторов Группы А входят в структуру индикаторов других групп (B, C, D, E, F) и могут быть использованы для расчета индикаторов по отдельным направлениям деятельности вузов.
В группу B (B1 — B15) вошли индикаторы, раскрывающие научно-исследовательскую активность вузов как в терминах исходных условий, так и результатов.
Индикаторы качества ППС (B2), публикационной активности сотрудников вуза (B3—B11), доходов от научных исследований (В12), участия в грантовых программах/ проектах (В13—В14) традиционно рассматриваются как показатели развития научно-исследовательской деятельности вуза.
Как показывает международная практика, одним из наиболее надежных способов оценки научно-исследовательского потенциала вуза является подсчет публикационной активности его ППС и научных сотрудников, а также расходов и доходов вуза от научно-исследовательской деятельности.
Индикаторы группы С (C1—C18) характеризуют качество образовательной деятельности вуза. Эта составляющая деятельности вуза выражается такими показателями, как качество абитуриентов (С3, С14), качество студентов (С4), качество ППС (С9, С10, С12, С16), качество образовательных программ (С1, С2), востребованность выпускников на рынке труда (С5), финансирование вузом учебной деятельности (С11, С18), возможности продолжения обучения в магистратуре и аспирантуре (С7, С13) и мобильность студентов (С8). Российская и международная практика показывает, что наиболее частым способом оценки качества образовательной деятельности вуза является оценка качества его абитуриентов, ППС, расходов на обеспечение обучения и востребованности выпускников на рынке труда.
Индикаторы группы D (D1—D12) описывают международную деятельность вуза. Качество международной деятельности вуза характеризуется индикаторами, отражающими активность вуза в привлечении иностранных студентов и преподавателей (D1, D5, D12), мобильности студентов и преподавателей (D6, D7, D8), доходов от взаимодействия с иностранными партнерами (D2, D3, D4), реализации образовательных программ с иностранными партнерами (D10, D11). Представленные индикаторы являются количественными показателями как исходных ресурсов, так и результатов деятельности вуза по интернационализации, поэтому позволяют оценить международную деятельность вуза с различных точек зрения.
Индикаторы Группы E (E1—E5) характеризуют активность вузов в области передачи результатов своей деятельности внешним стейкхолдерам. Эта деятельность вуза оценивается по экономической составляющей (E1—E3) и взаимодействию вуза с внешними партнерами (E4, E5). Необходимо отметить, что в российской и зарубежной практике критерии оценки этого направления деятельности вуза недостаточно разработаны, предоставление данных по этим индикаторам может вызвать затруднения. Однако такие показатели, как доля доходов из внебюджетных источников, доход от продажи объектов интеллектуальной собственности, широко используются и в российской, и в зарубежной практике. Источниками данных по индикаторам Группы E являются данные, предоставляемые вузами для прохождения государственной аккредитации, и собственные данные вузов.
Индикаторы Группы F (F1—F4) описывают деятельность вуза по взаимодействию с региональным сообществом. Показатели экономической активности вуза по взаимодействию с регионом (F1, F2) и показатели подготовки кадров для региона (F3, F4) позволяют оценить деятельность вуза по этому направлению.
Источниками информации по индикаторам могут быть документы, доступные широкой общественности, статистические данные, предоставляемые вузами для различных мониторинговых систем, для прохождения государственной аккредитации, библиометрические данные, собственные данные вузов. В силу того, что цели и результаты многомерного ранжирования отличаются от целей и результатов информационных и мониторинговых систем, формулировки индикаторов также отличаются. Поэтому говорить о полном замещении индикаторов ранжирования индикаторами внешних систем не представляется возможным. Однако наличие таких данных создает возможность для повышения надежности получаемых в рамках ранжирования данных.
Построение опросника
Для получения количественных данных вузов при формировании опросника индикаторы направлений деятельности были структурированы в шесть семантических блоков:
— профайл вуза и инфраструктура (общие сведения);
— студенты и аспиранты;
— ППС, НС и другой персонал;
— образовательные программы;
— библиометрия;
— бюджет.
Индикаторы шести блоков сформировали в результате процедуры декомпозиции 73 исходных индикаторов. Большая часть исходных индикаторов отражает относительные значения (доля, %) по тому или иному направлению деятельности (или функции) вуза.
Процедура декомпозиции позволила перевести относительные индикаторы в индикаторы абсолютных значений и произвести сбор данных по индикаторам абсолютных значений4. При этом важно, что абсолютные значения могут как использоваться, так и не использоваться для оценки вуза по тому или иному направлению его деятельности.
Декомпозиция осуществлялась через разделение структуры индикатора на составляющие его элементы и включала несколько процедурных шагов:
1. Кодировка индикаторов. Каждому из 73 исходных индикаторов присваивается индивидуальный код исходя из изначально определенных шести направлений работы вуза:
Группа А — Профайл вуза и инфраструктура (А1—А19);
Группа В — Научно-исследовательская деятельность (В1—В15);
Группа С — Обучение и преподавание (С1—С18);
Группа D — Международная деятельность (D1—D12);
Группа Е — Трансфер знаний (Е1—Е5);
Группа F — Взаимодействие с регионом (F1—F4).
2. Разделение 73 исходных индикаторов на составляющие элементы, субиндикаторы. Каждый исходный индикатор, указывающий на относительное значение, как правило, состоит из двух и более абсолютных субиндикаторов.
Например, структура исходного индикатора D1 «Доля иностранных студентов в общей численности студентов» состоит из субиндикаторов:
D1.1 — численность иностранных студентов вуза в прошедшем учебном году, в том числе:
D1.1a — из стран СНГ очной формы обучения;
D1.1b — из стран СНГ очно-заочной формы обучения;
D1.1c — из стран СНГ заочной формы обучения;
D1.1d — из стран СНГ (экстернат);
D1.1e — из стран дальнего зарубежья очной формы обучения;
D1.1f — из стран дальнего зарубежья очно-заочной формы обучения;
D1.1g — из стран дальнего зарубежья заочной формы обучения;
D1.1h — из стран дальнего зарубежья (экстернат).
4 Декомпозицию индикаторов и опросник см. на странице проекта на сайте НФПК (http:// ranking.ntf.ru/p122aa1.html) и ИМОМС НИУ ВШЭ (http://wwwhse.ru/org/hse/iori/edu_ranking).
3. Определение общих субиндикаторов. Процедура декомпозиции позволила выявить субиндикаторы, которые используются как для построения нескольких исходных индикаторов, так и в информационных целях.
Например, индикатор Л9 « Численность студентов вуза» и индикатор D1 «Доля иностранных студентов в общей численности студентов». При формировании профайла вуза индикатор Л9 не используется для оценки вуза по количеству студентов. Однако для построения значения исходного индикатора D1 индикатор Л9 выступает как основа для оценки и сравнения вузов по относительному значению количества иностранных студентов вуза.
4. Построение значения исходного индикатора на основе данных, полученных по отдельным субиндикаторам. Для получения значения исходного индикатора осуществляется сбор информации по отдельным абсолютным субиндикаторам. Далее на основании имеющихся абсолютных значений вычисляется отношение между ними. Построение значения каждого из 73 исходных индикаторов производится на основании кодировки.
Например, значение исходного индикатора D1 «Доля иностранных студентов в общей численности студентов» получается через отношение между суммой значений индикатора D1 « Численность иностранных студентов в прошедшем учебном году» и суммой значений индикатораЛ9 «Общая численность студентов в прошедшем учебном году», т.е. через отношение численности иностранных студентов вуза всех направлений подготовки, форм обучения и зарубежных стран, включая страны СНГ и дальнего зарубежья, в предыдущем учебном году к общей численности студентов вуза всех направлений подготовки и форм обучения в предыдущем учебном году. Такие вычисления производятся для всех индикаторов, выраженных в относительных значениях (%, доля).
В опроснике также даны пояснения по каждому из включенных в него индикаторов и информация о временном периоде и источнике, откуда вуз может получить сведения для предоставления данных.
В результате разделения структуры индикаторов на составляющие элементы был сформирован перечень из отдельных субиндикаторов, который предоставлялся вузам для заполнения.
Методы обработки количественных данных, получаемых в ходе апробации
Для обеспечения наибольшей точности ранжирования при апробации модельной методологии были проанализированы различные подходы к построению рейтингов и ранжирований, а также математико-статистические методы обработки данных ранжирования. При рассмотрении данных методов учитывался опыт построения глобальных, национальных и специализированных ранжирований. Проведенный анализ позволил выбрать оптимальное сочетание методов для построения ранжирования.
Процедура взвешивания индикаторов
для построения рейтингов по пяти функциям и общего рейтинга
В рамках модельной методологии ранжирования российских вузов распределение весов осуществляется в соответствии с пятью функциями высшего образования (научно-исследовательская деятельность, обучение-преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) и выделенными в ходе разра-
ботки методологии отдельными субиндикаторами. Таким образом, формируется пять тематических групп субиндикаторов, характеризующих функции высшего образования. Распределение весов субиндикаторов внутри каждой тематической группы производится методом опроса экспертов, на основании результатов которого получаются модели комплексных индикаторов для построения рейтингов учреждений высшего образования по пяти функциям высшего образования. Присвоение весов субиндикаторам в каждой группе выполняется экспертами на основании метода «распределения оценок»5. С помощью этого метода рассчитываются относительные веса индикаторов. Достоинством метода является то, что он позволяет избежать ошибок в ходе технических манипуляций данными; также экспертное мнение является надежным источником информации о важности тех или иных индикаторов деятельности высших учебных заведений. К недостаткам метода можно отнести то, что не всегда удается произвести надежное распределение оценок между более чем десятью субиндикаторами, так как это предполагает экспертное сравнение слишком большого количества пар субиндикаторов. Также этот метод может отражать субъективное мнение экспертов, а не фактическую важность субиндикаторов. Однако экспертное обсуждение и обмен мнениями между экспертами могут помочь преодолеть этот недостаток.
Для определения относительной важности субиндикаторов одной функции экспертам предлагается распределить между субиндикаторами набор оценок, где 5 — высшая оценка, а 2 — низшая. Далее на основании оценок, предоставленных всеми экспертами для каждого субиндикатора, находится средняя, которая и становится весом соответствующего субиндикатора.
При построении общего рейтинга высших учебных заведений ставится цель оценить деятельность вузов по всем направлениям в совокупности и выявить, насколько высшие учебные заведения соответствуют модели «идеального вуза».
Взвешивание индикаторов для построения общего рейтинга основывается на взвешивании субиндикаторов внутри пяти выделенных тематических групп. Для построения общей иерархии субиндикаторов рассматривается три альтернативных метода. Так как взвешивание является самым влиятельным фактором из всех процедур обработки данных, была осуществлена проверка чувствительности модели комплексного индикатора к различным вариантам взвешивания: методу сложения взвешенных индикаторов, методу «комбинированного взвешивания», методу разбиения субиндикаторов на группы и присвоения им новых весов.
Проверка чувствительности модели комплексного индикатора к различным вариантам взвешивания (рис. 1) показала, что различные методы взвешивания дают различные варианты общего рейтинга, положение отдельных вузов в каждом из которых может отличаться.
Так, метод простого сложения индикаторов представляет собой наиболее простой, но при этом достаточно показательный вариант построения общего рейтинга. Как показано на рис. 1, рейтинг в этом случае представляет собой линейную последовательность вузов от вуза-лидера по совокупности баллов до вуза, набравшего наименьшее количество баллов. Преимуществом данного метода является отсутствие дополнительных манипуляций с данными, что исключает возможность повторного взвешивания и искажения данных. Однако нужно принимать во внимание, что метод исходит из
5 Метод «распределение оценок» — метод экспертной оценки, при которой каждому эксперту предлагается набор оценок, которые они должны распределить среди субиндикаторов таким образом, чтобы наиболее важные в рамках модели индикаторы получали наивысшие оценки из предоставленного набора.
того, что веса в общем рейтинге будут иметь такой же вес, как и веса в рейтингах по отдельным функциям. Таким образом, метод построения рейтинга «простого сложения» отдает предпочтение вузам с равномерно развитыми различными видами деятельности.
90 85 80 -75 -70 -65 -60 55 50 -45 -40 35 -30 25 20 -15 -10 5 0
ТГ
т
1-т-
- Простое сложение - Сложение по группам - Комбинированный рейтинг
Рис. 1. Графическое представление результатов трех рейтингов
Рейтинги, построенные методами комбинированного взвешивания и взвешивания с помощью коэффициентов по кластерам индикаторов, в той или иной степени изменяют положение вузов относительно рейтинга, построенного на основании простого сложения. Комбинированное взвешивание, хотя и часто используется при построении международных рейтингов высшего образования, является сложной иерархической моделью весов. Для построения такого рейтинга субиндикаторы подвергаются повторному взвешиванию, чтобы подчеркнуть наиболее важные индикаторы, что может приводить к необоснованному дублированию баллов. Взвешивание методом разделения на группы и присвоения новых весов позволяет выделить группы субиндикаторов по степени их важности в модели построения общего рейтинга, но, поскольку всем субиндикаторам в одной группе присваивается одинаковый коэффициент важности, относительная важность субиндикаторов внутри кластера стирается.
Анализ трех методов взвешивания в ходе обработки данных апробации показал, что построение рейтинга путем разбиения субиндикаторов на группы и присвоения им новых весов занижает позиции 30 вузов и повышает позиции 35, позиции 16 остаются неизменными; стандартное отклонение от рейтинга, построенного методом простого сложения, составляет 2,8, т.е. в среднем отклонение от первого рейтинга составляет 2,8 позиции в большую или меньшую сторону. Построение рейтинга методом комбинированного взвешивания занижает позиции 33 вузов и повышает позиции 35, при этом позиции 13 вузов остаются неизменными. Стандартное отклонение составляет 3,66.
Проверка чувствительности модели комплексного индикатора к различным вариантам взвешивания показывает, что каждый из приведенных методов взвешивания содержит опасность искажения изначальных данных, тем не менее взвешивание методом простого сложения взвешенных субиндикаторов обладает преимуществами простоты расчета и отсутствием дополнительной манипуляции данными. При обработке данных апробации был принят метод сложения значений всех субиндикаторов, взвешенных
в рамках пяти функций. В результате этого метода взвешенные субиндикаторы, распределенные по пяти группам, объединяются для построения общей иерархии, при этом исходные веса не меняются.
Этапы обработки эмпирических данных
Обработка эмпирических результатов апробации проводится в три этапа: на первом этапе осуществляется проверка первичных данных, на втором — восстановление пропущенных значений, на третьем — обработка данных.
Передача вузам анкеты для самозаполнения, с одной стороны, означает делегирование им части ответственности за качество предоставляемых данных, т.е. повышает их значимость как участников для общих результатов исследования, но, с другой стороны, сокращает степень контроля разработчиками процесса сбора данных, увеличивая важность последующей проверки данных. Важным элементом обеспечения достоверности и надежности полученной эмпирической информации является процедура проверки массива данных.
Процедура проверки массива данных позволяет провести ревизию качества представленных первичных данных. Первичные данные апробации изучаются на предмет полноты и соответствия реальности.
Проверка данных
В процессе проверки данных по каждому из вузов выявляются субиндикаторы (первичные данные), по которым вуз не смог предоставить данные. Отсутствие данных влияет на итоговое распределение значений базовых индикаторов для каждого университета, сокращая общее количество баллов, которое вуз может получить при последующем ранжировании по тому или иному направлению деятельности (научно-исследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом). В этой связи особое значение имеет полнота представления данных.
При этом следует различать фактический и номинальный пропуск данных по базовым индикаторам. При фактическом пропуске запрашиваемые показатели отсутствуют в деятельности вуза, тогда как при номинальном — могут присутствовать в деятельности вуза, однако вуз не предоставил данные по каким-либо другим причинам. И в том, и другом случае по умолчанию принимается значение «0».
Восстановление пропущенных данных
Первый шаг: по возможности, разработчикам необходимо восстановить пропущенные значения по открытым и надежным источникам.
Например, в случае отсутствия данных по показателям публикационной активности пробелы восстанавливаются разработчиками самостоятельно с помощью обращения к базам данных РИНЦ, Scopus, Web of Science. Дальнейшая работа по построению ранжирований ведется с учетом восстановленных таким образом данных.
Второй шаг: в методологию включены показатели, данными по которым располагают только вузы, а их отсутствие не позволяет рассчитать базовые индикаторы для дальнейшего ранжирования. В случае, когда вуз не предоставил данные и их нельзя восстановить по имеющимся в распоряжении открытым источникам информации, а также установить, связано ли отсутствие данных с тем, что показатели не являются для вуза релевантными, для вуза формируется отдельный перечень показателей, по которым требуется выверка.
Однако вследствие различных причин не все вузы могут предоставить полный объем запрашиваемых данных и не от всех вузов можно получить обратную связь по итогам первичной проверки массива данных6.
Отсутствующие данные по индикаторам приводят к искажению оценки вузов, в особенности при агрегировании субиндикаторов, так как вузы, не предоставившие данные по какой-либо причине, автоматически получают более низкую оценку. То есть при присвоении пропущенным данным значения «0» или исключении пропущенных данных существенно искажается общая картина при ранжировании или рейтингова-нии вузов. Поэтому последующая математико-статистическая обработка данных осуществляется только после проверки данных — получения от вузов, принявших участие в апробации, подтверждения своих пропущенных значений и согласия/несогласия с предлагаемыми интерпретациями отсутствующих данных (со значением «0»).
Третий шаг: если пропуск данных связан с невозможностью предоставить данные или технической ошибкой, а не фактическим отсутствием такой деятельности в вузе, пропущенные данные замещаются расчетными данными. Например, можно использовать способ замещения пропущенных данных минимальными значениями субиндикаторов в категории вузов. Минимальное значение по категории замещает пропущенные данные, таким образом, вузы, не предоставившие данные, получают минимальное значение показателя по вузам их категории. Такой подход применяется в некоторых методологиях, однако он сильно критикуется, поскольку искажает оценку. Поэтому в рамках апробации ранжирования и рейтинги были построены без применения замещения пропущенных данных минимальными значениями.
Однако представляется целесообразным в дальнейшем провести построения с применением замещения пропущенных данных минимальными значениями по категории. Сравнение полученных распределений позволит сделать взвешенный вывод о преимуществах и ограничениях обоих подходов. В дальнейшем при продолжении работы по ранжированию вузов накопленные данные позволят использовать другие подходы, например, замещение пропущенных данных вуза расчетными показателями по конкретным индикаторам за предыдущие годы. В целом проблема пропущенных значений может быть преодолена за счет повышения уровня полноты предоставляемых вузами данных.
Математико-статистическая обработка данных
После проверки и восстановления для формирования ранжирований, рейтингов и профайлов вуза осуществляется математико-статистическая обработка данных, введенных в базу.
Базовым элементом каждого инструмента является субиндикатор, который при помощи операций нормирования7, агрегирования8, ранжирования9 и взвешивания10
6 Такая ситуация в целом характерна для проведения опросов и обуславливается тем, что респонденты либо не располагают необходимыми данными, либо не желают их предоставлять. Отсутствие данных также может быть результатом ошибки.
7 Нормирование — это операция приведения данных к безразмерному виду, иными словами — к единому диапазону, при котором возможно сравнение различных видов данных.
8 Агрегирование — операция объединения нескольких субиндикаторов для получения комплексного индикатора.
9 Ранжирование — операция распределения данных от одного крайнего значения показателей в группе к другому крайнему показателю — распределение отдельных единиц совокупности в порядке возрастания или убывания исследуемого признака.
10 Взвешивание — присвоение значениям субиндикаторов веса — позволяет показать важность основных индикаторов в общей совокупности, что крайне важно при оценке комплексного явления, которое состоит из разных по значимости компонентов.
трансформируется в: 1) нормированный субиндикатор, 2) агрегированный субиндикатор и 3) взвешенный и агрегированный субиндикатор, на основании которых производится формирование различных инструментов.
Так как субиндикаторы оценивают различные области деятельности высших учебных заведений, они выражены в различных единицах измерения: количество человек, штуки, часы, единицы, баллы, тысячи рублей. Поэтому для построения агрегированного показателя, который включает в себя данные различного типа, необходимо привести все субиндикаторы к единому диапазону, т.е. провести нормирование данных. Нормирование данных является первым шагом при построении ранжирования и рейтинга, так как эти инструменты предполагают дальнейшее агрегирование различных субиндикаторов для получения единой оценки.
Для нормирования данных в рамках модельной методологии ранжирования предложен способ нормирования «отношение к референтному значению». Способ нормирования «отношение к референтному значению» преобразует данные путем их выражения через отношение к референтной величине. В данном случае референтной величиной является максимальная величина в группе показателей различных вузов относительно определенного субиндикатора, которому присваивается значение 1, все остальные значения в группе рассчитываются как отношение к этой величине. Центром нормирования является максимальное значение, так как в данном контексте наибольшее значение оценки вуза означает наибольший потенциал. Для расчета по способу «отношение к референтному значению» используется формула Хнорм = Х,/Хмакс Достоинство этого метода заключается в том, что он позволяет изменить точку отсчета данных, шкалу и единицу измерения, не меняя форму распределения данных. К недостаткам метода относится то, что он не учитывает «выброс данных»: если максимальная величина в группе является резко отклоняющимся значением показателя, это может занизить все остальные оценки в группе.
Агрегирование позволяет оценить и сравнить высшие учебные заведения по совокупности различных показателей. Агрегирование субиндикаторов позволяет посмотреть на более общую картину деятельности высших учебных заведений. Простота и информативность оценки, выраженная в одном агрегированном показателе, является основным достоинством агрегирования данных. Но при агрегировании невозможно видеть, за счет каких индикаторов вуз получает ту или иную агрегированную оценку. Так как все субиндикаторы определенным образом суммируются, вузы со средним уровнем всех субиндикаторов и вузы с очень высокой оценкой по одним индикаторам и с низкой оценкой по другим оказываются в одинаковом положении — получают схожий агрегированный показатель.
Для создания комплексных индикаторов при обработке данных апробации был выбран метод «линейного агрегирования». Линейное агрегирование предполагает компенсационный метод суммирования субиндикаторов, т.е. низкий показатель по одному субиндикатору компенсируется высоким показателем по другому субиндикатору. Тем не менее метод отличается простотой и доступностью в использовании и позволяет избежать избыточного технического манипулирования. Для корректного использования компенсационного метода он дополняется анализом неагрегированных субиндикаторов, что позволяет понять, за счет каких показателей вуз получает ту или иную агрегированную оценку.
При построении ранжирования и рейтингования деятельности вузов метод «линейного агрегирования» соответствующим образом корректируется:
а) Линейное агрегирование при ранжировании — суммирование нормированных значений субиндикаторов. Метод предполагает независимость и равную значимость всех субиндикаторов — каждый субиндикатор вносит свой независимый балл в построение композитного индикатора. Для расчета по этому методу используется формула I = ^Г.
б) Линейное взвешенное агрегирование при рейтинговании — суммирование значения отдельных субиндикаторов с присвоенными им весами. В этом случае на результат агрегирования большое влияние оказывает присвоенный субиндикаторам вес, формирующий структуру совокупности субиндикаторов: некоторые индикаторы оцениваются выше, чем остальные, тем самым вузы, делающие акцент на приоритетных областях (согласно распределению весов), занимают более выгодные позиции. Для расчета по этому методу используется формула I = ..
Построение отдельных инструментов оценки деятельности вузов
На основе ввода и обработки полученных данных можно сконструировать несколько инструментов оценки деятельности вузов: базы данных, ранжирование, рейтинги.
При построении базы данных нормирование данных не осуществляется, так как не производится их агрегирование — данные сравниваются только внутри изначальных групп, где все элементы выражены в одной единице измерения (рис. 2). При использовании данного инструмента существует возможность просмотра данных вузов по субиндикаторам как в алфавитном порядке, по заданной выборке, так и в ранжированном виде от наибольшего показателя к наименьшему.
База данных предоставляет возможность оценить показатели деятельности различных вузов относительно различных индикаторов. При этом четко видны все предоставленные вузами данные и нет никакого технического и оценочного воздействия на положение вуза при ранжировании. Просмотр базы данных может осуществляться в разрезе категорий вузов и их функций.
Субиндикаторы
Ранжирование
База данных
Рис. 2. Алгоритм построения базы данных
Также можно представить данные в виде ранжирования и рейтинга вузов относительно агрегированных индикаторов отдельных функций высшего образования, или ранжирования и рейтинга вузов относительно всех субиндикаторов. Помимо этого, существует возможность представления данных в виде ранжирования и рейтинга для различных категорий и типов вузов (табл. 1)
Ранжирование позволяет сравнивать вузы путем выстраивания совокупности оценок вузов от максимального к минимальному значению. Ранжироваться могут как ненормированные данные, невыраженные в одной единице измерения, так и нормированные агрегированные и взвешенные данные. Ранжирование позволяет посмотреть на отдельные показатели деятельности вуза в сравнении с другими вузами, а также раз-
делить вузы на группы относительно их достижений и потенциала, выделить лидеров и отстающих в разрезе отдельных субиндикаторов, функций и общего сравнения вузов. Недостатком ранжирования, возможно, является тот факт, что каждый вуз может занять одну позицию относительно других вузов, и все вузы выстраиваются в линейку от наибольшего показателя к наименьшему, даже если разница в оценке вузов невелика. Так, например, при ранжировании данных могут образоваться кластеры вузов, которые имеют приблизительно равную оценку, тем не менее их позиции в ранжировании могут значительно различаться.
Таблица 1. Варианты ранжирований и рейтингов
ТИп вуза Категория вуза Все вузы
Ранжирование относительно функций высшего образования 1 2 3
Ранжирование относительно общей совокупности индикаторов 4 5 6
Рейтинг относительно функций высшего образования 7 8 9
Рейтинг относительно общей совокупности индикаторов 10 11 12
База данных 13 14 15
Ранжирование по индивидуальному запросу 16 17 18
В итоге складывается 18 различных вариантов представления данных:
1) ранжирование относительно функций высшего образования по типам вузов;
2) ранжирование вузов по функциям высшего образования с возможностью просмотра по категориям вузов;
3) ранжирование относительно функций высшего образования по всем вузам;
4) ранжирование относительно общей совокупности индикаторов с возможностью просмотра по типам вузов;
5) ранжирование относительно общей совокупности индикаторов по категориям вузов;
6) ранжирование относительно общей совокупности индикаторов по всем вузам;
7) рейтинг относительно функций высшего образования по категориям вузов;
8) рейтинг относительно функций высшего образования по типам вузов;
9) рейтинг относительно функций высшего образования по всем вузам;
10) рейтинг относительно общей совокупности индикаторов по типам вузов;
11) рейтинг относительно общей совокупности индикаторов по категориям вузов;
12) рейтинг относительно общей совокупности индикаторов по всем вузам;
13) база данных с возможностью просмотра по типам вузов;
14) база данных с возможностью просмотра по категориям вузов;
15) база данных с возможностью просмотра по всем вузам;
16) ранжирование по индивидуальному запросу по типам вузов;
17) ранжирование по индивидуальному запросу по категориям вузов;
18) ранжирование по индивидуальному запросу по всем вузам.
Кроме того, на основе полученных в ходе апробации рядов данных возможно построение специальных ранжирований вузов по отдельным заданным параметрам.
Для построения ранжирований нормированные данные по различным индикаторам агрегируются для получения оценки деятельности вуза по каждой из пяти функций и/или получения общей оценки деятельности вуза. Вузы с присвоенной агрегированной оценкой затем ранжируются от вуза с наиболее высокой оценкой к вузу с самой низкой оценкой (рис. 3)
Рис. 3. Алгоритм построения ранжирования
При построении рейтинга нормированным данным присваиваются соответствующие веса, затем производится агрегирование данных. Вузы с присвоенными агрегированными оценками ранжируются от вуза с наиболее высокой оценкой к вузу с самой низкой оценкой (рис. 4).
Рис. 4. Алгоритм построения рейтинга
Веса несут в себе оценочную информацию, увеличивая значения одних индикаторов по отношению к другим, вследствие чего после агрегирования взвешенных субиндикаторов значение комплексного индикатора вуза меняется: взвешивание может повысить значение комплексных индикаторов отдельных вузов, тем самым создавая им преимущество и повышая их положение в рейтинге.
Сравнительный анализ влияния различных методов обработки данных на построение ранжирования и рейтинга вузов
Комплексный индикатор, на котором основывается построение рейтинга и ранжирования, должен как можно более точно отражать реально происходящие процессы. На его адекватность и качество оказывает влияние ряд факторов:
1) выбор субиндикаторов;
2) качество данных;
3) восстановление данных;
4) нормирование данных;
5) взвешивание (при необходимости);
6) агрегирование.
Таким образом, при построении комплексных индикаторов необходимо принимать решение о выборе различных методов обработки и группировки данных, так же как и контролировать процесс сбора и корректировки данных. Для обеспечения высокого уровня надежности комплексного индикатора и контроля степени влияния различных факторов, используемых при его построении, осуществляется анализ адекватности комплексных индикаторов. Сравнение влияния различных статистических методов может производиться попарно (например, сравнение нормирования данных способом стандартизации и способом изменения шкалы), так же как и в комбинации различных методов нормирования, агрегирования и применения или неприменения взвешивания.
Проведение различных операций над данными и комбинации различных операций при построении комплексных индикаторов дают различные варианты ранжирований и рейтингов. Каждый метод обработки и группировки данных для построения комплексного индикатора оказывает свое особое влияние на распределение данных.
На этапе подготовки пилотного ранжирования было проведено моделирование построения комплексных индикаторов различными способами и ранжирование вузов. Данная процедура помогла выявить некоторые закономерности при использовании различных методов построения комплексных индикаторов, которые были учтены при построении пилотного рейтинга и ранжирования.
Моделирование построения композитного индикатора одной из функций высшего образовательного учреждения основывается на различных комбинациях методов нормирования, взвешивания и агрегирования девяти субиндикаторов. Варианты нормирования данных включали в себя:
1) стандартизацию ^^соге);
2) изменение шкалы относительно широты разброса данных;
3) нормирование методом «отношение к референтному значению» (изменение шкалы относительно максимального значения).
Варианты агрегирования включали в себя:
1) агрегирование по средней геометрической;
2) агрегирование по средней арифметической;
3) линейное суммирование;
4) взвешенное линейное суммирование.
Комбинация различных методов обработки и группировки данных позволила построить семь ранжирований и три рейтинга (табл. 2):
— ранжирование с изменением шкалы относительно широты разброса данных с агрегированием показателей по средней арифметической (ранжирование 1);
— ранжирование с перешкалированием относительно максимального значения с агрегированием показателей по средней арифметической (ранжирование 2);
— ранжирование с использованием стандартизации данных ^^соге) с агрегированием показателей по средней арифметической (ранжирование 3);
— ранжирование с перешкалированием относительно максимального значения с агрегированием показателей по средней геометрической (ранжирование 4);
— ранжирование с изменением шкалы относительно широты разброса данных с агрегированием показателей линейным суммированием (ранжирование 5);
— ранжирование с перешкалированием относительно максимального значения с агрегированием показателей линейным суммированием (ранжирование 6);
— ранжирование с использованием стандартизации данных ^^соге) с агрегированием показателей линейным суммированием (ранжирование 7);
— рейтинг (ранжирование с использованием весов индикаторов) с перешкалированием относительно широты разброса данных с агрегированием показателей линейным суммированием (рейтинг 1);
— рейтинг (ранжирование с использованием весов индикаторов) с перешкалированием относительно максимального значения с агрегированием показателей линейным суммированием (рейтинг 2);
— рейтинг (ранжирование с использованием весов индикаторов) со стандартизацией данных ^^соге) с агрегированием показателей линейным суммированием (рейтинг 3).
Таблица 2. Пример вариантов комбинации различных операций при построении комплексных индикаторов
Способ агрегирования Способ нормирования
Перешкалирование относительно широты разброса данных Перешкалирование относительно максимального значения (отношение к референтному значению) Стандартизация (г^соге)
Среднее арифметическое Ранжирование 1 Ранжирование 2 Ранжирование 3
Среднее геометрическое Ранжирование не может быть построено Ранжирование 4 Ранжирование не может быть построено
Линейное суммирование Ранжирование 5 Ранжирование 6 Ранжирование 7
Взвешенное линейное суммирование Рейтинг 1 Рейтинг 2 Рейтинг 3
Нормирование способом изменения шкалы (перешкалирования) относительно
x' - min (x'c)
широты разброса данных, производимое по формуле I' =-qqc—.-c—-—— , не-
qc max (x'c) - min (x'c)
c x q 7 c x q 7
сколько увеличивает разброс данных, нормирование данных способом «отношение к референтному значению» (перешкалирование относительно максимального значения),
производимое по формуле I = Х/Х , центрирует данные на максимальное значение в группе, нормирование способом z-score распределяет данные относительно среднего значения в группе данных, которому присваивается значение «0».
Сравнение вариантов ранжирования с применением различных способов нормирования данных было выполнено с помощью формулы, оценивающей изменение ранга:
где Я — показатель смещения ранга;
М — количество объектов (вузов);
Яреф I) — значение референтного индикатора;
Я1 (I ) — значение сравнимого индикатора.
Формула оценки изменения ранга показывает, насколько сдвигается положение вузов при применении альтернативного метода обработки данных. Сравнение трех ранжирований, рассчитанных различными способами нормирования данных относительно среднего по всем видам ранжирований, показало, что показатель смещения ранга по всем ранжированиям, рассчитанным с применением различных способов нормирования данных, представляет собой схожую величину, что позволяет утверждать, что альтернативные способы нормирования дают достаточно схожие результаты.
Агрегирование данных различными методами оказывает влияние на смещение позиций вузов в рейтингах и ранжированиях. Метод линейного суммирования и метод среднего арифметического дают схожие линейки ранжирований. Однако использование средней геометрической при агрегировании данных дает достаточно отличающиеся ранжирования, так как формула средней геометрической чувствительна к неоднородности баллов по субиндикаторам. Геометрическое агрегирование является вариантом неполной компенсации, т.е. низкие баллы по некоторым индикаторам компенсируются высокими оценками только частично: в этом случае вузы с неоднородными оценками по субиндикаторам занимают более низкие места.
Также необходимо отметить, что при агрегировании данных методом средней геометрической могут быть использованы только данные, нормированные при помощи формулы «отношение к референтному значению», так как нормирование перешкалированием относительно широты разброса данных дает нулевые значения для данных, равных минимуму, которые не могут быть использованы при расчете средней геометрической. Также при расчете средней геометрической не могут быть использованы данные, нормированные по z-score, так как этот способ присваивает значение «0» среднему в группе данных, который не может быть использован при расчете средней геометрической (табл. 2).
При обработке данных апробации были выбраны метод нормирования «отношение к референтному значению» и метод агрегирования «линейного суммирования».
Учитывая, что веса индикаторов влияют на позиции вузов в рангах, в рамках апробации сначала было осуществлено построение ранжирований без применения весов, затем выполнялось построение рейтингов с применением весов. Это позволило проанализировать, каким образом изменялись позиции вузов при рейтинговании.
При анализе вариации рангов вузов выявлено, что вариация рангов увеличивается в середине линейки, что указывает на то, что вузы с наиболее и наименее высокими агрегированными показателями наиболее стабильны в ранжировании: наиболее сильные вузы с высоким значением комплексного индикатора имеют высокие оценки
по большинству субиндикаторов, так же как слабые вузы в конце ранжирования имеют низкие оценки по большинству субиндикаторов, поэтому их положение в линейке рангов не меняется существенно в зависимости от способа обработки данных. Вузы, находящиеся в середине линейки ранжирования, имеют более неоднородные оценки по субиндикаторам, в результате их положение в ранжировании значительно варьирует в зависимости от применения метода построения комплексного индикатора.
Таким образом, вариативность позиции вуза в рейтингах и ранжированиях, рассчитанных различными способами, во многом зависит от однородности профайла высшего учебного заведения: вузы с равномерным уровнем развития различных направлений высшего образования занимают более устойчивые позиции и менее зависимы от метода построения рейтинга или ранжирования. Еще раз необходимо подчеркнуть, что существенное значение для надежности оценки позиции вузов в ранжировании и рейтингах имеет полнота предоставления данных.
Перспективы применения методологии
Апробация методологии, результаты которой описаны в статье «Анализ результатов апробации модельной методологии многомерного ранжирования российских вузов» (см. с. 31 настоящего номера), подтвердила ее возможности для реализации основных поставленных перед ней задач. Апробация показала, что методология многомерного ранжирования позволяет раскрыть качественные характеристики отдельных групп вузов, сделать выводы об их сильных и слабых сторонах по пяти основным направлениям работы, сравнить группы между собой и деятельность университетов внутри отдельных категорий. То есть на основании многомерной оценки возможен качественный анализ преимуществ и недостатков развития каждого отдельного вуза и выработка на основе этого анализа обоснованных рекомендаций по укреплению потенциала российских вузов как внутри российской системы высшего образования, так и в глобальном пространстве высшего образования.
Проведение экспертной оценки разработанной модельной методологии представителями Международной экспертной группы по ранжированию (IREG) подтвердило, что в целом методология соответствует критериям аудита IREG, хотя и необходима ее дальнейшая доработка и проведение двух открытых публикаций результатов ранжирования, после которых будет возможен формальный аудит.
Эксперты IREG отметили, что методология отражает современные международные тренды развития образования и может служить инструментом прозрачной и комплексной оценки деятельности вузов, а выбранный подход многомерного ранжирования учитывает интересы различных групп пользователей ранжирования (студентов, академического сообщества, бизнеса, работодателей, управленцев системы образования). Данное заключение дает основания для дальнейшего совершенствования методологии и ее применения в качестве гибкого инструмента комплексной внешней оценки деятельности вузов.
Таким образом, разработанная модельная методология ранжирования может быть использована как для реализации комплексного анализа и оценки деятельности вузов, учитывающей многообразие национальной системы высшего образования и обеспечивающей всестороннюю оценку качества высшего образования в России, так и для продвижения российских вузов в глобальное образовательное пространство; она может служить инструментом оценки и сравнения вузов между собой, повышения их конкурентоспособности и стратегического развития.
Литература
1. Заварыкина Л.В., Лопатина А.С., Перфильева О.В. Сравнительный анализ международных методологий ранжирования высших учебных заведений // Вестник международных организаций. 2012. № 1.
2. Ларионова М.В. Методология сравнительного анализа международных подходов к ранжированию высших учебных заведений // Вестник международных организаций. 2012. № 1.
3. Vught F.A. van, Westerheijden D.F. Multidimensional Ranking: a New Transparency Tool for Higher Education and Research // Higher Education Management and Policy. 2010. Vol. 22/3.
Приложение 1
Перечень индикаторов модельной методологии многомерного ранжирования российских вузов
ПРОФАЙЛ ВУЗА
№ Индикатор Группа А
А1 Название учебного заведения
А2 Вид учебного заведения
А3 Категория учебного заведения
А4 Тип/группа учебного заведения
А5 Ведомственная принадлежность
А6 Организационно-правовая форма
А7 Федеральный округ РФ
А8 Субъект РФ
А9 Численность студентов
А10 Численность ППС
А11 Численность административно-технического персонала вуза
А12 Количество образовательных программ
А13 Численность научных сотрудников
А14 Количество специальностей аспирантуры
А15 Количество специальностей докторантуры
А16 Учебно-лабораторный фонд
А17 Фонд общежития
А18 Библиотечный фонд
А19 Объем электронной библиотеки
НАУЧНО-ИССЛЕДОВАТЕЛЬСКАЯ ДЕЯТЕЛЬНОСТЬ
№ Индикатор Группа В
В1 Доля расходов на научные исследования
В2 Доля ППС с ученой степенью кандидата и доктора наук
В3 Количество цитирований на одного ППС в РИНЦ
В4 Количество цитирований на одного ППС в Scopus
В5 Количество цитирований на одного ППС в Web of Science
В6 Количество цитирований на одну статью в РИНЦ
В7 Количество цитирований на одну статью в Scopus
В8 Количество цитирований на одну статью в Web of Science
В9 Количество публикаций на одного ППС в РИНЦ
В10 Количество публикаций на одного ППС в Scopus
В11 Количество публикаций на одного ППС в Web of Science
В12 Доля доходов от научных исследований
В13 Количество российских исследовательских грантов (РГНФ, РФФИ, Фонд Бортника)
В14 Сумма российских исследовательских грантов (РГНФ, РФФИ, Фонд Бортника)
В15 Доля студентов очной формы обучения, участвовавших в НИР
ОБУЧЕНИЕ И ПРЕПОДАВАНИЕ
№ Индикатор Группа С
С1 Доля образовательных программ, прошедших международную аккредитацию
С2 Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ
С3 Доля абитуриентов-победителей Всероссийской олимпиады школьников
С4 Доля студентов, получивших престижные стипендии
С5 Доля выпускников, трудоустроившихся в течение 1 года по специальности/ направлению обучения после окончания вуза
С6 Доля выпускников, поступивших на программы аспирантуры
С7 Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата
С8 Доля студентов магистратуры, закончивших бакалавриат и/или специалитет в других вузах
С9 Доля молодых штатных ППС, получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС
С10 Доля ППС, являющихся действительными членами и членами-корреспондентами РАН
С11 Затраты на оборудование и инфраструктуру (для обеспечения обучения)
C12 Количество ППС и НР, награжденных премиями мирового и национального уровня
C13 Численность аспирантов
C14 Средний балл ЕГЭ поступивших
C15 Доля защитившихся аспирантов
C16 Количество ППС и НР, защитивших докторские диссертации
C17 Соотношение численности студентов и ППС
C18 Средства на подготовку студентов
МЕЖДУНАРОДНАЯ ДЕЯТЕЛЬНОСТЬ
№ Индикатор Группа D
D1 Доля иностранных студентов в общей численности студентов
D2 Количество международных исследовательских грантов
D3 Сумма международных исследовательских грантов
D4 Доля доходов из иностранных источников
D5 Доля учебной нагрузки иностранных ППС в учебной нагрузке штатных ППС
D6 Доля студентов, прошедших обучение за рубежом
D7 Доля аспирантов, участвовавших в зарубежных стажировках
D8 Доля ППС, приглашенных для преподавания в зарубежные университеты
D9 Доля ППС с дипломом/ ученой степенью зарубежного вуза/вузов
D10 Доля программ, реализуемых совместно с зарубежными партнерами
D11 Доля студентов, обучающихся по программам, реализуемым совместно с зарубежными партнерами
D12 Численность иностранных ППС
ТРАНСФЕР ЗНАНИЙ
№ Индикатор Группа E
E1 Доля доходов из внебюджетных источников
E2 Доход от продажи объектов интеллектуальной собственности
E3 Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности
E4 Количество образовательных программ, реализуемых по заказу сторонних организаций
E5 Количество специалистов, прошедших повышение квалификации и/или профессиональную переподготовку в вузе
ВЗАИМОДЕЙСТВИЕ С РЕГИОНОМ
№ Индикатор Группа F
F1 Доля доходов вуза из региональных источников
F2 Количество договоров на исследования, заключенных с региональными партнерами
F3 Доля студентов, прошедших практику в региональных организациях и предприятиях
F4 Процент выпускников, работающих в регионе
