Методология сравнительного анализа международных подходов к ранжированию высших учебных заведений Текст научной статьи по специальности «Науки об образовании»

методология сравнительного анализа международных подходов к ранжированию высших учебных заведений

М.В. Ларионова

Ларионова Марина Владимировна — д. полит.н., директор Института международных организаций и международного сотрудничества НИУ ВШЭ, директор международных программ Национального фонда подготовки кадров; E-mail: [email protected]

В статье раскрывается содержание проекта «Разработка и апробация модельной методологии рейтин-гования образовательных учреждений профессионального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки Российской Федерации в сотрудничестве с Центром международных сопоставительных исследований ИМОМС НИУ ВШЭ. Приводятся основные положения методологии сравнительного анализа глобальных, национальных и специализированных рейтингов, выполняемого в рамках проекта для выработки элементов модельной методологии ранжирования российских вузов с учетом международного и российского опыта.

Ключевые слова: ранжирование, рейтинги, международная конкурентоспособность вузов. Key words: ranking, rating, international competitiveness of HEIs.

введение

Методология сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений была разработана в рамках проекта «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования», осуществляемого Национальным фондом подготовки кадров по заказу Министерства образования и науки Российской Федерации. Цель проекта — развитие системы оценки качества образования образовательных услуг посредством разработки и апробации методологии рейтингования образовательных учреждений профессионального образования. Модельная методология рейтингования образовательных учреждений профессионального образования ориентирована на высшие учебные заведения. Принимая во внимание современные условия развития системы высшего образования в России1, после апробации для вузов модельная методология рейтингования может быть адаптирована для других учреждений профессионального образования.

Проект рассчитан на три года. В ходе первого этапа работ в 2011 г. перед авторами проекта стояла задача выполнения сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной, международной и российской практике. Выявление сильных сторон анализируемых методологий является основой

1 В частности, недавние изменения, в результате которых учреждения среднего профессионального образования реализуют программы прикладного бакалавриата.

формирования предложений для проекта модельной методологии рейтингования образовательных учреждений профессионального образования. В 2012 и 2013 г. будет осуществлена апробация проекта методологии, организованы экспертные и общественные обсуждения методологии и результатов апробации, аудит российской версии рейтингования вузов Международной группой экспертов (IREG)2.

На первом этапе работы стояла задача разработки методологии, обеспечивающей возможность сравнительного анализа различных подходов к рейтингованию, принятых в зарубежной, международной и российской практике. Для обеспечения релевантности результатов и сопоставимости получаемых данных особое значение имело определение параметров анализа и критериев, на основе которых осуществлялось сравнение. В качестве первого шага было необходимо определить основные цели будущей модельной методологии рейтингования. Методология рейтингования должна:

1) служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов;

2) быть инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ;

3) вносить вклад в повышение качества деятельности и конкурентоспособности вузов;

4) являться источником надежных данных для глобальных и региональных рейтингов.

Не менее важно было определить основные принципы формирования подходов к построению методологии. К таким принципам были отнесены:

1) имеющийся опыт и достижения российских вузов в этом направлении, поскольку многие ведущие университеты успешно используют методологию некоторых рейтингов;

2) задачи повышения конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности;

3) ожидаемое расширение числа российских вузов, участвующих в глобальных рейтингах;

4) необходимость прагматичного подхода к выработке методологии рейтингова-ния российских вузов, при котором данные по параметрам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий рейтингова-ние, будут сопрягаться с данными, необходимыми для участия в международных рейтингах;

5) возможность создания национальной методологии рейтингования, которая бы являлась источником надежных данных для глобальных и региональных рейтингов;

6) преимущества использования количественных индикаторов;

7) сильные стороны построения глобальных рейтингов.

2 International Observatory on Academic Ranking and Excellence. URL: http://www.ireg-observatory. org/ (date of access: 14.12.2011).

основные положения методологии сравнительного анализа глобальных, национальных и специализированных рейтингов

Методология сравнительного анализа предусматривает три уровня анализа, которые должны обеспечить сопоставимость и релевантность полученных результатов:

1-й уровень: сопоставление методологий рейтингования по общим параметрам, выделенным для анализа;

2-й уровень: сопоставление методологий рейтингования с Берлинскими принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов». Последние были приняты в мае 2011 г. Международной экспертной группой по определению качества рейтингов университетов (IREG) совместно с ЮНЕСКО, ОЭСР и ВБ [9];

3-й уровень: выявление неизменных и повторяющихся количественных параметров оценки деятельности университетов в различных рейтингах и проведение экспертной оценки их соответствия возможностям, потребностям и задачам развития системы высшего образования РФ.

Первая задача методологии — определить принципы для включения рейтингов в анализ.

В настоящее время существует как минимум 50 национальных рейтингов, зарегистрированных Обсерваторией по академическому ранжированию и совершенствова-нию3, не менее семи глобальных рейтингов, и их количество увеличивается. При этом, согласно данным Европейской ассоциации университетов, международные рейтинги в настоящее время охватывают не более 3% университетов мира (около 17 тыс.).

Критика глобальных рейтингов известна. Она связана, прежде всего, с тем, что они используют в основном индикаторы, оценивающие значение и влияние исследований. Единый агрегированный индикатор не дает взвешенной оценки по всей совокупности деятельности университета (качество обучения, роль в социально-экономическом развитии региона). Рейтинги ориентированы на фундаментальные исследования, не сбалансированы с точки зрения «равноудаленности» по языковым и культурным условиям деятельности университетов. Критике также подвергается система взвешивания принятых индикаторов. Даже после расширения количества индикаторов и уточнения их весов в последнем рейтинге Times Higher Education4, набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности.

Академический рейтинг университетов мира (Шанхайский рейтинг)5 использует далеко не самые релевантные критерии, «некорректную методологию агрегирования, и не может служить инструментом для сравнительной оценки качества академических институтов, тем более для определения выбора института студентами и семьями, или развития реформ систем образования» [1].

Несмотря на значительные методологические недостатки, в том числе далеко не всегда прозрачные системы весов и надежные первичные данные, рейтинги очень популярны у широкого круга пользователей. Университеты инвестируют значительное

3 The IREG Observatory on Academic Ranking and Excellence. URL: http://www.ireg-observatory.org/ (date of access: 15.12.2011).

4 Times Higher Education World University Rankings 2010—2011. URL: http://www.timeshighereduca-tion.co.uk/world-university-rankings/2010-2011/top-200.html (date of access: 07.12.2011).

5 Academic Ranking of World Universities 2011. URL: http://www.shanghairanking.com/ARWU2011. html (date of access: 07.12.2011).

количество времени для участия в рейтингах, рассматривая их как один из инструментов маркетинговой политики, повышения своей конкурентоспособности. Ряд ведущих российских университетов поставил в качестве целей реализации программ развития вхождение в международные рейтинги (Приложение 1).

При включении в анализ международных рейтингов, рэнкингов и классификаций, таким образом, учитывались:

— рейтинги, в которых принимают или планируют принять участие российские университеты;

— наиболее популярные международные рейтинги, участие в которых является «сигналом» конкурентоспособности университетов в международном образовательном пространстве;

— международные рейтинги, методология которых находится в открытом доступе, что должно обеспечить понимание прозрачности системы, релевантности индикаторов и надежности полученных результатов.

При формировании списка национальных рейтингов, рэнкингов и классификаций для проведения анализа за основу были приняты следующие принципы:

— возможность сопоставления с Берлинскими принципами ранжирования высших учебных заведений, принятыми на конференции IREG-2 в Берлине в 2006 г.;

— возможность сопоставления с критериями, принятыми в мае 2011 г. для аудита рейтингов (IREG Ranking Audit Rules)» [9];

— возможность учета опыта разных стран;

— возможность включения в анализ подходов, различных по методологии;

— наличие в открытом доступе методологии и данных по рейтингованию;

— возможность применения рейтинга для развития национальной системы высшего образования.

В результате соотнесения множества существующих в настоящее время методологий рейтингования с вышеуказанными принципами отбора в итоговый перечень методологий, выбранных для анализа, были отобраны 19 зарубежных и международных методологий рейтингования, удовлетворяющих требованиям как географического, так и типологического многообразия

По географическому принципу в перечень выбранных для анализа методологий вошли системы рейтингования глобального, регионального и национального уровня. Кроме того, список методологий был дополнен специализированными системами рей-тингования (табл. 1).

Вторая задача методологии заключается в выделении параметров для анализа и сравнения международных и национальных рейтингов, на основе которых должна быть проведена их систематизация и выявлены общие, неизменяемые индикаторы оценки деятельности вузов, а также переменные индикаторы, их сильные и слабые стороны. При этом, прежде всего, необходимо было определить содержание основных понятий и согласовать используемые термины. На основе изучения аналитических материалов, посвященных рейтингам, а также анализа основных подходов к оценке деятельности университетов, для работы был принят ряд определений, отражающих сложность и дискуссионность проблематики рейтингования в вузовской среде. К таким ключевым определениям относятся:

Одномерное ранжирование — отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг.

Рейтинг (таблица лиг) — одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду.

Многомерное ранжирование не стремится соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей.

Классификация — система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере.

Данные определения представлены в публикациях экспертов, разрабатывавших европейскую методологию ранжирования U-Multirank [17].

Такой подход к пониманию рейтингований учитывает современное видение того, как должны трансформироваться системы рейтингования в будущем (рис. 1). С точки зрения исследователей современных проблем рейтингования университетов [16], используемые типы методологий рейтингования должны удовлетворять интересам рей-тингующих организаций, институтов высшего образования и потребителей их услуг. Для повышения качества существующих методологий рейтингования исследователи рекомендуют:

— для одномерных систем ранжирования важно переходить к ранжированиям многомерным, учитывающим разнообразие миссий университетов, размер, месторасположение и другие важные институциональные характеристики университетов;

— ориентироваться на потребителей услуг и учитывать потребности как можно большего числа потребителей конечного продукта рейтингования;

— для глобальных систем рейтингования важно отражать разнообразие региональных характеристик, прежде всего, лингвистическое и культурное разнообразие регионов;

— для институциональных систем рейтингования важно отражать разнообразие предметных областей.

Предлагаемая методология принимает во внимание ведущиеся сегодня дискуссии вокруг качества существующих методологий рейтингования и учитывает их на всех трех уровнях анализа.

Предварительный анализ существующих рейтингов позволил выделить несколько основных параметров для проведения сопоставительного анализа различных систем рейтингования, сформировавших специальную аналитическую рамку.

Аналитическая рамка для анализа и сравнения международных и российских систем рейтингования включает следующие элементы:

1. Тип рейтинга (глобальный, региональный, национальный, специализированный).

2. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов или ориентирован на оценку отдельных характеристик).

3. Целевые группы:

— основные потребители (абитуриенты, учащиеся, родители, преподаватели вузов);

— широкая аудитория (другие вузы, работодатели, СМИ, отдельные министерства и ведомства, НПО и НКО, экспертное сообщество).

Два подхода Современные системы Направления

будущего развития

Рис. 1. Направления будущего развития систем рейтингования университетов [16]

4. Статус (кем учрежден, проводится ли независимыми агентствами или государственными структурами).

5. Периодичность / частота выхода рейтинга (ежегодно или один раз в несколько лет, или проч.).

6. Объект рейтингования. Основные требования к участникам рейтингования: контингент, ограниченный определенными требованиями; широкий круг университетов (например, в СНЕ все университеты Германии, либо все университеты, где ведется обучение на немецком языке, либо университеты, куда потенциально могут поехать на учебу немецкие студенты).

7. Активность участия университетов в рейтинговании (например, доля от всех университетов страны для национальных рейтингов или общее количество вузов, участвующих в рейтинге для глобальных, региональных и специализированных рейтингов).

8. Предметные области рейтинга (как структурируются предметные области, например, экономика, инженерия, естественные науки, гуманитарные науки, медицина, фармацевтика и проч.).

9. Регионы охвата и/или распространения (в зависимости от типа рейтинга).

10. Уровни образования, которые затрагивает рейтинг (бакалавриат / специали-тет, магистратура и аспирантура).

11. Методология построения рейтинга:

— ключевые принципы, лежащие в основе рейтингования (ранжирование на основе агрегированного показателя; ранжирование на основе системы индикаторов, горизонтальное распределение объектов по группам на основе их характеристик);

— система показателей, индикаторы, веса;

— инструментарий (ключевые процедуры сбора данных, например, использование вторичных / готовых данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью);

— обработка полученных данных;

— трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения).

12. Результат рейтингования (на что выходит в итоге: один рейтинг или набор

рейтингов, кластеры университетов, ранжированный список университетов).

13. Ключевые проблемы, связанные с использованием показателей (критика,

дискуссионность).

14. Место российских университетов в международных рейтингах (для глобальных и специализированных рейтингов).

15. Репутация рейтинга (степень доверия к рейтингу).

Третья задача методологии заключается в систематизации различных классификаций, глобальных и национальных рейтингов, а также международных, региональных и национальных подходов к оценке качества деятельности высших учебных заведений по параметрам, выделенным для аналитической рамки. В рамках этой задачи был проведен анализ методологий, сформирована база данных параметров оценки деятельности вузов.

Четвертая задача методологии — определение критериев оценки сильных и слабых сторон анализируемых методологий рейтингования. Ключевыми документами при выделении критериев оценки стали Берлинские принципы ранжирования высших учебных заведений [20]. При анализе методологий рейтингования используются «Правила аудита рейтингов» (IREG Ranking Audit Rules) [9], которые формулируют критерии оценки элементов методологии. Правила были приняты на заседании исполнительного комитета наблюдательного совета международной экспертной группы по определению рейтингов университетов IREG, прошедшего в рамках глобального форума «Рейтинг и оценка качества высшего образования — сильные и слабые стороны» (16—17 мая 2011 г., штаб-квартира ЮНЕСКО, Париж), совместно с Организацией экономического сотрудничества и развития (ОЭСР) и Всемирным банком (ВБ). Аудит призван способствовать повышению прозрачности рейтингов и должен использоваться в качестве инструмента определения их надежности, совершенствования качества академических рейтингов и повышения уровня доверия к ним.

Берлинские принципы определяют условия, в соответствии с которыми должно осуществляться построение ранжирований, и способы повышения качества и надежности получаемых с их помощью результатов. Согласно Берлинским принципам, ключевыми элементами методологий ранжирования университетов должны быть транспарентность, релевантность и валидность сравниваемых данных.

Правила аудита определяют 20 критериев оценки, соответствующих Берлинским принципам ранжирования высших учебных заведений.

Таблица 1. Классификация зарубежных и международных подходов, включенных в анализ

Тип методологии Характерные отличия Какие из рассматриваемых методологий относятся

Одномерное ранжирование (таблицы лиг, рейтинги) Упорядочивает Присваивает оценки Сравнивает и выстраивает университеты в иерархическом порядке от лучшего к худшему / от большего к меньшему в соответствии со значением агрегированного(ных) показателя(лей) Оперирует одним агрегированным показателем Является клиентоориентированным Shanghai, THES, QS, US News, Leiden, Times, Guardian, Guardian Sp, Forbes, Financial Times, Bloomberg Business Week, The Economist

Многомерное ранжирование Оценивает Сравнивает Указывает на разнообразие Не стремится соединить оценку образовательной и исследовательской деятельности вузов в одном показателе Не использует агрегированные показатели, но также предусматривает построение упорядоченных таблиц (иерархии) Является клиентоориентированным U-multirank, CHE University, CHE Excellence, CHE Emloyment, CHE Research

Классификация Группирует объекты на основании схожести характеристик Описывает Отражает горизонтальное разнообразие образовательных систем Учитывает различные параметры деятельности Может производиться ранжирование внутри выделенных классов или групп U-Map, Carnegie

Критерии

Цель, целевые группы, ключевой подход

Ранжирования представляют лишь один из многочисленных подходов к оценке исходных параметров, деятельности и результатов деятельности вузов (см. Берлинские принципы ранжирования высших учебных заведений, п. 1). Это необходимо учитывать при построении ранжирования.

Критерий 1

Цель ранжирования и (ключевые) целевые группы должны быть четко определены. Ранжирование должно соответствовать заявленной цели (Берлинские принципы ранжирования высших учебных заведений, п. 2). Это включает и систему индикаторов, учитывающих цель ранжирования.

Критерий 2

Ранжирование должно отражать разнообразие институтов высшего образования и учитывать различия в миссиях и целях университетов. Параметры для измерения оценки качества исследовательских университетов, например, достаточно сильно отличаются от тех, что подходят для оценки учреждений, предоставляющих доступ к образованию сообществам с ограниченными возможностями (Берлинские принципы ранжирования высших учебных заведений, п. 3). Ранжирование, таким образом, должно четко определять тип / профиль образовательных учреждений, включаемых и не включаемых в ранжирование.

Критерий 3

Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. Международные системы ранжирования, в частности, должны избегать возможной необъективности (ангажированности) и быть точными в определении своих задач и получаемых данных (Берлинские принципы ранжирования высших учебных заведений, п. 5). Индикаторы, используемые в международных системах ранжирования, должны обеспечивать достаточную сопоставимость между соответствующими странами.

Методология

Критерий 4

Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. Выбор данных должен основываться на способности каждого показателя продемонстрировать качество, академические и институциональные сильные стороны вузов, а не исходить из принципа доступности данных. Ранжирование должно ясно объяснять выбор параметров и то, что они должны показывать (Берлинские принципы ранжирования высших учебных заведений, п. 7).

Критерий 5

Качество деятельности институтов высшего образования — понятие многомерное, многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения, учитывать данные, полученные из различных источников информации, для того чтобы получить более полный взгляд на каждое учебное заведение, включенное в ранжирование. Ранжирование должно избегать представления однобокого взгляда на деятельность высших учебных заведений (например, только с точки зрения работодателей или только с точки зрения студентов). В случае, если ранжирование затрагивает только один аспект деятельности вузов или же использует для построения ранжирования только один источник информации, это ограничение должно быть четко обозначено.

Критерий 6

Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. Информация об исходных параметрах и образовательном процессе может быть релевантна для использования, поскольку отражает общие условия функционирования конкретного учреждения, а также в связи с тем, что чаще всего доступна. Измерение результатов позволяет более точно оценить положение и/или качество каждого отдельного института

или программы. Составители ранжирования, таким образом, должны удостовериться, что соответствующий баланс достигнут (Берлинские принципы ранжирования высших учебных заведений, п. 8).

Критерий 7

Рейтинги должны содержать подробную информацию о применяемой методологии и быть с этой точки зрения транспарентными. Методы, выбираемые для построения ранжирования, должны быть ясными и понятными (Берлинские принципы ранжирования высших учебных заведений, п. 6). Также должна быть отражена информация о разработчиках методологии ранжирования и возможном внешнем оценивании.

Критерий 8

Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования.

Институциональные ранжирования должны содержать объяснение методов агрегирования результатов для всего учебного заведения. При проведении институциональных ранжирований следует учитывать эффекты для различных образовательных структур при агрегировании их результатов (специализированные учебные заведения по сравнению с классическими университетами) (см. Берлинские принципы ранжирования высших учебных заведений, п. 6).

Критерий 9

Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных для контроля источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований (см. Берлинские принципы ранжирования высших учебных заведений, п. 11, 12). Процедуры сбора данных должны быть прозрачны, в особенности относительно данных опросов. Данные опросов должны включать следующую информацию: источник и метод сбора данных, доля ответивших, структура выборки (например, географическая или профессиональная).

Критерий 10

Хотя ранжирования должны адаптироваться к изменениям в системах высшего образования и методы их составления должны совершенствоваться, базовая методика должна оставаться постоянной, насколько это возможно. Необходимо, чтобы изменения методологии основывались на методологических принципах, а не служили средством получения различных результатов в разные годы. Изменения в методологии должны быть понятны и прозрачны (см. Берлинские принципы ранжирования высших учебных заведений, п. 9).

Публикация и презентация результатов

Ранжирования должны предоставлять своим пользователям ясное объяснение всех факторов, учитываемых при их создании. У пользователей должна быть возможность выбора способа просмотра ранжирования. Так пользователи ранжирования будут лучше понимать индикаторы, используемые при ранжировании учебных заведений

или программ обучения (см. Берлинские принципы ранжирования высших учебных заведений, п. 15).

Критерий 11

Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо в интерактивном.

Критерий 12

Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений. При этом предоставляемая информация должна учитывать имеющиеся сведения о ранжировании у основных целевых групп.

Критерий 13

Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемого для расчета комплексного индикатора. Это необходимо для того, чтобы пользователи могли самостоятельно проверить подсчет результатов ранжирования. Комплексные индикаторы не должны содержать неопубликованных индикаторов.

Критерий 14

Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов (см. Берлинские принципы ранжирования высших учебных заведений, п. 15).

Транспарентность, оперативность

Накопленный опыт в отношении уровня доверия и «популярности» ранжирования показывает, что чем более прозрачен процесс рейтингования, тем больше доверия вызывают результаты ранжирования.

Критерий 15

Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием, а также организованы так, чтобы ошибки, возникшие в результате ранжирования, могли быть откорректированы (см. Берлинские принципы ранжирования высших учебных заведений, п. 16). Это означает, что ошибки должны быть исправлены во время составления ранжирования, или, в крайнем случае, в интернет-публикации результатов ранжирования.

Критерий 16

Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования, участвующих в ранжировании, т.е. предоставлять разъяснения о методах и индикаторах, используемых в процессе ранжирования, так же как и объяснения значения полученных результатов ранжирования отдельных университетов.

Критерий 17

Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес, по которому отдельные пользователи или высшие учебные за-

ведения, включенные в ранжирование, могут получить разъяснения о применяемой методологии, а также направить общие комментарии о ранжировании или о замеченных неточностях.

Критерий 18

При ранжировании необходимо обеспечить качество самих процедур ранжирования. Этот процесс должен основываться на существующей практике оценки учебных заведений и применении этих знаний для оценки качества самих ранжирований (см. Берлинские принципы ранжирования высших учебных заведений, п. 13).

Критерий 19

Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы. В том числе задокументированы должны быть процессы сбора и организации данных, так же как и качество данных и индикаторов.

Критерий 20

Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования, что подразумевает создание консультативных или контрольных органов, желательно с привлечением международных организаций (в частности, при проведении международных ранжирований) (см. Берлинские принципы ранжирования высших учебных заведений, п.14).

Оценка критериев

Критерии оцениваются по 6-балльной шкале. В процессе аудита группа экспертов присваивает каждому критерию определенный балл — в зависимости от степени соответствия данного критерия заданным требованиям:

— мало удовлетворяет — 1;

— частично удовлетворяет — 2;

— в большей степени удовлетворяет — 3;

— хорошо удовлетворяет — 4;

— полностью удовлетворяет — 5;

— удовлетворяет в наивысшей степени — 6.

Критерии подразделяются на две группы: основные критерии со значением веса 2 и стандартные критерии со значением веса 1 (табл. 2). Таким образом, максимальный балл для основного критерия составляет 12, а для стандартного критерия — 6. То есть при 10 основных и 10 стандартных критериях общий максимальный балл составит 180.

На основании приведенной выше шкалы оценки пороговый уровень для положительного решения аудита будет составлять 50% от общего максимального балла. Это означает, что среднее значение балла, присвоенного критериям, должно быть на уровне «в большей степени удовлетворяет». Аудит может быть проведен с определенными условиями, если основные критерии получили недостаточную оценку. Ранжирования, оцененные в диапазоне 40—50%, могут быть включены в процесс аудита при удовлетворении определенным условиям/требованиям, которые должны быть выполнены в течение года с момента проведения аудита.

Таблица 2. Веса и критерии аудита IREG

Критерии Веса

Цель, целевые группы, ключевой подход

1 Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2

2 Ранжирование должно отражать разнообразие институтов высшего образования 2

3 Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем 1

Методология

4 Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными 2

5 Качество деятельности институтов высшего образования — понятие многомерное, многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1

6 Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров 1

7 Рейтинги должны содержать подробную информацию о применяемой методологии и быть с этой точки зрения транспарентными 2

8 Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования 2

9 Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных для контроля источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований 2

10 Базовая методика должна оставаться постоянной, насколько это возможно 1

11 Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо в интерактивном 1

12 Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений 1

13 Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемого для расчета комплексного индикатора 2

14 Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов 1

Транспарентность, оперативность

15 Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1

16 Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования, участвующих в ранжировании 2

17 Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1

Обеспечение качества

18 При ранжировании необходимо обеспечить качество самих процедур ранжирования 2

19 Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы 1

20 Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2

Максимальный общий балл 180

Выделенные критерии позволяют осуществлять анализ сильных и слабых сторон анализируемых методологий рейтингования в соответствии с Берлинскими принципами ранжирования высших учебных заведений.

Пятая задача методологии — оценка сильных и слабых сторон анализируемых методологий рейтингования в соответствии с критериями IREG и Берлинскими принципами ранжирования высших учебных заведений.

При проведении оценки сильных и слабых сторон анализируемых методологий рейтингования в соответствии с критериями IREG учитываются ограничения, связанные с возможностью использования системы оценки критериев, принятой в методологии аудита IREG, для настоящего проекта без соответствующей адаптации. Процедуры аудита предполагают: запрос рейтингующей организации в IREG о проведении внешнего аудита; подготовку рейтингующей организацией самоанализа, выполненного в соответствии с предлагаемым вопросником; взаимодействие международной экспертной команды с рейтингующей организацией по результатам самоанализа; подготовку доклада международной команды экспертов с заключением о соответствии системы рейтингования ключевым Берлинским принципам. В рамках проводимого анализа эти компоненты отсутствуют, экспертная оценка выполняется на основе полученных в результате исследования данных по зарубежным, международным и российским подходам к рейтингованию вузов.

С учетом выделенных особенностей проводится адаптация методологии аудита IREG, поскольку экспертная оценка:

— не является инструментом официального признания качества существующих методологий ранжирования, используемым международной организацией;

— не располагает полной информацией об анализируемых системах рейтингова-ния ввиду отсутствия самоанализа рейтингующей организации, отражающего параметры, заданные IREG.

Тем не менее анализ сильных и слабых сторон существующих методологий рейтингования на основе критериев аудита IREG представляется обоснованным, учитывая, что разработанная в результате проекта методология рейтингования российских вузов должна будет пройти аудит IREG.

Процедура соотнесения анализируемых методологий с критериями IREG

Сравнение и оценка анализируемых методологий с критериями IREG осуществляется в два этапа. На первом этапе все анализируемые методологии соотносятся со всеми рекомендуемыми критериями, а на втором этапе оценка дифференцируется

в соответствии с особенностями анализируемых методологий. Такой подход позволяет, с одной стороны, произвести формальное соотнесение выбранных для анализа методологий с рекомендациями IREG, а с другой — учесть разнообразие рассматриваемых систем оценки деятельности учебных заведений.

Соотнесение анализируемых методологий по 20 критериям

Процедура соотнесения анализируемых методологий осуществляется по шкале от 0 до 3, где:

0 — критерий неприменим к методологии / нет данных;

1 — методология не соответствует критерию;

2 — методология частично соответствует критерию;

3 — методология полностью соответствует критерию;

Затем осуществляется сопоставление методологий с критериями IREG.

Подсчет баллов для каждой методологии проводится на основании подсчета общего количества баллов выставленных оценок для каждой методологии по каждому из 20 критериев (табл. 2).

Однако не все анализируемые методологии изначально удовлетворяют критериям аудита IREG, и, следовательно, общее значение баллов объективно не отражает качество анализируемых методологий и их разнообразие. Это приводит к тому, что оценка рассматриваемых методологий с точки зрения их соответствия всем критериям IREG оказывается несправедливой по отношению к методологиям построения классификаций и ранжирований, которые, в частности, не обладают композитными (агрегированными) показателями, наличие которых определяется Правилами аудита и Берлинскими принципами как результат рейтинга (критерий 8). Методологии построения классификаций и ранжирований также не содержат информации о баллах для каждого отдельного индикатора, используемой для расчета места университета в рейтинге, потому что не предполагают построения таблиц лиг и приписывания университетам соответствующих мест (критерий 13). Кроме того, по тем же причинам они лишь частично соответствуют критерию 18 о необходимости обеспечения качества процедур ранжирования.

Соотнесение анализируемых методологий с учетом исключений

С учетом вышесказанного производится оценка, дифференцированная в соответствии с особенностями анализируемых методологий (табл. 3).

Для этого 20 критериев IREG условно разделены на две категории: (1) общие для всех методологий и (2) соответствующие только методологиям построения рейтингов (одномерного ранжирования). В результате четыре критерия были оценены как специфические, искажающие итоговую оценку методологий в сторону рейтингов, один критерий был оценен как тот, который невозможно соотнести ни с одной из методологий. Таким образом, 5 из 20 критериев соответственно были отклонены в качестве параметров для оценки и последующего сравнения методологий.

На втором этапе оценки сильных и слабых сторон параметры 19 методологий рей-тингования (построения рейтингов, ранжирования и классификации) оцениваются относительно 15 критериев IREG по шкале от 0 до 3. Исключения, сделанные на данном этапе, учитывают специфику методологий ранжирования и классификаций, и их преимущества перед методологиями построения рейтингов. При этом скорректированное среднее значение учитывает отсутствие данных по критерию или специфику рассматриваемых методологий. Такой подход обеспечивает учет преимуществ методологий

Таблица 3. Логическая рамка соотнесения анализируемых зарубежных и международных методологий по 20 критериям 1ЯЕО

-Рь. со

Ключевой подход, цели Методология Транспарентность, оперативность Обеспечение качества

CRITERIA 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 TOTAL MEAN MEAN 20

глобальное Shanghai

глобальное THES

глобальное US News

глобальное Leiden

глобальное QS

Одномерное ранжирование национальное Times

национальное Guardian

национальное Guardian Sp

национальное Forbes

специализированное Financial Times

специализированное Blumberg Busines

специализированное The Economist

глобальное U-multirank

национальное CHE University

Многомерное национальное CHE Excellence

ранжирование национальное CHE Employment

национальное CHE Research

Классификация региональная U-map

национальная Carnegie

построения классификаций и некоторых видов ранжирования перед методологиями построения рейтингов. Формальное соотнесение рассматриваемых методологий с критериями качества IREG на основе подсчета среднего (или, в отдельных случаях, скорректированного среднего) значения позволяет выделить из разнообразия рассматриваемых методологий те, которые в наибольшей степени удовлетворяют критериям качества, условно выявить их сильные и слабые стороны в контексте выбранных критериев.

Апробация оценочной шкалы в рамках кабинетного исследования опирается на оценочные суждения разработчиков о рассматриваемых методологиях в контексте их соответствия критериям качества IREG. Несмотря на проведенный анализ и погружение в современные проблемы и критику существующих методологий рейтингования, изучаемая проблематика является новой как для разработчиков, так и для национального экспертного и университетского сообщества. Результаты проведенного анализа и предложения по модельной методологии рейтингования для российских вузов, таким образом, требуют широкого обсуждения на национальном уровне и консультаций с международными экспертами, вовлеченными в построение рейтингов университетов на международном и глобальном уровнях. В этой связи в рамках запланированных публичных мероприятий предусмотрены экспертные обсуждения с представителями ведущих российских вузов, национальных министерств и ведомств, ответственных за развитие политики в области высшего образования, ключевых национальных экспертных организаций. В рамках экспертных обсуждений разработчики рассчитывают получить экспертные оценки элементов модельной методологии, и учесть внешние замечания при дальнейшей реализации проекта.

После проведения достаточного количества экспертных оценок будут выявлены методологии, которые соответствуют критериям аудита качества IREG в большей степени, а также те, которые либо соответствуют критериям качества в меньшей степени, либо вовсе не соответствуют (табл. 4).

Шестая задача методологии включает две подзадачи: выявление неизменных и повторяющихся количественных параметров оценки деятельности университетов в различных рейтингах и проведение экспертной оценки их соответствия возможностям, потребностям и задачам развития системы высшего образования РФ.

При выборе эталонной методологии для рейтингования российских вузов необходимо учитывать объективные условия, в которых развивается высшее образование в России, и задачи развития системы высшего профессионального образования.

Национальная политика в области высшего образования определяет для российских вузов необходимость интеграции в международное образовательное пространство в качестве одного из главных приоритетов их развития [23]. Ведущие университеты страны ориентируются на этот приоритет в рамках своих индивидуальных программ развития, где, наряду с другими задачами по повышению интернационализации своих вузов, задача по вхождению в глобальные рейтинги рассматривается в качестве одной из главных (Приложение 1). Несколько ведущих российских вузов уже входят в некоторые глобальные рейтинги. Анализ существующих глобальных рейтинговых систем показывает присутствие российских университетов в итоговых таблицах лиг (табл. 5).

Несмотря на критику [14], рейтинги рассматриваются как один из объективных способов оценки качества деятельности вузов [2]. В этой связи важной для разработчиков оказалась необходимость учета преимуществ методологий глобальных рейтингов и выделения объективных индикаторов, используемых во всех проанализированных методологиях рейтингования с целью определения схожих / повторяющихся / наиболее часто используемых индикаторов.

Таблица 4. Соответствие критериев IREG анализируемым методологиям с учетом их особенностей и разнообразия

Критерии Общий/специфический по отношению к методологии

Цель, целевые группы, ключевой подход

1 Цель ранжирования и (ключевые) целевые группы должны быть четко определены Общий

2 Ранжирование должно отражать разнообразие институтов высшего образования Общий

3 Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем Общий

Методология

4 Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными Общий

5 Качество деятельности институтов высшего образования — понятие многомерное, многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения Общий

6 Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров Общий

7 Рейтинги должны содержать подробную информацию о применяемой методологии и быть с этой точки зрения транспарентными Общий

8 Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования Специфический, только для ранжирований

9 Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных для контроля источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Общий

10 Базовая методика должна оставаться постоянной, насколько это возможно Общий

11 Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо в интерактивном Общий

12 Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений Общий

13 Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемого для расчета комплексного индикатора Специфический, только для ранжирования

14 Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов Специфический, только для ранжирования

Транспарентность, оперативность

15 Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием Общий

Критерии Общий/специфический по отношению к методологии

16 Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования, участвующих в ранжировании Общий

17 Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес Общий

Обеспечение качества

18 При ранжировании необходимо обеспечить качество самих процедур ранжирования Специфический, только для ранжирования

19 Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Не может быть соотнесен ни с одной методологией

20 Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования Общий

Максимальный общий балл по 19 критериям 57

Максимальный общий балл по 15 критериям 45

Таблица 5. Место российских вузов в глобальных рейтингах

QS 2011 Shanghai 2010 THE 2011-2012 Leiden 2010 US News and QS 2011

МГУ - 112-е место МГУ - 74-е место МГУ — 276— 300-е места МГУ - 70-е место МГУ — 93-е место (в мировом рейтинге, из 400 университетов)

СПбГУ - 251-е место Санкт- Петербургский университет — 301-400-е места Санкт- Петербургский университет — 351-400-е места Санкт- Петербургский университет — 332-е место Санкт Петербургский университет — 210-е место (в мировом рейтинге, из 400 университетов)

Государственный технический университет им. Баумана — 379-е место Новосибирский государственный университет — 375-е место (в мировом рейтинге, из 400 университетов)

Московский государственный институт международных отношений (университет) — 389-е место МГУ — 38-е место (в рейтинге европейских университетов, из 50 университетов)

Новосибирский государственный университет — 400-е место

Томский государственный университет — 451-500-е места

Уральский федеральный университет — 451-500-е места

Национальный исследовательский университет — Высшая школа экономики — 551—600-е места

QS 2011 Shanghai 2010 ТНЕ 2011-2012 Leiden 2010 US News and QS 2011

Томский политехнический университет — 551-600-е места

Российский университет дружбы народов — 551— 600-е места

Источник: составлено авторами на основе проведенного анализа зарубежных глобальных рейтингов с использованием открытых источников информации.

При реализации данной задачи методология сопоставительного анализа в целом не ставит перед собой дополнительной цели отказаться от использования качественных оценок. Правильным образом отобранные количественные показатели и надежным способом полученные данные для их расчета из достоверных и релевантных источников являются индикаторами качества деятельности вузов. Использование для построения модельной методологии количественных объективных показателей позволит:

— учитывать критерии IREG;

— разработать инструмент рейтингования российских вузов, который может способствовать интеграции российских вузов в международное пространство высшего образования, используя индикаторы, принятые в международных и глобальных рейтингах;

— учитывать трудоемкость сбора данных через соотнесение показателей модельной методологии с параметрами международных и региональных методологий рейтингования;

— потенциально обеспечить корреляцию положения вуза в национальном рейтинге с положением в глобальных рейтингах.

После выделения количественных параметров из всех проанализированных методологий (список всех индикаторов представлен в табл. 6) в рамках этой подзадачи осуществляется:

— распределение количественных показателей по направлениям;

— сведение всех количественных показателей по направлениям воедино для того, чтобы проследить схожесть параметров и проанализировать вес каждого из них в различных методологиях;

— определение частоты применения того или иного количественного показателя в качестве композитного/агрегированного, т.е. того, насколько тот или иной показатель является самостоятельно значимым и влияющим на итоговую оценку;

— анализ доступности данных при работе с тем или иным показателем в разных методологиях.

Далее реализуется вторая подзадача: критическая оценка возможностей применения того или иного индикатора рейтингования. Осуществляется оценка отобранных количественных индикаторов относительно не только соответствия критериям IREG, но и соответствия критериям надежности, доступности, релевантности, значимости с точки зрения задач развития системы высшего образования РФ и включения в модельную методологию. Оценка выполняется на основе логической рамки, представленной в табл. 6.

Таблица 6. Логическая рамка для выделения и анализа количественные параметров методологий рейтингования

№ Параметр № Индикатор Значимость с точки зрения задач развития ВО в РФ Надежность Доступность Релевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию

0...1...2...3 0...1...2...3 0...1....2....3 0...1....2....3 0...1....2....3 0...1...2...3

1 Научная деятельность. Output indicators 1 Количество цитирований на одного ППС

2 Количество цитирований на одну статью

3 Нормализованный показатель цитирования с учетом предметной области. SCPP/SFCSm, где SFCSm -средний показатель цитирования в области

4 Количество часто цитируемых публикаций

5 Общее количество публикаций

6 Количество публикаций в Nature and Science

7 Количество публикаций в SSCI

8 Количество публикаций на одного ППС

9 Количество публикаций в 40 обозначенных специализированных журналах

10 Количество профессиональных публикаций

11 Доля дохода вуза от исследований

12 Процент доходов от научных исследований, полученных на конкурсной основе

13 MNCS1 - S (CPP/FCSm) - показатель цитирования, нормализованный относительно средней

ш m О H

л s

<

I >

"О

о Ei л ¡г X

0

"О

г

1 s

CJ >

J=

Ol Ol

№ Параметр № Индикатор Значимость с точки зрения задач развития ВО в РФ Надежность Доступность Релевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию

0...1...2...3 0...1...2...3 0...1....2....3 0...1....2....3 0...1....2....3 0...1...2...3

14 Соотношение числа защитившихся исследователей и профессоров и количества завершенных докторских диссертаций

15 Количество международных наград и призов

16 Количество выпускников с докторской степенью за последние 3 года

17 Количество научных продуктов, отличных от публикаций, рецензируемых коллегами

2 Обучение/ преподавание. Output indicators 18 Количество выпускников — нобелевских лауреатов и лауреатов премии Филдса

19 ППС университета, которым были присуждены Нобелевская премия и премия Филдса

20 Количество присуждаемых степеней PhD в расчете на одного ППС

21 Соотношение присужденных докторских степеней к количеству присужденных степеней бакалавра

22 Доход на одного ППС

23 Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием)

24 Процент студентов, завершивших обучение

25 Доля студентов, закончивших четырехлетний курс обучения

26 Доля выпускников от числа поступивших студентов

<

i >

"0

0 &

1 ¡г s<

0

ZI

¡г н

"0 >

1 *

s "0

0

cd >

1

s :a cd

cd g;

о E

о

сп

"0 >

CJ

0

cd >

1

Ol О)

№ Параметр № Индикатор Значимость с точки зрения задач развития ВО в РФ Надежность Доступность Релевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию

0...1...2...3 0...1...2...3 0...1....2....3 0...1....2....3 0...1....2....3 0...1...2...3

27 Доля студентов, перешедших на второй курс

28 Количество студентов, получивших национальные премии

29 Упоминание выпускников в Who is Who

30 Количество выпускников — директоров компаний по спискам Forbes (200 мировых компаний-лидеров)

31 Относительная доля нетрудоустроенных выпускников

32 Процент выпуска в рамках сроков обучения, стандартных для программы обучения

3 Международная деятельность. Output indicators 33 Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год

34 Количество совместных международных исследовательских публикаций

35 Доля иностранных выпускников-докторантов

36 Количество полученных международных исследовательских грантов

37 Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями)

4 Трудоустройство/ заработная плата 38 Процент студентов, трудоустроившихся в течение шести месяцев после окончания университета

ш m О

4 л

5

I >

"О

0 £i

1

х

0

"О

3

1 S

CJ >

S-

№ Параметр № Индикатор Значимость с точки зрения задач развития ВО в РФ Надежность Доступность Релевантность Соответствие критериям 1ШХ. Оценка значимости индикатора для включения в модельную методологию

0...1...2...3 0...1...2...3 0...1....2....3 0...1....2....3 0...1....2....3 0...1...2...3

39 Процент выпускников, нашедших работу в течение трех месяцев после окончания обучения

40 Процент выпускников, нашедших работу через центры трудоустройства выпускников

41 Зарплата выпускников на момент окончания университета

42 Рост заработной платы выпускников до и после окончания программы обучения

5 Трансфер знаний. Output indicators 43 Доход вуза от взаимодействия с бизнесом и промышленностью

44 Доход от деятельности по обмену знаниями

45 Количество зарегистрированных патентов

46 Количество совместных публикаций вузом и предприятий

47 Количество предлагаемых курсов повышения квалификации в расчете на одного ППС

48 Количество малых инновационных предприятий на одного ППС

49 Количество совместных с предприятиями патентов

50 Количество контрактов, заключенных с предприятиями

51 Количество культурных мероприятий (выставок, конференций, концертов), организованных университетом

<

i >

"ö

0 tl

1

¡г s<

0

Zl g;

H

"Ö >

1 *

s "Ö

0

cd >

1 s :a cd cd

g;

О

E

о

сп

"О >

CJ

0

cd >

1

Ol

-vi

сл оо

№ Параметр № Индикатор Значимость с точки зрения задач развития ВО в РФ Надежность Доступность Релевантность Соответствие критериям IREG Оценка значимости индикатора для включения в модельную методологию

0...1...2...3 0...1...2...3 0...1....2....3 0...1....2....3 0...1....2....3 0...1...2...3

6 Взаимодействие с регионом. Output indicators 52 Доля доходов из местных / региональных источников

53 Процент выпускников, работающих в регионе

54 Количество контрактов на исследования, заключенных с региональными партнерами

55 Количество совместных с регионом исследовательских публикаций

56 Процент студентов, участвующих в стажировках, в региональных организациях

57 Количество дипломных работ, разработанных совместно с регионом

7 Тендерный баланс 58 Количество обучающихся женщин

59 Количество студенток

60 Количество женщин, преподающих на факультете

61 Количество женщин в Совете вуза

8 Профиль студента 62 Количество поступивших студентов

63 Количество студентов старше 30 лет

64 Количество студентов, обучающихся дистанционно

65 Количество студентов, обучающихся вечерне/очно-заочно

ш m О

4 л

5

I >

"О

0 £■

1

х

0

"О

3

1 S

CJ >

S-

Седьмая задача методологии — выделение элементов моделей рейтингования и оценки качества деятельности вузов в соответствии с критериями качества IREG, условиями и задачами развития системы высшего образования России для построения модельной методологии рейтингования российских вузов.

На заключительном этапе для каждого типа методологии будут сформированы профайлы, отражающие положительные практики и/или сложности каждого из типов методологий. На основании полученных результатов будут выделены элементы для модельной методологии рейтингования. При этом будет учитываться ряд ограничений, в том числе ограничения, связанные с объемом ресурсов, необходимых для реализации методологий рейтингования на практике. Ограничения, связанные с ресурсоемкостью той или иной методологии рейтингования на практике, представляются существенными при выборе эталонной методологии рейтингования для российских вузов. Предварительный анализ методологий показывает, что методологии многомерного ранжирования, удовлетворяющие большинству требований качества, часто являются в высокой степени ресурсоемкими и требуют существенных затрат на реализацию, как с точки зрения человеческих, временных, так и финансовых ресурсов. Кроме того, существуют и некоторые другие ограничения использования таких методологий, в том числе сложность применяемых индикаторов и процедур их сбора, недостаточность сопоставимых данных по деятельности различных университетов, использование опросов и других инструментов социологического анализа.

Необходимость соотнесения выделенных наилучших практик с объективными условиями и приоритетами развития системы высшего образования в России, что подразумевает критический взгляд на полученные оценки соответствия методологий критериям качества IREG.

Выделенная совокупность элементов модельной методологии, включающая цели, целевые группы, ключевые принципы, инструменты и характеристики методологии, требования к формату представления, оперативности, прозрачности, обеспечению качества, будет предложена для оценки экспертам и лицам, принимающим решения, для формирования проекта модельной методологии рейтингования российских вузов.

Дополнительная задача методологии — на основе анализа существующей аналитики сформировать общее понимание поля исследования и терминологии. Для этой цели была сформирована база ключевых в данной области международных публикаций, словарей и энциклопедий, представленных в Списке литературы. В результате анализа международных публикаций и материалов по теме построения рейтингов был сформирован глоссарий ключевых терминов (Приложение 2).

приложение 1

Задачи ФУ по вхождению в международные рейтинги. Сравнение некоторых показателей, заложенных в программах развития ФУ, с показателями университетов, занимающих в международных рейтингах места, запланированные ФУ как ориентиры развития

Большинство федеральных университетов указали в программах развития, что они хотели бы войти в международные рейтинги, а также указали примерные места, которые они хотели бы занимать в этих рейтингах в результате реализации программ развития. Следует отметить, что некоторые ФУ уже вошли в международный рейтинг QS, опубликованный в сентябре 2011 г. (http://www.topuniversities.com/university-rankings/ world-university-rankings/2011).

Для обсуждения предложенных ориентиров интернационализации были подобраны данные по показателям деятельности университетов, занимающих соответствующие места в выбранных ФУ рейтингах в настоящее время. Далеко не всегда удавалось найти полностью сопоставимые данные, в этом случае были выбраны показатели, максимально приближенные к показателям, запланированным ФУ. По итогам анализа получены результаты с учетом особенностей миссии и возможностей каждого университета. Они помогают обосновать выбор показателей, уточнить планируемые показатели ФУ.

Балтийский федеральный университет

Планируемое место в рейтинге «Сводный рейтинг СНГ и Балтии» Планируемые показатели Международная практика

25-е место — 2020 г. 2020 г. Российский химико-технологический университет имени Д.И. Менделеева (Россия) 2011 г. — 25-е место в «Сводном рейтинге СНГ и Балтии» 2010 г.

Доля иностранных студентов (без учета стран СНГ) 14% Доля иностранных студентов 2%

Количество статей в научной периодике, индексируемой иностранными и российскими организациями (в расчете на одного научно-педагогического работника) 0,9 (в пересчете: 800 статей) Количество публикаций (за последние 5 лет) 1600 статей за 5 лет (в пересчете 320 статей в год)

Количество научно-исследовательских работ (шт.) 185 Количество завершенных научных разработок, готовых к внедрению 250

Дальневосточный федеральный университет

Планируемое место в рейтинге Times Планируемые показатели Международная практика

300-е место — 2019 г. 2019 г. University of East Anglia (Великобритания) 2010 г. — 299-е место в рейтинге Times

Доля иностранных студентов 25% Доля иностранных студентов 13%

Количество публикаций (в год) (в научной периодике, индексируемой иностранными и российскими организациями) 400 Количество публикаций (в год, Scopus) 1930

Планируемое место в рейтинге Times Планируемые показатели Международная практика

Объем средств, полученных за счет выполнения научно-исследовательских работ и научно-исследовательских и опытно-конструкторских работ в общих доходах университета (млн рублей в год) 250 Объем средств, полученных за счет выполнения научно-исследовательских работ (млн фунтов в год) 125 (в пересчете 6250 млн рублей в год)

Казанский федеральный университет (входит в рейтинг QS 601+)

Планируемое место в рейтинге Times Планируемые показатели Международная практика

350-е место — 2019 г. 2019 г. University of Kentucky (США) 2010 г. — 350-е место в рейтинге Times

Доля иностранных студентов 3,2% Доля иностранных студентов 5%

Количество публикаций в зарубежных изданиях, индексируемых иностранными организациями (в год) 450 Количество публикаций (в год, Scopus) 60

Северо-Арктический федеральный университет

Планируемое место в рейтинге Times Планируемые показатели Международная практика

250-е место — 2020 г. 2020 г. Aalto University (Финляндия) 2010 г. — 250-е место в рейтинге Times

Доля иностранных студентов (магистрантов и аспирантов) 10% Доля иностранных студентов 7%

Количество статей в журналах с импакт-фактором по техническим, естественным и гуманитарным наукам (на 1 шт. ед. ППС) 0,4 (в пересчете: 244 статьи в год) Количество публикаций (за 4 предыдущих года) 4 451 (в пересчете: 1113 статей в год)

Численность визит-профессоров в составе ППС 150 Количество зарубежных преподавателей Н. д.

Количество СОП 14 Количество программ на английском языке 28

Северо-Восточный федеральный университет

Планируемое место в рейтинге Рейтер/ Times Планируемые показатели Международная практика

100-е место — 2019 г. 2019 г. ENS de Lyon (2011 г.) - 100-е место в рейтинге Times

Количество иностранных обучающихся 1000 (3% от общего числа студентов) Количество иностранных студентов 260 (13% от общего числа студентов)

Количество статей в журналах с импакт-фактором РИНЦ (на 1 шт. ед. НПР) 3,0 (в пересчете: 4800 статей) Количество публикаций в год 1000

Доля зарубежных специалистов 1,3% Доля зарубежных специалистов 21%

Северо-Кавказский федеральный университет *

Планируемое место в рейтинге Планируемые показатели Международная практика

2021 г.

Количество иностранных студентов Количество иностранных студентов

Количество публикаций Количество публикаций в год

Доля зарубежных специалистов Доля зарубежных специалистов

* Данные не опубликованы.

Сибирский федеральный университет

Планируемое место в рейтинге Планируемые показатели Международная практика

2021 г. York University (Canada) - 500-е место

1000-е место в Шанхайском рейтинге (в рейтинге указано только 500 мест) Доля иностранных студентов (без учета стран СНГ) 8% Доля иностранных студентов 5%

Количество статей в научной периодике, индексируемой иностранными и российскими организациями в расчете на одного научно-педагогического работника 1,1 (в пересчете: 3300 статей в год) Количество публикаций (в год, Scopus) 793

Уральский федеральный университет (в настоящее время входит в QS 451—500)

Планируемое место в рейтинге Times Планируемые показатели Международная практика

Top 100 -2016 г. 2020 г. ENS de Lyon (2011 г.)

Доля иностранных студентов (магистратура и аспирантура) 20% Доля иностранных студентов от общей численности студентов 13%

Количество статей в научной периодике, индексируемой иностранными и российскими организациями в расчете на 1 научно-педагогического работника 1,5 (в пересчете: 13275 статей в год) Количество публикаций (в год) 1000

Доля зарубежных специалистов 15% Доля зарубежных специалистов 21%

Южный федеральный университет

Планируемое место в рейтинге Times Планируемые показатели Международная практика

350 место — 2021 г. 2021 г. University of Kentucky (США) 2010 г.

Доля иностранных студентов (без учета стран СНГ) 3% Доля иностранных студентов от общей численности студентов 5%

Количество статей в научной периодике, индексируемой иностранными и российскими организациями в расчете на одного научно-педагогического работника 0,45 (в пересчете: 1841 статья в год) Количество публикаций (в год, Scopus) 60

Источники:

Программа развития Балтийского федерального университета им. Иммануила Канта на 2011— 2020 гг. URL: http://www.kantiana.ru/federal/progamm_bfu/ (дата обращения: 20.02.2012).

Программа развития Дальневосточного федерального университета на 2010—2019 гг. URL: http://prog.dvfu.ru/index.php?option=com_content&view=article&id=3&Itemid=157 (дата обращения: 20.02.2012).

Программа развития Казанского федерального университета на 2010—2019 гг. URL: http://www. ksu.ru/fedu/index.php?id=4 (дата обращения: 20.02.2012).

Программа развития федерального Северо-Арктического университета на 2010—2020 гг. URL: http://www.narfu.ru/univercity/docs/program/ (дата обращения: 20.02.2012).

Программа развития Северо-Восточного федерального университета на 2010—2019 гг.

Программа развития Сибирского федерального университета на 2011—2021 гг.

Программа развития Уральского федерального университета на период до 2020 г.

Программа развития Южного федерального университета на 2011—2021 гг. URL: http://sfedu.ru/ docs/program_razv/progr_razv_11-21.pdf (дата обращения: 20.02.2012).

Рейтинг университетов по версии газеты Times (top 200). URL: http://www.timeshighereducation. co.uk/ (дата обращения: 20.02.2012).

Рейтинг университетов по версии газеты Times (top 600). URL: http://www.topuniversities.com (дата обращения: 20.02.2012).

Веб-сайт Российского химико-технологического университета им. Д.И. Менделеева (Россия). URL: http://www.muctr.ru/ (дата обращения: 20.02.2012).

Веб-сайт университета Восточной Англии (Великобритания) (University of East Anglia). URL: http://www.uea.ac.uk/ (дата обращения: 20.02.2012).

Веб-сайт университета Кентукки (США) (University of Kentucky). URL: http://www.uky.edu/ (дата обращения: 20.02.2012).

Веб-сайт университета Аалто (Финляндия) (Aalto University). URL: http://www.aalto.fi/en/ (дата обращения: 20.02.2012).

Веб-сайт Высшей нормальной школы Лиона. URL: http://www.ens-lyon.eu (дата обращения: 20.02.2012).

Веб-сайт университета Йорк (Канада) (York University). URL: http://www.yorku.ca/web/index.htm (дата обращения: 20.02.2012).

Веб-сайт Scopus. URL: http://www.scopus.com/home.url (дата обращения: 20.02.2012).

Рейтинг РейТор (сводный рейтинг СНГ и Балтии). URL: http://www.ucheba.ru/vuz-rating/13705. html (дата обращения: 20.02.2012).

Портал Educationuk об университете East Anglia. URL: http://www.educationuk.org/Institution/ InstituteRich/ (дата обращения: 20.02.2012).

Академический рейтинг университетов мира (Шанхайский рейтинг). URL: http://www.arwu.org/ ARWU2010.jsp (дата обращения: 20.02.2012).

приложение 2

Глоссарий

A

Аудит (Audit) — независимая, систематическая, объективная оценка деятельности организации. Аудит способствует совершенствованию процессов управления и повышению эффективности деятельности организации [5].

Б

Бенчмаркинг (сравнение с эталоном) (Benchmarking) — процесс, при помощи которого подразделение вуза стремится повысить эффективность своей деятельности, изучая лучшие практики других, более эффективно работающих подразделений. В сущности, в процессе сравнения с эталоном происходит оценка релевантных процессов и операций (по возможности, через измерение ключевых индикаторов деятельности) в своем подразделении и других подразделениях учебного заведения. Выделяются следующие формы бенчмаркинга: конкурентный или кооперативный совместный, функциональ-

ный, межинституциональный, транснациональный, внутренний/внешний. Процесс бенчмаркинга направлен на совершенствование деятельности [8].

Берлинские принципы ранжирования высших учебных заведений (The Berlin Principles on Ranking of Higher Education Institutions) — набор принципов, определяющих качество и надлежащие практики при ранжировании учреждений высшего образования. Эти принципы были приняты на второй конференции Международной экспертной группы по ранжированию (IREG), состоявшейся в Берлине, 18—20 мая 2006 г. [10].

В

Валидность (Validity) — обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов) [22].

Валидность (Validity) — характеристика, отражающая степень уверенности в том, что показатель пригоден для измерения того, для чего он был разработан [4].

Вес (Weight) — инструмент, позволяющий придавать различный уровень значимости различным индикаторам, используемым в ранжировании [4].

З

Завершение обучения (Graduation/Successful completion) — данный термин по-разному трактуется в различных странах. В некоторых странах завершение обучения определяется по факту сдачи экзаменов, в других странах обучение считается завершенным, если студент прослушал определенное количество академических часов и сдал экзамены. Результатом успешного окончания обучения является выдача сертификата об окончании обучения, признаваемого в системе образования и на рынке труда [11].

И

Индикаторы (Indicators) — операционные переменные, относящиеся к эмпирически измеряемым характеристикам подразделения, по которым могут быть собраны фактические данные. Эти данные позволяют определить, проводились или нет действия в рассматриваемых областях, и если проводились, то в каком объеме. Индикаторы выявляют тенденции в деятельности подразделений, а также определяют области, где необходимы улучшения. Они также позволяют сравнить результаты фактической деятельности с поставленными целями [8].

Индикаторы ресурсов (Input indicators) — набор переменных, описывающих человеческие, финансовые и физические ресурсы, необходимые для осуществления деятельности подразделения [8].

Индикаторы промежуточных результатов (Output indicator) — набор переменных, количественно описывающих промежуточные результаты деятельности подразделения [8].

Индикаторы итоговых результатов (Outcome indicator) — набор переменных, качественно описывающих итоговые результаты деятельности подразделения [8].

Иностранные студенты (International students) — этот широко употребляемый термин по-разному трактуется в различных странах и институциональных контекстах. Для проведения бенчмаркинга (сравнения с эталоном), учитывая имеющиеся данные и практику сбора этих данных, партнеры должны договориться об определении данного термина, для того чтобы достичь взаимопонимания и обеспечить сопоставимость результатов по завершении бенчмаркинга. С точки зрения принимающего института, этот термин относится к поступающим в него студентам [8].

Иностранные студенты (International students) — студенты, имеющие иностранное гражданство / иностранный паспорт [8].

К

Количество упоминаний/цитирований (Citations per paper) — классический библио-метрический показатель, определяющий количество цитирований одной статьи [8].

Качественные индикаторы (Qualitative indicators) — набор переменных, качественно описывающих изучаемую величину на основе наблюдений, не связанных с ее точным количественным измерением. Они включают в себя сравнения, основанные на качественных, нечисловых данных [8].

Классификация (Classification) — система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере [17].

Количественные индикаторы (Quantitative indicators) — набор индикаторов, связанных с количественным измерением и выражающихся в численных значениях [8].

Композитный индикатор (Composite indicator) — индикатор, призванный оценить многофакторное явление, которое не может быть в полной мере оценено одним показателем. Композитный индикатор включает несколько субиндикаторов, которые отражают различные элементы многофакторного явления [6].

Критерий (Criterion) — эталон, относительно которого оценивают достижение определенных целей или соответствие определенным стандартам. Критерий описывает требуемые для соответствия стандартам характеристики и условия, таким образом предоставляя основу для оценивания [19].

М

Международная экспертная группа по ранжированию (IREG) — международная некоммерческая ассоциация организаций, проводящих ранжирование университетов и других организаций, заинтересованных в улучшении качества международных и национальных систем рейтингования. Ассоциация включает около двадцати организаций Азии, Европы и Америки. Международная экспертная группа была создана в 2004 г. по совместной инициативе ЮНЕСКО, Европейского центра высшего образования (ЮНЕСКО-СЕПЕС) и группы международных экспертов в области ранжирования, озабоченных качеством академических рейтингов [10].

Многомерное ранжирование (Multidimensional ranking) не стремится соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей [17].

Н

Надежность (Reliability) — характеристика, отражающая точность измеряемых показателей, применяемых в оценке. Оценка считается точной, если многократное применение измеряемого показателя дает один и тот же результат [18].

О

Обеспечение качества (Quality Assurance) — процедура систематического контроля и оценки процессов преподавания и обучения, и другой связанной с этим деятельности, обеспечивающая соответствие качества обучения определенным стандартам [13].

Обеспечение качества (Quality Assurance) — запланированная и систематическая деятельность в рамках системы оценивания для обеспечения соответствия учреждения требованиям, предъявляемым к качеству его деятельности [8].

Одномерное ранжирование (Ranking) — отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агре-

гированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг [17].

Опрос (Survey) — метод проведения исследований, основанный на использовании анкеты, с помощью которой производится сбор данных о людях, их мнениях и поведении [15].

Оценка (Evaluation) определяется как системный процесс оценивания (assessment) качества, достоинств и ценности организации, результатов работы, результатов политики, который должен влиять на будущие действия [7].

Р

Расходы на исследования и разработки (Expenditure on Research and Development (R&D)) — расходы на исследования, проводимые в высших учебных заведениях, вне зависимости от источника финансирования (частное или государственное финансирование, общее или контрактное). Расходы на исследования включают расходы всех исследовательских институтов и экспериментальных центров, осуществляющих свою деятельность под непосредственным руководством, при администрировании или во взаимодействии с учреждениями высшего образования [11].

Расходы на обучение (Expenditure on teaching) — полный объем финансовых ресурсов, направленных на обеспечение образовательной деятельности [11].

Расходы на образование в расчете на одного студента (Expenditure on education per student) — расходы на обучение одного студента на определенном уровне образования. Показатель рассчитывается как соотношение всех расходов вуза на обеспечение обучения на данном уровне образования и количества всех студентов-очников, обучающихся на данном уровне образования [11].

Рейтинг (таблица лиг) (League table) — одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду [17].

Рейтинг образовательных учреждений — оценка деятельности образовательных учреждений с целью выстраивания их иерархии по согласованным с экспертным сообществом показателям.

Рейтинг образовательных программ — оценка образовательных программ с целью выстраивания их иерархии по согласованным с экспертным сообществом показателям.

Релевантность (индикатора) (Relevance) — относительная значимость индикатора согласно экспертной оценке и мнению заинтересованных лиц [18].

С

Самооценка (Self-evaluation) — анализ и оценка качества и эффективности программ обучения преподавательского состава, организационной структуры высшего учебного заведения, основанные на стандартах установленных независимой контролирующей организацией и выполняемые самим учебным заведением [3].

Соотношение студентов и преподавателей (Ratio of students to teaching staff) — отношение количества студентов к количеству преподавателей [11].

Средняя взвешенная (Weighted average) — среднее значение, рассчитанное на основании показателей с присвоенными им весами, отражающими их относительную значимость в общей совокупности [4].

Ш

Шкалирование (Scaling) — приведение с помощью специальной функции или алгоритма значений переменных в диапазон, удовлетворяющий определенным требованиям [3].

Ч

Часто цитируемые авторы (Highly cited authors) — это наиболее часто цитируемые авторы в каждой предметной категории, они составляют менее 0,5% всех публикуемых авторов [8]. Э

Эквивалент полной занятости (Full-time equivalent) [8] Студенты (Students)

С помощью показателя эквивалента полной занятости (full-time equivalent) стандартизируется фактическая учебная нагрузка студента по отношению к стандартной учебной нагрузке. Для определения статуса студента (очник, вечерник/очник-заочник) необходима информация по периоду времени, затрачиваемому на фактическую и стандартную учебную нагрузку. Если доступны данные и нормы по учебной нагрузке для отдельного студента, то эквивалент полной занятости рассчитывается как доля фактической учебной нагрузки в стандартной учебной нагрузке, умноженная на долю фактического времени обучения по отношению к стандартному времени обучения в течение учебного года.

Эквивалент полной занятости для студентов равен 60 кредитам за обучение или 1800 рабочим часам в год. Сотрудники (Staff)

Основой для расчета эквивалента полной занятости сотрудников служит количество рабочих часов, установленных законодательно, а не количество фактически отработанных рабочих часов или количество рабочих часов, затраченных на преподавание. Эквивалент полной занятости для сотрудников, работающих неполный рабочий день, определяется как соотношение фактически отработанных рабочих часов этим сотрудником за год и количества законодательно установленных рабочих часов, которые штатный сотрудник должен отработать в течение года.

Эквивалент полной занятости для сотрудников равен 1800 рабочим часам в год (европейский стандарт) или количеству рабочих часов, определяемых трудовым законодательством какой-либо страны.

Экспертная оценка (Peer evaluation) — оценка качества и эффективности образовательных программ, преподавательского состава, организационной структуры учебного заведения, выполняемая группой внешних оценщиков-экспертов в области высшего образования. Оценки могут основываться на стандартах, определенных аккредитаци-онными организациями, или на более широко определяемых стандартах качества [3].

Z-показатель (Z-score) — стандартизованный балл, используемый для перевода полученных данных в определенную заданную шкалу, где среднее принимает значение нуля, а среднее статистическое отклонение равно единице [4].

Литература

1. Boulton G. University Rankings: Diversity, Excellence and the European Initiative // The League of European Research Universities. Advice Paper No. 3. 2010. URL: http://www.leru. org/files/publications/LERU_AP3_2010_Ranking.pdf (date of access: 30.12.2010).

2. College and University Ranking Systems. Global Perspectives and American Challenges. Institute for Higher Education Policy (ed.). April 2007. Appendix. P. 51.

3. Council for Higher Education Accreditation. US. Glossary. URL: http://www.chea.org/in-ternational/inter_glossary01.html (date of access: 26.10.2011).

4. Everitt B. Medical Statistics from A to Z: A Guide for Clinicians and Medical Students. Cambridge University Press, 2006.

5. Glossary of Key Terms in Evaluation and Results Based Management // OECD. URL: http:// www.oecd.org/dataoecd/29/21/2754804.pdf (date of access: 26.10.2011).

6. Handbook on Constructing Composite Indicators: Methodology and User Guide // OECD, 2008.

7. Hansen H.F. Research Evaluation: Methods, Practice, and Experience // Danish Agency for Science, Technology and Innovation / Ministry of Technology and Innovation. March 2009.

8. Indicators for Mapping and Profiling Internationalization. Glossary. URL: http://toolboxv-2.biztech.pl/pdf/IMPI_Glossary_2011-03-23.pdf (date of access: 25.10.2011).

9. IREG-Ranking Audit. Purpose, Criteria and Procedure // IREG Observatory on Academic Ranking and Excellence. 2011. URL: http://www.ireg-observatory.org/pdf/IREG_audit.pdf (date of access: 15.12.2011).

10. The IREG Observatory on Academic Ranking and Excellence. URL: http://www.ireg-ob-servatory.org/index.php?option=com_content&task=view&id=59&Itemid=60 (date of access: 25.10.2011).

11. OECD Glossary — Educational Terms. URL: http://www.oecd.org/dataoecd/45/17/33692376. pdf (date of access: 26.10.2011).

12. Oxford Dictionaries. URL: http://www.oxforddictionaries.com/definition/professor?view=uk (date of access: 26.10.2011).

13. Quality Assurance Agency for Higher Education. UK. Glossary. URL: http://www.qaa. ac.uk/AboutUs/glossary/Pages/glossary-q.aspx (date of access: 26.10.2011).

14. Rauhvargers A. (ed.) Global University Rankings and Their Impact. EUA Report on Rankings 2011.

15. Research Methods Knowledgebase. URL: http://www.socialresearchmethods.net/kb/sur-vey.php (date of access: 26.10.2011).

16. Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer 2011. P. 14. URL: http:// books.google.com/books?id=F8KZxONuGXQC&printsec=frontcover&hl=ru&source=gbs_ ge_summary_r&cad=0#v=onepage&q&f=false (date of access: 15.12.2011).

17. van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a New Transparency Tool for Higher Education and Research // Higher Education Management and Policy. 2010. Vol. 22/3.

18. van Vught F. Ziegele F. U-multirank. Design and Testing the Feasibility of a Multidimensional Global University Ranking. Final Report // Consortium for Higher Education and Research Performance assessment. 2011. URL: http://ec.europa.eu/education/higher-education/ doc/multirank_en.pdf (date of access: 26.10.2011).

19. Vlasceanu L. Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions. Romania: UNESCO, 2007.

20. Берлинские принципы ранжирования высших учебных заведений // IREG Observatory on Academic Ranking and Excellence. URL: http://www.ireg-observatory.org/index. php?option=com_content&task=view&id=59&Itemid=60 (дата обращения: 15.12.2011).

21. Современный экономический словарь. URL: http://slovari.yandex.ru (date of access: 26.10.2011).

22. Социологический словарь. URL: http://mirslovarei.com/content_soc/validnost-2414. html (date of access: 26.10.2011).

23. Стратегия социально-экономического развития страны до 2020 г. Стратегия 2020. Официальный сайт. URL: http://2020strategy.ru/ (дата обращения: 15.12.2011).