CC BY
68
международный опыт ранжирования в высшем образовании
многомерное ранжирование: новый инструмент прозрачности в области высшего образования*
Ф. ван Вухт, Д.Ф. Вестерхайден
ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT
«
OECD
ван Вухт Франс — почетный профессор и бывший президент Университета Твенте, Нидерланды; E-mail: [email protected]
Вестерхайден Дон Ф. — доктор экономики, старший научный сотрудник Центра политики высшего образования Университета Твенте, Нидерланды; E-mail: [email protected]
Представляем вашему вниманию перевод статьи «Многомерное ранжирование: новый инструмент прозрачности в области высшего образования», опубликованной в журнале Программы «Институциональное управление в высшем образовании» ОЭСР «Управление и политика в высшем образовании» в 2010 г.
Авторы статьи анализируют необходимость разработки новых инструментов транспарентности в сфере высшего образования, которые могли бы информировать стейкхолдеров о качестве университетов. Сначала вниманию читателей предлагается общий обзор концепции инструментов обеспечения прозрачности и характеристика тех инструментов, которые доступны и используются сегодня. Далее осуществляется критический анализ методологий существующих инструментов транспарентности. Особое внимание авторы статьи уделяют проблеме надежности источников данных для оценки транспарентности, рискам, связанным с использованием таблиц лиг в качестве инструмента транспарентности, а также трудностям применения композитных индикаторов. В заключение авторы предлагают использовать многомерное ранжирование как новый принцип обеспечения транспарентности.
Ключевые слова: многомерное ранжирование, таблицы лиг, классификации, качество образования, инструмент транспарентности, Берлинские принципы ранжирования, U-map, U-multirank, композитные индикаторы.
Key words: multidimensional ranking, league tables, classifications, education quality, transparency tool, Berlin Principles on Rankings of Higher Education Institutions, U-map, U-multirank, composite indicators.
Текст «Многомерное ранжирование: новый инструмент прозрачности в области высшего образования» авторов Франса Ван Вухта и Дона Вестерхайдена впервые был опубликован на английском языке
* Перевод выполнен м.н.с Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ А.С. Лопатиной под ред. к.соц.н., директора Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ О.В. Перфильевой.
под названием "Multidimensional Ranking: a New Transparency Tool for Higher Education and Research" в журнале «Управление и политика в высшем образовании», том 22/3, 2010, http://wwwoecd-ilibrary.org/ education/multidimensional-ranking_hemp-22-5km32wkjhf24.
© 2010 OECD.
Все права защищены.
© 2012 Национальный исследовательский университет «Высшая школа экономики» для российского издания. Публикуется с разрешения ОЭСР, Париж. Национальный исследовательский университет «Высшая школа экономики» несет ответственность за качество перевода на русский язык и его соответствие оригиналу.
Originally published by the OECD in English under the title: Frans van Vught and Don F. Westerheijden (2010), "Multidimensional ranking: a new transparency tool for higher education and research", Higher Education Management and Policy, Vol. 22/3, http://www.oecd-ilibrary.org/education/multidimensional-ranking_hemp-22-5km32wkjhf24.
© 2010 OECD.
© 2012 Higher School of Economics (HSE), Russia for this Russian edition. Published by arrangement with the OECD, Paris.
The quality of the Russian translation and its coherence with the original text is the responsibility of Higher School of Economics (HSE), Russia.
введение.
становление инструментов прозрачности в сфере высшего образования
Понятие транспарентности, или прозрачности, является результатом международных дискуссий по проблемам развития систем высшего образования. Появление термина в данном контексте — ответ на потребность в информации о деятельности учреждений высшего образования в различных сферах. Также понятие транспарентности тесно связано с понятием обеспечения качества. Последнее интерпретируется как процесс получения доказательств качества работы вузов в интересах внешних стейкхолдеров, тогда как понятие «транспарентность» подразумевает предоставление информации заинтересованным лицам, на основе которой они могут впоследствии формировать оценку и принимать решения. Например, студент на основе получаемой информации может принять решение о выборе определенной программы обучения, частное или государственное агентство — о заключении контракта с высшим учебным заведением на проведение исследований, а отдельное ведомство, тот или иной государственный орган — о финансировании проектов. Таким образом, инструменты транспарентности выступают механизмами коммуникации, передачи информации о деятельности учреждений высшего образования всем заинтересованным внешним по отношению к системе высшего образования стейкхолдерам.
Инструменты транспарентности крайне необходимы как в сфере высшего образования, так и в других секторах общественного развития. Если прибегнуть к экономическим терминам, то можно сказать, что услуги высшего образования являются как «экспериментальным благом», так и «доверительным благом». «Экспериментальное благо» — это продукт, качество которого можно ощутить только после потребления
(и, соответственно, после того, как продукт был оплачен), в отличие от «поисковых благ», качество которых можно оценить путем осмотра перед покупкой и потреблением. Доверительные же товары являются благами, качество которых трудно оценить даже после потребления. Такими благами являются, например, медицинская консультация или ремонт компьютера [3, 10]. Отсюда возникает вопрос о том, могут ли студенты в действительности оценить, в какой степени учеба в университете повлияла на их знания, навыки и компетенции? А также в какой степени улучшение, если таковое имеет место быть, обусловлено институтом, в котором проходило обучение? Вслед за Вестерхайденом [39] мы проводим различие в уровне знаний, навыков и компетенций студентов на этапе начала обучения в университете (initial higher education) и после обучения (post-higher education). Рассматривая услуги высшего образования как доверительные либо как экспериментальные блага, мы можем с высокой степенью уверенности утверждать, что студенты не могут знать о качестве образования перед прохождением курса обучения. Можно также предположить, что и другие заинтересованные группы и внешние партнеры учреждений высшего образования, например, представители бизнеса, профессиональных сообществ или государственных учреждений, не обладают необходимой информацией в полной мере. Это служит подтверждением существования информационной асимметрии между институтами высшего образования и внешним сообществом. Инструменты транспарентности могут скорректировать возникшую асимметрию, усилив тем самым общественную пользу или отдачу от высшего образования.
В последнее десятилетие количество инструментов транспарентности значительно возросло. Классификации, ранжирования, таблицы лиг (три самых известных на данный момент инструмента транспарентности) стали неотъемлемой частью глобальной системы высшего образования. В настоящий момент общепризнано, что эти инструменты, зачастую предоставляющие неоднозначные результаты, тем не менее пользуются популярностью и увеличивают свое влияние как на учреждения высшего образования, так и на органы управления высшим образованием на национальном уровне. Появление таких инструментов отражает нарастающую международную конкуренцию среди университетов за талант и ресурсы. В то же время оценка и сравнение учебных заведений ведет к дальнейшему усилению конкуренции. Положительной стороной этого процесса является то, что он стимулирует руководство учреждений высшего образования ставить перед собой задачи постоянного улучшения показателей деятельности вузов. Особенно это проявляется в отношении научно-исследовательских институтов, которые доминируют в глобальных таблицах лиг. Тем не менее главную озабоченность международного сообщества вызывают методологические основы построения таблиц лиг [4, 7, 9, 11, 15, 16, 22, 23, 33, 38] и их политическое влияние в конечном счете на стратификацию, а не на диверсификацию миссий образовательных учреждений [19, 23, 34]. Харви [16] обобщил критические замечания по данной проблеме, указав на то, что таблицы лиг не соблюдают установленных методологических правил дидактического анализа (идущего от определения общей концепции к разработке отдельных индикаторов) и синтеза (идущего от индикаторов к композитному ранжированию). Вместо этого при ранжировании используются индикаторы, измеряющие ту информацию, которая наиболее доступна разработчикам рейтинга.
Соглашаясь с необходимостью соблюдения принципов концептуальной целостности и дедуктивного подхода к разработке индикаторов, возразим утверждению Харви замечанием относительно отсутствия теории, объясняющей связь между высшим
образованием и информационными потребностями различных стейкхолдеров. Институты высшего образования функционируют в многообразной среде внешних стейкхолдеров, определяя для себя различные целевые группы. Все они обладают различными характеристиками и потребностями и часто не могут самостоятельно сформулировать свои информационные потребности. Более того, «не все страны и национальные образовательные системы вкладывают одинаковый смысл в понятие качества деятельности институтов высшего образования, в связи с чем ранжирования не должны стремиться обеспечивать сравнение институтов по данному основанию» (пятый принцип IREG). Учитывая различия в потребностях разных групп пользователей, стоит обратить внимание на различия в их потребностях относительно информации по тому или иному вопросу. Таким образом, многомерные инструменты транспарентности, отвечающие конкретным потребностям различных групп пользователей, являются очевидным ответом на сложную и четко не определенную потребность в информации о высшем образовании.
Мы различаем несколько целевых групп, заинтересованных в информации о деятельности учреждений высшего образования:
— студенты на микроуровне образовательного процесса;
— студенты на мезоуровне (выпускники образовательных программ);
— работодатели (бизнес-организации и другие структуры), выступающие «пользователями» знаний выпускников;
— компании, применяющие результаты научно-исследовательской и инновационной деятельности, полученные на базе учреждений высшего образования;
— местные, региональные и национальные органы власти, являющиеся потребителями третьей роли высших учебных заведений (распространение знаний и инноваций в обществе). В дополнение органы власти выступают гарантами более широких общественных интересов в контексте социального и экономического развития и часто являются ключевыми стейкхолдерами, финансирующими деятельность высших учебных заведений.
Одновременно преподаватели и исследователи, работающие в университетах — это, прежде всего, те, кто обладает новейшими знаниями в различных областях и благодаря образовательным методикам и технологиям находится в уникальном положении, позволяющем удовлетворять потребности различных общественных групп [21].
В данном контексте множественность интересов определяет особенность определения понятия качества. Качество как многомерное понятие может изменяться от одной группы стейкхолдеров к другой, таким образом, следует говорить о «множественности качеств» [6, 18, 39]. Следовательно, инструменты транспарентности, для того чтобы наиболее эффективно информировать о качестве высшего образования различные группы пользователей, должны отражать существующую концептуальную множественность.
оценка существующих классификаций и ранжирований
Вышеизложенный анализ требует некоторого разъяснения в отношении используемых терминов. Мы рассматриваем понятие «инструмент транспарентности» как основополагающий термин, включающий все способы предоставления информации о деятельности учреждений высшего образования. Внутри общего термина «инструмент
транспарентности» мы делаем важное различие между классификациями и ранжированиями. Ранжирования также, в свою очередь, разделены на таблицы лиг и многомерные ранжирования.
Классификация — это система, которая распределяет объекты по группам на основе их характеристик. Классификация отражает «горизонтальное» разнообразие, где различия между категориями не основаны на принципах порядковой шкалы, которые можно описать словами «больше», «крупнее» или «лучше».
Ранжирования показывают «вертикальное» разнообразие учреждений высшего образования с помощью индикаторов оценки. Большинство существующих в настоящее время ранжирований являются таблицами лиг (т.е. рейтингами). Таблица лиг — это одномерный список ранжируемых объектов (вузов), расположенных от учебного учреждения, получившего наивысшую оценку, к учебному заведению, получившему самую низкую оценку. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции в ряду. Другие подходы к ранжированию включают:
— многомерное ранжирование, не стремящееся соединить оценку образовательной и исследовательской деятельности высшего учебного заведения в одном агрегированном показателе; оно также ориентировано на потребности пользователя, так как данные предоставляются в интерактивном виде;
— рейтинги по группам.
Исходя из существования других подходов к ранжированию, предоставляющих больше информации для широкого круга стейкхолдеров, мы утверждаем, что они являются лучшими, более точными инструментами транспарентности, чем таблицы лиг. Но это утверждение не означает, что мы считаем ранжирования изначально плохими или хорошими. Мы считаем необходимым определить набор критериев, с помощью которых можно охарактеризовать подход, лежащий в основе ранжирования, как более или менее качественный1. Существует множество ранжирований и классификаций, основные представлены в табл. 1.
1 Определенная сложность связана с использованием терминов: термин «ранжирование» используется как существительное и как глагол, описывающий построение ранжирования, тогда как термин «таблица лиг» используется только как существительное, и нет глагола, описывающего построение именно таблиц лиг. Дополнительная сложность в использовании терминов возникает в результате того, что таблицы лиг часто называются «ранжированиями».
Таблица 1. Основные классификации и ранжирования
Ihn Название
Классификации Глобальные таблицы лиг и ранжирования Национальные таблицы лиг и ранжирования 2006 Специализированные таблицы лиг Carnegie Classification (США) U-Map (Европа) Shanghai Ranking (глобальный) Times Higher Education (THES) Leiden Ranking (глобальный) Webometrics (глобальный) CHE Excellence (Европа) QS World University Ranking (глобальный) US News and World Report (США) Times Good Education Guide (Великобритания) Guardian Ranking (Великобритания) Forbes (США) CHE Das Ranking /University Ranking (Германия) Studychoice 123 (Нидерланды) Financial Times (глобальный) BusinessWeek (США+ глобальный) The Economist (глобальный)
Классификации
Потребность в систематизации разнообразия существующих учреждений высшего образования и научно -исследовательских институтов растет вместе с увеличением их чис -ленности, а также признанием того, что охватить всю имеющуюся информацию о вузах самостоятельно потребителям уже не под силу. В этом отношении категоризация вузов в Европе в целях управления системой высшего образования играет очень важную роль. В некоторых странах вузы разделяются, например, на такие группы, как академии, университеты, политехники, национальные исследовательские центры и колледжи высшего образования. Возникла потребность в более комплексной системе инструментов классификации, для того чтобы выявить качественные различия в деятельности учреждений высшего образования внутри данных категорий, а также для возможности сравнения элементов системы высшего образования разных стран с отличной системой категоризации вузов. Кроме того, необходимо учитывать, что растущая в последние годы автономия учебных заведений также способствует увеличению разнообразия целей, миссий и приоритетов учебных заведений, которые могут находиться, согласно вышеприведенной классификации, в одной категории. Наиболее заметными на сегодняшний день глобальными классификациями являются Carnegie, разработанная в США, и европейская классификация U-map.
Первая классификация фонда Carnegie, опубликованная в 1973 г., была адресована, прежде всего, исследователям. Классификация Carnegie зарекомендовала себя как авторитетный источник информации об американских институтах высшего образования, как в США, так и в других странах [24]. Получив широкое признание, классификация Carnegie вскоре превратилась в некоторое подобие таблицы лиг; быть класси-
фицированным как научно-исследовательский институт первой степени для высших учебных заведений было очень престижно, хотя разработчики и не ставили перед собой этой цели. Для того чтобы нарушить тенденцию и предотвратить дальнейшее развитие системы классификации в направлении составления таблиц лиг на основании классификации, методология составления классификации была кардинально пересмотрена фондом в 2005 г.; в результате внесенных изменений система приобрела характер многомерной классификации. Исходя из новых методологических принципов, новая классификация позволила взглянуть на систему высшего образования через различные аспекты образовательного ландшафта и ответить на три фундаментальных вопроса:
— что преподается в высшем учебном заведении (классификация преддипломных
и постдипломных программ);
— кто является студентами высшего учебного заведения (профиль зачисления и
профиль студентов преддипломников);
— что представляет собой «физическая учебная среда» высшего учебного заведения (инфраструктура).
Также была произведена корректировка первоначальной (базовой) методологии классификации Carnegie2.
Европейская классификация U-map в настоящее время также занимается популяризацией данных о деятельности высших учебных заведений3. Классификация U-map изначально разрабатывалась как общеевропейский многомерный инструмент классификации высших учебных заведений, ориентированный на удовлетворение потребностей пользователей и позволяющий классифицировать вузы и научно-исследовательские институты по шести отдельным измерениям (направлениям):
— исследовательская деятельность;
— инновационная деятельность;
— профиль образовательной деятельности;
— профиль студентов;
— интернационализация;
— взаимодействие с регионом.
Оценка каждого из шести направлений деятельности университета опирается на группу специальных индикаторов, способствующих выявлению и оценке усилий учебного заведения в различных сферах деятельности. При этом индикаторы результатов (output indicators) деятельности заменены на индикаторы, оценивающие усилия для достижения целей (effort-based indicators) как наиболее доступные для сбора. Основной задачей классификации U-map является построение и анализ «институциональных профилей» высших учебных заведений. Планируется, что пользователи классификации U-map смогут создать институциональную «картину» высшего учебного заведения на основании индикаторов одного или нескольких уровней (рис. 1). Классификация позволяет представить информацию о высших учебных заведениях в двух форматах (поисковик профиля и визуализатор профиля), при помощи которых пользователи могут самостоятельно проанализировать профиль вуза, а также провести сравнительный анализ профилей нескольких учебных заведений. Классификация U-map создается совместно с разработчиками последней версии классификации Carnegie с учетом условий Европейской системы образования.
2 Carnegie Foundation for the Advancement of Teaching. URL: http://classifications.carnegiefoundation. org (date of access: 17.01.2012).
3 U-Map. The European Classification of Higher Education Institutions. URL: http://www.u-map.eu (date of access: 17.01.2012).
Доход из региона
Количество времени, затраченное на деятельность по сотрудничеству с регионом
Данные по персоналу
Финансирование научных исследований
Иностранные студенты
Контракты на исследования с частными организациями
Выставки
Стартапы Патенты
Опыт исследовательской работы
Докторские программы
Магистерские программы
Бакалаврские программы
Профессиональные степени, %
Предметные области
Студенты зрелого возраста
Студенты очно-заочной формы обучения
\ -4 Иностранные студенты
Публикации
Общее количество поступивших
Количество времени, затраченное на исследования
¡£5% Образовательный профиль I I Профиль студента Научно-исследовательская
учебного заведения деятельность
I I Третья миссия I I Международная ШШ Взаимодействие с регионом
деятельность
Источник: U-Map. The European Classification of Higher Education Institutions. URL: http:// www.u-map.eu (date of access: 17.01.2012).
Рис. 1. Вариант институционального профиля
Мы утверждаем, что классификации помогают отразить горизонтальное разнообразие систем высшего образования, выявить различную степень усилий, прикладываемых учебными заведениями для достижения поставленных целей в той или иной сфере деятельности. С этой точки зрения классификации представляют собой описательный инструмент: основным его результатом являются профили, описывающие деятельность вузов. При этом классификации не предоставляют информации о том, насколько хорошо вузы осуществляют свою деятельность, так как данная методология, прежде всего, ставит перед собой задачу отразить усилия, прилагаемые вузом для достижения целей институционального развития, а не оценить результаты их деятельности.
Ранжирования
Первая попытка ранжирования вузов была предпринята в США в начале XX столетия, однако экспоненциальный рост ранжирований произошел позднее, в начале XXI в. [8] Недавние обзоры существующих ранжирований, выполненные университетом Цзяотун4 в Шанхае и вашингтонским Институтом политики высшего
4 Academic Ranking of World Universities. URL: http://www.arwu.org/RankingResources.jsp (date of access: 18.01.2012).
образования5, приводят списки ранжирований, проводимых в более чем 30 странах на всех континентах мира. При этом в некоторых странах (США и Великобритании) существует несколько конкурирующих между собой систем ранжирования. В данном контексте полезно провести анализ и классификацию существующих систем ранжирования по следующим направлениям:
— основные группы пользователей;
— разработчики ранжирований: государственные, частные некоммерческие и
частные коммерческие организации;
— уровень: ранжирование учебных заведений в целом и ранжирование предметных областей и отдельных программ;
— охват: национальный или международный;
— фокус: образование или исследования.
Мы рассмотрим эти направления в следующих подразделах, чтобы затем обсудить методологические проблемы, касающиеся источников данных, составления рейтингов и использования композитных индикаторов.
Основные группы пользователей
Большинство национальных ранжирований разрабатывается для предоставления информации будущим студентам и их родителям о качестве учебных заведений и образовательных программ, предлагаемых на территории страны. Такому виду ранжирований приходится находить равновесие между стремлением предоставить информацию в наиболее доступном для выделенной целевой группы и в то же время наиболее полном виде, что позволяет сформировать комплексную картину деятельности университета. Одним из принципов, обеспечивающих качество ранжирования, согласно Берлинским принципам ранжирования высших учебных заведений, является его четкая ориентация на определенную группу пользователей. В этом случае возникает проблема противоречащих информационных потребностей. Будущие студенты представляют собой одну из наименее осведомленных групп пользователей о качестве услуг высшего образования, поэтому для них информация в таблицах лиг должна быть изложена максимально ясно. В то же время для повышения легитимности в академических кругах ранжирования должны предоставлять наиболее полную информацию о деятельности учебного заведения, чтобы избежать обвинений в чрезмерном упрощении сложной реальности [13]. Так как вузы заинтересованы в продвижении не только преподаваемых программ, но и проводимых исследований, многие таблицы лиг с целью повысить свой авторитет также предоставляют информацию об исследованиях, ведущихся на базе вузов. Однако до недавнего времени системы ранжирований скорее использовали все имеющиеся в их распоряжении индикаторы как релевантные для всех целевых групп [22].
Схожая проблема возникает при составлении международных предметно-ориентированных видов ранжирований, таких как ранжирования школ бизнес-образования, проводимых печатными изданиями6, например Financial Times7. Первые предметно-ориентированные ранжирования появились именно в сфере бизнес-образования. Однако с недавнего времени ранжирования по различным предметным областям соз-
5 Institute for Higher Education Policy. URL: http://www.ihep.org/Research/nationalrankingsystems. cfm (date of access: 18.01.2012).
6 MBA Programs Worldwide. URL: http://www.find-mba.com/mba-rankings (date of access: 18.01.2012).
7 Financial Times Business School Ranking. URL: http://rankings.ft.com/businessschoolrankings (date of access: 18.01.2012).
даются и в сфере высшего образования: например, ранжирования Центра высшего образования в Германии, предметное ранжирование университета Цзяотун, рейтинг высшего образования Times Higher Education.
Очевидно, что все студенты неодинаковы и отличаются по своим потребностям. Такие ранжирования, как US News and World Report, Studychoice123.nl или немецкие рейтинги CHE, в основном адресованы тем, кто хочет получить высшее образование сразу после окончания школы. Рейтинг Financial Times ориентирован на взрослых людей, имеющих как минимум несколько лет опыта работы, стремящихся приобрести определенные дополнительные знания. Эти две группы студентов отличаются в определении соотношения выгоды и затрат, различными потребностями в методике преподавания, форме предоставления информации, различными социальными предпочтениями и возможностями. Принимая во внимание важность удовлетворения потребностей различных целевых групп, наиболее качественными являются те ранжирования, которые предоставляют надежную информацию о результатах вложений в образование (возможность трудоустройства, получение требуемых специфических навыков, наличие известных в академической среде преподавателей и научных сотрудников или дополнительные возможности дохода) [4]. Качественные ранжирования также должны предоставлять информацию об условиях потребления услуг (наличие спортивного комплекса, студенческого общежития, возможность получения широкого академического образования). Информация об условиях потребления услуг может быть особенно важной для студентов, только что закончивших школу, тогда как информация об эффективности инвестиций в образование скорее заинтересует студентов, проходящих обучение на программах постдипломного образования.
Необходимо отметить, что даже внутри определенных групп пользователей существуют различные информационные потребности. Более того, социально незащищенные слои населения находятся в наименее выгодном положении с точки зрения доступа к информации о возможностях обучения в вузах. Таблицы лиг вносят свой вклад в процесс расслоения студентов на группы: основными пользователями таблиц лиг являются студенты, имеющие наибольший доступ к информации о высшем образовании.
Интернациональные или глобальные ранжирования вузов не конкретизируют целевые группы пользователей, а обращаются к широкой аудитории, в той или иной степени заинтересованной в деятельности институтов высшего образования. Наиболее известной в глобальном масштабе таблицей лиг является Академический рейтинг университетов мира, составляемый Институтом развития высшего образования Шанхайского университета. Первоначально рейтинг предназначался для сравнения научно-исследовательских университетов Китая на внутринациональном уровне, а также для сравнения результатов деятельности университетов Китая с другими ведущими университетами мира, прежде всего с университетами США. Академический рейтинг ведущих университетов мира создавался, в первую очередь, для корректировки национальной политики в научно-исследовательской сфере, вследствие чего основными пользователями рейтинга были члены аппарата государственного управления (министры образования, науки и технологии).
Ранжирования высших учебных заведений относительно результатов исследовательской деятельности, например, ранжирование Лейденского университета, анализируют деятельность вузов на основании подсчета цитирований научных публикаций и адресованы главным образом руководству университетов (ректорату и административному персоналу). Ранжирование Leiden информирует руководителей высших учебных заведений о деятельности схожих университетов, которые могут быть прямыми кон-
курентами или же эталонами для сравнения и использования опыта. Подобным образом рейтинг Webometrics дает возможность руководителям университетов ознакомиться с результатами сравнения представленности высших учебных заведений и исследовательских институтов в сети Интернет, что может служить основанием для принятия решений об электронной публикации материалов исследований. Результаты подобных фокусных ранжирований предназначены для информирования руководства университетов при стратегическом планировании.
Ранжирования также могут быть интересны пользователям, не входящим в целевые группы, определяемые разработчиками систем ранжирования. Так, например, политики могут использовать ранжирования, составленные по индикаторам исследовательской деятельности университетов или предназначенные для информирования будущих студентов. Руководство вузов может выражать заинтересованность во всех видах ранжирований, так как все они в той или иной мере оказывают влияние на престиж учебного заведения, в особенности если вуз занимает невысокое место в какой-либо системе. Отсюда возникает вопрос о беспристрастности университетов как источников данных для построения оценок и опасениях по поводу возможных фальсификаций данных самими университетами с целью повышения своей оценки или подрыва авторитета конкурирующих университетов [5, 9, 17, 29].
Составители ранжирований
Большинство основных национальных ранжирований, начиная с первого подобного ранжирования US News and World Report, разрабатываются компаниями средств массовой информации. Ранее несколько ранжирований разрабатывалось и самими вузами (например, в сфере экономики). Однако в отличие от ранжирований, создаваемых компаниями СМИ, подобные системы не пользовались широким спросом со стороны общественности. К другим примерам ранжирований СМИ относятся ранжирования The Times Good University Guide, таблицы лиг, составленные печатными изданиями Великобритании (Guardian, Independent), национальные ранжирования Франции (Nouvel Observateur) и Италии (Sole 24 Ore). Так как коммерческие издательства заинтересованы, прежде всего, в продажах и получении прибыли, вызывает опасение их ориентированность на создание броских заголовков, нежели на разработку научно обоснованной и стабильной методологии ранжирования [15, 30].
Меньшее количество ранжирований публикуется независимыми национальными некоммерческими организациями. В них входят ранжирования Центра высшего образования в Германии (хотя они также работают совместно с журналом Die Ziet), ранжирование Studychoice123 в Нидерландах и польское ранжирование, осуществляемое фондом образования «Перспективы»8. Более того, есть несколько национальных ранжирований, созданных государственными институтами, такими как Совет аккредитации и оценки высшего образования Тайваня и Конференция ректоров Нигерии.
Существует шесть глобальных систем ранжирований, различающихся географическим и предметным охватом. Три из них составлены академическими институтами (Университет Лейдена, Высшая горная школа во Франции, Верховный совет по научным исследованиям в Испании). Академический рейтинг университетов мира был создан Шанхайским университетом, при этом отдел, непосредственно отвечающий за разработку рейтинга, получил в 2009 г. статус независимой организации и называется
8 Perspektywy Education Foundation. URL: http:// www.perspektywy.org (date of access: 18.01.2012).
«Шанхайская консультация ранжирований»9. В 2009 г. ранжирование Times Higher Education получило прямой доступ к данным о цитировании, была разработана собственная методология репутационного опроса. Предыдущий партнер ранжирования QS создал свой собственный рейтинг World University Rankings. Таким образом, по состоянию на 2010 г. в секторе глобальных ранжирований были учреждены два коммерческих производителя.
Тайваньский совет оценки и аккредитации образовательных учреждений HEEACT и голландский консорциум SK123 (объединяющий несколько различных групп интересов и выступающий реципиентом государственных субсидий) представляют собой ранжирования, в наибольшей степени связанные с государственными органами. Составители этих систем не оказывают влияния на разработку политики в области высшего образования, хотя некоторые отделения HEEACT проводят работу по оценке и аккредитации учебных заведений. Большинство академических институтов, составляющих глобальные ранжирования, — государственные организации, но и немецкий Центр высшего образования, и польский фонд «Перспективы» являются партнерства-ми смешанного типа с участием как государственных, так и частных сторон, это независимые некоммерческие организации, тесно связанные с национальными конференциями ректоров.
Все чаще составители ранжирований предоставляют на веб-страницах своих проектов информацию о методологии составления рейтингов. Тем не менее, по данным Экспертной группы по оценке научно-исследовательских работ, например, на базе Шанхайского университета, «не существует системы, позволяющей повторить расчет результатов составляемого им рейтинга, что ставит под сомнение последовательность используемой методологии» [2].
Институциональные и предметно-ориентированные ранжирования
В целом следует различать пользователей, которые заинтересованы в институциональных ранжированиях (университетов в целом), и тех, кто заинтересован в результатах ранжирований, организованных по отдельным областям. Под областью (field) мы понимаем учебную единицу университета, например, факультет, отделение или школу, специализирующуюся на определенной области знаний. Данная область может включать академические дисциплины (например, экономика и физика), междисциплинарные области знаний (такие, например, как бизнес-преподавание или нанотехнологии), учебные программы, сконцентрированные на изучении одной области знаний, или специализированные исследовательские программы.
Предметно-ориентированные ранжирования представляют наибольшую пользу для студентов и исследователей, ищущих определенную программу обучения или базу для проведения исследований, так как отдельные программы внутри университетов могут значительно различаться по уровню качества. Индикаторы, показывающие усредненную оценку по всему университету, тем самым не позволяют выявить слабые или сильные стороны отдельных программ обучения и, следовательно, малополезны или даже демонстрируют иррелевантность институциональных ранжирований для подобных целевых групп пользователей.
С другой стороны, институциональные ранжирования широко используются управленческими структурами и руководителями, которым, прежде всего, интересны общие характеристики учебных заведений. В сущности, некоторые характеристики,
9 Academic World University Ranking. URL: http:// www.arwu.org (date of access: 18.01.2012).
такие как институциональная миссия университета или участие университета в социальной жизни, важны только для данной группы пользователей ранжирований. Институциональные ранжирования являются полезными для определения положения вуза на институциональной карте высшего образования и нахождения схожих институтов для развития сотрудничества или заимствования опыта. Кроме того, управляющие органы часто ограничиваются институциональным уровнем анализа, так как именно на этом уровне они принимают решения и осуществляют финансирование проектов.
Большинство глобальных рейтингов (Академический рейтинг университетов мира, Рейтинг высшего образования Times (THE), Международный рейтинг университетов QS, ранжирование университета Leiden, Тайваньский совет оценки и аккредитации образовательных учреждений (HEEACT)) предпринимают институциональное ранжирование университетов и исследовательских институтов, что ассоциируется с неким «состязанием репутаций» между университетами [34]10. Академический рейтинг университетов мира, рейтинг Тайваньского совета оценки и аккредитации образовательных учреждений (HEEACT) и Рейтинг высшего образования Times (THE) составляют также ранжирования университетов на основании оценки их деятельности по достаточно широким предметным областям, но не составляют списка лучших университетов по отдельной предметной области. Вместо этого они составляют ранжирования университетов по отдельным предметным областям на основании занимаемого ими места в общем глобальном ранжировании. Это означает, что в предметные ранжирования могут не быть включены университеты, достигшие высоких результатов в отдельных научных областях, но не включенные в общий список университетов на основании общей оценки университета. Таким образом, небольшие специализированные университеты находятся в этом отношении в невыгодном положении. Некоторые глобальные рейтинги проводят ранжирование учебных заведений только по определенным предметным областям: рейтинг Financial Times проводит ранжирование только программ бизнес-образования, вне зависимости от того, осуществляется ли учебный процесс на базе университета или в специализированной бизнес-школе.
Несколько национальных ранжирований, в частности USN&WR, SK123 и «Перспективы», проводят ранжирование университетов на институциональном уровне. Но чаще всего национальные ранжирования (ранжирования Центра высшего образования и SK123) нацелены на предоставление информации будущим студентам, желающим выбрать программу обучения в соответствии с имеющимися предпочтениями.
Национальные и международные ранжирования
Первые ранжирования были опубликованы в США и предлагали показатели, сравнивающие колледжи 50 американских штатов. Подобное сравнение на национальном уровне было вполне технически выполнимой задачей. Но, с другой стороны, 50 штатов с почти 4 тыс. высших учебных заведений составляли почти такую же сложную систему высшего образования, как и Общеевропейское пространство высшего образования, охватывающее 47 стран и несколько тысяч вузов. С этой точки зрения такие системы ранжирования, как US News & World Report, больше похожи на национальные рейтинги других стран, информирующие студентов о лучших возможностях для обучения в раз-
10 Репутация — эффективный и привлекательный показатель качества высшего учебного заведения для пользователей, не располагающих временем и ресурсами для поиска подробной информации о деятельности вуза [31]. Благодаря простоте восприятия и учету интересов потребителей ранжирования получают признание среди стейкхолдеров и широкой общественности [2].
резе всей страны. Подобным образом ранжирование Центра высшего образования в Германии призвано обеспечить студентов полной информацией о программах высшего образования в университетах 16 федеральных областей Германии. Эти примеры показывают, что в отличие от глобальных систем национальные ранжирования более четко формулируют цель и определяют целевую группу более конкретно.
Международные системы ранжирования, такие как Академический рейтинг университетов мира Шанхайского университета или рейтинг Times Higher Education (THE), в основном ранжируют университеты в целом. Данные методологии являются на сегодняшний день наиболее спорными и дискуссионными, так как их результаты значительным образом влияют на репутацию высших учебных заведений, как в положительном, так и отрицательном плане. Другие международные системы ранжирований — Leiden и Webometrics — более четко определяют цели и ограничения. Рейтинг Leiden ограничивается анализом исследовательской деятельности и оценкой ее влияния на развитие академической среды. Рейтинг Webometrics, в свою очередь, оценивает представленность вузов в сети Интернет. Таким образом, системы ранжирований снижают возможную волну критики в свой адрес.
Развитие международной мобильности студентов увеличивает спрос на более открытую информацию о системах высшего образования на глобальном уровне. Этот процесс, на наш взгляд, отражает две важные тенденции. Первая заключается в расширении географического охвата национальных ранжирований, во включении соседствующих территорий. Так, немецкое национальное ранжирование Центра высшего образования в настоящий момент включает университеты Австрии, Швейцарии и Нидерландов, хотя общеевропейской системы ранжирования CHE пока не существует. Вторая тенденция выражается в увеличении более сфокусированных международных ранжирований, таких, например, как CHE Excellence, ориентированный на европейский рынок программ магистратуры и аспирантуры и удовлетворение потребностей соответствующих студентов. Система впервые была апробирована в 2007 г. и включала ограниченное число предметных областей и только исследовательские университеты Европы.
Обучение или исследования
Ранжирования могут иметь два разных угла зрения. Во-первых, их построение может осуществляться с целью информирования потребителей либо о качестве обучения в вузах, либо о качестве проводимых там исследований. Например, ранжирования Центра высшего образования и SK123 определяют своей целью информирование студентов о лучших образовательных программах, предоставляя информацию о качестве образования в том или ином вузе. Подобным образом рейтинг университета Leiden информирует потребителей о качестве исследовательской деятельности университетов, а Академический рейтинг университетов мира Шанхайского университета изначально был ориентирован на информирование национального госаппарата о положении китайских университетов по отношению к университетам мира в области науки и технологии.
Во-вторых, фокус ранжирований может быть изменен в зависимости от используемого набора индикаторов. Качественная система ранжирования основывается на индикаторах, которые должны отвечать поставленным целям. Так, например, индикаторы, оценивающие эффективность и влияние исследовательской деятельности университета на развитие академической среды, соответствуют цели информирования
руководства университетов об исследовательском потенциале и возможностях своих институтов. Большинство национальных ранжирований, ориентированных на информирование студентов, в том числе и будущих, конечно, в большей степени используют индикаторы, с помощью которых оценивается качество обучения и преподавания, либо используют комплекс индикаторов, оценивающих качество как обучения, так и научных исследований. Кроме того, иногда вводятся отдельные контекстные переменные, отражающие специфику объекта ранжирования. Большая часть индикаторов, используемых в шести глобальных системах ранжирования, оценивают в основном исследовательскую деятельность. Следуя своей цели, глобальный рейтинг университета Leiden является достаточно качественным. Однако такая практика может быть проблематичной в случае, если результаты ранжирования, ориентированного на оценку качества научных исследований в вузах, используются как эквивалент меры престижности или качества вузов в целом.
Аспекты методологии
Значительное место в сегодняшних дискуссиях о плюсах и минусах ранжирований и классификаций занимают методологические вопросы. В этой части наших рассуждений мы рассмотрим три вопроса, которые, с нашей точки зрения, составляют ядро дискуссий о методологии ранжирований. Речь идет о проблеме надежности используемых источников данных, построения таблицы лиг и использования агрегированных, композитных, индикаторов.
Источники данных
Анализ ключевых методологий ранжирований показывает, что используемые для их построения источники данных можно разделить на три категории: готовые статистические базы данных (национальные и международные), данные, полученные от университетов (отчеты о самооценке), и опросы различных групп респондентов.
Статистические базы данных
Оптимальным источником данных с точки зрения валидности, достоверности и эффективности сбора, который не требует участия университетов, являются готовые базы статистической информации. Полезным примером в этом смысле является классификация Carnegie11, которая рассматривает вузы через призму множества критериев и индикаторов. Информация, на основании которой рассчитываются индикаторы, практически полностью берется из доступных широкой общественности баз данных США (Интегрированная база данных высшего образования IPEDS)12. База данных IPEDS ведется на основании общенациональных опросов, ежегодно проводимых Национальным центром статистики образования Департамента образования США. Все высшие учебные заведения страны, получающие федеральное финансирование, обязаны предоставлять в интегрированную базу информацию о приеме и выпуске студентов, завершении программ обучения, штате ППС, стоимости обучения и получаемой
11 Carnegie Foundation Classification. URL: www.carnegiefoundation.org/classifications (date of access: 23.01.2012).
12 Integrated Postsecondary Education Data System. URL: http://nces.ed.gov/ipeds (date of access: 23.01.2012)
студентами финансовой помощи. IPEDS самостоятельно проводит проверку качества информации, предоставляемой университетами. Тем самым фонд Carnegie не только избавлен от необходимости самому собирать данные, но также и от процедуры верификации используемых данных для построения классификации вузов. Однако упрощенный подход удобен также и для вузов, поскольку им достаточно предоставить информацию в национальное статистическое агентство только один раз и не повторять процедуру для фона. Практически все данные, используемые для построения классификации Carnegie, находятся в открытом доступе и имеют статус федеральных.
Система сбора данных, приведенная выше, идеально подходит для составления классификации или ранжирования, но в действительности применяется достаточно редко. Статистические базы данных высшего образования существуют во многих странах, но только некоторые из них включают данные международной статистики. В этом отношении европейская классификация U-map находится в менее выгодном положении, чем классификация Carnegie, поскольку на сегодняшний день на общеевропейском уровне пока не сложилось единой базы данных о деятельности отдельных вузов и исследовательских институтов13. Классификация U-map опирается на национальные базы данных, что приводит к сложностям двух типов. Во-первых, сбор данных в другой стране достаточно трудно организовать, так как существует несколько национальных баз данных, находящихся в ограниченном доступе для внешних пользователей. Кроме того, сравнить данные, полученные из нескольких источников, не всегда возможно. Сбор статистических данных и статистическая терминология от страны к стране различаются. В связи с этим международные статистические сборники, такие как ежегодный отчет ОЭСР «Взгляд на образование», вынуждены вводить множество примечаний к опубликованным статистическим данным, поясняющих имеющиеся ограничения для международного сопоставления статистических показателей. Еще одной существенной проблемой для международных проектов ранжирования является то, что международные базы данных используют данные национальной статистики, которая в большей степени отражает показатели состояния национальной системы образования в целом и не отражает институциональный уровень по отдельным вузам.
Одним из самых надежных способов сравнения деятельности университетов является использование библиометрических индикаторов. Web of Science (WoS) и Scopus — две основные библиометрические базы данных, содержащие статистику публикаций научных статей в престижных научных журналах. Тем не менее использование данных этих баз для ранжирования университетов также связано с некоторыми трудностями, поскольку принятые нормы и стандарты публикации научных статей существенно различаются в зависимости от научной области [25]. Рецензируемые научные журналы являются основными инструментами распространения знаний в таких областях, как естественные науки, медицина, биологические науки. Однако в сфере прикладных наук и инженерии больший вес могут иметь доклады, подготовленные к конференции, нежели публикации в журналах. В таких областях, как социальные и гуманитарные науки, наиболее важную роль играют книжные публикации. Построение библиоме-трических индикаторов исключительно на данных о журнальных статьях, сбор информации по которым является наименее затруднительным, приводит к тому, что сферы естественных наук и медицины оказываются в неоправданно выгодном положении по
13 На уровне Европейского союза реализуется проект оценки способов получения данных от высших учебных заведений (проект EUMIDA, http://www.eumida.org). Также Экспертная группа по оценке исследований на базе высших учебных заведений (AUBR Expert group) рекомендует организацию постоянного наблюдения исследований, проводимых на базе высших учебных заведений [2].
отношению к другим сферам научных знаний. Следствием этого является недостаточно высокая представленность университетов-лидеров в определенных областях науки, не прибегающих к распространению результатов своих исследований через научные журналы. Web of Science (WoS) и Scopus в настоящий момент пытаются скорректировать методы расчета библиометрических индикаторов путем включения статистики о публикациях в областях знаний, недостаточно представленных в журналах. Также проводится корректировка библиометрических индикаторов, для того чтобы они отражали статистику о публикациях в международных журналах и материалах конференций. Но, несмотря на прилагаемые усилия, эти базы библиометрических данных еще долгое время не смогут в полной мере отразить научную деятельность университетов в областях искусства и гуманитарных наук.
Другая проблема заключается в том, что журнальные публикации, включенные в международные базы Web of Science (WoS) и Scopus, главным образом изданы на английском языке. Это определяет смещение баз в сторону англоязычных источников и ставит в менее выгодное положение результаты научных исследований, опубликованных на каком-либо другом языке, и исследовательские коллективы и организации в странах с богатой традицией научных исследований (Франция, Германия, Китай, Япония). Такой перекос в пользу англоязычных публикаций также заключает в себе необъективное отражение деятельности университетов на предметно-дисциплинарном уровне. Результаты научных исследований публикуются в основном на английском языке, тогда как гуманитарные и социальные области знаний развиваются преимущественно в контексте национальных академических систем и публикуются главным образом на языке страны, где работа была проведена. Таким образом, подсчет цитирований публикаций на английском языке создает перекос в сторону естественных наук. Web of Science (WoS) и Scopus пытаются разрешить сложившуюся проблему путем создания отдельных баз данных по публикациям в гуманитарных журналах на различных европейских языках.
Библиометрические индикаторы также могут быть необъективными инструментами оценки научной деятельности университетов. Так, например, публикации крупных университетов цитируются более часто, чем публикации небольших университетов. Кроме того, четко не определена процедура отнесения авторства публикаций для отдельных ученых и институтов, что снижает уровень надежности библиометрических индикаторов и требует более внимательного их использования при построении ранжирования [25, 26].
Самоотчеты вузов и исследовательских институтов
В случае, когда информация, полученная из статистических баз данных, недостаточна для построения ранжирования, разработчики прибегают к сбору данных с помощью самоотчетов [32]. Многие данные, например, о преподавательском составе, материальной базе / инфраструктуре, перераспределении бюджета или доходе от лицензирования, эффективнее собирать с помощью самих вузов. Практически полная монополия университетов на предоставление доступа к подобного рода информации создает проблему отношений принципала — агента и может вести к фальсификации данных, используемых для построения ранжирований, самими университетами. Термины, используемые различными университетами, в особенности в разных странах, могут значительно различаться. Существуют определенные трудности нахождения единой терминологии для данных, собираемых в различных странах. Необходимо так-
же проводить анализ данных, резко отличающихся от среднего значения исследуемых переменных, при помощи методов временных рядов, триангуляции и обсуждения с консультационным советом.
Опросы
Некоторые ранжирования опираются на данные, получаемые с помощью экспертных опросов (THE, QS, USN&WR, CHE). В частности, таким способом ведется сбор данных для оценки репутации университетов. Источниками информации об удовлетворенности являются студенты и выпускники университетов (CHE, SK123).
Степень удовлетворенности, с помощью которой студенты и выпускники оценивают свой опыт обучения в университете, является важным источником информации для будущих студентов, находящихся в поиске учебного заведения. В этом отношении качество является категорией крайне субъективной. Опросы студентов, проведенные Центром высшего образования, ранжированием SK123, национальные опросы студентов Великобритании и Австралии показали, что данный источник информации очень важен для сравнения различных программ образования. Тем не менее до настоящего момента было выполнено очень мало исследований относительно возможности сравнения данных об уровне удовлетворенности студентов, собранных в разных странах. Очевидно, что уровень удовлетворенности университетом напрямую зависит от ряда страновых факторов, таких, например, как культура (приемлемость критики по отношению к преподавателям) и особенности применения измерительных шкал [42].
Также опросы используются для построения репутационной оценки университетов. Анализ данных Центра высшего образования о репутации немецких, швейцарских и австрийских университетов показал, что оценка репутации должна использоваться с особой осторожностью при составлении международных ранжирований. Эксперты, принимающие участие в репутационном опросе, могут дать необъективную оценку университетам другой страны, поскольку могут иметь представление только о наиболее известных вузах страны. Качество получаемых таким образом данных зависит во многом от качества и размера выборочной совокупности. В 2009 г. в США разгорелся спор о надежности результатов опроса академического сообщества, используемых для построения рейтинга USN&WR: респонденты были обвинены в занижении оценок других университетов для более выгодного представления своих университетов.
Таблицы лиг
Использование только одной категории данных для построения ранжирований ограничивает само понятие качества получаемого на выходе результата, и это имеет свои последствия. Тем не менее более узкое понимание качества сегодня характерно для многих систем ранжирования, концентрирующихся в основном на «исследовательских университетах мирового уровня». Правительства прикладывают серьезные усилия для создания «университетов мирового уровня» через специальные системы финансирования. Они также способствуют объединению университетов и оказывают всестороннюю поддержку университетам такого типа [28]. Проведение подобной политики критикуется за чрезмерную концентрацию ресурсов только на исследовательских университетах мирового уровня в ущерб остальным элементам национальной системы высшего образования. Подобным образом с критикой ранжирований бизнес-программ выступила Ассоциация развития университетских бизнес-школ (AAGSB) за
недопустимое и рискованное сужение разнообразия бизнес-обучения до одного узкоспециализированного типа программ MBA [1].
Большинство национальных и международных ранжирований публикуется в виде таблиц лиг, в которых положение университета вверху таблицы означает его более высокое качество. Все университеты в таблице лиг оценены на основании порядковой шкалы, что само по себе создает проблему. Изменение места университета в таблице не всегда означает изменение качества его работы, если показатели деятельности других университетов также изменились. Кроме того, проблемы могут возникнуть, если оценки, присвоенные университетам, отличаются на размер допустимого предела погрешности. Кроме того, существует риск случайных флуктуаций рангов университетов в результате ошибок в измерении. Так, например, в ранжировании THE 2008 г. разница между 27-м местом (Университет Брауна) и 43-м местом (Университет Квинсленда) составляла только 4,5 балла, тогда как между 50-м и 100-м местом в рейтинге она составляла 10 баллов. В ранжировании QS 2009 г. и 2010 г. положение десяти учебных заведений изменилось в течение одного года более чем на 20 позиций. Очевидно, что такая форма ранжирования необоснованно увеличивает разницу между учебными заведениями и подчеркивает вертикальную стратификацию системы высшего образования.
Агрегированные (композитные) индикаторы
Агрегированные индикаторы, используемые для построения ранжирований, представляют собой баллы, получаемые из комбинации нескольких базовых показателей. Очевидно, что выбор базовых показателей и приписанных им весов оказывает влияние на значение агрегированной оценки и, соответственно, на итоговую таблицу лиг. В связи с этим возникает три вопроса, требующих дальнейшего обсуждения.
Во-первых, приписывание весов отдельным базовым показателям требует наличия концептуальной модели, которая обосновывает используемые веса показателей, оценивающих разные стороны качества деятельности высшего учебного заведения. Анализ результатов рейтинга USN&WR, проведенный Национальным центром исследований общественного мнения, подтвердил, что «веса, используемые при расчете агрегированного индикатора, не имеют под собой эмпирической или теоретической основы»14. Проблема отсутствия общепринятой теоретической основы или результатов эмпирических исследований, на основе которых мог бы производиться расчет весов, сохраняется по сей день [9]. Более того, выбор веса может повлиять на необъективность оценки отдельных типов вузов. Так, например, индикатор репутации университета, используемый в международных ранжированиях, наиболее высоко оценивает университеты, расположенные в крупных городах, ввиду их большей известности [23].
Во-вторых, ранжирования предназначены для разных групп пользователей с различными приоритетами и предпочтениями в отношении услуг высшего образования. Более того, индивидуальный потребитель также обладает различными приоритетами и предпочтениями, т.е. разные студенты используют разные критерии при выборе высшего учебного заведения. Таким образом, наиболее полезным с точки зрения информативности для пользователя будет то ранжирование, которое учитывает неоднородность
14 A Review of the Methodology for the U.S. News & World Report's Rankings of Undergraduate Colleges and Universities. URL: http:// www.washingtonmonthly.com/features/2000/norc.html (date of access: 23.01.2012).
предпочтений потребителей и, по возможности, создает условия для выбора индикаторов и их весов самим пользователем ранжирования. Ранжирование, построенное на основе композитных индикаторов с присвоенными им весами, в определенном смысле принимает решение за пользователя ранжирования о том, какие показатели деятельности университета имеют большую ценность. Дж. Экклс [12] также указывает на то, что заданные веса индикаторов не отражают «нетрадиционные» интересы студентов. Для того чтобы удовлетворить разнообразные потребности пользователей услуг образования, многие разработчики ранжирований публикуют результаты в интерактивном интерфейсе, размещенном на странице проекта в Интернете, который позволяет пользователю самостоятельно выбрать индикаторы и значения весов, по которым будет выполняться ранжирование. Некоторые ранжирования, например Guardian, предоставляют пользователю возможность самостоятельно определить вес субиндикаторов, лежащих в основе композитного индикатора оценки. Такие ранжирования, как SK123, CHE, рейтинг Тайваньского совета оценки и аккредитации образовательных учреждений (HEEACT), позволяют пользователю выбрать индикаторы, на основании которых строится ранжирование.
В-третьих, проведенный Сэйсана и Д'Омбрес [27] статистический анализ методологий, используемых рейтингами THE и Академическим рейтингом университетов мира Шанхайского университета для построения агрегированных показателей, подтвердил их недостаточную обоснованность. Статистический анализ чувствительности и эксперименты независимого построения этих ранжирований показали, что положение в таблице лиг 67% университетов, включенных в ранжирование THE, и 60% университетов, включенных в ранжирование Шанхайского университета, существенно изменяется при изменении элементов композитного индикатора. Наиболее заметно при изменении индикаторов в таблице лиг меняются позиции университетов в основном с низкими баллами. Но есть и исключения. Например, Технологический университет Массачусетса в таблице лиг THE в результате перешкалирования переместился с 10-го на 25-е место. На основании проведенного анализа Сэйсана и Д'Омбрес пришли к заключению, что «результаты ранжирований, представленные в таблицах лиг, не могут служить окончательным выводом для сравнения деятельности различных университетов».
современные дискуссии о ранжировании вузов
Усложнение систем научных исследований и высшего образования происходит сегодня по всему миру. Различные группы стейкхолдеров ощущают потребность в полной и достоверной информации не только о системе высшего образования в своих странах, но, что примечательно, о состоянии систем за рубежом. В ответ на растущую потребность в транспарентности систем высшего образования появляются многочисленные национальные и международные классификации и ранжирования.
В известной работе «Закон необходимого разнообразия» Эшби отмечает, что чем более сложной становится система высшего образования, тем более комплексные элементы должны быть использованы для ее анализа. Другими словами, для анализа простой системы единообразных университетов вполне достаточен такой инструмент, как таблица лиг. Однако для достижения необходимого уровня транспарентности существующей на данный момент более сложной системы высшего образования требуются комплексные инструменты, в том числе и потому, что повышается роль системы высшего образования в обществе. Так как в деятельности университетов начинает проявлять заинтересованность все больше различных групп стейкхолдеров, их потребности также должны быть учтены при разработке инструментов транспарентности.
Инструменты транспарентности разрабатываются для того, чтобы помочь различным стейкхолдерам при анализе информации и принятии решений. Информационные потребности различных групп пользователей в услугах высшего образования очень разнообразны. Более того, сами группы стейкхолдеров также неоднородны: потребности отдельных категорий пользователей, заинтересованных в специальных программах обучения, могут существенно отличаться от потребностей выпускников школ. Инструменты транспарентности должны быть разработаны таким образом, чтобы удовлетворить информационные потребности различных групп потребителей.
Данный анализ основан на недавних публикациях, содержащих критику существующих инструментов транспарентности, количество которых с каждым годом заметно растет. Однако мы, тем не менее, не призываем полностью отказаться от публикации рейтингов, ведь многие стейкхолдеры выражают естественную заинтересованность в информации о вузах и исследовательских институтах, отдельных программах обучения. Инструменты транспарентности, такие как классификации и ранжирования, таким образом, играют большую роль в дальнейшем развитии инструментов контроля качества системы высшего образования. Мы обращаем внимание на необходимость принятия мер для повышения качества инструментов транспарентности. Нам представляется, что здесь возможны два пути.
Во-первых, составители ранжирований могут провести корректирующую работу самостоятельно, разработав принципы, на основании которых должно выполняться ранжирование и определяться, какие именно методологии ранжирования являются «качественными». Эта идея была воплощена через учреждение специальной организации — Международной группы экспертов по ранжированию (IREG), членами которой стали экспертные организации и отдельные эксперты, занимающиеся построением различных видов ранжирований. Группа проводит регулярные встречи. Так, на встрече в Берлине в 2006 г. члены группы пришли к соглашению о выработке списка основных принципов (Берлинские принципы ранжирования высших учебных заведений), которые должны учитываться при разработке ранжирований. Постановка целей и задач ранжирований, определение методологии, весов индикаторов, сбор и обработка данных, а также форма представления результатов ранжирования должны производиться с учетом Берлинских принципов.
Берлинские принципы ранжирования призывают разработчиков:
— к четкой постановке целей и определению целевой группы пользователей;
— отражению разнообразия высших учебных заведений;
— прозрачности методологии ранжирования;
— измерению результатов деятельности вузов, а не их исходных параметров;
— предоставлению потребителям ранжирования полной информации о его составлении и выбора в представлении результатов ранжирования;
— применению принципов контроля качества при разработке ранжирования (начиная с 2011 г. Международная группа экспертов по ранжированию намерена проводить аудит и сертификацию ранжирований).
Берлинские принципы ранжирования высших учебных заведений представляют собой свод рекомендаций для построения хорошего ранжирования. Применение Берлинских принципов отражает многомерность понятия «качество» в сфере высшего образования.
Другой способ повышения качества инструментов транспарентности ранжирований заключается в признании разнообразия потребностей различных групп стейк-холдеров в услугах высшего образования и, следовательно, в признании важности
разработки многомерных инструментов ранжирования. В Центре политики высшего образования университета Твенте разрабатывается проект глобального ранжирования, который может удовлетворить потребности различных групп пользователей услуг высшего образования и научно-исследовательских институтов. Данный проект под названием U-multirank осуществляется международным исследовательским консорциумом. Вместе с Центром политики высшего образования университета Твенте в разработке U-multirank принимают участие известные разработчики специализированных ранжирований: Центр высшего образования CHE, имеющий опыт ранжирования, ориентированный, прежде всего, на удовлетворение информационных потребностей студентов; Центр научных и технологических исследований университета Leiden, проводящий ранжирование университетов относительно результатов их научной деятельности. Исследования и инновации как области, представленные в существующих системах ранжирования в недостаточной степени, включены в проект U-multirank, осуществляемый в университете Левен в Бельгии. Парижская Обсерватория науки и техники также является частью группы разработчиков. Привлечение к выполнению проекта специалистов различных областей отражает главную цель проекта — разработку дедуктивного подхода к построению ранжирования, которое должно отражать различные аспекты миссии высшего образования и научно-исследовательских институтов, признавая при этом, что не все высшие учебные заведения должны достигать высоких результатов по всем направлениям деятельности.
Дидактический подход к составлению ранжирования, в отличие от конъюнктурного, призывает к использованию как существующих, доказавших свою эффективность индикаторов, так и к разработке новых индикаторов, таких как «оценка взаимодействия университета с регионом». Проект U-multirank подразумевает пилотную стадию, в рамках которой будет получена информация о том, какие показатели должны быть разработаны для максимально точной оценки различных сторон деятельности вузов и научно-исследовательских институтов. Ранжирование U-multirank стремится удовлетворить потребности различных групп пользователей посредством создания как ранжирований высших учебных заведений и научно-исследовательских институтов (отвечая тем самым потребностям руководителей организаций и управленцев в системе образования), так и предметно-ориентированных ранжирований (для информирования студентов и абитуриентов).
Несомненно, U-multirank является крупным, непростым и потенциально рискованным проектом. Измерение и оценка большинством ранжирований только тех направлений деятельности высших учебных заведений, которые им наиболее доступны, еще раз подтверждает тот факт, что измерение именно тех данных, которые наиболее точно отражают университетскую активность, является крайне сложным. Для того чтобы обеспечить легитимность и обоснованность методологии нового ранжирования U-multirank, к его созданию были привлечены различные международные эксперты и группы стейкхолодеров. Окончательный доклад по проведенным исследованиям опубликован в 2011 г., в него вошли эмпирически подкрепленные ответы на вопрос о том, может ли деятельность учреждений высшего образования и исследовательских институтов быть транспарентной для пользователей на глобальном уровне.
Только будущие исследования в области составления ранжирований покажут, возможна ли разработка глобального многомерного инструмента транспарентности. Такой инструмент сможет сделать деятельность учреждений высшего образования и научно-исследовательских институтов более прозрачной для внешних пользователей только в том случае, если с его помощью будут решены методологические пробле-
мы, обозначенные в данной статье. Во-первых, учреждениям высшего образования должна быть предоставлена возможность показать свой индивидуальный «профиль». Во-вторых, ранжирование должно удовлетворять информационным потребностям различных групп пользователей. И в-третьих, учреждения высшего образования и научно-исследовательские институты должны иметь возможность продемонстрировать свои сильные стороны. Если все эти требования будут учтены, многомерное ранжирование поистине сможет стать инструментом транспарентности нового поколения.
Авторы выражают благодарность профессору Паулю Бенневорту, сотруднику Центра изучения политики высшего образования за его вклад в написание статьи. Авторы также хотели бы отметить, что статья опирается на данные нескольких проектных отчетов, к работе над которыми были привлечены авторы. Эти отчеты доступны в сети Интернет: Разработка и предварительное тестирование многомерного глобального ранжирования (CHE) и U-multirank: промежуточный отчет.
Литература
1. AACSB, The Business School Rankings Dilemma: A Report from a Task Force of AACSB International's Committee on Issues in Management Education // AACSB. Tampa, 2005.
2. AUBR Expert Group, Assessing Europe's University-Based Research // European Commission. Directorate General for Research. Brussels, 2010.
3. Bonroy O., Constantatos C. On the Use of Labels in Credence Goods Markets // Journal of Regulatory Economics. 2008. Vol. 33. No. 3. P. 237-252.
4. Bowden R. Fantasy Higher Education: University and College League Tables // Quality in Higher Education. 2000. Vol. 6. No. 1. P. 41-60.
5. Bowman N.A., Bastedo M.N. Anchoring Effects in World University Rankings: Exploring Biases in Reputation Scores // Higher Education. Springer Science, 2010.
6. Brennan J. et al. Towards a Methodology for Comparative Quality Assessment in European Higher Education: a Pilot Study on Economics in Germany, the Netherlands and the United Kingdom // CNAA/CHEPS/HIS. London; Enschede; Hannover, 1992.
7. Clarke M. Quantifying Quality: What Can the US News and World Report Rankings Tell us About the Quality of Higher Education // Education Policy Analysis Archives. 2002. Vol. 10. No. 16.
8. Dill D.D. Convergence and Diversity: The Role and Influence of University Rankings // Paper presented at the CHER 19th Annual Research Conference, Kassel, 7-9 September, 2006.
9. Dill D.D., Soo M. Academic Quality, League Tables, and Public Policy: A Cross-National Analysis of University Ranking Systems // Higher Education. 2005. Vol. 49. P. 495-533.
10. Dulleck U., Kerschbamer R. On Doctors, Mechanics, and Computer Specialists: The Economics of Credence Goods // Journal of Economic Literature. 2006. Vol. 44. No. 1. P. 5-42.
11. Dyke N. (van). Twenty Years of University Report Cards // Higher Education in Europe. 2005. Vol. 30. No. 2. P. 103-125.
12. Eccles J.S., Gootman J.A. (eds.). Community Programs to Promote Youth Development. National Academy Press. Washington, 2002.
13. Federkeil G. Rankings and Quality Assurance in Higher Education // Higher Education in Europe. 2006. Vol. 33. P. 209-218.
14. Federkeil G. Reputation Indicators in Rankings of Higher Education Institutions // University Rankings, Diversity and the New Landscape of Higher Education / B.M. Kehm, B. Sten-saker (eds.). Sense Publishers, Rotterdam; Taipeh, 2009. P. 19-34.
15. Gottlieb B. Cooking the School Books: How US News Cheats in Picking its 'Best American Colleges // Slate. 1999. 1 September.
16. Harvey L. Rankings of Higher Education Institutions: A Critical Review // Editorial, Quality in Higher Education. 2008. Vol. 14. No. 3. P. 187-207.
17. Hazelkorn E. The Impact of League Tables and Kanking Systems on Higher Education Decisionmaking // Higher Education Management and Policy. 2007. Vol. 19. No. 2. P. 87-110.
18. Houston D. Rethinking Quality and Improvement in Higher Education // Quality Assurance in Education. 2008. Vol. 16. No.1. P. 61-79.
19. IHEP. Impact of College Rankings on Institutional Decision Making: Four Country Case Studies // Institute for Higher Education Policy, Washington DC, 2009.
20. International Ranking Expert Group. Berlin Principles on Ranking of Higher Education Institutions. 2006. URL: http://www.che.de/downloads/Berlin_Principles_IREG_534.pdf (date of access: 24.06.2006).
21. Juran J.M., Gryna F.M. (ed.). Juran's Quality Control Handbook (4th ed.). McGraw-Hill: N. Y., 1988.
22. King R. et al. Counting What is Keasured or Measuring What Counts? League Tables and their Impact on Kigher Education Institutions in England, 2008. Higher Education Funding Council for England, April 2008/14, s.l.
23. Marginson S. Global, multiple and engaged: Has the 'Idea of a University' changed in the era of the global knowledge economy? // Paper Presented at the Fifth International Workshop on Higher Education Reforms "The Internationalization of Higher Education and Higher Education Reforms". 2008.
24. McCormick A.C., Zhao C.M. Rethinking and Reframing the Carnegie Classification // Change. 2005. September/October. P. 51-57.
25. Moed H.F. Citation Analysis in Research Evaluation. Dordrecht. Springer, 2005.
26. Raan A.F.J. (van). Fatal Attraction: Conceptual and Methodological Problems in the Ranking of Universities by Bibliometric Methods // Scientometrics. 2005. Vol. 62. No. 1. Akadémiai Kiado: Budapest and Springer, Dordrecht. P. 133-143.
27. Saisana M., D'Hombres B. Higher Education Rankings: Robustness Issues and Critical Assessment. How much confidence can we have in Higher Education Rankings? // Office for Official Publications of the European Communities, Luxembourg. 2008.
28. Salmi J. The Challenge of Establishing World-Class Universities. World Bank. Washington DC, 2009.
29. Sharp W. Building reputations: How the game is played // 21st Century Research at Columbia. 1995. Vol. 1. No. 1.
30. Stella A. Woodhouse D. Ranking of Higher Education Institutions. AUQA. Melbourne, 2006.
31. Stigler G. J. The Economics of Information // Journal of Political Economy. LXIX. 1961. P. 213-225.
32. Thibaud A. Vers quel classement européen des universités? Étude comparative du classement de Shanghai et des autres classements internationaux (Note de Benchmarking 4) // Institut Thomas More. Paris/Brussels, 2009.
33. Usher A., Savino M. A World of Difference: A Global Survey of University League Tables // Educational Policy Institute. Toronto, 2006.
34. Vught F.A. (van) Mission Diversity and Reputation in Higher Education // Higher Education Policy. 2008. Vol. 21. No. 2. P. 151-174.
35. Vught F.A. (van). Governmental Strategies and Innovation in Higher Education (2nd ed.). L., 1993.
36. Vught F.A. (van) (ed.). Mapping the Higher Education Landscape: Towards a European Classification of Higher Education. Springer. Dordrecht, 2009.
37. Vught F.A. (van) et al. U-Map: The European Classification of Higher Education Institutions. CHEPS. Enschede, 2010.
38. Wende M. (van der). Rankings and Classifications in Higher Education. A European perspective // Higher Education: Handbook of Theory and Research / J.C. Smart (ed.). 2008. Vol. 23. P. 49-71. Springer.
39. Westerheijden D.F. Movements towards a European Dimension in Quality Assurance and Accreditation // Working on the European Dimension of Quality: Report of the Conference on Quality Assurance in Higher Education as Part of the Bologna Process / D.F. Westerheijden, M. Leegwater (eds.). 2002. 12-13 March. Amsterdam, 2002. Ministerie van Onderwijs, Cultuur en Wetenschappen, Zoetermeer. P. 16-41.
40. Westerheijden D.F. The Changing Concepts of Quality in the Assessment of Study Programmes Teaching and Learning // Quality Assessment for Higher Education in Europe / A. Cavalli (ed.). L.: Portland Press, 2007. P. 5-16.
41. Westerheijden D.F. Information of Quality and Quality of Information to Match Students and Programme // The Future of Quality Accurance / J. Newton, R. Brown (eds.). EAIR. Amsterdam, 2009.
42. Westerheijden D.F. et al. Excellence Goes International: Piloting the CHE Ranking of Study Programmes in Flanders and the Netherlands // Paper Presented at the 21st Annual CHER Conference. Pavia. 2008. 11-13 September.
43. Yorke M. The Times' League Table of Universities, 1997: a Statistical Appraisal // Quality Assurance in Education 1998. Vol. 6. No. 1. P. 58.
Текст «Многомерное ранжирование: новый инструмент прозрачности в области высшего образования» авторов Франса ван Вухта и Дона Вестерхайдена был впервые опубликован на английском языке под названием "Multidimensional Ranking: a New Transparency Tool for Higher Education and Research" в журнале «Управление и политика в высшем образовании», том 22/3, 2010, http://wwwoecd-ilibrary.org/ education/multidimensional-ranking_hemp-22-5km32wkjhf24
© 2010 OECD.
Все права защищены.
© 2012 Национальный исследовательский университет «Высшая школа экономики» для российского издания. Публикуется с разрешения ОЭСР, Париж. Национальный исследовательский университет «Высшая школа экономики» несет ответственность за качество перевода на русский язык и его соответствие оригиналу.
Originally published by the OECD in English under the title: Frans van Vught and Don F. Westerheijden (2010), "Multidimensional Ranking: a New Transparency Tool for Higher Education and Research", Higher Education Management and Policy, Vol. 22/3, http://www.oecd-ilibrary.org/education/multidimensional-ranking_hemp-22-5km32wkjhf24.
© 2010 OECD.
© 2012 Higher School of Economics (HSE), Russia for this Russian edition. Published by arrangement with the OECD, Paris.
The quality of the Russian translation and its coherence with the original text is the responsibility of Higher School of Economics (HSE), Russia.
