CC BY
8
В феврале 2009 г. рейтинговое агентство «РейтОР» опубликовало российский рейтинг ведущих университетов мира, который, по мнению разработчиков, позволяет всесторонне оценить качество обучения в университетах, а также лучше представить российские вузы в глобальном образовательном пространстве.
Между тем российская методология ранжирования университетов небезупречна. В чем слабости нового рейтинга? Чем отличается российский подход к ранжированию вузов от зарубежного? На эти вопросы попытался ответить автор статьи.
Российский подход к ранжированию ведущих университетов мира
С. С. ДОНЕЦКАЯ,
кандидат экономических наук, Новосибирский государственный университет E-mail: dss@inbox.ru
История создания российского рейтинга ведущих университетов мира
Первый рейтинг ведущих университетов мира был разработан в 2003 г. Институтом высшего образования (Institute of Higher Education) Шанхайского университета (Shanghai Jiao Tong University) для оценки уровня отставания китайских университетов от ведущих вузов мира по качеству обучения и масштабам научных исследований. В основу оценки положены следующие показатели: важнейшие международные премии и награды; выдающиеся научные деятели, работающие в важных областях исследований; статьи, опубликованные в известных периодических изданиях и/или вошедшие в крупнейшие индексы цитируемости1.
1 Международные подходы к ранжированию вузов и специальностей http:// www.reitor.ru/common/img/uploaded/content/Mirovoiy_opitl.doc
© ЭКО 2009 г.
В основе рейтинга газеты «The Times» QS-THES (2004 г.) - мнение академического сообщества и работодателей о вузе, индекс цитируемости научных работ преподавателей, а также доли иностранных студентов и преподавателей2.
В том же году появился испанский проект рейтинга сайтов университетов - Wedometrics, основанный на концепции, что интернет-сайты лучше всего отражают результаты научной и образовательной деятельности университетов. Оценка проводится по числу страниц сайта, покрываемых основными поисковыми системами; количеству уникальных внешних ссылок и уникальных файлов, размещенных на сайте и ссылок на сайт университета, полученных с помощью поисковой системы Google Scholar3.
С помощью рейтинга Тайваньского Совета по оценкам и аккредитации в сфере высшего образования (Higher Education Evaluation and Accreditation Council Taiwan) (2007 г.) предполагалось получать сравнительную оценку научной деятельности вузов на основе анализа цитирования научных публикаций4.
Поскольку первые рейтинги уже прошли апробацию, именно на них международное университетское сообщество обращает больше внимания, и они же являются предметом критики со стороны ведущих российских вузов.
Главный недостаток рейтингов, с точки зрения отечественных критиков, - отсутствие в них российских университетов. Причин тому несколько5.
«По мнению идеологов нового рейтинга - из Московского госуниверситета им. М.В. Ломоносова и независимого агентства "РейтОР", существующие рейтинги ведущих университетов мира не учитывают ключевую категорию - качество
2 Ince Martin. Fine-tuning puts picture in much sharper focus //The Times Higher education Supplement. 2005. October. 28. Р.6-7.
3 Российский рейтинг ведущих университетов мира. Брошюра АНО НРА «РейтОР». 2009. - 78 с.
4 Артюшина И. А., Шутилин В. А. Рейтинги вузов в России и мире // Высшее образование в России. 2009. № 2. С. 15- 8.
5 Как посчитать качество образования //Эксперт. 28.01.08 (http:// www.reitor.ru/ru/news/agency_news/index.php?id19=341).
образования. Именно поэтому позиции вузов России год от года ухудшаются. Например, в шанхайском рейтинге МГУ не поднимался выше 66-го места, а СПбГУ находится лишь в четвёртой сотне»6. Зарубежные рейтинговые методики нацелены преимущественно на оценку исследовательской деятельности, научных достижений университетов. Естественно, в этом случае российские и экс-советские вузы, длительное время функционировавшие в условиях жесткого разделения образования и науки, проигрывают в споре с вузами развитых стран.
«В то же время для российских университетов, в отличие от западных аналогов, именно предоставление качественного образования, соответствующего государственным образовательным стандартам и потребностям рынка труда, является сегодня основной задачей... Поэтому использование существующих глобальных рейтингов для оценки конкурентоспособности образования, предоставляемого российскими университетами, может лишь косвенным образом решить поставленную задачу»7.
Другими недостатками глобальных рейтингов, по мнению составителей российского рейтинга, являются: «нечеткая содержательная интерпретация рейтингов; использование ограниченного набора показателей; субъективность подбора весовых коэффициентов показателей рейтинга и использование ограниченного числа методов сбора данных для подсчета показателей по всем исследуемым вузам, что существенным образом сказывается на наполняемости этих показателей».
Рейтинг агентства «РейтОР» ведущих вузов мира (2008 г.), по мнению его составителей, лишен указанных недостатков.
Попытаемся разобраться, так ли это. На примере российских вузов, вышедших в зарубежные рейтинги, посмотрим, удалось ли им улучшить свои позиции, как это обещали составители нового глобального рейтинга.
6 Мировой рейтинг вузов: российская версия (http://strf.ru/organization. aspx?CatalogId=221&d_no=14080).
7 Презентация нового российского рейтинга на сайте «РейтОР» (http:// www.globaluniversitiesranking.org / index. php?option = com_content&view=article&id=47&Itemid=103).
Источники информации для рейтинга агентства «РейтОР»
По мнению составителей рейтинга, основной массив информации должен быть получен из университетов. Поэтому осенью 2008 г. в адрес отобранных вузов были разосланы письма с опросными листами.
Очевидно, что такой способ сбора информации имеет свои недостатки.
Во-первых, вузам не были отправлены инструкции с указанием, как измерять показатели, запрашиваемые агентством. Следовательно, каждый вуз был вправе измерить запрашиваемый показатель по своему усмотрению, что приводит к несопоставимости статистических данных и нарушает требование к формированию статистической совокупности.
Во-вторых, рейтинговое агентство не оценивало достоверность собранной из вузов информации (в описании методики построения рейтинга, к сожалению, ничего об этом не сказа-но8). А ведь многие вузы могли и приукрасить результаты своей деятельности.
Поскольку часть ответов могла запоздать, организаторы проекта собирали информацию о каждом университете, обязательном участнике рейтинга, из всех доступных источников, в первую очередь, с сайтов университетов.
Судя по утверждению рейтингового агентства, они самостоятельно брали необходимую им информацию с сайтов вузов. Какую именно информацию брали, неизвестно. При большом количестве исследуемых вузов это опять приводит к недостоверности собранной информации.
Кроме этого, на сайтах некоторых вузов размещена неполная информация (например, из 12 классических университетов Сибирского федерального округа в трех указаны только ведущие сотрудники). Неполная информация приводит к искаженному расчету ряда анализируемых показателей.
«В случае отсутствия какой-либо информации о деятельности вузов составители рейтинга пользовались:
8 Методика расчета нового глобального рейтинга мировых университетов (http://www.globaluniversitiesranking.org/index.php?option = com_content&view=article&id=66&Itemid=107).
- годовыми отчетами вузов;
- данными национальных агентств, специализирующихся в сборе и обработке образовательной статистики;
- данными рейтингов, в которых фигурируют оцениваемые университеты;
- записями наукометрической базы данных Scopus;
- данными поисковой системы Google».
К сожалению, в описании методики сбора информации ничего не сказано о том, в каких случаях составители рейтинга прибегали к тому или иному дополнительному источнику. Поэтому можно предположить, что отсутствие данных восполнялось из любого дополнительного источника. Возможно, что для разных вузов значения какого-либо показателя брались из разных источников. Составители рейтинга, очевидно, сами решали, какую информацию следует использовать в расчетах. И это также приводит к несопоставимости статистических данных.
Показатели рейтинга агентства «РейтОР»
Основным недостатком зарубежных рейтингов, по мнению идеологов российского рейтинга ведущих вузов мира, является отсутствие среди показателей рейтинга хотя бы одного, относящегося к оценке качества образования.
Под качеством образования авторы методики расчета нового рейтинга понимают «комплексную характеристику, которая отражает общественное признание вуза. Признания можно добиться за счёт качественной учебной и научной деятельности, высокой квалификации преподавателей, востребованности выпускников на рынке труда и хорошего материально-технического обеспечения».
Обратимся к зарубежным рейтингам, опыт которых учитывался «РейтОР», и посмотрим, используются ли в них показатели качества образования. Как видно из табл. 1, в шанхайском рейтинге пять показателей характеризуют качество учебной, научной деятельностей и качество персонала (суммарный вес показателей - 90%). В британском рейтинге QS-THES использованы три показателя общественного признания
Таблица 1
Показатели качества образования, используемые в зарубежных рейтингах
Показатель качества Рейтинг Критерии оценки Вес, %
Общественное признание Британский QS-THES Мнение о вузе академического сообщества 40
Мнение о вузе работодателей 10
Качество учебной деятельности Шанхайский Количество выпускников, получивших Нобелевскую премию или медаль Филдса 10
Качество научной деятельности Шанхайский Число статей, опубликованных в журналах «Nature and Science» за последние 5 лет 20
Число статей, вошедших в индексы научной цитируемости SCIE и SSCI в предыдущем году 20
Британский QS-THES Соотношение индекса цитиру-емости и числа сотрудников 20
Испанский Wedometrics Число размещенных на сайте университета файлов, содержащих результаты научных работ 12,5
Квалификация преподавателей Шанхайский Количество преподавателей вуза, имеющих Нобелевскую премию или медаль Филдса 20
Количество часто цитируемых преподавателей-исследователей, работающих в 21 предметной области 20
и качества научной деятельности (суммарный вес показателей - 70%). В испанском рейтинге Wedometrics также имеется показатель качества научной деятельности преподавателей университета (вес показателя - 12,5%).
Что касается оценки востребованности выпускников на рынке труда, то составители зарубежных рейтингов ведущих университетов мира, очевидно, не ставили перед собой такой цели ввиду невозможности подобной оценки в планетарном масштабе. Поэтому в глобальных рейтингах отсутствуют показатели, позволяющие оценить данную составляющую качества обучения.
Оценка материально-технического обеспечения также не предусматривается зарубежными рейтингами, возможно, потому, что в конечном итоге уровень материального обеспечения проявляется в научных результатах деятельности университетов.
Таким образом, в каждый из зарубежных рейтингов введены показатели качества образования, и следовательно, критика их со стороны идеологов российского рейтинга является необоснованной.
По мнению российских идеологов, при оценке качества образования обязательно должны быть учтены такие показатели, как востребованность выпускников и уровень материально-технического обеспечения вузов.
Тем не менее эти показатели в российской методике отсутствуют. Почему?
По мнению агентства «РейтОР», «уровень востребованности выпускников на рынке труда может быть оценен долей (вкладом) вуза в формирование элиты государства через своих выпускников. В данном случае элита понимается в достаточно широком контексте: элиты государственного управления, бизнес-элиты и академической элиты». Оценивать востребованность выпускников предполагалось с помощью сведений о «числе ныне живущих выпускников университета, добившихся общественного признания: выдающихся деятелей науки, культуры, бизнеса, политики, государственных чиновников, администраторов территорий и крупных городов (с населением более 100 тыс. чел.), крупных руководителей международных организаций (ООН, ЮНЕСКО и др.)»9. Однако, поскольку далеко не все вузы обладали такой информацией, данный показатель был упразднен.
Об уровне развития материально-технической базы вуза предполагалось судить на основе данных об общей стоимости оборудования вуза, приравненной к единому валютному эквиваленту. Но в конечном итоге (очевидно, по причине отсутствия информации) показатель оценивался только по
9 Методика расчета нового глобального рейтинга мировых университетов (http://www.globaluniversitiesranking.org/index.php?option = com_content&view=article&id=66&Itemid=107).
уровню консолидированного бюджета, приведенного к общей численности обучающихся.
Еще одной особенностью рейтинга, по мнению агентства «РейтОР», «является ориентация на множественность показателей по каждой характеристике, чтобы весовой коэффициент каждого из них был минимален. Такой подход дает возможность избежать перекосов и добиться именно комплексной оценки деятельности вузов».
С одной стороны, понятно стремление агентства учесть все аспекты деятельности университетов. Но есть, по меньшей мере, две причины сократить исходное множество показателей: во-первых, чем меньше показателей, тем проще процедура оценки; во-вторых, в любом рейтинге есть неинформативные показатели (то есть применимые для незначительной части университетов или, наоборот, одинаковые для всех университетов). Кстати, в зарубежных рейтингах используется, в основном, пять-шесть критериев.
Какие же показатели использовало агентство «РейтОР», и удалось ли избежать указанных недостатков?
Комплексную оценку вузов было предложено проводить по 15 показателям, сгруппированным в шесть блоков деятельности университетов.
1. Образовательная деятельность:
- количество бакалавров, специалистов, магистров, аспирантов/докторантов вуза;
- число реализуемых вузом образовательных программ (бакалавриата, специалиста, магистратуры, аспирантуры/докторантуры);
- величина приведенной численности контингента обучающихся на одного преподавателя.
2. Научно-исследовательская деятельность:
- число патентов и свидетельств об открытиях, зарегистрированных авторами вуза в 2001-2007 гг.;
- производительность вычислительного центра (суперкомпьютера) вуза;
- индекс Хирша вуза.
3. Профессиональная компетентность профессорско-преподавательского состава:
- число публикаций авторов вуза (статьи, монографии, научно-методические пособия), вышедших в период с 2001 по
2007 гг.;
- количество цитирований авторов вуза с 2001 г. по 2007 г.;
- число наград мирового уровня, полученных сотрудниками вуза в период с 2001 г. по 2007 г. (награды мирового уровня - Нобелевская премия, медаль Филдса, премия Декарта, Абелевская премия, медаль имени М. В. Ломоносова РАН).
4. Финансовое обеспечение: уровень консолидированного бюджета вуза в 2007 г. (млн дол.), приведенный к общей численности обучающихся.
5. Международная деятельность:
- членство вуза в международных академических сообществах;
- доля иностранных студентов в общей численности обучающихся.
6. Интернет-аудитория:
- web-продукция, созданная вузом в 2001-2007 гг.;
- популярность вуза в запросах поисковой системы Google в 2008 г.;
- значение Page Rank главной страницы сайта вуза на осень
2008 г.
С первого взгляда на данный перечень можно заметить, что по сравнению с зарубежными рейтингами российский дополнен новыми показателями - это число патентов, индекс Хирша, размер финансирования университета, производительность вычислительного центра, членство вуза в международных академических сообществах.
Некоторые показатели расширены. Например, при анализе профессиональной компетентности преподавателей учитываются не только высокоцитируемые публикации, но также монографии и доморощенные публикации в нерецензируемых изданиях.
Возможно, составители рейтинга не вполне понимают содержание некоторых из предложенных показателей. Например, в блок «образовательная деятельность» включены два дублирующих друг друга показателя: численность обучающих-
ся в целом и в расчете на одного преподавателя. Дублируют друг друга также индекс цитирования, включенный в блок «профессиональная компетентность преподавателей», и индекс Хирша - показатель научной деятельности.
Индекс Хирша10 - наукометрический показатель, основанный на измерении индивидуальной цитируемости научных работ. По своей роли он близок к индексу цитируемости, но, имея несравнимо более сложную методику расчета, не так прозрачен, как индекс цитируемости. Очевидно, поэтому в зарубежных рейтингах для оценки научной активности преподавателей университетов используется только индекс цитиру-емости.
А был ли в действительности рассчитан индекс Хирша? Для составления этого индекса необходимы данные о цитиру-емости каждой научной публикации. Поскольку составители рейтинга не просили университеты выслать такую информацию, следовательно, можно предположить, что информация была собрана сотрудниками агентства. Однако произвести такой учет по всем сотрудникам всех анализируемых университетов чрезвычайно сложно (необходимо обработать точные пофамильные списки большого количества сотрудников). Так что утверждение агентства «РейтОР» о произведенном подсчете индекса Хирша хотя бы для большинства преподавателей анализируемых университетов не представляется убедительным.
Следует также заметить, что в рейтинг независимого агентства «РейтОР» вошли как классические, так и технические и технологические университеты (притом, что индекс цити-руемости и индекс Хирша используются для оценки научной активности исследователей, прежде всего, в области естественных наук). Расчет данных показателей для преподавателей технических университетов целесообразен, если помимо преподавательской деятельности они занимаются научными исследованиями. Очевидно, что далеко не у всех преподавателей российских технических университетов, представленных в рейтинге «РейтОР», есть такая возможность.
10 Hirsch J. E. An Index to Quantify an Individual's Scientific Research Output». PNAS. 2005. Vol. 102 (46): 16569-16572.
Далее составители рейтинга считают, что число патентов «прямо характеризует исследовательский потенциал университета, силу существующих научных школ». Но ведь по всему миру оценка научной деятельности проводится с помощью анализа публикаций, но не патентов! Наличие патентов является индикатором прикладных, а не академических исследований.
Еще один недостаток российского рейтинга - наличие блока показателей «интернет-аудитория»: по данному блоку 70% анализируемых университетов заняли одинаковое место. Возможно, данная ситуация связана не с используемыми показателями (которые успешно рассчитываются испанским рейтингом), а обусловлена. непониманием сотрудниками агентства методики расчета.
А процедура расчета показателей в методике получения рейтинга действительно описана плохо, ничего не сказано о том, как проводился отбор экспертов для нормирования показателей, как осуществлялось объединение показателей в блоки и определялась значимость блоков. Получается, достоинство любого зарубежного рейтинга - прозрачность методики расчета, в российском варианте глобального рейтинга полностью отсутствует11.
Результаты рейтинга агентства «РейтОР»
В рейтинге независимого агентства «РейтОР» приняли участие 430 университетов из различных стран, в том числе 69 российских вузов. В табл. 2 приведены 10 лучших российских университетов, а также показаны позиции университетов, не вошедших в Топ-10, но упоминаемых в качестве лучших российских университетов другими рейтингами. Итоговый ранг университетов указан в графе 3, в графах 4-9 показаны места университетов по каждому блоку показателей в отдельности.
Сравним эти результаты с известными зарубежными рейтингами.
11 То же мнение высказал и В. Московкин в статье «От перемены мест.» (Поиск. № 17 (1039) 2009. № 17 (1039). С. 14.
Таблица 2
Российские вузы в международном рейтинге «РейтОР»
п/п Вуз Место в рейтинге Образовательная деятельность Научно-исследо-ватель- ская деятельность Профессиональная компетентность преподавателей Финансовое обеспечение Международная деятельность Интернет-аудитория
1 2 3 4 5 6 7 8 9
1 Московский государственный университет им. М.В.Ломоносова 5 1 36 7 95-104 163 91-131
2 Московский государственный технический университет им. Н.Э.Баумана 55 3 349 58 284-288 341-342 132-430
3 Санкт-Петербургский государственный университет 84 34 320-322 46 238-246 228 132-430
4 Санкт-Петербургский государственный политехнический университет 115-117 68-69 423-427 51 358-371 159-162 132-430
5 Московский инженерно-физический институт (государственный университет) 133-134 70 333 53-54 349-357 231 132-430
6 Московский физико-технический институт (государственный университет) 176-178 166-168 320-322 57 349-357 276 132-430
Окончание табл. 2
п/п Вуз Место в рейтинге Образовательная деятельность Научно-исследо-ватель- ская деятельность Профессиональная компетентность преподавателей Финансовое обеспечение Международная деятельность Интернет-аудитория
1 2 3 4 5 6 7 8 9
7 Российский университет дружбы народов 262-266 91-93 401-407 373-379 333-348 25 132-430
8 Московский энергетический институт (технический университет) 272-273 308-309 364-366 56 333-348 338 132-430
9 Московский государственный институт международных отношений (университет) 291-292 103-107 423-427 380-430 253-264 58-59 132-430
10 Кубанский государственный университет 314 26 380-382 373-379 372-386 409-410 132-430
13 Томский государственный университет 321-322 142 327-329 347-350 349-357 270-273 132-430
21 Казанский государственный университет имени В.И.Ульянова-Ленина 344-346 99-100 346-347 341-344 333-348 382 132-430
32 Новосибирский государственный университет 362 339-342 344-345 357-359 333-348 261 132-430
В 2008 г. в Топ-500 щанхайского рейтинга попали только два российских вуза: Московский и Санкт-Петербургский государственные университеты12.
В рейтинге газеты «The Times» отмечены пять университетов России: Московский (183-е место), Санкт-Петербургский (224-е место), Новосибирский, Томский и Казанский государственные университеты (места последних трех - с 400-го по 600-й13).
В испанском рейтинге Wedometrics из 6000 университетов в Топ-1000 включены Московский (186-е место), Санкт-Петербургский (927-е место) и Новосибирский (949-е место) государственные университеты14.
Казалось бы, в новом российском рейтинге на первых местах должны быть те университеты, которые упоминаются в зарубежных рейтингах, но этой чести удостоены только Московский и Санкт-Петербургский. Томский университет входит в Топ-20 лучших российских вузов, Казанский - в Топ-30, а Новосибирский и того хуже - только в Топ-40.
Некоторое несовершенство рейтинговой методики привело к тому, что рейтинг известных в мире российских университетов понизился, но с другой стороны, ранее неизвестные российские учебные заведения впервые были открыты мировому образовательному сообществу.
По-видимому, рейтинг ведущих университетов мира, составленный агентством «РейтОР» в 2008 г., следует признать пробным исследованием, требующим доработки. Но, в силу того, что каждый рейтинг составляется для тех, кому неудобны уже существующие, с большой уверенностью можно утверждать, что методика расчета, составленная московским рейтинговым агентством при участии «широкого круга экспертов в сфере высшего образования», не претерпит существенных изменений.
12 Академический рейтинг университетов мира (ARWU) - 2008 (http:// www.ubo.ru/analysis/?cat=146&pub=1843).
13 QP- Top Universities (http://www.topuniversities.com).
14 World Universities' ranking on the web (http://www.webometrics.info/ top6000.asp?offset=0).
