Сравнительный анализ опыта оценки исследовательского потенциала университетов Текст научной статьи по специальности «Экономика и бизнес»

АКТУАЛЬНАЯ ТЕМА

Сравнительный анализ опыта оценки исследовательского потенциала университетов

М.В. Ларионова

Ларионова Марина Владимировна - д.полит.н., директор Института международных организаций и международного сотрудничества Национального исследовательского университета «Высшая школа экономики», руководитель международных программ и проектов Национального фонда подготовки кадров; E-mail: mlarionova@hse.ru

Ключевые слова: эффективность исследовательской деятельности, исследовательский потенциал, глобальные рейтинги, индикаторы оценки исследовательской деятельности, критерии качества, национальные системы оценки качества исследований.

Key words: research performance, research capacity, global rankings, research assessment indicators, quality criteria, national research assessment systems.

Статья подготовлена в рамках проекта Министерства образования и науки РФ «Организационно-аналитическое и экспертное сопровождение приоритетного национального проекта "Образование" по мероприятию "Развитие сети национальных исследовательских университетов"», осуществленного Национальным фондом подготовки кадров.

В работе проанализированы зарубежные подходы к оценке исследовательской деятельности университетов, выявлены ключевые параметры оценки качества исследовательской деятельности вузов. Проведен сравнительный анализ параметров оценки исследовательской деятельности вузов, принятых в зарубежной практике, с показателями эффективности, используемыми применительно к российским национальным исследовательским университетам. В статье поднимается вопрос о том, каким образом сложившиеся в национальной системе подходы и индикаторы могут быть использованы для содействия интеграции российских вузов в международное исследовательское и образовательное пространство.

исследовательской деятельности российских вузов

анализа системы показателей

подходов к оценке деятельности ведущих университетов

Россия - не исключение. Перед системой образования и вузами РФ также стоят задачи обеспечения качества деятельности институтов образования; целевого выделения и эффективного использования финансирования для поддержки лучших институтов; сравнительной оценки и признания качества их деятельности в национальном пространстве и международном контексте; обеспечения прозрачности и отчетности использования выделенных федеральным бюджетом ресурсов.

Системы образования всех стран развиваются в условиях усиления конкуренции на национальном и международном уровнях, повышения требований к качеству и эффективности деятельности, способности отвечать потребностям общества. В контексте задач формирования экономики, основанной на знаниях и инновациях, правительства и сами университеты вводят в практику, расширяют и совершенствуют системы оценки качества (quality assessment) и сравнительной оценки (benchmarking) эффективности исследовательской деятельности (research performance) и исследовательского потенциала (research capacity).

Реализуя приоритетный национальный проект «Образование», в том числе по мероприятиям «Развитие сети национальных исследовательских университетов» и «Развитие сети федеральных университетов», правительство должно иметь надежный инструмент определения объемов финансирования и институтов, для которых оно выделяется; не менее надежный инструментарий оценки эффективности использованных ресурсов. Для решения задачи интеграции российской системы образования и науки в международное исследовательское и образовательное пространство необходимо обеспечить сопоставимость индикаторов ана-

лиза и оценки. Это важно как для обеспечения сравнительной оценки национальных институтов в международном контексте, так и для создания системы поддержки центров совершенства, перспективных направлений исследований, непрерывного совершенствования качества исследовательской деятельности.

В работе проанализированы международные и зарубежные подходы к оценке деятельности ведущих университетов. Использованы документы по методологии оценки и аналитические материалы, в том числе исследования экспертной группы Европейской комиссии по оценкам качества исследовательских уни-верситетов1, система оценки исследований Великобритании2, система сбора данных по исследованиям Австралии (по доходам и количеству публикаций)3, глобальные рейтинги4, оценки специализированных центров и исследовательских групп. Наиболее важные работы, которые могут быть полезны, приведены по тексту статьи и в списке литературы не в порядке их значимости, а по порядку использования в сравнительном анализе. Каждая из публикаций (документов) вносит свой вклад в понимание роли системы оценивания для решения вышеперечисленных задач. Хотя методологии и набор показателей в зависимости от целей исследования различаются, выявлены общие параметры оценки исследовательской деятельности вузов. В Заключении проведен сравнительный анализ ключевых параметров оценки деятельности вузов, принятых в зарубежной практике, с показателями эффективности, используемыми применительно к российским национальным исследовательским и федеральным университетам. Целью сравнительного анализа не была выработка «рецепта» безупречной системы оценки. Представляется, что более важно на основе полученных результатов и дискуссии по ним понять, как сложившиеся подходы и индикаторы могут быть использованы для содействия интеграции рос-

1 Assessing Europe's University-Based Research, 2010. URL: http://ec.europa.eu/research/science-society/ document_library/pdf_06/assessing-europe-university-based-research_en.pdf (date of access: 30.12.2010).

2 United Kingdom Research Assessment Exercise. URL: http://www.hefce.ac.uk/research/ref/reform/ (date of access: 30.12.2010).

3 Higher Education Research Data Collection, Australia. URL: http://www.innovation.gov.au/Section/Research/ Pages/highereducationresearchdatacollection.aspx (date of access: 30.12.2010).

4 Academic Ranking of World Universities. URL: http://

www.arwu.org/index.jsp (date of access: 30.12.2010).

сийских вузов в международное пространство в последующих циклах реализации проектов (при формировании критериев отбора, определении индикаторов эффективности, форматов отчетности и др.).

Анализ качества и результатов исследовательской деятельности университетов как инструмент политики

В парадигме университетов мирового

уровня: глобальные рейтинги

Странам,системам образования и университетам/институтам приходится сотрудничать и конкурировать в глобальном пространстве. Концепция «университет мирового уровня» связана, прежде всего, с такими характеристиками, как качество исследований, уровень интернационализации, сильная ресурсная база.

По оценкам экспертов [1], университет мирового уровня характеризуется совокупностью уникальных динамических качеств:

• обладает международной репутацией в области исследований и преподавания;

• имеет выдающихся исследователей мирового уровня;

• признан не только другими университетами мирового уровня, но и сообществом из других сфер;

• обладает несколькими факультетами мирового уровня;

• представляет передовые исследовательские работы, признанные экспертами и премиями (например, Нобелевской премией);

• формирует инновационные идеи и осуществляет общие и прикладные исследования в значительном объеме;

• привлекает наиболее способных студентов и выпускает высококвалифицированных специалистов;

• способен привлечь и удержать лучших сотрудников;

• способен привлекать преподавателей и студентов на международном рынке;

• привлекает значительную долю выпускников как для преподавания, так и для проведения исследований;

• привлекает значительную долю студентов из-за рубежа;

• функционирует в рамках глобального рынка и интернационален во всех сферах деятельности;

• обладает надежной финансовой базой;

• получает значительные капиталовложения и доход;

• обладает разнообразными источниками дохода (например, правительство, частные компании, доход от исследований, доход от обучения иностранных студентов);

• обеспечивает высококачественные и благоприятные условия для обучения и проведения исследований, как для сотрудников, так и для студентов (современные здания и оборудование, территория университета);

• обладает современной системой руководства, включая стратегическое видение и план мероприятий;

• выпускает специалистов, которые занимают важные и влиятельные посты (например, такие влиятельные лица, как премьер-министры и президенты);

• обладает значительным списком выдающихся достижений (например, Университеты Оксфорда и Кембриджа в Великобритании и Гарвардский университет в США);

• вносит значительный вклад в развитие общества;

• постоянно сопоставляет себя со всемирно известными университетами и факультетами.

Потребность сопоставлять себя с другими университетами по совокупности вышеперечисленных характеристик определяет необходимость поиска наиболее надежных индикаторов и сравнительных методов оценки. Поэтому все больше внимания уделяется международным рейтингам и системам оценки, представляющим сравнительный анализ результатов деятельности университетов из разных стран. Наиболее известные из существующих рейтингов, the Times Higher Education Supplement (THES)5 и Shanghai Jiao Tong University (SJTU)6, используют ограниченный перечень индикаторов, к которым многие университеты относятся критически. The Times Higher Education Supplement (THES) впер-

5 Times Higher Education Supplement (THES). URL: http://www.universityrankings.ch/en/methodology/times_ higher_education (date of access: 30.12.2010).

6 Academic Ranking of World Universities, 2010. URL: http://www.arwu.org/ARWU2010.jsp (date of access: 30.12.2010).

вые появился в 2004 г., последние рейтинги опубликованы в сентябре - октябре 2010 г.

Критика глобальных рейтингов связана, прежде всего, с тем, что они используют в основном индикаторы, оценивающие значение и влияние исследований. Единый агрегированный показатель не дает взвешенной оценки по всей совокупности деятельности университета (качество обучения, роль в социально-экономическом развитии региона). Рейтинги ориентированы на фундаментальные исследования, не сбалансированы с точки зрения «равноудаленности» по языковым и культурным условиям деятельности университетов. Критике также подвергается система взвешивания принятых индикаторов7. Даже после расширения количества индикаторов и уточнения их весов в последнем рейтинге Times Higher Education Supplement8, набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности.

Шанхайский рейтинг использует далеко не самые релевантные критерии, «некорректную методологию агрегирования, и не может служить инструментом для сравнительной оценки качества академических институтов, тем более для определения выбора института студентами и семьями, или развития реформ систем образования» [2].

Тем не менее критика не снижает уровня внимания к рейтингам. Университеты, руководители систем образования, студенты продолжают следить за их данными.

Одновременно объединения университетов, специализированные центры по оценке исследовательской деятельности университетов, международные организации, различные экспертные группы ведут работу по анализу существующих методологий и индикаторов и поиску наиболее оптимальных подходов к оценке работы университетов, обеспечивающих одновременно межстрановое и межвузовское сопоставление, и учет разнообразия миссий и особенностей университетов. Например, Центр развития образования (Германия) совместно с рядом других европейских институтов и ассоциаций разрабатывает систему многомерного рейтингования университетов, которая должна

7 Academic Ranking of World Universities, 2010. URL: http://www.arwu.org/ARWUMethodology2010.jsp (date of access: 30.12.2010).

8 Times Higher Education Supplement (THES). URL: http://www.timeshighereducation.co.uk/world-university-rankings/2010-2011/analysis-methodology.html (date of access: 30.12.2010).

С

Отношение присужденных докторских степеней и степеней бакалавра (2,25%)

Доход от инноваций (2,5%)

А

Доход в расчете

на эквивалент «академического исследователя» (2,25%] Количество присужденных степеней бакалавра в расчете на эквивалент «академического исследователя» ,, (4,5%)

Условия /

осуществления У Количество присужденных образовательно^ степеней ™ в расчете процесса

Г

Доход от инноваций и прозводства в расчете на эквивалент «академического исследователя» (2,5%]

(30%)

на эквивалент «академического исследователя (6,0%'

Оценка репутации по качеству преподавания (15,0%)

V

Соотношение иностранных и национальных кадров (3,0%)

Соотношение иностранных и национальных студентов (2,0%)

Оценка исследований по репутации (19,5%)

Интернацио-

г нализация (5%)

Импакт-фактор цитирования (относительно среднего количества цитирований на одну опубликованную работу с коррект. по областям наук) (32,5%)

Доход от исследований (5,25%)

Количество опубликованных работ в расчете на эквивалент «академического исследователя» (4,5%)

Отношение бюджетных доходов к общим доходам от исследований (0,75%)

>- Уровень цитирования (32,5%)

Исследования: объем, доход, " репутация (30%)

Рис.. 1. Доли индикаторов в рейтинге Times Higher Education Supplement

Г

Результаты исследований (40%)

<

Количество статей, попавших в индексы цитирования для естественных и гуманитарных наук Science Citation Index и Social Sciences Citation Index (20%)

Количество статей опубликованных по естественно-научной тематике (20%)

V

Количество ученых университета, наиболее

часто цитируемых по 21 предметной области (20%)

Отношение суммарного количества баллов по пяти индикаторам (1-5) к численности академического персонала (10%)

Академическая производительность (10%)

Количество выпускников -лауреатов Нобелевской премии и других престижных наград (10%)

>

Качество образования (10%)

Количество сотрудников -лауреатов Нобелевской премии и других престижных наград (20%)

Качество профессорско-преподавательского состава (40%)

Рис. 1. Доли индикаторов в рейтинге Shanghai Jiao Tong University

обеспечить возможность сопоставимости оценок на основе формирования групп университетов по профилям [3].

Европейская комиссия финансирует два больших проекта: Европейскую классификацию институтов высшего образования, которая

должна учесть многообразие европейских институтов (U-Map), и Мультирейтинг (U-multirank), направленный на создание международного рейтинга университетов по измерениями исследовательской деятельности9. В результате планируется:

• создать Европейскую обсерваторию оценки качества университетских исследований;

• создать общую инфраструктуру для сбора данных, их анализа и диссеминации;

• запустить проект по развертыванию многомерной матрицы оценки исследований;

• реализовать проект по разработке и апробации индикаторов измерения социальных и экономических результатов исследований в европейском пространстве;

• разработать финансовую модель покрытия всех расходов университетских исследований, включая расходы на оценку.

Анализ и оценка деятельности университетов будут «многомерными» и должны:

• включать все направления и междисциплинарные работы, а также исследования в зарождающихся областях;

• признавать все виды исследований, фундаментальные, прикладные, практико-ориентированные;

• учитывать различия в форматах результатов исследований по направлениям;

• учитывать различные измерения исследований: вложения (ресурсы), процессы, продукты, достижения, результаты;

• оценивать социальные, экономические, экологические, культурные последствия/результаты;

• соответствовать профилю/миссии университета, истории, месту в системе и др.;

• учитывать национальный, региональный, лингвистический аспекты;

• включать исследования, реализованные в различных партнерствах: с неакадемическими организациями, в рамках международных профессиональных сетей.

Проблема, однако, и при этом подходе, заключается в том, чтобы выбрать наиболее значимые критерии и определить наиболее

9 Assessing Europe's University-Based Research, 2010. URL: http://ec.europa.eu/research/science-society/ documentjibrary/pdf_06/assessing-europe-university-based-research_en.pdf (date of access: 30.12.2010).

надежные индикаторы. При огромном разнообразии национальных, наднациональных и международных подходов, которые будут рассмотрены далее, выделяется несколько тенденций. Первое: оценка исследований интегрируется в управленческий процесс. Оценивание выполняет как прогностические задачи, так и ретроспективные функции. Второе: все больше внимания уделяется международным сопоставлениям систем и институтов. Третье: постоянно разрабатываются новые методы, совершенствуются индикаторы.

Критерии и индикаторы

В начале данного раздела полезно напомнить определения некоторых основных концепций. Определение «исследования», наиболее часто используемое в практике, сформулировано в руководстве Фраскати: «Творческая деятельность, реализуемая на системной основе с целью расширения знания, включая знания о человеке, культуре и обществе, а также использования полученного знания для создания новых приложений» [4].

Характеристика исследования как системной деятельности предполагает, что оценка этой деятельности должна иметь системный характер. Оценка (evaluation) определяется как «системный процесс оценивания (assessment) качества, достоинств и ценности организации, результатов работы, результатов политики, который должен влиять на будущие действия» [5].

Системный характер оценки обуславливает требования к используемым методам. Системы, опирающиеся только на индикаторы, в основном используются для отчетности, поскольку полученные данные не дают возможности для комплексной оценки и основы для принятия решений по совершенствованию исследовательской деятельности. Сочетание различных форм экспертных оценок с анализом индикаторов дает больше информации для принятия решений.

Выделяется пять основных целей использования индикаторов: оценка и отчетность; совершенствование деятельности университета; планирование и рационализация ресурсов; выделение ресурсов; организация диалога. Эти цели не являются взаимоисключающими, но они «направляются» различными субъектами процесса. Задача оценки качества исследовательских программ с целью выделения приоритетов для финансирования, а также оценки эффективности использования выделенных средств, является общей для всех стран и сис-

тем образования. Критерии качества, как правило, включают:

- влияние исследований (impact of research);

- устойчивость исследований (sustainabi-lity of research);

- значение (важность) (importance of research);

- потенциал (potential of research) для решения приоритетных социально-экономических задач.

Влияние исследований - воздействие, которое оказывают исследования и разработки на более широкий экономический, социальный, культурный, экологический контекст. Это очень сложное измерение. Такое воздействие может быть краткосрочным и долгосрочным, ограничиваться одной или распространяться на несколько сфер. При этом результат исследования может иметь положительные эффекты в краткосрочном периоде и негативные - в долгосрочном. Например, результаты исследования могут иметь позитивный экономический эффект в краткосрочном периоде и негативное экологическое воздействие в долгосрочном. Стремление, характерное для большинства стран и систем образования, к финансированию программ, которые могут дать немедленный экономический результат, содержит безусловные риски. Выделение приоритетного финансирования на такие программы может подорвать развитие новых или укрепление еще не получивших устойчивость направлений. Наиболее часто применяемый метод оценки влияния исследований - индексы цитирования, публикаций, результаты экспертных оценок, признание через приглашения для чтения лекций и выступлений. За пределами академического сообщества воздействие оценивается на основе данных о полученных патентах, лицензиях, прямой коммерциализации результатов исследований.

Кроме оценки академического и экономического воздействия исследований стоит задача оценки влияния на другие общественные ценности:

• материальные: товары и услуги для общества;

• гуманитарные (human): физическое и психологическое здоровье, качество жизни и др.;

• окружающая среда: качество воды, воздуха, земли, биоразнообразие;

• социальные: права человека, включенность в политические процессы; защита от преступности.

Задача оценки влияния результатов исследований на эти ценности составляет намного более сложную проблему, чем оценка академического и экономического воздействия. Еще более сложно обеспечить сбалансированную оценку по всем аспектам воздействия исследовательской деятельности.

Устойчивость исследований определяется как способность исследовательской деятельности к продолжению и развитию в среднесрочной перспективе. Факторами, определяющими устойчивость, являются очевидные финансовые и инфраструктурные формы поддержки. Однако качество управления исследованиями и продвижения полученных результатов имеет не менее важное значение. Индикаторы устойчивости результатов разработаны в наименьшей степени.

Значение (важность) исследований тесно связано с национальными задачами развития. Соответственно, индикаторы измерения этого качества должны отражать степень соответствия исследований выявленным и сформулированным потребностям государства. Значение и устойчивость - связанные характеристики, соответствие исследования потребностям общества (государства, отрасли) повышает его шансы на устойчивость. Одновременно исследование может не рассматриваться как значимое для текущих задач, но в долгосрочной перспективе может быть критически значимым для понимания не выявленных или не осознаваемых пока проблем. Корректная оценка важности исследования необходима для обеспечения устойчивости работ, критически значимых для будущего социально-экономического развития общества и развития науки.

Потенциал исследований для будущего представляет собой еще более сложно поддающееся оценке качество. Прогнозирование, расчет экономических, социальных, научных эффектов для принятия решений о финансировании работ - проблема, которая решается в основном через оценку потенциала уже выполненных исследований по данной проблематике или «задела», имеющегося у коллектива или руководителя, его репутации, а также наличия заявленного спроса на исследование. Однако все эти индикаторы не дают возможности оценки потенциала исследований в долгосрочной перспективе.

Международные сравнения представляют особую сложность не только в силу различий в системах управления, культуре и истории институтов, их миссий и направлений деятельности. Существенным ограничивающим факто-

ром является отсутствие общей методологии сбора данных по согласованным показателям. Если бы все вузы (и кафедры) во всех странах собирали и публиковали данные об исследовательской деятельности с использованием общих показателей и методологии, проведение надежного сопоставительного анализа было бы относительно простым упражнением.

Поэтому при введении в систему международных сопоставительных оценок и для обеспечения их надежности и достоверности необходимы внутринациональные консультации. В результате должны быть согласованы следующие аспекты:

1) Каковы цели проведения международного сопоставительного анализа?

2) Какие подходы максимально обеспечивают их достижение?

3) Какие методология и план реализации позволят осуществить поставленные задачи?

4) Какие индикаторы должны быть использованы?

Эти же вопросы должны быть решены при формировании национальной системы оценки.

На практике данные, которые собираются и публикуются, значительно различаются по странам и даже в пределах одной страны. Имеющиеся данные представляют собой семь категорий:

• библиометрические данные;

• награды, полученные отдельными исследователями;

• данные по исследованиям студентов;

• данные по исследованиям преподавателей;

• доход из внешних источников, полученный на проведение исследований (количество грантов и контрактов);

• данные о коммерциализации результатов исследований;

• результаты процесса взаимной оценки, оценки коллег (peer review).

Наиболее важными индикаторами оценки исследовательской деятельности остаются публикации и цитирование. Однако их использование представляет определенные сложности, связанные с техническим измерением цитирования. Существует несколько «конкурирующих» баз данных. Самые важные Thomas Reuters ISI Web of Science10, Scopus11 и Google

10 Thomas Reuters ISI Web of Science. URL: http:// www.isiwebofknowledge.com/ (date of access: 31.01.2011).

11 Scopus. URL: http://info.scopus.com/etc/citation-tracker/ (date of access: 31.01.2011).

Scholar12. Прозрачность баз данных и критерии включения материалов «оставляют желать лучшего». Поиск по этим базам данных может давать очень разные результаты вследствие различного уровня включения материалов по разным областям. Базы данных не исключают ошибок. Кроме того, для извлечения и интерпретации данных требуется сочетание библио-метрических навыков и компетенций в соответствующей исследовательской сфере. Тем не менее в большинстве случаев используется наиболее старая база данных Thomas Reuters ISI Web of Science.

Учитывая, что модели публикации и цитирования существенно различаются в разных сферах исследований, возможности для межпредметного сопоставления ограничены. Важно также учитывать, что индексы цитирования надо применять с учетом особенностей для области исследования [6]. Поэтому, если стоит задача сопоставления достижений университета по различным отраслям науки, требуется привести данные в нормализованную форму, рассчитав среднее количество цитирований на статью в сравнении со средним мировым по данной отрасли. Данные баз индексов цитирования, индекс цитирования статей, опубликованных в периодических журналах за определенный период (Journal impact factor13), и индекс цитирования исследователей (h-index14) нельзя использовать механически. Так как, например, h-индекс относительно среднего исследователя может быть высоким, если им в соавторстве с другими исследователями опубликована значимая статья. Кроме того, высокий индекс цитирования достигается, как правило, после нескольких лет исследовательской деятельности и не дает представления о потенциале молодого исследователя. В социальных и гуманитарных науках большее значение имеют публикации в монографиях. Тем не менее показатели цитирования и публикаций весьма

12 Google Scholar. URL: http://scholar.google.com/ intl/en/scholar/about.html (date of access: 31.01.2011).

13 Импакт-фактор (ИФ) - численный показатель важности научного журнала. В соответствии с ИФ оценивают уровень журналов, качество статей, опубликованных в них, оказывают финансовую поддержу исследователям и принимают сотрудников на работу. URL: http://www.itam.nsc.ru/~libr/WIN/07/JCR_impact_sci.htm (date of access: 30.12.2010).

14 h-индекс (Индекс Хирша) является количественной характеристикой продуктивности ученого, основанной на количестве его публикаций и количестве цитирований этих публикаций. URL: http://trv-science.ru/2010/06/22/kak-uluchshit-indeks-xirsha/ (date of access: 30.12.2010).

важны при оценке связи уровня концентрации ресурсов и продуктивности исследований как на национальном уровне, так и в партнерских сетях университетов.

Во многих национальных системах используются как количественные, так и качественные индикаторы, которые дополняют друг друга, учитывают контекст анализа и оценки, обеспечивают возможность сопоставительной оценки. При этом очень важно, чтобы процесс сравнительной оценки служил инструментом диагностики, сотрудничества, совершенствования деятельности университета. Отсюда основные требования к индикаторам: они должны четко соотноситься с функциями института; отражать степень достижения поставленных целей; быть измеримыми и формировать надежную основу для анализа и оценки [7].

Выделяются индикаторы, которые характеризуют используемые ресурсы (input), процессы (process) и результат (outputs). Индикаторы для сравнительной оценки разрабатываются для различных уровней и направлений исследований (программа исследований, исследовательский институт/вуз). Однако критики существующих систем оценки, подчеркивая необходимость разработки более точных индикаторов, отражающих интеграцию образования и науки в университетах, предлагают также отказываться от индикаторов, характеризующих используемые ресурсы и процессы, и использовать индикаторы результатов. Так, один из проектов Центра образовательных исследований и инноваций ОЭСР направлен на создание новой системы оценки деятельности университетов через оценку результатов обучения по программам высшего образования15.

Оценка качества работ коллегами (peer review) используется наиболее часто. Ее преимущество состоит в том, что оценка осуществляется специалистом, владеющим проблематикой исследований. Однако есть и минусы, как бы четко ни прописывалась система баллов оценивания, эксперты не всегда применяют ее одинаково. Кроме того, беспристрастность и объективность эксперта, оценивающего работу (заявку...), может снижаться, например, если заявитель является потенциальным конкурентом или использует методологию (подход), с которым эксперт не согласен. Тем не менее оценка качества работы коллегами, работающими в одной предметной области, яв-

15 Assessment of Higher Education Learning Outcomes. AHELO. URL: http://www.oecd.org/documen t/22/0,3343,en_2649_35961291_40624662JJJJ,00. html (date of access: 30.12.2010).

ляется обязательной составляющей при подготовке публикаций, оценке заявок на получение финансирования, сравнительном анализе качества исследовательской деятельности. Результаты экспертной оценки качества работ составляли 40% в методологии Times Education Supplement в рейтинге 2009 г. (до этого - 50%). В новой системе веса экспертных оценок также очень высокие и составляют для оценки качества исследований - 19,5%, для оценки процесса обучения - 15%.

Количество и качество публикаций считается индикатором продуктивности и репутации исследователя и организации (исследовательского коллектива). Поскольку этот показатель является одним из основных критериев оценки, возникает риск «нарезки» работ для публикации ("salami publishing"), когда одна работа представляется в виде нескольких статей в разные журналы. Технология оценки опирается на статистические показатели рейтингов публикаций и цитирования, или того, что принято называть «библиометрическими показателями». Термин означает «количественное измерение качества литературы с целью анализа ее создания, распределения и использования» [8]. Статистические данные становятся индикаторами качества деятельности, когда они наполняются значениями в согласованной системе оценки. Некоторые эксперты считают, что этот индикатор надо использовать аккуратно, так как даже при условии различения реферируемых и нереферируемых изданий более эффективной мерой продуктивности исследований является уровень цитирования. В то же время и уровень цитирования также имеет свои недостатки, поскольку частота цитирования не может отождествляться с уровнем вклада работы в науку, уровнем ее полезности и значимости. Кроме того, индикатор цитирования в значительной степени смещен в пользу «чистой» науки по сравнению с прикладными работами [9]. Для социальных и гуманитарных наук используется индекс исследовательских публикаций, который состоит из нескольких переменных: книги (монографии), главы в книгах, реферируемые журналы, реферируемые доклады конференций, творческие работы, патенты и реферируемые модели.

Количество и объем полученных грантов и контрактов считаются хорошим индикатором качества исследований. Однако использование этого индикатора искажает решение, например, о финансировании известных коллективов и исследователей, в то время как молодые коллективы, выполняющие перспективную работу

Таблица 1. Типология экспертных оценок [5]

Классическая экспертная оценка Модифицированная экспертная оценка Расширенная экспертная оценка

Задача Оценка качества исследования на уровне продукта или исследователя Оценка качества исследования на уровне организации (института, программы, дисциплины, исследовательской группы) Оценка различных аспектов качества на уровне организации, программы, дисциплины или системы. Например, структуры, стратегии, управления

Процесс Ознакомление с первичным материалом, оценка, рекомендации Ознакомление с вторичным материалом, иногда визит на место, оценка и отчет, иногда рейтингование или ранжирование Ознакомление с вторичным материалом, иногда визит на место и интервью, оценка и отчет

Адресат Лица, принимающие решения, в рамках исследовательского сообщества Внутренние и внешние по отношению к экспертному сообществу Внутренние и внешние по отношению к экспертному сообществу

Состав экспертов Гомогенный, монопрофессиональный Неоднородный, участники - специалисты в различных сферах по исследовательскому направлению Неоднородный, многопрофессиональный, включая пользователей и др. заинтересованных лиц

Подход к оценке Итоговый, сфокусирован на решении Промежуточный (формирующий) и итоговый Промежуточный (формирующий)

на том же уровне качества, могут не получить поддержки. Поэтому данный индикатор также должен использоваться взвешенно. Считается, что количество грантов является более точным индикатором качества, чем объем финансирования, поскольку позволяет учитывать различия между направлениями исследований. Тем не менее и это измерение имеет свои недостатки, поскольку, во-первых, не учитывает «репутацию» грантодателя, а во-вторых - может вести к увеличению количества малых грантов, которые обычно требуют сопроводительной операционной работы не менее серьезной, чем большие проекты, снижая эффективность исследований.

И количественные, и качественные индикаторы имеют преимущества и недостатки.

К недостаткам количественных индикаторов относят следующие черты:

а) они отражают прошедшие действия и могут только в ограниченной степени использоваться для прогнозирования качества будущих работ;

б) значительное влияние на них оказывают структура вузов и используемые ресурсы, например, качество студентов;

в) они являются «суррогатами» качеств, на измерение которых направлен анализ, поэтому возникает риск получения требу-

емого индикатора вместо желаемого результата;

г) абсолютные результаты проще поддаются оценке, чем «добавленная стоимость» исследований;

д) существует значительное отставание по времени в достижении успеха;

ж) достижение значительных экономических эффектов может быть сопряжено с риском поддержки исследований, не имеющих требуемых количественных показателей, отражающих прошедший опыт работ, и может требовать устойчивого финансирования работ, которые в краткосрочной перспективе не дают желаемых показателей.

К недостаткам качественных индикаторов относят следующие особенности:

а) достаточно сложно дать оценку качества (прогнозную оценку успеха), поскольку результат сильно зависит от контекста реализации работы, который не может быть учтен экспертом;

б) большинство качественных оценок являются дескриптивными и сложно поддаются обобщению.

Анализ преимуществ и недостатков двух моделей на основе оценки опыта разных стран

Таблица 2. Модели оценки на основе количественных и качественных индикаторов

Модель количественной оценки

Преимущества Недостатки

Создает стимулы повышения продуктивности исследований Создает стимулы для привлечения высококвалифицированного персонала Стимулирует качественное научное руководство подготовкой квалификационных работ Относительно легко собираются данные Формализуется и обеспечивает прозрачность Низкие издержки Индикаторы очень приблизительно отражают качество исследований и концентрируются на количественных, а не на качественных характеристиках Могут провоцировать «замещение» целей Создают преимущества для отдельных дисциплин и институтов (те, которые получают больше средств, получают в дальнейшем преимущества) Не создают значительных стимулов для сотрудничества

Модель качественной оценки

Преимущества Недостатки

Более прямое и точное измерение качества Возможность выявления центров совершенства Возможность включения других факторов, наряду с экспертной оценкой работ Возможность включения международной экспертизы Эффективность для концентрации ресурсов на сильных сторонах Возможность использования для международных сопоставлений Многофункциональность и гибкость Более высокие административные издержки Низкий уровень учета точки зрения конечных потребителей Может провоцировать «конкуренцию за звезд», неверную кадровую политику Может дискриминировать исследователей-женщин Может закреплять «академический традиционализм» и ставить в невыгодное положение новые направления, не включенные в "mainstream" Могут возникать проблемы с привлечением экспертов нужного уровня и профиля

и проектов [10, 11] можно суммировать следующим образом.

С учетом всех вышеперечисленных сильных и слабых сторон качественной и количественной моделей оценки, при выборе индикаторов также обязательно учитываются пять основных критериев:

• значимость - увязка с целями и задачами института / программы;

• надежность - опора на последовательные и сопоставимые данные;

• возможность проведения аудита данных - они должны быть проверяемы;

• прозрачность - данные должны иметь однозначное толкование;

• своевременность - данные по индикаторам должны быть доступны по графику проведения оценки.

Кроме того, дополнительные критерии включают степень соответствия цели оценки, доступность данных (насколько легко/сложно их собрать), стоимость сбора и обработки данных.

Возможности и ограничения различных индикаторов для оценки основных измерений исследовательской деятельности суммированы в Табл. 6, представляющей многомерную

матрицу индикаторов основных измерений исследовательской деятельности16.

Национальные системы оценки качества исследований

Анализ методологий показывает, что все системы находятся в состоянии поиска более совершенных подходов и индикаторов. Оценка может быть прогностическая (ex ante), ретроспективная (ex-post), циклическая (ongoing). Циклический процесс, как правило, включает следующие ключевые элементы:

• согласие участников процесса (национальной системы, международной или национальной ассоциации, сети, группы вузов) о необходимости осуществления сравнительного анализа и оценки;

• общее решение участников о цели сравнительного анализа (для повышения качества исследовательской деятель-

16 Assessing Europe's University-Based Research, 2010. URL: http://ec.europa.eu/research/science-society/

document_library/pdf_06/assessing-europe-university-based-research_en.pdf (date of access: 30.12.2010).

ности, оценки эффективности используемых ресурсов и т.д.):

1) согласие по параметрам оценки и типам индикаторов, которые будут использованы для сравнительного анализа;

2) решение об использовании полученных результатов, степени их публичности;

3) согласование графика анализа;

4) апробация системы индикаторов и процедуры сравнительного анализа и оценки;

5) обсуждение полученных результатов и эффективности принятых индикаторов и процедур;

6) совершенствование системы;

7) «запуск» нового цикла мониторинга.

Казалось бы, это вполне очевидные этапы.

Суть в том, что каждый из этих шагов необходим для того, чтобы обеспечить коллективное и индивидуальное восприятие системы как собственного и важного для развития исследовательской деятельности университетов (национальной системы) инструмента. И только такой подход может обеспечить успешное сочетание в принятой методологии целей отчетности, получения данных для принятия «политических» решений (о финансировании, совершенствовании системы управления, распределении ресурсов и т.д.) и сравнительной оценки.

При разработке стратегических проектов особое значение имеет прогнозная оценка значимости результатов исследования для общества. Одним из подходов, используемых для определения приоритетов таких проектов, является комплекс методов Форсайта17. Тенденция последнего времени - использование интегрированной методологии оценки значимости и качества исследования, вовлечение в процесс представителей различных заинтересованных сторон. Так, Датский совет по научной политике разработал шестимерную модель оценки: публикации, уровень цитирования, доход от внешних грантов/программ, формализованное научное сотрудничество (включая совместные публикации, проекты, исследовательские гранты), значимость для бизнеса (количество партнерств, патентов, spin-offs) и значимость для общества (вклад в образование, консультирование и сотрудничество с органами власти). Каждый параметр оценивается по пятибалльной шкале.

На системном уровне различаются два типа оценочной практики. Первая - институцио-

17 Основные методы Форсайта включают экспертные панели, «дорожные карты», метод Дельфи, критические технологии и бенчмаркинг.

нализированная оценка качества исследований университетов. Вторая представляет собой оценку системы и вызовов, стоящих перед ней, и направлена на обеспечение конкурентоспособности системы и ее соответствия задачам будущего.

Централизованные системы содержат риски стандартизации, снижения разнообразия, ограничения для развития новых направлений. Однако их оценки являются важным «знаком качества». В качестве примера можно привести определение качества исследований по уровням из известной системы оценки качества исследований Великобритании RAE 2008, которая основывается на экспертных оценках. Определение качества по шкале U-418:

4* - качество мирового уровня по оригинальности, значению и методологической строгости;

3* - высокое качество, соответствующее международным требованиям по оригинальности, значению и методологической строгости, но не достигающее уровня «совершенства»;

2* - качество, которое может быть признано на международном уровне по оригинальности, значению и методологической строгости;

1* - качество, которое может быть признано на национальном уровне по оригинальности, значению и методологической строгости;

не получившее оценку качество не может быть признано на национальном уровне по оригинальности, значению и методологической строгости, или работа не отвечает определению исследования.

В настоящее время RAE замещается новой системой (Research Excellence Framework19). Новая система включает также библиометри-ческие данные, т.е. будет учитывать данные по цитированию. Кроме того, предполагается согласовать критерии оценки воздействия результатов исследований. Консультации по критериям должны начаться с середины 2011 г. Полностью новая система заменит существующую с 2014 г.

В новой системе планируется осуществлять оценку влияния исследований на различные сферы жизни общества.

Австралийская система сбора данных также совершенствуется. В настоящее время идет обсуждение предложений по новой структуре данных и требованиям к ним. Например, новые

18 RAE 2008. Quality Profiles. URL: http://www.rae. ac.uk/results/intro.aspx (date of access: 30.12.2010).

19 The Research Excellence Framework (REF 2014). URL: http://www.hefce.ac.uk/research/ref/ (date of access: 30.12.2010).

Таблица 3. Национальные системы оценки исследований

Норвегия Нидерланды Великобритания* Австралия

Ответственная организация Научный совет Норвегии Норвежская ассоциация высших учебных заведений Отдельные университеты (начиная с 2002 г.) Ассоциации университетов (1993-2002 гг.) Совет по финансированию высших учебных заведений Англии (HEFCE) Правительство Австралии: Департамент по образованию, трудоустройству и трудовым отношениям

Объект оценки Области (направления) национальных исследований Научные разработки и образовательный процесс Университеты определяют объект оценки, например, область исследования, факультет или сотрудники Факультеты (сотрудники, активно занимающиеся исследованиями), программы подготовки исследователей, репутация Университеты

Главная цель Улучшение качества Распределение (выделение) ресурсов, частично основанное на полученных результатах Улучшение качества, не связано с финансированием Распределение (выделение) ресурсов Распределение (выделение) ресурсов

Метод Экспертная оценка. Международный состав экспертов Индикаторы: публикации, присужденные степени Самоанализ и экспертная оценка (5-балльная шкала) Экспертная оценка Индикаторы: кол-во публикаций, кол-во присуждаемых степеней

Периодичность Однократно Ежегодно Самоанализ каждые три года, внешняя оценка каждые шесть лет RAE проводилось в 1986, 1989, 1992, 1996, 2001 и 2008 г. Годовой цикл

Результат Отчет, последующее обсуждение, план по совершенствованию Публикация результатов, финансирование по результатам Отчет с ранжированием (5-балльная шкала) по четырем критериям Рейтинг (шкала со временем изменилась) Распределение финансирования

* До 1992 г. использовалась «система отбора исследований» (Research Selectivity Exercises (RAE). В последний раз данная система применялась в 2008 г.

Рис. 1. Оценка влияния исследований Research Excellence Framework

требования вводят различия между грантами на капитальные затраты и грантами на исследовательскую инфраструктуру; включают в данные по доходам средства, получаемые от оплаты за обучение студентов по исследовательским программам; исключают из данных по доходам средства, получаемые от аренды оборудования, даже если оно используется для исследовательской деятельности, а также доходы третьих лиц; включают данные о финансировании по другим государственным программам поддержки исследований; уточняют требования к публикациям, в том числе электронным публикациям книг и журналов20.

Системы оценки качества и результатов исследования существуют также в Финляндии, Новой Зеландии, Японии. В США и Канаде системы оценки являются децентрализованными. В США в последнее время начали работать несколько инициатив, направленных на координацию оценки качества исследований в штатах. В 2002 г. Офис управления и бюджета начал реализацию Программы оценки (Programme Assessment Rating Tool, PART). Каждый год около 20% программ проходят оценку, которая направлена на выявление сильных и слабых сторон исследовательской деятельности, в том числе анализ цели и структуры, стратегического планирования, управления, результатов и отчетности. Оценка осуществляется через систему аналитических вопросов. Основные критерии включают значимость, качество и эффективность использования ресурсов. Результаты применяются для распределения финансирования и являются публичными21.

Национальный фонд исследований США (National Science Foundation22), с 1950 г. осуществляющий финансирование около 20% от всех федеральных ресурсов, выделяемых на поддержку фундаментальных исследований, в соответствии со своей миссией должен выполнять оценку состояния и потребностей национального сектора исследований и разработок. Фонд собирает статистические данные по всей стране и регулярно публикует доклады по исследовательской деятельности. Фонд является одной из первых организаций в странах -

20 2011 Higher Education Research Data Collection Specifications for the Collection of 2010 data. ULR: http:// www.innovation.gov.au/Section/Research/Documents/ Draft2011HERDCSpecifications-stakeholderconsultation. pdf (date of access: 30.12.2010).

21 The Program Assessment Rating Tool (PART). URL: http://www.whitehouse.gov/omb/part/ (date of access: 30.12.2010).

22 National Science Foundation. URL: http://www.nsf.

gov/index.jsp (date of access: 30.12.2010).

членах ОЭСР, которая начала разрабатывать индикаторы оценки с целью формирования политики в этой сфере и совершенствования НИОКР. Данные включают пять основных категорий: статистические таблицы, результаты аналитических обзоров, периодические доклады, доклады по специальным темам, специальные доклады. Хотя Национальный фонд исследований работает в тесном сотрудничестве с другими национальными агентствами и отвечает за сбор, анализ данных по исследованиям и предоставление их федеральному правительству для формирования политики в этой сфере, эксперты считают, что влияние этих оценочных процессов не является значительным [12, 13]. В 2001 г. Фонд представил рекомендации по будущей системе оценки, основанной на пятилетнем цикле. Рекомендации направлены на повышение бюджетной координации, совершенствование иерархии приоритетов, реализацию более ответственной политики, основанной на оценке результатов исследований.

В Японии оценивание результатов исследований началось с 2001 г. в связи с обновлением национальной исследовательской системы. В рамках кабинета министров было создано специальное подразделение для координации исследований - Совет по научной и технологической политике, который готовит пятилетние планы развития национальной исследовательской системы, отвечает за координацию оценки и распределение ресурсов. Первый пятилетний план был принят еще до создания Совета в 1995 г. на 1996-2000 гг., второй план 20012005 гг. определил, что прозрачная и справедливая оценка должны стать национальным приоритетом. В 2004 г. Национальный институт научно-технологической политики23 провел аналитическую оценку результатов двух пятилетних планов. Результаты, опубликованные в 2005 г., включали оценку по следующим аспектам:

• бюджет;

• создание знания (исследовательская инфраструктура, интеллектуальные достижения и продуктивность, приоритеты);

• использование знания (сотрудничество с промышленностью, академическими институтами, правительственными структурами, а также инновации на региональном уровне);

• взаимодействие с обществом (вклад в развитие общества и качество жизни).

23 National Institute of Science and Technology Policy. Ministry of Education, Culture, Sports, Science and Technology. URL: http://www.nistep.go.jp/index-e.html (date of access: 30.12.2010).

Третий пятилетний план (2006-2010 гг.) нацелен на дальнейшее совершенствование системы, справедливое распределение ресурсов, формирование оценочной системы, которая была бы надежна и соответствовала глобальным стандартам. Однако общего стандарта оценки нет. Министерство образования, культуры, спорта, науки и технологий, которое распределяет 65% всего государственного финансирования на НИОКР, при помощи Бюро по политике в сфере науки и технологий, проводит оценку, адаптированную к типу института24. Оценка опирается на результаты самоанализа и для каждого направления исследований включает: отдельные факультеты, исследовательские программы, институты. Результаты публикуются, что призвано способствовать оценке влияния исследований на общество, повышению качества исследования и самооценки на основе сопоставления результатов. Результаты оценки по предварительным итогам третьего пятилетнего плана опубликованы в марте 2009 г. Доклад представляет сравнительный анализ тенденций развития научной и технологической политики и ее результатов в сравнении с ключевыми странами - партнерами Японии, сравнительный анализ центров совершенства и университетов, с выводами для будущей политики и приоритетами четвертого пятилетнего плана.

Некоторые страны, например, Финляндия и Норвегия, регулярно осуществляют оценку национальных исследовательских систем, связанную с конкретными инициативами или реформами.

Многие страны реализуют специальные инициативы (программы), направленные на повышение качества национальной системы исследований, в рамках которых также осуществляются как прогнозные оценки, так и оценки результатов программ (см. табл. «Национальные инициативы поддержки и повышения качества исследований» в Приложении).

Заключение. Сравнительный анализ системы показателей эффективности российских вузов и международных/зарубежных подходов

С целью сравнительного анализа системы показателей эффективности, принятых для оценки

24 В Японии 99 национальных университетов, 72 публичных университета и 478 частных.

реализации программ развития университетов, в отношении которых установлена категория «национальный исследовательский университет», с основными показателями, принятыми в международных системах, показатели эффективности, утвержденные Приказом № 276 Министерства образования и науки Российской Федерации «О перечне показателей, критериях и периодичности оценки эффективности реализации программ развития университетов, в отношении которых установлена категория «национальный исследовательский университет» от 29 июля 2009 г.25, были помещены в многомерную матрицу индикаторов оценки основных измерений исследовательской деятельности. Матрица была сформирована по результатам исследовательских проектов Европейской комиссии, направленных на создание международного рейтинга университетов по измерениям исследовательской деятельности26.

Таким образом, по категории показателей результативности исследовательской деятельности наблюдается высокий уровень сопоставимости. По категории «инновационные и социальные достижения» уровень сопоставимости также значительный. Практически в системе оценки НИУ не применяется только два показателя: занятость защитившихся аспирантов, который считается важным индикатором вклада вуза в формирование качества рынка труда; и уровень дохода от НИОКР на эквивалент одного штатного преподавателя, который дает возможность межуниверситетского сравнения для разных по масштабу университетов.

По группе показателей качества и академического результата в программе не используется целый ряд показателей, которые считаются «знаками качества» и международного признания, и легко поддаются проверке. Например, участие в редакционных и экспертных советах национальных и международных журналов, временные международные назначения. Некоторые из показателей этой группы, такие как impact factor, индексы цитирования, доклады на международных конференциях,

25 Приказ № 276 Министерства образования и науки Российской Федерации «О перечне показателей, критериях и периодичности оценки эффективности реализации программ развития университетов, в отношении которых установлена категория «национальный исследовательский университет» от 29 июля 2009 г. // Министерство образования и науки РФ. URL: http:// mon.gov.ru/pro/niu/ (дата обращения: 30.12.2010).

26 Assessing Europe's University-Based Research, 2010. URL: http://ec.europa.eu/research/science-society/ document_library/pdf_06/assessing-europe-university-based-research_en.pdf. (date of access: 30.12.2010).

Таблица 4. Основные участники национальных систем оценки исследовательской деятельности [12, 13]

Страна Основные участники Миссия Роль в оценке Веб-сайт

Министерство торговли и промышленности (DTI) Устанавливает, разрабатывает и координирует политику в области научных исследований на национальном уровне Контролирует и координирует всю процедуру оценки www.dti.gov.uk/

к X га н s ü VO о Управление по оценке научных и прикладных исследований (OST) Входит в состав Секретариата кабинета министров. Дает рекомендации правительству по вопросам, связанным с наукой и техникой, а также является основным источником финансирования фундаментальных исследований Обеспечивает использование всеми департаментами соответствующей процедуры оценки исследований, публикует руководства по проведению оценки, а также обеспечивает выполнение показателей www.ost.gov.uk/

2 s ^ ш ш Совет по научным исследованиям (RCUK) Финансирует университетские исследования от имени Управления по оценке роли исследований в науке и технике (OST) Проводит предварительную оценку для распределения финансирования на академические исследования www.ost.gov.uk/ research/coun cils/councils.htm

Совет по финансированию высших учебных заведений Англии, Шотландии, Уэльса и Северной Ирландии (HEFCE, SHEFC, HEFCW, DELNI) Продвигает и финансирует высококачественное, эффективное обучение и исследования в университетах и колледжах Англии Периодически проводит оценку исследований (RAE) для распределения государственного финансирования в сфере высшего образования www.hefce.ac.uk/ http://www.hero. ac.uk/rae/

Совет по политике в области науки и техники (STPC) Консультативный орган по вопросам выполнения оценки Обеспечивает руководство, осуществляет контроль и мониторинг оценочной деятельности в государственных институтах www.minedu.fi/ tiede_ja_teknol ogianeuvosto/eng/

Министерство торговли и промышленности Устанавливает, разрабатывает и координирует политику в области торговли и промышленности на национальном уровне Регулярно назначает проведение независимой оценки исследовательской деятельности институтов www.vn.fi/ktm/

Национальное агентство по технологиям Финляндии (TEKES) Финансирующий орган, действующий под руководством Министерства торговли и промышленности. Реализует программы в области технологий Оценивает технические научно-исследовательские программы www.tekes.fi

Министерство образования Устанавливает, разрабатывает и координирует политику в области образования на национальном уровне Контролирует оценочную деятельность в государственном секторе www.minedu.fi/ minedu/

X к X в Совет по оценке высшего образования (FINHHEC) Входит в состав Министерства образования. Занимается вопросами оценки Содействует высшим учебным заведениям в проведении оценки www.minedu.fi/ eopm/committ ees/finheec.html

Академия Финляндии Экспертная организация, входящая в состав государственного совета по исследованиям. Осуществляет исследовательскую деятельность и финансирует фундаментальные исследования Оценивает исследования, проводимые под руководством Государственного совета по исследованиям, представляет обзор состояния национальных исследований www.aka.fi/

T&E центры (центры трудоустройства и эко-развития) Дают рекомендации по развитию для бизнеса, предприятий и частных лиц Осуществляют оценку на региональном уровне http://www. enterprisefinland.fi/ liston/portal/page. lsp?r=4008& l=en

Статистика по исследованиям Национальный портал, посвященный статистическим данным по исследованиям Предоставляет основную статистическую информацию и показатели в области научных и прикладных исследований Финляндии www.research.fi/

Страна Основные участники Миссия Роль в оценке Веб-сайт

Министерство университетских, научных и технологических исследований (MIUR) Устанавливает, разрабатывает и координирует политику в области образования и научных исследований на национальном уровне Контролирует, координирует и назначает проведение оценки на национальном уровне www.miur.it/

Национальный комитет по координации оценки исследований (CIVR) Входит в состав MIUR, занимается вопросами оценки на национальном уровне Формирует рекомендации по проведению процедуры оценки и предлагает новые методологии www.civr.it

Национальный комитет по оценке системы университетов (CNVSU) Входит в состав MIUR, занимается вопросами оценки на уровне национальной системы университетов Осуществляет контроль по оценке исследований, проводимых университетами, и формирует рекомендации www.cnvsu.it/

Италия Внутренний комитет по оценке (CIV) Входит в состав MIUR, занимается вопросами оценки университетских исследований. Каждый университет учреждает свой внутренний комитет по оценке Координирует оценку исследований в рамках университета, в основном осуществляет сбор информации о реализованных исследованиях и передачу их в MIUR n. a.

Конференция ректоров итальянских университетов (CRUI) Является ассоциацией ректоров государственных и частных университетов, разрабатывает рекомендации по улучшению национальной системы университетов Поддерживает разработку методологий оценки и предоставляет информацию www.crui.it/

Национальный институт статистики (ISTAT) Является национальным агентством по статистике и данным по реализации научных исследований Предоставляет основную статистическую информацию и показатели в области научных и прикладных исследований Италии www.istat.it/

Региональный исследовательский институт в Ломбардии (IRER) Целью института является поддержка регионального и местного планирования на основе научных исследований Предоставляет показатели регионального развития и осуществляет оценку эффективности политики и мер, проводимых на региональном уровне www.irer.it/

Министерство науки и технологий Устанавливает, развивает и координирует технологические исследования на национальном уровне Контролирует, координирует и назначает проведение оценки www.mcyt.es

к s X Министерство образования и науки (MEC) Устанавливает, развивает и координирует на национальном уровне исследования, проводимые в системе образования Контролирует и назначает проведение оценки www.mec.es/

а с о И Национальное агентство по оценке (ANEP) Является независимым органом Министерства науки и технологий. Занимается вопросами оценки. Отвечает за оценку исследовательской деятельности, выполняемой в рамках национального плана в области научных исследований www.mec.es/ ciencia/jsp/plantil la.jsp?area= anep&id=22

Межведомственная комиссия по науке и технологиям (CICYT) Отвечает за подготовку и продвижение национального плана в области научных исследований Осуществляет мониторинг успешного выполнения плана в области научных исследований www.csic.es/index. do

со о о 'S * о Ключевые европейские факты и цифры Является базой данных выполнения показателей по Европе, созданной ЕС при поддержке центров статистики стран-участниц Производит обзор реализации научной и исследовательской деятельности в Европе, включая сравнительный анализ показателей по выбранным научно-исследовательским тематикам europa.eu/abc/ keyfigures/index _en.htm

ф с о m ш Информационная Служба по исследованиям и развитию (Community Research and Development Information Service (CORDIS)) Европейский онлайн-портал, посвященный европейским исследованиям Предоставляет все виды информации по европейским исследованиям, включая рамочные программы, конкурсы, события cordis.europa.eu/

Национальный научный фонд (NSF, 1950) Независимое агентство правительства США, поддерживающее научные исследования и разработки. Дает рекомендации президенту и конгрессу по вопросам научных исследований Оценивает состояние и потребности национальной системы исследований, предоставляет показатели по оценке научных и прикладных исследований, а также выпускает отчеты о выполнении национальных исследований www.nsf.gov/

Окончание табл. 4

Страна Основные участники Миссия Роль в оценке Веб-сайт

< Управление по статистике в области научных ресурсов (SRS) Основано в рамках NSF, отвечает за сбор информации о выполнении научных исследований Совместно с другими федеральными агентствами составляет периодический отчет о реализации исследований в области науки и технологий, осуществляет информационную поддержку других агентств федерального правительства www.nsf.gov/sbe/ srs/stats.htm

3 о Национальный совет по делам науки (NSB) Правление NSF Проводит анализ по вопросам политики в области исследований. Один раз в два года представляет показатели в области науки и техники www.nsf.gov/nsb/ documents/p olicy.htm

Управление по политике в области науки и технологий Белого дома (1976) Координирует исследовательские программы федеральных агентств и определяет стратегию для государственных исследований Оценивает уровень, качество и эффективность федеральных мер в области науки и техники www.ostp.gov/

Совет по политике в области науки и технологий ДОТР) Разрабатывает многолетний план в области науки и технологии и национальную стратегию в области исследований Оценивает исследовательские проекты, в том числе крупные, финансируемые правительством www8.cao.go.jp/ cstp/english/s

Министерство образования, культуры, спорта, науки и технологий (МЕХТ1) Осуществляет планирование и корректировку основной политики в области науки и технологии, разрабатывает исследовательские программы Продвигает оценку исследований в университетах, повышает взаимодействие науки и техники, осуществляет сбор статистики www.mext.go.jp/ english/

Япония Национальный институт научно-технологической политики Осуществляет анализ и оценку реализации пятилетний планов развития национальной исследовательской системы Японии Должен осуществлять оценку и прогнозирование государственных потребностей в области научно-технической политики, участвовать в процессе принятия решений, обеспечивать данные для процесса принятия решений МЕХТ1 http://www.nistep. go.jp/tm

Национальный институт научных степеней и оценки университетов Присваивает степени и осуществляет оценку Оценивает все государственные университеты и исследовательские институты, публикует отчет об оценке www.niad.ac.jp/ english/index.h

Министерство экономики, торговли и промышленности (МЕТ1) Устанавливает, разрабатывает и координирует политику на национальном уровне Оценивает исследовательские проекты www.meti.go.jp/ english/

Таблица 5. Оценка национальной системы, определяющая формирование будущей политики

Финляндия Норвегия

Ответственная организация Министерство образования, Министерство занятости и экономики, Совет по научной и технологической политике Министерство образования и науки (анализ национальной научной политики, доклад перед парламентом)

Объект оценки Национальная система исследований и инноваций (анализ национальной стратегии по науке, технологиям и инновациям с 1997-1999 гг.) Национальная исследовательская система и политика в области исследований

Основная цель Оценка вызовов, стоящих перед системой, с целью обеспечения ее соответствия задачам будущего Анализ, диагностика проблем и долгосрочные цели и стратегии на будущее

Осуществляется С середины 1990-х годов, один раз в три года С 1980-х годов, один раз в шесть лет/четыре года

Формат Группа экспертов с участием зарубежных ученых, экспертные оценки + библиометрические данные Группа экспертов с участием зарубежных ученых, расширенная экспертная оценка

Цель оценки 2009 г. Способность использовать глобальные исследовательские ресурсы, качество международной исследовательской деятельности, сравнительный анализ качества исследований финских университетов в международном контексте, анализ и долгосрочные цели и стратегии на будущее Качество, использование ресурсов (оборудование, кадры), использование результатов

Таблица 6. Многомерная матрица индикаторов основных измерений исследовательской деятельности

Индикатор Описание Возможности Ограничения Дальнейшее развитие

Производительность (результативность) исследовательской деятельности

Публикации и другие результаты. Присутствует в показателе 2.1 Перечня Минобрнауки РФ* О Количество Возможность выборочного учета в соответствии с целью. Стимулирует публикации как условие исследовательского развития Различия по дисциплинам. Акцент на количественных данных Формирование баз данных для различных дисциплин, особенно в области социальных и гуманитарных наук

Количество публикаций (и других результатов) на одного исследователя. Присутствует в показателе 2.1 Перечня Минобрнауки РФ* О Количество в расчете на эквивалент штатного исследователя («академического исследователя») Обеспечивает возможность межинституционального сравнения Сопоставительное определение понятия «академического исследователя» Согласование понятия «академического исследователя»

Качество и академический результат

Количество и процент публикаций в высокоцитируемых журналах. Используется отдельными университетами * Количество публикаций, impact factor Наиболее принят для точных наук. Данные должны быть выверенными Различия по областям знаний существенные, особенно для гуманитарных наук Ранжирование журналов по областям исследований, на основе экспертных оценок в сочетании с индикаторами. Разработка системы (иерархии) публикаций

Цитирование. Используется отдельными университетами * Индексы цитирования (Web of Science, Scorpus, Google Scholar) Наиболее принят для точных наук. Данные должны быть выверенными Не всегда полностью совпадает с качеством исследований, особенно для гуманитарных и социальных наук Расширение существующих баз данных, создание новых для включения более широкого круга дисциплин

Доклады на национальных и международных конференциях. Используется отдельными университетами * Количество докладов Используется как «знак качества, признания». Проверяется по программам конференций Отсутствие сопоставительной базы, возможности сопоставления для различных дисциплин Формирование базы данных потребует непосредственного участия исследователей. Формирование списка сопоставимых единиц

Количество престижных наград. Не используется • Количество престижных национальных и международных наград в целом или в расчете на одного исследователя Используется как «знак качества, признания». Легко проверяется Отсутствие сопоставительной базы, возможности сопоставления для различных дисциплин Формирование базы данных потребует непосредственного участия исследователей. Формирование списка сопоставимых единиц

Временные международные «назначения». Не используется • Количество временно занимаемых позиций в других академических (не академических) институтах (организациях) Используется как «знак качества, признания». Легко проверяется Отсутствие возможности сопоставления для различных дисциплин Формирование базы данных потребует непосредственного участия исследователей

Участие в редакционных и экспертных советах национальных и международных журналов Не используется • Количество временно занимаемых позиций в редакторских советах и экспертных советах национальных и международных журналов Используется как «знак качества, признания». Легко проверяется Отсутствие возможности сопоставления для различных дисциплин Формирование базы данных потребует непосредственного участия исследователей. Формирование списка сопоставимых единиц

Инновационные и социальные достижения

Доход от исследований. Присутствует в показателе 2.2 Перечня Минобрнауки РФ** О Внешнее привлеченное финансирование Сопоставимость и проверяемость дан-ных.Готовность производителя платить за разработку является полезным индикатором ожидаемого вклада университета в инновационность и экономику Значительные различия по дисциплинам. Сложность сбора и анализа данных. Согласование параметров международно-сопоставимой базы данных

Продолжение табл. 6

Индикатор Описание Возможности Ограничения Дальнейшее развитие

Процент выигранных грантов. Присутствует в показателе 2.2 Перечня Минобрнауки РФ** О Индикатор дохода от исследований Сопоставимость и проверяемость данных. Готовность производителя платить за разработку является полезным индикатором ожидаемого вклада университета в инновационность и экономику Значительные различия по дисциплинам. Сложность сбора и анализа данных Согласование параметров международно-сопоставимой базы данных

Уровень дохода на эквивалент одного штатного исследователя. Не используется • Индикатор обеспечивает возможность меж университетского сравнения Является важной мерой исследовательской активности Сопоставимость зависит от миссии института, дисциплины и социального контекста Данные должны соизмеряться с миссией и масштабом университета

Занятость защитившихся аспирантов. Не используется • Индикатор вклада в формирование качества рынка труда Используется для оценки качества выпускников и вклада исследовательской деятельности в процесс обучения Занятость чувствительна к другим факторам экономики. Карьерные возможности значительно отличаются по дисциплинам Разработка методов мониторинга занятости выпускников. Гармонизация этапов, на которых собираются данные по занятости

Коммерциализация интеллектуальной собственности. Присутствует в показателях 2.3*** и 2.4**** Перечня Минобрнау-ки РФ О Индикатор дохода от патентов, лицензий и новых бизнесов Сфера представляет все большее значение для политики. Индикатор является важным связующим звеном между ИС, коммерциализацией и экономическим результатом Патентование - очень слабый индикатор коммерциализации. Чувствительность к национальной специфике и дисциплине Формирование базы данных университетских изобретений

Признание пользователя. Присутствует в показателе 2.2 Перечня Минобрнауки РФ** О Заказы, контракты на различного рода деятельность Готовность пользователя платить за разработку является полезным индикатором ожидаемого вклада университета (разработки) в инновацион-ность и экономику Значительные различия по дисциплинам. Сложность сбора и анализа данных Согласование рамки для международного сопоставления и выверки данных

Процент финансирования от контрактов Присутствует в показателе 2.2 Перечня Минобрнауки РФ** О Является мерой доходности признания Сфера представляет все большее значение для политики. Индикатор является важным связующим звеном между исследованиями и их социальными и экономическими результатами Значительные различия по дисциплинам. Сложность сбора и анализа данных Согласование рамки для международного сопоставления и выверки данных

Устойчивость и масштаб

Нагрузка по аспирантам. Присутствует в показателе 3.3 Перечня Минобрнауки рф****** Соотношение количества аспирантов к эквиваленту штатного исследователя Ключевой индикатор интенсивности исследований, масштаба исследовательской деятельности Значительные различия по дисциплинам Согласование рамки для международного сопоставления и выверки данных

Включение молодых исследователей в команды. Не используется • Количество или процент молодых исследователей, включенных в проекты и команды Индикатор интенсивности исследований, масштаба исследовательской деятельности Значительные различия по дисциплинам Согласование определений «молодой исследователь» и рамки для международного сопоставления и выверки данных

Количество парт-нерств. Не используется • Количество парт-нерств с национальными и международными (зарубежными) университетами и организациями Индикатор интенсивности исследований, масштаба исследовательской деятельности, уровня интернационализации Сложноизмеримый показатель Согласование точного определение различных типов партнерств

Окончание табл. 6

Индикатор Описание Возможности Ограничения Дальнейшее развитие

Количество завершенных диссертационных работ. Присутствует в показателе 3.3 Перечня Минобрнауки рф****** * Количество защищенных работ Данные легко проверяются, хотя существует временной лаг Количество защищенных работ может различаться по дисциплинам. Для разных дисциплин магистерские и аспирантские работы могут иметь разное значение Требуется согласование общих требований к докторским работам

Исследовательская инфраструктура

Исследовательская активность академических сотрудников. Не используется • Количество активных исследователей в общем числе академических работников. Определяется через установление ряда показателей деятельности Важный индикатор исследовательского потенциала Отсутствие определения «исследовательская активность академического сотрудника» Согласование определения «исследовательская активность академического сотрудника»

Процент исследовательски-активных академических сотрудников к общему числу академических сотрудников. Не используется • Соотношение исследовательски-активных академических сотрудников и общего числа академических сотрудников Индикатор интенсивности исследований Отсутствие определения «исследовательская активность академического сотрудника» Согласование определения «исследовательская активность академического сотрудника»

Общие инвестиции в исследования и разработки. Не используется • Объем общих инвестиций в исследования и разработки, из всех источников, включая зарплаты и накладные расходы Является важным показателем прогноза качества исследовательской деятельности университета Сложно получить точные, сопоставимые данные Согласование основы для расчета полных затрат на исследования

Исследовательская инфраструктура. Присутствует в показателе 2.6 Перечня Минобрнауки рф***( Количество лабораторий, книг и электронных ресурсов, их уровень доступности Данные представляются на уровне университетов Сложно получить точные, сопоставимые данные. Индикатор «благоволит» старым университетам Разработка сопоставимых индикаторов

Исследовательская этика. Не используется • Процессы, обеспечивающие продвижение и использование этических принципов в исследовательской практике Важный индикатор качества исследовательской деятельности, строгости, целостности, требовательности к результатам. Наибольшее значение имеет внешняя оценка (peer review) Документы по использованию этических принципов в исследовательской практике, в том числе с точки зрения источников финансирования, имеют очень противоречивый характер Разработка индикаторов этики исследовательской деятельности, обеспечивающих продвижение и использование этических принципов в исследовательской практике, без вмешательства в творческий процесс

Примечания:

О - индикаторы, по которым отмечается высокий уровень сопоставимости.

* - частично сопоставимые индикаторы или индикаторы, используемые отдельными университетами.

* - индикаторы не применяются в практике оценки НИУ.

* Показатель 2.1. Перечня: Количество статей по ПНР НИУ в научной периодике, индексируемой иностранными и российскими организациями в расчете на одного НПР.

** Показатель 2.2. Перечня: Доля доходов от научно-исследовательских и опытно-конструкторских работ (НИОКР) в общих доходах НИУ

*** Показатель 2.3. Перечня: Отношение доходов от реализованной научно-технической продукции, включая права на результаты интеллектуальной собственности, к расходам федерального бюджета на НИОКР.

**** Показатель 2.4. Перечня: Количество поставленных на бухучет объектов интеллектуальной собственности.

***** Показатель 2.6. Перечня: Количество научных лабораторий, оснащенных высокотехнологичным оборудованием.

****** Показатель 3.3 Перечня: Эффективность работы аспирантуры и докторантуры.

применяются отдельными НИУ, но не заданы национальной программой.

По категории «устойчивость и масштаб» показатели частично сопоставимы, поскольку нагрузка по аспирантам и количество завершенных диссертационных работ присутствуют в показателе «эффективность работы докторантуры и аспирантуры». Было бы целесообразно давать их в более явной форме. Представляется также полезным включить в оценку интенсивность и масштаб исследовательской деятельности на основе таких показателей, как «количество партнерств» и «количество (или процент) молодых преподавателей», включенных в исследовательские проекты. Кроме того, при оценке эффективности деятельности по созданию научных лабораторий международного уровня могут иметь существенное значение индикаторы интернационализации.

По категории показателей «исследовательская инфраструктура» наблюдаются значительные различия, поскольку в качестве показателя оценки эффективности НИУ по этой категории применяется оценка материальных активов (количество лабораторий, оснащенных высокотехнологичным оборудованием). При этом не используются показатели исследовательской активности академических сотрудников, хотя косвенным образом они заложены в показателях развития кадрового потенциала НИУ, поскольку показатели доли НПР в возрасте от 30 до 49 лет и доли НПР, имеющих ученую степень доктора и кандидата наук, формально должны быть индикаторами исследовательского потенциала. Не используется также и показатель общих инвестиций в исследования и разработки из всех источников, считающийся важным для прогноза качества исследовательской деятельности университета. Эти индикаторы также могут иметь значение при оценке эффективности деятельности по созданию научных лабораторий международного уровня.

Группа показателей успешности образовательной деятельности в многомерной матрице индикаторов оценки основных измерений исследовательской деятельности отсутствует, в этой связи для сопоставления были приняты индикаторы условий осуществления образовательного процесса Times Education Supplement 2010. Следует отметить, что по этим показателям уровень сопоставимости оказался наиболее низким. При анализе деятельности НИУ не используются данные об

отношении количества присужденных докторских степеней и степеней бакалавра, количество присужденных степеней бакалавра в расчете на эквивалент академического исследователя, количество присужденных PhD в расчете на эквивалент академического исследователя.

По всем категориям применяются показатели, ограничивающие оценку приоритетными направлениями развития, что совершенно справедливо для целей оценки эффективности реализации программ развития университетов. Однако учитывая влияние, которое они должны оказать на становление вузов как исследовательских университетов в целом, было бы целесообразно проработать систему критериев оценки качества исследовательской деятельности университетов как основы национальной системы оценки качества исследовательской деятельности. Это тем более важно, что данными университетами осуществляются проекты в рамках других масштабных программ27, совокупные результаты которых должны обеспечить их вклад в создание национальной исследовательской и инновационной системы, достижение качественных изменений в системе высшей школы и достижение признания в мировой конкурентной среде. Поэтому действующие в настоящее время дискретные системы оценки результатов программной деятельности могли бы стать основой для формирования национальной системы оценки исследовательской деятельности. Учитывая, что критерии оценки способны влиять на поведение университетов, выбор индикаторов может содействовать интеграции российских вузов в международное исследовательское пространство.

27 Постановление Правительства Российской Федерации № 218 «О мерах государственной поддержки развития кооперации российских высших учебных заведений и организаций, реализующих комплексные проекты по созданию высокотехнологичного производства». URL: http://mon.gov.ru/pro/ved/koop/10.04.09-218.pdf (дата обращения: 30.12.2010).

Постановление Правительства Российской Федерации № 219 «О государственной поддержке развития инновационной инфраструктуры в федеральных образовательных учреждениях высшего профессионального образования». URL: http://mon.gov.ru/pro/ved/ infr/10.04.09-219.pdf (дата обращения: 30.12.2010).

Постановление Правительства России № 220 «О мерах по привлечению ведущих ученых в российские образовательные учреждения высшего профессионального образования» URL: http://mon.gov.ru/pro/ ved/uch/ (дата обращения: 30.12.2010).

Приложение. Национальные инициативы поддержки и повышения качества исследовании*

Страна/ регион Название Количество целевых университетов и критерии Объем финансирования Инвестиционный период

Африка NEPAD (НЕПАД)/ по предложению Комиссии Т. Блэра по развитию Африки http://www.eurodad.org/articles/ default.aspx?id=595 Возрождение институтов высшего образования Африки. Развитие центров превосходства в области науки и технологий, в том числе африканских технологических институтов 500 млн долл. США в год, более 10 лет. Около 3 млрд долл. США в течение 10 лет Начало действия - 2006 г.

Канада Сети центров превосходства Канады http://www.nce.gc.ca/ В настоящее время финансируются 23 сети центров превосходства. 16 сетей получили финансирование ранее 77,4 млн канад. долл. в год, начиная с 1999 г. 47,3 млн канад. долл. в год в течение 19971999 гг. 437 млн канад. долл. всего за 1988-1998 гг. Функционирует с 1988 г., в качестве постоянно действующей программы -с 1997 г.

Канада Канадская инициатива по поддержке кафедр превосходства www.budget.gc.ca/2008/speech-discours/speech-discours-eng.asp Четыре направления Федеральной стратегии в науке и технологиях: окружающая среда, природные ресурсы и энергетика, здравоохранение, информационные и коммуникационные технологии 21 млн канад. долл. 2009-2012 гг.

Чили Чилийская научная инициатива Тысячелетия http://www.msi-sig.org/msi/ current.html Группы исследователей Три научных института: 1 млн долл. США в год в течение 10 лет, 5-12 исследовательских групп: 250 тыс. долл. США в год, 25 млн долл. США всего за 20002004 гг. Каждые 5 лет для исследовательских групп и каждые 10 лет для институтов

Китай Проект «Китай-211» Report on 211 Project (1995-2005) // Ministerial Office of 211 Project. Beijing: Higher Education Press, 2007 107 учреждений высшего образования 36,82 млрд юаней в течение 1995-2005 гг. Запущена в 1996 г. 1996-2000 (1-й раунд) 2001-2006 (2-й раунд) 2007-2011 (3-й раунд)

Китай Проект «Китай-985» Liu N.C., Zhou L. Building Research University for Achieving the Goal of an Innovative Country. Beijing: China Renmin University Press, 2007 39 исследовательских университетов 27,07 млрд юаней (1-й раунд) Запущена в 1999 г.: 1999-2001 (1-й раунд) 2004-2007 (2-й раунд)

Китай Институты Академии наук Китая http://www.itps.se/Archive/ Documents/Swedish/Publikationer/ Rapporter/Arbetsrapporter%20 (R)/R2007/R2007_001%20FoU- finansiarer.pdf; http://www.cas.ac.cn/html/ books/o6122/e1/04/tongzhi/ tz004.htm http://baike.baidu.com/ view/229786.htm Математика и физика - 15 Химия и химическая промышленность - 12 Биологические науки - 20 Науки о земле - 19 Технологические науки - 21 Другие - 2 4,8 млрд юаней (1-й раунд) 1998-2000 (1-й раунд), 2001-2005 (2-й раунд) 2006-2010 (3-й раунд)

Дания Глобализационный фонд Финансирование распределяется на конкурсной основе 1,9 млрд долл. США в течение 2007-2012 гг. Запущена в 2006 г.

ЕС Европейская комиссия, Седьмая рамочная программа http://ec.europa.eu/research/era/ pdf/centres.pdf http://cordis.europa.eu/fp7/what_ en.html#funding Определяется структурой исследовательских заявок Общий бюджет 50,5 млрд евро 2007-2013

* Дополнена и адаптирована таблица из книги: Salmi J. The Challenge of Establishing World-Class Universities. The International Bank for Reconstruction and Development / The World Bank, 2009. URL: http://siteresources.worldbank. org/EDUCATION/Resources/278200-1099079877269/547664-1099079956815/547670-1237305262556/WCU.pdf (date of access: 30.12.2010).

Страна/ регион Название Количество целевых университетов и критерии Объем финансирования Инвестиционный период

Франция Действующий кампус jhttp://www.france-science.org/ Operation-Campus-6-projects- kept?var_recherche=operation%20 campus; http://www. universityworldnews.com/article. php?story=20080613092922742 Развитие 10 региональных центров превосходства в области высшего образования и исследований. В целом центры переформируют 38 университетов и исследовательских организаций, представляющих 340 тыс. студентов и 13 тыс. исследователей 5 млрд евро Запущена в 2008 г.

Германия Инициатива превосходства Германии 2006 http://www.dfg.de/en/research_ funding/coordinated_programmes/ excellence_initiative/ 40 институтов, ведущих программы магистерского уровня, 30 кластеров превосходства (университеты и частный сектор), 10 ведущих исследовательских университетов Всего 2,3 млрд долл. США 5-летнее финансирование; два раунда -в 2006 г. и 2007 г.

Япония Программа Японии «Топ-30» (Центры превосходства в рамках плана на XXI в.) http://www.jsps.go.jp/english/e-21coe/index.html 31 учреждение высшего образования 150 млн долл. США в год (всего 37,8 млн иен) 5-летнее финансирование: запущена в 2002 г., три раунда - в 2002, 2003 и 2004 гг.

Япония Программа создания глобальных центров превосходства Японии http://www.jsps.go.jp/english/e-globalcoe/index.html; http://www. jsps.go.jp/english/e-globalcoe/data/ application_guidelines.pdf; http:// www.jsps.go.jp/english/e-globalcoe/ data/review_guidelines.pdf 50-75 центров финансируются ежегодно (в пяти новых областях науки) 50-500 млн иен на центр в год (около 400 тыс. -4 млн долл. США) 5 лет, запущена в 2007 г.

Корея Программа «Brain Korea 21» http://unpan1.un.org/intradoc/ groups/public/documents/APCITY/ UNPAN015416.pdf; http://www. bk21.or.kr/datas/english_ver.htm Наука и технологии - 11 Гуманитарные и социальные науки - 11 Ведущие региональные университеты - 38 Магистерские программы в 11 университетах Всего 1,17 млн долл. США 7 лет; два раунда в 1999 г.

Корея Фонд науки и инженерии Кореи http://www.kosef.re.kr/english_ new/programs/programs 01 04. html 1) Научные исследовательские центры/технические исследовательские центры: около 65 центров 2) Медицинские научные и технические исследовательские центры: 18 центров 3) Национальная сеть исследовательских центров: 6 центров 64,2 млн долл. США в год 7 млн долл. США в год 10,8 млн долл. США в год 1) До 9 лет 2) До 9 лет 3) До 7 лет

Российская Федерация Поддержка создания и развития сети Федеральных университетов http://mon.gov.ru/pro/pnpo/fed/ Создание сети ведущих федеральных университетов, которые являются специализированными исследовательскими университетами и центрами непрерывного профессионального образования Пяти вузам по 1,0 млрд руб. на 2010 г. 9 университетов

Российская Федерация Поддержка создания и развития сети национальных исследовательских университетов http://mon.gov.ru/pro/niu/ Создание сети национальных исследовательских университетов До 1,8 млрд руб на 5 лет 29 университетов

Тайвань (Китай) План развития исследовательского превосходства университетов Тайваня http://unpan1.un.org/intradoc/ groups/public/documents/APCITY/ UNPAN015416.pdf Отбор и финансирование областей исследований, значимых на мировом уровне 400 млн долл. США 4 года

Великобритания Финансирование для превосходства http://www.hefce.ac.uk/research/ funding/ http://www.rcuk.ac.uk/research/ resfunding.htm http://www.rae.ac.uk/ Университеты с наивысшими баллами по итогам оценки исследований 8,63 млрд долл. США по итогам экспертизы в 2001 г. 5 лет для исследовательских центров, финансируемых советом, 2 раунда: в 1996 г. и 2001 г. Опубликованы итоги оценки исследований в 2008 г.

Страна/ регион Название Количество целевых университетов и критерии Объем финансирования Инвестиционный период

США, Аризона Научный фонд Аризоны http://www.sfaz.org/ Государственно-частное партнерство для укрепления исследований в области науки, техники и медицины 135 млн долл. США + 135 млн долл. США (в соотношении 1:1) Ежегодно с 2006 г.

США, Калифорния Калифорнийский институт науки и инноваций http://www.ucop.edu/california-institutes/about/about.htm Партнерство университетов и промышленности для решения государственных проблем 400 млн долл. США + 800 млн долл. США (в соотношении 1:2) Ежегодно с 2000 г.

США, Северная Дакота Центр превосходства Северной Дакоты http://governor.state.nd.us/media/ speeches/040325.html Государственно-частные центры для удовлетворения нужд местного сообщества 50 млн долл. США + 100 млн долл. США (в соотношении 2:1) Ежегодно с 2007 г.

США, Вашингтон Вашингтонский фонд медико-биологических исследований http://www.lsdfa.org/home.html Биологические исследования, приносящие пользу экономике и здравоохранению 350 млн долл. США 10 лет, начиная с 2005 г.

США, Джорджия Исследовательский союз Джорджии http://www.gra.org/homepage.asp Государственно-частное партнерство для привлечения выдающихся ученых в университеты Джорджии 30 млн долл. США Ежегодно с 1990 г.

США, Индиана Фонд исследований и технологий XXI в. http://www.21fund.org/ Академические и коммерческие партнерства 26 млн долл. США Ежегодно с 1999 г.

США, Кентукки «Деньги для мозгов» Kentucky's Buck for Brains http://www.wku.edu/IA/bucks/ index.html Кафедры для выдающихся исследователей 350 млн долл. США С 1997 г.

США, Огайо «Третий фронт» http://www.odod.ohio.gov/tech/ program.htm Создание центров инноваций как совместная инициатива университетов и частных исследовательских организаций 1,6 млрд долл. США 10 лет, начиная с 2003

США, Оклахома Центр продвижения науки и технологий http://www.ocast.state.ok.us/ Исследования в области на-нотехнологий 29 млн долл. США Ежегодно с 1987 г.

Литература

1. Salmi J. The Challenge of Establishing World-class Universities // The International Bank for Reconstruction and Development / The World Bank. 2009. URL: http://siteresources.worldbank.org/EDUCATION/.pdf (date of access: 30.12.2010).

2. Boulton G. University Rankings: Diversity, Excellence and the European Initiative // The League of European Research Universities. Advice Paper No. 3. 2010. URL: http://www.leru.org/files/publica-tions/LERU_AP3_2010_Ranking.pdf (date of access: 30.12.2010).

3. Federkeil G. World Class Universities and Rankings. An Unhealthy Relationship // Center for Higher Education Development, 2010. URL: http://www. aca-secretariat.be/fileadmin/aca_docs/event_

presentations/2010/EPS3__World-class/Gero%20

Federkeil.pdf (date of access: 30.12.2010).

4. Frascati Manual. Paris: OECD, 2002.

5. Hansen Hanne Foss. Research Evaluation: Methods, Practice, and Experience. Danish Agency for Science, Technology and Innovation // Ministry of Technology and Innovation, March 2009. URL: http://en.fi. dk/research/rearch-evaluation-methods-practice-and-experience (date of access: 30.12.2010).

6. International Comparison of Research Quality in the New Zealand Tertiary Education System: Discussion paper // Allen Consulting Group, 2004. URL: http:// www.allenconsult.com.au/nztec (date of access: 30.12.2010).

7. Performance Indicators for Assessing and Benchmarking Research Capacities in Universities. Paper prepared for the GUNI - Asia and Pacific // Center for Higher Education Management and Policy. University of New England, Australia, 2005.

8. Profile of Australian Science: A Study of the Current State and Potential of Basic Scientific Research. Canberra: Australian Government Publishing Service // Australian Science and Technology Council (ATSEC). 1989. P. 329.

9. Rudd E. The Evaluation of the Quality of Research // Studies in Higher Education.1988. No. 13 (1). P. 45-57.

10. Research Quality Framework: Assessing the Quality and Impact of Research in Australia - Issues Paper //Department of Education Science and Training (DEST), 2005. URL: http://www.dest.gov.au/resqual/ issues_paper.htm (date of access: 30.12.2010).

11. Yates L. Is Impact a Measure of Quality? Some Reflections on the Research Quality and Impact Assessment Agendas. University of Melbourne, Australia, 2005. URL: http://www.wwwords.co.uk/pdf/validate.a

sp?j=eerj&vol=4&issue=4&year=2005&article=5_Yat-es_EERJ_4_4_web (date of access: 30.12.2010).

12. Bucchi M., Papponetti V. Research Evaluation as a Policy Design Tool: Mapping Approaches across a Set of Case Studies // The Fondazione Eni Enrico Mattei Note di Lavoro Series Index. 2007. URL: http://www. feem.it/Feem/Pub/Publications/WPapers/default.htm (date of access: 30.12. 2010).

13. Social Science Research Network Electronic Paper Collection. URL: http://ssrn.com/abstract=999929 (date of access: 30.12.2010).

14. Grant J., Brutscher Ph.B., Kirk S., Butler L., Wooding St. Capturing Research Impacts: A Review of International Practice // A Review of International Practice, DB-578_HEFCE. Prepared for the Higher Education Funding Council for England. 2009. URL: http://www. hefce.ac.uk/pubs/rdreports/2009/rd23_09/ (date of access: 30.12.2010).

15. Towards an Effective 8th Framework Programme for Research. Prepared by the LERU Community of the European Research Project Managers. League of European Research Universities // Advice paper No. 2. 2010. URL: http://www.leru.org/files/publications/ LERU_Advice_paper_FP8_final.pdf (date of access: 30.12.2010).

16. Aghion P., Dewatripont M., Hoxby C.M., Mas-Colell A., Sapir A. The Governance and Performance of Research Universities: Evidence from Europe and the U.S // NBER Working Paper No. 14851. 2009. URL: http://www.nber.org/papers/w14851 (date of access: 30.12.2010).

17. Quinlan K.M., Kane M., Trochim W.M.K. Evaluation of Large Research Initiatives: Outcomes, Challenges, and Methodological Considerations // New Directions for Evaluation, Special Issue: Reforming the Evaluation

Research. 2008. No. 118. URL: www.interscience.wi-ley.com (date of access: 30.12.2010).

18. Geuna A., Martin B.R. University Research Evaluation and Funding: An International Comparison. Kluwer Academic Publishers. Minerva 41. 2003. P. 277-304. URL: https://springerlink3.metapress.com/content/q5v5 44kx41m4q74p/resource-secured/?target=fulltext.pdf& sid=vn00ca3samt2cubsjr3epr45&sh=www.springerlink. com (date of access: 30.12.2010).

19. The Future of the Research University. Meeting the Global Challenges of the 21st Century // Ewing Marion Kauffman Foundation. 2008. URL: http://www. kauffman.org/uploadedFiles/planck_book_110408. pdf (date of access: 30.12.2010).

20. Garcia-Aracil A., Gutierrez Gracia A., Perez-Marin M. Analysis of the Evaluation Process of the Research Performance: An Empirical Case // Institute for Innovation and Knowledge Management. INGENIO (CSIC-UPV), Technical University of Valencia, Spain. URL: http://digital.csic.es/bitstream/10261/17664Z1/scien-tometrics%2067_2_p%20213.pdf (date of access: 30.12.2010).

21. Gray D.O. Making Team Science Better: Applying Improvement-oriented Evaluation Principles to Evaluation of Cooperative Research Centers // Reforming the Evaluation of Research. New Directions for Evaluation / C.L.S. Coryn, M. Scriven (eds.). 2008. No. 118. P. 7387. URL: http://onlinelibrary.wiley.com/doi/10.1002/ ev.262/abstract (date of access: 30.12.2010).

22. Hage J., Jordan G., Mote J. A Theory-based Innovation Systems Framework for Evaluating Diverse Portfolios of Research, Part Two: Macro Indicators and Policy Interventions // Science and Public Policy. 2007. Vol. 34. No. 10. P. 731-741. URL: http://www.ingenta-connect (date of access: 30.12.2010).