CC BY
393
Международный опыт мониторинга и оценки систем образования
Б.В. Железов*
Развитие как национальной системы образования, так и международного образовательного сотрудничества на основе проектного подхода, ориентированного на достижение определенных результатов, растущий объем ресурсов, выделяемых на реализацию образовательных проектов, делают актуальным также вопрос эффективности систем мониторинга и оценки.
В статье представлен краткий обзор истории развития мониторинга систем образования, а также обзор систем мониторинга и оценки наиболее крупных проектов, реализуемых международными организациями Европы в сфере образования, в большинстве которых Россия принимает участие.
В Заключении приведены наиболее общие параметры мониторинга, которые можно считать базовыми для всех образовательных проектов.
К истории вопроса
Используемые в сфере мониторинга образования базовые определения и понятия практически не отличаются от принятых для всех других сфер социальной политики.
Под мониторингом обычно понимается регулярно осуществляемая процедура систематического сбора данных о наиболее важных аспектах образования на национальном, региональном и локальном уровнях. Часто мониторинг основан на данных, полученных различными способами оценивания.
Под оцениванием assessment (в отличие от оценки evaluation) подразумевают различные способы сбора информации о результатах обучения. Способы оценивания могут быть субъективными, основанными на мнениях экспертов, или объективными, основанными на результатах, полученных на основе сопоставления со стандартизированными тестами, хотя и в этом, последнем, случае сами тесты также разрабатываются экспертами и, следовательно, не могут давать «абсолютно» объективное оценивание. Поэтому существует два различных подхода к оцениванию - оценивание на осно-
ве нормативов и оценивание на основе критериев.
Под оценкой, согласно одному их определений, понимается систематический сбор и интерпретация фактов, ведущая, как часть процесса, к заключениям о произведенных действиях в отношении к полученным результатам.
Благодаря возможности получения оценки мониторинг может являться инструментом отчетности и контроля соблюдения стандартов.
В понимании западных экспертов, установление стандартов в широком смысле означает определение такого уровня развития той или иной социальной сферы, который удовлетворяет как общественные, так и личные потребности. Образовательные стандарты должны задавать уровень освоения содержания дисциплин и показатели его достижения. В сфере образования в этой связи выделяются три типа стандартов: стандарты возможностей обучения, стандарты содержания и стандарты показателей результатов. Последний тип показателей, в частности, и должен дать возможность определить насколько глубоко студенты должны освоить предлагаемое содержание. Очевидно, что показатели результатов и содержание взаимосвязаны и зависят от предоставленных возможностей изучения.
В одном из наиболее фундаментальных исследований проблем мониторинга образования авторы связывают появление на Западе систем общенациональных стандартов для содержания образовательных программ и результатов обучения с запуском первого советского спутника в 1957 г.1 Это событие, по их мнению, было воспринято американскими и западноевропейскими политиками как вызов эффективности всей системы образования, существующей в их странах, для трансформации которой и потребовалась оценка уровня существовавшего интеллектуального потенциала населения и последующего его изменения.
Что касается проведения мониторинга в системах образования до 1950-х гг., то исследователи отмечают предпринятый в США в
* Материал подготовлен заместителем проректора ГУ ВШЭ, к. полит. н. Борисом Валерьевичем Железо-
1 Tuijnman A.C., Neville T. Postlethwaite Monitoring of Standards of Education. Pergamon, 1994. P. 1.
1930-е гг. эксперимент по сравнению результатов обучения в 30 американских школах с новыми программами со школами, где обучение проводилось по старым программам. Введение стандартов и оценка соответствия им содержания программ обучения в различных образовательных учреждениях и заложили основу мониторинга в системах образования, интерес к развитию которого естественным образом усиливался в периоды проведения реформ.
Инициативы по проведению международных сравнительных исследований показателей систем образования были впервые выдвинуты в рамках конференций ЮНЕСКО также на рубеже 1950-1960-х гг. В 1961 г. в результате состоявшихся обсуждений была создана Международная ассоциация по оценке достижений обучения (1ЕА), начавшая свою деятельность с крупномасштабного международного исследования достижений по обучению математике2.
В настоящее время системы мониторинга и оценки (СМИО) в сфере образования довольно широко используются в мире в самых разных странах на самых разных уровнях - от отдельных программ в школах, на уровне регионов и областей (штатов), на общенациональном и международном уровне.
Пожалуй, наиболее важное различие в системах СМИО связано с поставленными перед ними целями и задачами. С некоторой натяжкой можно утверждать, что «внутренние» СМИО, существующие на региональном и национальном уровне, используются в первую очередь для контроля деятельности образовательных учреждений с точки зрения достижения их учениками определенных средних показателей. Контролируется выполнение учебными учреждениями в процессе обучения определенных норм материально-технического обеспечения, санитарно-гигиенического состояния, учебной нагрузки на ученика (студента) и учителя (преподавателя). Международные исследования в большей степени ориентированы на выявление лучших достижений или отставания по отношению к другим странам.
Так, например, оценка вуза или школы по такому параметру, как число свободных выходов в Интернет, с точки зрения среднего показателя по стране может оказаться приемлемой, тогда как по сравнению с наиболее развитыми странами этот вуз или школу никак нельзя назвать удовлетворительно оснащенными.
В отдельную группу по ряду характеристик можно выделить СМИО, используемые международными организациями в первую очередь для оценки эффективности их программ.
Существенные различия имеют место в используемых статистических и социологических инструментах, индикаторах и критериях оценки и способах их разработки.
Общей тенденцией всех систем мониторинга в последнее время стала их ориентация на результат, большее внимание к эффективному использованию ресурсов и качеству управления.
Об этом свидетельствует, в частности, приведенный ниже обзор крупнейших общеевропейских программ развития образования, в большинстве которых Россия принимает непосредственное участие.
Мониторинг программ «Тасис»
«Тасис» (программа технической помощи странам СНГ) является инструментальной основой сотрудничества России и ЕС. Российская Федерация получила самый большой объем финансирования проектов по программе «Тасис» на постсоветском пространстве - около половины всего бюджета программы. С момента запуска программы в 1991 г. до 2005 г. в 58 регионах России было осуществлено свыше 1500 проектов на общую сумму более 2,7 млрд евро3. Поддержка участия в программах и проектах «Тем-пус» занимает наиболее существенную часть в сотрудничестве между Россией и ЕС в сфере образования. Из 45 млн евро, выделенных ЕС на поддержку сотрудничества в образовании на 2004-2006 гг., 30 млн евро должны были быть реализованы в рамках программы «Темпус».
Каждый этап программного сотрудничества завершается оценкой достигнутых результатов.
В 2004-2006 гг. программа «Тасис» реали-зовывалась на основании Соглашения о партнерстве и сотрудничестве ЕС и России (СПС), Регламента ТАСИС № 99/2000 от 29.12.99 и Стратегии деятельности ЕС в России 20022006 гг. Разработанная на их основе Национальная индикативная программа (НИП) на 20042006 гг. с бюджетом в 392 млн евро была одобрена Европейской комиссией 21 мая 2003 г.4
В обосновании раздела «Образование» отмечается, что продолжение поддержки сектора образования является ключевым требованием
2 http://www.iea.nl/
3 http://www.delrus.ec.europa.eu/ru/p_336.html.
4
National Indicative Programme Country: Russian Federation Budget Years: 2004-2006.
для закрепления долгосрочного устойчивого экономического роста и дальнейших преобразований на пути к рыночной экономике.
Документ устанавливал три основных ориентира для развития программ:
• модернизация структуры, содержания и методологии обучения в высшем образовании, а также структуры и управления вузами через программу «Темпус»;
• поддержка реформ общего и профессионального образования в определенных ключевых областях и укрепление связи между системой образования и потребностями рынка труда;
• упрощение процедур аккредитации.
В качестве индикаторов прогресса в этих областях определены:
• число и доля вузов, участвующих в партнерской деятельности со странами ЕС;
• число новых и число обновленных программ обучения, основанных на новых и обновленных учебно-методических материалах;
• число вузов, системы управления в которых подверглись реструктуризации и модернизации;
• ежегодная численность студентов, участвующих в обменах;
• время, необходимое для прохождения аккредитации процедур.
Данные цели достигаются путем реализации практических мер и проектов, включая содействие развитию связей между российскими и европейскими университетами; поощрение выдачи совместных или двойных дипломов; создание систем управления качеством российских учебных программ и институтов, а также внутренних университетских программ контроля качества; поддержка участия России в программе «Эразмус Мундус»; продвижение изучения ЕС в России (включая профессиональную подготовку государственных служащих и аспирантов, а также создание Европейского учебного института при МГИМО); и кроме того, содействие изучению России и русского языка в ЕС и изучению европейских языков и языков ЕС в России.
Оценка программ «Тасис», естественно, основывается на результатах мониторинга ее компонентов, включая «Темпус». В задачи оценки также входят:
• уровень соответствия заявленным целям;
• эффективность;
• результативность;
• достижение устойчивых результатов;
• долгосрочный вклад.
Вполне естественно, что проведение столь разноплановой и географически распределенной программы, как «Тасис», потребовало значительных усилий на протяжении трех крупных этапов: кабинетное исследование, полевые исследования, обработка и обобщение результатов.
Одной из кратких форм представления результатов стала «оценочная матрица», включающая вопросы для оценки, критерии оценивания, индикаторы (показатели), средства проверки.
Завершенная в 2006 г. внешняя оценка результатов деятельности «Тасис»5 содержит, в частности, выводы, согласно которым некоторые реализованные программы в долгосрочной перспективе оказались недостаточно эффективными, так как не были привязаны к конкретным институтам. В результате после завершения проектов начатая деятельность не находила продолжения даже в случаях, когда непосредственные результаты этой деятельности были весьма успешными. В других случаях проблема долгосрочной эффективности была связана с тем, что предлагаемые программы были в недостаточной степени согласованы на правительственном уровне. Наконец, в ряде случаев разработанные программы оказывались не востребованы теми целевыми группами, для которых они были разработаны, что свидетельствует об их недостаточной проработанности.
Мониторинг программ «Темпус»
Требование проведения периодической независимой оценки результатов деятельности в рамках проектов программы «Темпус» было заложено в решении о реализации программы, начиная с ее запуска в 1990 г.
Для проведения оценки на каждом этапе реализации программы на конкурсной основе определяется организация-исполнитель, которая проводит кабинетное исследование стратегических документов и отчетов, социологические опросы участников проектов и других бенефициаров, а также представителей правительственных структур и других организаций, заинтересованных в результатах программы.
Результаты оценки составляют основу отчета, содержащего рекомендации в отношении
5 http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2006/728_vol1_en.pdf.
будущей стратегии реализации программы. При этом углубленные промежуточные оценки осуществляются в ходе реализации каждого этапа с целью корректировки стратегии до его окончания.
Важно отметить, что деятельность отобранной организации также получила отдельную оценку6.
Структура системы мониторинга и оценки программы «Темпус», реализованной в ходе 3-го этапа программы (декабрь 2002 г. - июнь 2003 г.)
Постановка задачи (формулируется в техническом задании)
• Оценка структуры и реализации программы («Темпус») в свете социально-экономической ситуации в партнерской стране.
• Уроки, вытекающие из предыдущего этапа программы, с точки зрения рекомендаций на будущее.
Техническое задание включало постановку шести вопросов, ответы на которые должны были быть получены в результате мониторинга:
1. Сохраняются ли сегодня социально-экономические потребности, давшие начало первому и второму этапам программы «Темпус»? Соответствуют ли цели программы условиям образования, существующим в странах-партнерах? Насколько велик вклад программы в изменение социально-экономических условий в этих странах?
2. Являются ли объявления о конкурсах и процесс отбора, основанные на национальных приоритетах, правомерным подходом, и насколько приемлемо содействие сотрудничеству между сопредельными странами-участницами в программе, руководствующейся национальными интересами?
3. Соответствует ли многосторонняя модель, включающая вузы стран ЕС и стран-партнеров, целям программы и, в частности, какова добавленная стоимость по отношению к структурному инвестированию в образовательную реформу?
4. Насколько важны проекты разных типов (их результаты), поддерживаемые Про-
граммой (особенно совместные европейские проекты и гранты индивидуальной мобильности) для ожидаемых результатов и их воздействия на системы высшего образования?
5. Достаточен ли уровень финансирования для достижения обозначенных целей? Создает ли нынешний подход критическую массу, способную произвести длительный эффект?
6. Являются ли нынешние инструменты осуществления, способы управления и особенно возможности технической поддержки приемлемыми и достаточными, чтобы обеспечить качество проекта и его должную реализацию? Достаточен ли применяемый мониторинг? Достаточны ли существующие механизмы обратной связи и распространения результатов для использования опыта, накопленного в ходе выполнения программы?
Методология оценки (базируется
на активном диалоге с участниками
программы и представителями всех
заинтересованных сторон)
• Три интерактивных семинара (были проведены в Москве, Алма-Ате и Скопи).
• Семинар по опыту реализации (проведен в Брюсселе).
• Анализ стратегий в разных странах.
• Интервью с представителями заинтересованных сторон.
• Подготовка отчетов по результатам реализации программы в отдельных странах.
• Анализ количественных показателей результатов реализации проектов.
• Электронное анкетирование координаторов крупных совместных проектов (599).
• Социологическое обследование 80 партнеров по совместным проектам.
• Интервью с 26 представителями правительств, отвечающих за образование.
Разработчики и исполнители мониторинга отметили электронное анкетирование и интерактивные семинары как наиболее эффективные инструменты, позволившие получить самые интересные с точки зрения оценки результаты.
6 Interim Evaluation of the European Training Foundation (ETF), EAC/o6/05, Final report. May 2006.
Мониторинг программ «Эрасмус -Сократес» (Erasmus - Socrates)7
Оценка европейской программы мобильности «Эрасмус - Сократес» (далее ЭС) основывалась на социологических обследованиях ее участников - студентов и учителей, прошедших стажировки за рубежом, руководителей вузов, а также экспертов в отношении долгосрочного вклада программы в развитие образования.
Оценке подлежало соответствие результатов достигнутым целям, результативность, долгосрочный вклад и устойчивость программы.
Каждое обследование было нацелено на определенный набор профессиональных ценностей. Для студентов в качестве критериев успешности были определены:
• общие и международные компетенции;
• переход от учебы к работе;
• первое и последующие места работы;
• международные аспекты мест работы.
Для преподавателей долгосрочный вклад
от участия в мобильности оценивался по следующим показателям:
• общие академические и педагогические компетенции;
• международные и межкультурные компетенции;
• деятельность, связанная с «Эразмус», в своем учебном заведении;
• вертикальная и горизонтальная профессиональная мобильность;
• международная мобильность.
Оценка осуществлялась в два этапа. На
первом этапе было проведено анкетирование лиц, отвечающих за образовательную политику, преподавателей, представителей вузов, студенческих организаций и организаций, представляющих работодателей. Полученные 67 экспертных оценок были сопоставлены с более ранними отчетами и обследованиями и легли в основу «рамочного доклада», который, в свою очередь, стал основой для дальнейших обследований.
Эти обследования охватили следующие группы:
• студенты;
• преподаватели;
• представители администраций вузов;
• работодатели.
После проведения первых двух обследований был проведен семинар по оценке результатов, итоги которого были учтены при проведении последующих обследований.
В общем и целом проведенные обследования позволили сделать пять основных выводов.
1. Эксперты, администрация вузов и работодатели отмечают более высокое значение временного обучения за рубежом при поддержке программы, чем сами студенты.
2. Студенты, принявшие участие в программе, отмечают, что обучение за рубежом дало им импульс к международной мобильности, компетентности в международных делах и связанных с их решением задач в процессе трудовой деятельности, однако это не дало никаких существенных преимуществ в карьерном росте по сравнению с другими выпускниками. Однако другие участники обследования уверены, что международный опыт вносит значительный вклад в карьерный рост.
3. Сравнение с результатами предыдущих обследований показывает, что участие в программе в последнее время дает меньше преимуществ, так как международные компетенции становятся все более широко распространенными среди всех студентов.
4. Вне зависимости от направлений подготовки, участие в программе дает больше преимуществ студентам и преподавателям из стран Центральной и Восточной Европы, чем из стран Западной Европы.
5. Несмотря на то что преподаватели -участники программы, как правило, уже имели международный опыт и провели короткий период времени за рубежом, по сравнению со студентами они оценивают участие в программе более высоко. При этом научные связи и повышение квалификации оцениваются участниками программы более высоко, чем совершенствование методики преподавания.
В целом результаты оценки свидетельствуют о высокой степени соответствия результатов программы заявленным целям. Участие в программе способствовало развитию международных компетенций, мобильности выпускников и их трудоустройству на места, требующие знания международного контекста.
Исследование также подтвердило высокую результативность программы, которая ох-
7 http://ec.europa.eu/dgs/education_culture/evalreports/education/2006/erasmus-mob/erasmointbrep_en.pdf.
ватила значительное число людей при том, что объем индивидуальной поддержки был небольшим. В то же время эксперты отметили, что эффективность программы могла бы быть выше при условии предоставления более длительных сроков стажировок для преподавателей и согласования программ обучения для студентов в период их пребывания за рубежом.
Что касается долгосрочных результатов, то исследование показало более широкие «горизонтальные» возможности для участников программы, чем «вертикальные». Участники программы не получили значительных преимуществ в карьерном росте, но расширился диапазон их возможного трудоустройства, а также потенциал для дальнейшего развития. Для преподавателей долгосрочные результаты оказались ощутимыми и позитивными, в том числе для расширения научных связей и карьерного роста внутри своих вузов.
В отношении продолжения программы большинство участников и экспертов отметили ее растущую роль, предложив в будущем более активную подготовку к стажировкам, включая академическую, административную и финансовую поддержку. Важно также отметить пожелание упростить бюрократические процедуры со стороны Европейской комиссии.
Мониторинг программы «Молодежь» (Youth)
Программа Европейского сообщества «Молодежь» реализуется в соответствии с общеевропейскими тенденциями общественного развития.
В настоящее время программа представляет собой синтез двух программ Сообщества: Программу Европейского сообщества «Молодежь за Европу» и Программу Европейского сообщества «Европейская волонтерская служба для молодежи, и учитывает представленные выше ключевые приоритеты молодежной политики в Европе.
Объем финансирования второго этапа программы «Молодежь в действии» в период с 2007 по 2013 г. составит 885 млн евро, что почти в два раза превышает бюджет первого этапа программы8. Программа не предполагает сметного финансирования.
Бюджетом программы также обеспечиваются расходы, связанные с подготовкой, дора-
боткой, мониторингом, проведением ревизии и оценки программных мероприятий, напрямую необходимых для менеджмента (управления) программы и реализации ее целей и задач.
Продолжение программы было подтверждено и обусловлено результатами анализа эффективности ее первого этапа в странах -членах ЕС и странах, располагающих правом участия в программе, проведенного независимым европейским агентством в 2003 г.
Большое значение для оценки значимости программы для России и понимания путей развития дальнейшего сотрудничества России и ЕС в сфере молодежной политики имеет выполненный в рамках общей оценки анализ эффективности программы для третьих стран, принявших участие в первом этапе.
Анализ эффективности программы осуществлялся на основе общей для всех стран-участниц методологии. Основу методологии составили личные интервью и интернет-опрос, организованные для грантополучателей программы в странах - членах ЕС и третьих странах. Выбор инструментария был обусловлен, главным образом, спецификой участия в программе третьих стран; необходимостью качественной оценки достижения основных целей программы «Молодежь», прежде всего, в третьих странах; а также трудностями, возникающими при оценке результативности программы в третьих странах на основе количественных показателей, таких как объем поддержанных (утвержденных) проектов, количество участников, объем средств, затраченных на реализацию проектов, и др. Основными направлениями исследования стали:
• понимание особенностей реализации программных мероприятий в третьих странах;
• оценка соответствия осуществляемых проектов целям и задачам, определенным в рамках направления сотрудничества с третьими странами;
• оценка уровня заинтересованности и отношения грантополучателей к программе во время и после реализации проектов;
• оценка достигнутых результатов и влияния от реализации первого этапа программы.
Комплексная оценка результатов первого этапа программы «Молодежь» для стран - чле-
8 Decision No 1719/2006/EC of the European Parliament and of the Council of 15 November 2006 establishing the "Youth in Action" programme for the period 2007 to 2013. Official Journal L 327 of 24 November 2006. Article 13. P. L327/36.
нов ЕС и третьих стран осуществлялась на основании специально разработанных показателей, среди которых:
• соответствие (relevance);
• эффективность (effectiveness);
• результативность (efficiency);
• устойчивость (sustainability);
• информационная поддержка, информационная доступность, осведомленность грантополучателей о программе (visibility).
Личные интервью были проведены с представителями 62 молодежных организаций из пяти программных стран (Дания, Германия, Италия, Польша, Испания), трех стран Юго-Восточной Европы (Албания, Босния и Герцеговина, Хорватия), двух стран СНГ (Россия и Украина) и двух стран Латинской Америки (Бразилия и Мексика). Ряд интервью также был проведен с официальными представителями Генерального директората Европейской Комиссии по внешним отношениям (Directorate General External Relations, RELEX) и представителями правительства третьих стран.
Опрос, проведенный в сети Интернет, охватил 138 молодежных организаций программных и третьих (партнерских) стран, включая все национальные агентства. Серьезный вклад в комплексную оценку эффективности программы для третьих стран также внес анализ официальных статистических данных, собранных в период реализации первого этапа.
Мониторинг рамочных программ ЕС по научным исследованиям и технологическому развитию
Рамочные программы ЕС по научным исследованиям и технологическому развитию, естественно, также предусматривают систему оценки и мониторинга их реализации. Для мониторинга предыдущей 6-й рамочной программы была создана группа из девяти экспертов под руководством профессора Маримона. Результаты исследования были подготовлены в 2004 г.9
Особенностью исследования стала оценка качества и эффективности двух новых инструментов реализации шестой рамочной программы в сравнении с предыдущими рамочными программами, а именно комплексных проектов (Integrated Projects) и сетей мастерства (Networks
of Excellence). Под качеством здесь понимается соответствие внедрению новых инструментов заявленным приоритетам программы.
Для оценки были использованы материалы заявок и результаты опроса координаторов заявок (как получивших, так и не получивших поддержку отборочной комиссии). Кроме того, с координаторами проектов были проведены рабочие заседания (слушания) в Риме, Праге и Мюнхене, а также заседания с менеджерами программы Европейской комиссии и менеджерами других организаций, в частности Национального научного фонда и национального института здоровья.
Важно отметить, что одним из важных вопросов для оценки стала идея концентрации больших ресурсов в рамках сложных проектов с большим количеством участников. Этот вопрос затрагивался как на этапах подготовки, так и реализации отдельных проектов. При этом было отмечено, что некоторые потенциально сильные заявители отказались от участия в конкурсах в связи с тем, что ресурсы, которые необходимо было израсходовать на подготовку качественных заявок, оказались неоправданно высокими. Также при большом количестве участников реальный вклад значительного их числа в реализацию проекта оказывался крайне незначительным, в то время как значительные усилия приходилось тратить на координацию.
Идея упрощения процедур, в частности, подготовки и подачи заявок стала одним из приоритетов реализации седьмой рамочной программы10.
Система мониторинга и оценки в Болонском процессе
Значительную роль в унификации индикаторов мониторинга систем высшего образования европейских стран в настоящее время играет Болонский процесс, для оценки степени развития которого в странах - участницах потребовалось регулярно осуществлять сбор соответствующей информации. Информация о реализации принципов Болонской декларации отражается в национальных докладах, представляемых к регулярно проводимым встречам министров образования стран - участниц Бо-лонского процесса.
9 Report of a High-level Expert Panel chaired by Professor Ramon Marimon. Evaluation of the effectiveness of the New Instruments of Framework Programme V I. 21 June 2004.
10 http://eur-lex.europa.eu/LexUriServ/site/en/com/2005/com2005_0119en01.pdf. Разд. 5 вводной части.
С момента подписания Болонской декларации основными темами национальных докладов стали:
• введение многоуровневых систем высшего образования;
• студенческая и академическая мобильность и внедрение европейской системы перезачета кредитов;
• обеспечение качества образования;
• создание прозрачных структур программ обучения;
• внедрение Приложения к диплому;
• усиление «европейского измерения» в высшем образовании.
По мере развития процесса в него были включены новые направления и элементы, такие как признание докторских программ в качестве третьего уровня систем образования, взаимное признание дипломов и квалификаций (Лиссабонская конвенция, подписанная до Бо-лонской декларации, некоторое время оставалась отдельным документом, не связанным напрямую с Болонским процессом), обеспечение непрерывного образования, участие студентов в управлении вузами.
Кроме того, некоторые инструменты Бо-лонского процесса - обеспечение качества и создание прозрачных структур программ обучения - сами по себе включают элементы мониторинга как неотъемлемый компонент их применения на уровне вуза.
На встрече в Берлине в сентябре 2003 г. министры, ответственные за высшее образование, согласились на проведение «инвентаризации» для того, чтобы определить уровень прогресса, достигнутого в проведении определенных реформ в Общеевропейском пространстве высшего образования. В частности, в Берлинском коммюнике отмечено11: «Ввиду целей, запланированных на 2010 г., предполагается, что будет разработана система мер по оценке прогресса, достигнутого в Болон-ском процессе. Промежуточная инвентаризация должна дать надежную информацию о том, как реально развивается процесс, и возможность в случае необходимости принять соответствующие корректирующие меры».
На Берлинской встрече министры обязали Совет по реализации Болонского процесса организовать процесс инвентаризации так, чтобы завершить его к саммиту 2005 г. и успеть при-
готовить детальный отчет о прогрессе и реализации промежуточных приоритетов, поставленных на ближайшие два года:
• обеспечение качества;
• двухуровневая система;
• взаимное признание степеней и периодов обучения.
В марте 2004 г. Совет согласился создать для этой цели Рабочую группу. С самого начала Рабочая группа была озабочена необходимостью обработать несколько информационных ресурсов; она консультировалась со своими партнерами, такими как EUA, ESIB и EURYDICE, чтобы убедиться в следующем:
1. Контрольный опрос (Benchmark) не повторяет тех вопросов, которые они собирались задать в своих собственных обследованиях.
2. Они (партнеры) хотели бы сами задать определенные вопросы в своих обследованиях.
3. В случае возникновения одинаковых вопросов было достигнуто согласие поделиться результатами, чтобы получить полную картину контрольного опроса.
Для проведения инвентаризации был использован предыдущий опыт мониторинга Болонского процесса. В частности, в качестве подготовки к встрече министров в 2003 г. EURYDICE подготовила доклад «Фокусируясь на структуре высшего образования в Европе»12. На основе успеха 2003 г. EURYDICE запланировала подготовку аналогичного доклада к Бергенской встрече 2005 г. Рабочая группа обратилась к EURYDICE с запросом расширить обзор за пределы 31 страны, обычно покрываемых их сетью, для того чтобы обеспечить одинаковый анализ всего общеевропейского пространства высшего образования. В результате все 40 стран - участниц Болонского процесса заполнили вопросники требуемого формата.
Наряду с материалами,подготовленными EURYDICE, основным источником информации для проведения инвентаризации стали национальные доклады стран - участниц Болон-ского процесса. Для количественной оценки прогресса в каждом из трех приоритетных направлений была разработана серия контрольных опросов. На основе интерпретации нацио-
11 "Realising the European Higher Education Area" Communiqué of the Conference of Ministers responsible for Higher Education in Berlin on 19 September 2003.
12 Focus on the Structure of the Higher Education in Europe 2003/2004: National Trends in the Bologna Process. EURYDYICE 2003.
нальных докладов и опросников EURYDICE каждой стране были присвоены очки.
Для освещения ряда вопросов также было предложено использовать результаты деятельности Национальных студенческих союзов Европы (ESIB). Однако возможность использования результатов их обследования была ограничена в связи с тем, что они охватывали всего лишь 32 страны13.
Совет Европы предоставил материалы по Лиссабонской конвенции.
Европейская ассоциация университетов (ЕАУ) как независимая международная организация не принимала непосредственного участия в инвентаризации, но в ее докладе «Тенденции IV» затронуты многие из тех вопросов, которые отражены в отчете по инвентаризации.
Результаты анализа Рабочей группы по инвентаризации показали, что в целом страны-участницы достигли значительного прогресса по трем приоритетным направлениям деятельности, и, таким образом, был достигнут реальный прогресс в создании общеевропейского пространства высшего образования (ОЕПВО).
В Берлине министры особо отметили значение обеспечения качества в создании ОЕПВО. Более половины стран-участниц уже имеют структуры по обеспечению качества.
Однако, несмотря на отмеченный прогресс, недостатки в обеспечении качества все еще имеют место, в частности, студенты по-прежнему не участвуют в процедурах контроля качества. Всего было отмечено четыре уровня участия: правительственные структуры, группы внешних экспертов, консультирование/вовлеченность во время внешних экспертиз и участие во внутренних экспертизах, и лишь менее 14% стран обеспечивают участие на всех четырех уровнях. То же самое следует и из анализа EURYDICE. В материалах ESIB, переданных в Рабочую группу, было отмечено, что большинство положительных примеров участия студентов основаны на отдельных добровольных инициативах вузов.
Доклад ЕАУ «Тенденции IV»14 в качестве одной из возможных проблем будущего определил риск чрезмерного увлечения процессом, который на самом деле отодвигает
на задний план задачи контроля качества, состоящие в том, чтобы качество действительно повышалось. Таким образом, важно понимать, что прогресс, связанный с созданием системы, не является свидетельством того, что культура обеспечения качества проникла во все сферы жизни высшего образования. Успех в решении поставленных задач зависит от желания вузов, их персонала и студентов заставить систематическое обеспечение качества играть центральную роль в получении высшего образования.
Совет по реализации Болонского процесса обсудил предварительный отчет Рабочей группы по инвентаризации на заседании в апреле 2005 г. Совет отметил, что по всем приоритетным направлениям был достигнут значительный прогресс. Важно убедиться, что этот прогресс имеет место во всех странах-участницах, поэтому Совет будет рекомендовать министрам более активно распространять опыт для закладывания основ как на вузовском, так и на правительственном уровнях.
Также было принято решение о том, что процесс инвентаризации должен продолжиться и о его результатах необходимо докладывать на каждой встрече министров. Процесс должен иметь адекватное ресурсное обеспечение и следовать всем направлениям деятельности, одобренным Советом.
Новым шагом в направлении мониторинга стала подготовка к очередной встрече в Лондоне в мае 2007 г. развернутой системы качественной оценки количественных показателей реализации основных Болонских принципов. Информационную основу для такой оценки составили национальные доклады15.
В то же время очередной доклад о тенденциях развития европейского образования подготовила и ЕАУ. Он был основан на результатах опроса, в котором приняли участие 908 европейских вузов, визитах экспертов и работе семи фокус-групп, материалах конференций ректоров и данных стран - новых членов ЕС16.
Таким образом, доклад ЕАУ представляет собой в определенном смысле «независимую» оценку ситуации, данную выборкой представителей тех, кто непосредственно реализует Болонские принципы в учебном процессе конкретных вузов.
13 Bologna with Student's eyes 2003, 2005.
14 Kate Geddi e and David Crosier (editors) TRENDS IV: EUROPEAN UNIVERSITIES IMPLEMENTING BOLOGNA. EUA 2005.
15 http://portal.ntf.rU/portal/pls/portal/docs/1/41540. PDF приложение.
16 http://www.eua.be/fileadmin/user_upload/files/Publications/EUA_Trends_V_for_web.pdf.
В связи с этим особого внимания заслуживают, например, оценки респондентов, согласно которым строительство ОЕПВО признали исключительно важным 74% опрошенных, что показывает рост оценки важности реформ на 8% по сравнению с зафиксированным шесть лет назад результатом17.
Заключение
Современный опыт мониторинга образовательных программ и проектов в концентрированном виде может быть охарактеризован особенностями целей, показателей и механизмов, представленными в нижеследующей таблице.
Название программы Цели, задачи мониторинга, критерии оценки Индикаторы и показатели Механизмы мониторинга
«Тасис» • Уровень соответствия заявленным целям • Эффективность • Результативность • Достижение устойчивых результатов • Долгосрочный вклад • Число и доля вузов, участвующих в партнерской деятельности со странами ЕС • Число новых и число обновленных программ обучения, основанных на новых и обновленных учебно-методических материалах • Число вузов, системы управления в которых подверглись реструктуризации и модернизации • Ежегодная численность студентов, участвующих в обменах • Время, необходимое для прохождения аккредитации процедур • Анализ социально-экономических показателей • Анализ данных отчетов • Интервью и опросы представителей всех групп, заинтересованных в реализации программы • Интерактивные семинары • Визиты экспертов
«Темпус « • Оценка структуры и реализации программы («Темпус») в свете социально-экономической ситуации в партнерской стране • Уроки, вытекающие из предыдущего этапа программы, с точки зрения рекомендаций на будущее Ответы на вопросы, связанные: • с соответствием целей и потребностей социально-экономического развития; • соответствием условий реализации программы интересам исполнителей; • соответствием структуры программы и ее вклада в реформы; • оценкой важности отдельных проектов для результатов и их воздействия на системы высшего образования; • достаточностью поддержки для создания долгосрочного эффекта; • адекватностью механизмов реализации • Три интерактивных семинара (были проведены в Москве, Алма-Ате и Скопи) • Семинар по опыту реализации (проведен в Брюсселе) • Анализ стратегий в разных странах • Интервью с представителями заинтересованных сторон • Подготовка отчетов по результатам реализации программы в отдельных странах • Анализ количественных показателей результатов реализации проектов • Электронное анкетирование координаторов крупных совместных проектов (599) • Социологическое обследование 80 партнеров по совместным проектам Интервью с 26 представителями правительств, отвечающих за образование
17 Презентация доклада «Тенденции V» представлена на сайте ЕАУ http://www.eua.be/fileadmin/user_upload/ files/EUA1_documents/Trends_V_presentation_12_06_07.pdf.
Название программы Цели, задачи мониторинга, критерии оценки Индикаторы и показатели Механизмы мониторинга
«Эрасмус-Сократес» • Соответствие целей и результатов • Результативность • Долгосрочный вклад • Устойчивость Оценки успешности по определенным критериям для студентов и преподавателей, включающим освоение определенных международных компетенций и последующие трудоустройство и/или карьерный рост Социологические обследования участников: анкетирование + семинар
«Молодежь» • Соответствие • Эффективность • Результативность • Устойчивость • Информационная поддержка Уровень оценок по заявленным критериям Интернет-опрос + интервью
Рамочные программы ЕС Оценка эффективности некоторых новых инструментов по отношению к предыдущим Оценка структуры: • требований к проектам; • адекватности объемов финансирования; • процедур конкурсного отбора Материалы заявок и результаты опроса координаторов проектов, как получивших поддержку, так и проигравших в конкурсе. Проведение отдельных семинаров-слушаний по ряду дисциплинарных направлений
Болонский процесс Соответствие проводимых реформ заявленным целям и инструментам ОЕПВО Степень реализации принципов Болонской декларации и других документов Национальные отчеты. Аналитические проекты авторитетных международных организаций
Очевидно, что набор показателей эффективности и масштаб применения механизмов мониторинга программ образовательного сотрудничества (в том числе действующих и будущих России и ЕС) должен определяться в значительной степени масштабами сотрудничества, объемом финансирования, числом участников. С другой стороны, представляется принципиально важным, чтобы сопровождающие процедуры реализации программ системы мониторинга и оценки отвечали следующим базовым требованиям:
• сопоставимость полученных результатов с результатами других программ международного сотрудничества по основным показателям и индикаторам;
• возможность на основе полученных результатов проводить корректировку хода реализации программ по определенным параметрам и критериям;
• прозрачность и доступность результатов для всех заинтересованных сторон и участников;
• рациональность и эффективность используемых механизмов мониторинга.
