CC BY-NC-ND
190
Анализ
деятельности университетов Западной Европы:
от оценки качества до аккредитации
Эрик Де Корте
Статья поступила в редакцию в апреле 2014 г.
Erik De Corte. Evaluation of Universities in Western Europe: From Quality Assessment to Accreditation (пер. с англ. Н. Микшиной). Оригинальный текст был предоставлен автором в редакцию журнала «Вопросы образования».
Эрик Де Корте
почетный профессор Центра педагогической психологии и образовательных технологий (CIP&T) Университета Левена (Бельгия). Адрес: Katholieke Universiteit Leuven, Oude Markt, 13, Bus 5005 3000 Leuven, Belgium. E-mail: Erik. DeCorte@ppw.kuleuven.be
Аннотация. Национальные схемы анализа высшего образования в Западной Европе ведут отсчет с середины 1980-х годов и впервые сложились в Нидерландах, Фландрии, Франции и Великобритании. В последующие годы подобные системы анализа начали применять многие другие западноевропейские страны. За последние 30 лет эти системы претерпели значительные изменения. В данной статье рассматриваются следующие вопросы, касающиеся анализа высшего образования в Западной Европе: факторы, обусловившие возникновение схем анализа высших учебных заведений в Западной Европе в середине 1980-х годов; основные понятия, используемые при анализе программ высшего образования (обеспечение качества, качество,контроль качества, управление качеством, аудит качества, оценка качества, анализ и аккредитация). Критерии оценки качества, введенные в середине 1980-х годов, применялись вплоть до начала XXI в., и преимущественное внимание при оценивании уделялось возможностям совершенствования высшего обра-
зования. В статье представлена голландская система оценки качества университетов как показательный пример такого рода систем в государствах Западной Европы. Практика оценки качества университетов, безусловно, способствовала совершенствованию системы высшего образования, тем не менее в первые годы XXI в. в Западной Европе на смену схемам оценки качества пришла система аккредитации, под которой понимается получение официального заключения о соответствии учебного курса или образовательного учреждения определенным стандартам. В основе аккредитации, конечно, тоже лежит оценка качества образования, но при этом фокус внимания переносится с совершенствования высшего образования на его подотчетность. В качестве примера здесь также рассматривается голландская схема аккредитации. Смещение акцентов с совершенствования на подотчетность, а также бюрократическая волокита, сопровождающая процесс аккредитации, и его дороговизна стали причиной все более жесткой критики новой схемы оценивания университетов. Состоялись чрезвычайно бурные дискуссии и напряженные консультации, результатом которых стал пересмотр системы аккредитации, новый вариант которой применяется в Нидерландах с 2012 г. В статье анализируются основные изменения в процедуре аккредитации. Вместе с итоговыми замечаниями автор дает прогноз на бу-
36
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
дущее относительно систем оценивания качества высшего образования. Ключевые слова: национальные схемы анализа, высшее образование,
оценка качества, обеспечение каче ства, аккредитация, совершенство вание высшего образования.
Когда в начале 1970-х годов меня приняли в качестве адъюнкт-профессора на факультет психологии и педагогики Университета Левена, такого понятия, как оценка преподавания, можно сказать, не существовало. Тогда оценивание и аттестация были общепризнанной практикой в отношении студентов; их достижения регулярно контролировались, как это происходит и по сей день, и оценки служили основанием для формирования их учебной траектории и для итоговой аттестации. Деятельность преподавателей оценивали в тех случаях, когда необходимо было принять решение о назначении на должность, продвижении по служебной лестнице или распределении грантов; предметом такой оценки были главным образом исследования отдельных ученых. Впервые с инициативой анализировать повседневную деятельность преподавателей выступила в конце 1970-х годов кафедра педагогики моего университета, предложившая анкету EVADOC как средство оценки качества чтения лекций отдельными профессорами на основании опроса студентов. Профессора имели возможность сами решать, хотят ли они распространить анкету среди своих студентов и получить от них ответы, которые позволят составить представление о сильных и слабых сторонах их преподавательской деятельности [De Neve, Janssen, 1984].
Национальные схемы анализа высшего образования ведут отсчет с середины 1980-х годов и впервые сложились в Нидерландах, Фландрии, Франции и Великобритании. В дальнейшем подобные системы анализа стали применять многие другие западноевропейские страны. В Центральной и Восточной Европе они вводились начиная с 1990-х годов. За последние 30 лет эти системы претерпели значительные изменения. В данной статье я рассматриваю следующие вопросы, касающиеся оценивания в высшем образовании:
• причины, по которым в Европе возникли схемы оценивания качества высшего образования;
• понятия и определения, связанные с оцениванием в высшем образовании;
• оценивание качества, направленное на совершенствование высшего образования;
• аккредитация как средство усиления подотчетности высшего образования;
• пересмотр процедуры аккредитации с учетом критики;
• итоговые замечания и прогноз на будущее.
1. Введение
http://vo.hse.ru
37
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Чтобы представить широкий обзор распространения схем оценки качества высшего образования и аккредитации университетов в Европе за последние десятилетия, я обращаюсь к сравнительному исследованию 20 стран «Аккредитация и оценивание в европейском высшем образовании» [Schwarz, Westerheijden, 2004a].
2. Причины появления схем анализа в 1980-е годы и первые этапы их применения
Неотступное стремление достичь высокого качества обучения как предпосылки дальнейшей профессиональной успешности специалиста всегда было главной целью системы высшего образования. До 1970-х годов контроль качества осуществлялся с помощью бюрократических механизмов, таких как требования законодательства, которые следовало выполнить, чтобы основать образовательное учреждение, открыть факультет или ввести учебную программу, формальные условия для назначения на должности профессора и преподавателя и т. д. К тому же в общественном мнении по большей части господствовало убеждение, что университеты и сами могут гарантировать качество. Однако в конце 1970-х годов доверие к университетским преподавателям как гарантам качества и эффективности обучения оказалось подорвано. При этом способы обеспечения качества, традиционно использовавшиеся в промышленности, стали все чаще рассматриваться как инструмент, вполне приемлемый и в управлении высшим образованием. Существовал и ряд других обстоятельств, которые в совокупности вызвали к жизни данный управленческий инструментарий [Schwarz, Westerheijden, 2004b; Teichler, 2007].
Во-первых, невиданное прежде распространение и массо-визация высшего образования в 1970-е годы потребовали новых форм управления. Они оказались тем более востребованными ввиду возникших в обществе опасений, что массовизация может привести к снижению качества и эффективности обучения в высших учебных заведениях.
Во-вторых, в условиях широкого распространения высшего образования и все большего его усложнения и дифференциации ресурсы централизованного управления оказались исчерпаны. Если прежде правительства принимали активное участие в планировании и организации высшего образования, то в 1980-е годы общество уже не верило в их способность гарантировать и постоянно наращивать качество обучения, его актуальность и эффективность. Тем не менее, будучи главным источником финансирования университетов, правительства были крайне заинтересованы в поддержании и даже повышении качества и результативности высшего образования с помощью внешних средств контроля.
В-третьих, в 1980-е и 1990-е годы возникли ожидания, что использование механизмов обеспечения качества как инструмен-
38
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
та управления будет стимулировать институционализированную рефлексию деятельности университетов и результатов этой деятельности и что возросший управленческий потенциал высших учебных заведений будет способствовать повышению качества и эффективности обучения.
Не следует думать, что все эти факторы играли одинаково важную роль во всех странах. Например, как отмечают С. Шварц и Д. Вестерхейден [Schwarz, Westerheijden, 2004b], там, где система оценивания качества высшего образования складывалась долго, общественное доверие к способности академической среды самостоятельно гарантировать высокие стандарты обучения, как правило, вовсе не было больше, чем в странах, которые ввели системы оценивания первыми.
Тем не менее все эти причины—хотя и в разной степени — повлияли на выработку схемы оценивания высшего образования в странах-первопроходцах, т. е. в Нидерландах, Франции и Великобритании. Вдохновившись новыми инструментами и методами управления, правительства рассчитывали с их помощью добиться того, чтобы университеты более строго отчитывались за расходование полученных средств, и вместе с тем ограничить мелочное регулирование, предоставив свободу действия рыночным механизмам. По словам Д. Вестерхейдена, «обеспечение качества можно рассматривать, с одной стороны, как политический инструмент, поддерживающий прозрачность рынков для студентов и выпускников путем распространения информации о различиях в качестве образования, а с другой — как средство не допустить слишком резкого снижения качества со стороны поставщиков высшего образования на (квази) рынках со свободным предложением» [Westerheijden, 2007. P. 12].
Здесь следует особо подчеркнуть, что системы обеспечения качества, безусловно, были призваны стимулировать и поощрять повышение качества обучения с учетом того, что спрос на специалистов с высшим образованием меняется с переходом от индустриальной экономики к экономике с развитым сектором услуг и к информационному обществу.
Начиная с 1990 г. движение за обеспечение качества быстро распространилось по всей Западной Европе. Этому способствовал пилотный проект Европейского союза по методологии внешнего оценивания, инициированный в 1994 г. [Management Group, European Committee Meeting, 1995]. Эта методология была основана на опыте существующих систем обеспечения качества высшего образования, которые включали четыре составляющие: национальное координирующее ведомство; доклад учреждения высшего образования о результатах внутреннего оценивания; этап внешней оценки, осуществляемой коллегами; общедоступный отчет с результатами анализа. В рамках этого проекта анализировались одна или две программы обучения из разных об-
http://vo.hse.ru
39
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
3. Некоторые понятия и определения
ластей знания во всех странах, которые к тому моменту были объединены в Европейский союз, и в некоторых других западноевропейских государствах. Главным итогом проекта стало решение ЕС учредить в 1998 г. Европейскую сеть обеспечения качества в высшем образовании (European Network for Quality Assurance in Higher Education, ENQA). Очень скоро эта сеть заняла важное место в реализации Болонского процесса, который был инициирован в июне 1999 г. Болонской декларацией и имел целью гармонизацию системы высшего образования в Европе. К концу XX в. почти все западноевропейские страны встроили политику и средства оценивания качества в собственную систему высшего образования. Поразительным исключением до 2003 г. оставалась Германия.
Как утверждает У. Тайхлер, «обеспечение качества» стало сегодня в Европе самым популярным собирательным понятием, которым обозначают всевозможные процедуры оценивания университетов, имеющие целью повышение качества высшего образования [Teicher, 2007]. В таком случае главный вопрос состоит в следующем: что представляет собой «качество» в сфере высшего образования?
Достаточно беглого обзора исследований по данной проблеме, чтобы стало понятно, что простого ответа на этот вопрос не существует. Согласно Д. Вестерхейдену, все имеющиеся в литературе определения качества апеллируют к «связи между предлагаемым благом или услугой и желаниями потребителей» [Wes-terheijden, 2007. P. 9].
Но если мы говорим о высшем образовании, то здесь отдельными заинтересованными лицами выступают различные категории потребителей. Так, с точки зрения студентов качество высшего образования определяется тем, что происходит в аудитории. То же относится и к администрации образовательных учреждений, хотя она может акцентировать внимание на других аспектах занятий, не тех, которые значимы для студентов. А для работодателей, которые воспринимают выпускников вузов как рабочую силу, и для правительств, которые осуществляют финансирование высшего образования, понятие «качество высшего образования» наполняется совсем другим смыслом. К тому же значение понятия «качество» зависит от конкретного момента времени и различно в разных географических регионах.
Проанализировав поле значений данного термина, Л. Харви и Д. Грин сгруппировали сильно разнящиеся между собой определения понятия «качество» в пять отдельных, но взаимосвязанных категорий: под качеством можно понимать исключительность, безупречность, целесообразность, оптимальное соотношение цены и качества и способность к трансформации [Harvey, Green,
40
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
1993]. Следовательно, разрабатывая критерии, на основании которых должно оцениваться качество высшего образования, необходимо понимать, что возможны разные концепции качества, отражающие установки тех или иных заинтересованных сторон. Для работодателя главной составляющей качества образования может быть его исключительность, для правительств — соотношение цены и качества, для студентов и администрации образовательных учреждений — целесообразность. Таким образом, мы получаем дескрипторы для программ бакалавриата, магистратуры и аспирантуры и результатов обучения.
При обсуждении вопросов обеспечения качества образования обычно используются такие термины, как «контроль качества», «управление качеством», «аудит качества», «оценка качества», «оценивание» и «аккредитация». «Контроль качества» и «управление качеством» — понятия, описывающие системы обеспечения качества, действующие внутри высших учебных заведений. Контроль качества подразумевает прежде всего определение и поддержание образовательного стандарта, а управление качеством ставит своей целью увязывание контроля качества с циклами планирования и контроля ввиду возможных изменений и корректировок.
Понятия «оценка качества» и «оценивание» относятся к внешним системам обеспечения качества, ориентированным на измерение качества высшего образования, причем здесь используются как количественные, так и качественные показатели. Аудит качества служит определению процедуры оценивания, которая соответствовала бы специфике управления качеством в данном высшем учебном заведении. Эта система пока распространена куда меньше прочих, но как пример я могу использовать анализ руководства и управления образованием в Университете Хельсинки, проведенный в 2008 г. [Saari, Frimodig, 2009].
Аккредитация отличается от оценки качества как по функциям, так и по характеру итогового заключения. С. Шварц и Д. Ве-стерхейден определяют аккредитацию как «институционализированные и систематически применяемые схемы оценивания высших учебных заведений, ученых степеней и программ, которые в итоге позволяют сделать официальное заключение, запускающее формальные процессы санкционирования в отношении соответствующего учреждения, ученой степени или программы» [Schwarz, Westerheijden, 2004b. P. 2].
Таким образом, аккредитация включает два этапа: на этапе оценивания происходит сбор данных и сведений, которые служат основанием и отправной точкой для собственно процедуры аккредитации, дающей «право на существование» (либо, напротив, отказывающей в этом праве) учреждению, ученой степени или программе в составе системы высшего образования. Санк-
http://vo.hse.ru
41
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
цию выдает легитимная надынституциональная организация или ведомство. Из сказанного со всей очевидностью следует, что сутью аккредитации является обеспечение подотчетности.
4. Оценка качества, направленная на совершенствование высшего образования
Оценивание высшего образования зародилось в США в 1970-е годы и с самого начала получило формат аккредитации. Как уже упоминалось, в Западной Европе национальные схемы оценки университетов стали складываться во второй половине 1980-х годов. И хотя вводили их по примеру США, в тот период они не приняли вид аккредитации.
У. Тейхлер указывает несколько причин, по которым в то время потребность в аккредитационной системе не возникла [Teicher, 2007]. Основная причина состояла в том, что в Европе в фокусе внимания лиц, принимающих решения в сфере образовательной политики, находилось повышение качества образования, и процедура оценивания рассматривалась как средство стимулировать рефлексию учреждений высшего образования в отношении качества и эффективности обучения. Результатом такой рефлексии должно было стать совершенствование деятельности университета. В Европе не испытывали потребности связывать оценку качества с подтверждением «права на существование» для вуза или вводить систему выявления «паршивых овец», от которых нужно избавляться. Именно поэтому в центре внимания схем оценивания университетов в Западной Европе находилась оценка качества, а не аккредитация, и эта ситуация сохранялась вплоть до конца 1990-х годов. Типичным примером такого рода оценивания высшего образования является система, разработанная в Нидерландах и Фландрии (фламандской части Бельгии), которые одними из первых создали и стали применять систему оценки качества. Голландская система функционировала уже в 1988 г. и послужила образцом для фламандской схемы, которая была введена в 1992 г., и тогда же две страны заключили соглашение об организации совместной деятельности по оцениванию университетов. Я полагаю достаточным представить здесь беглый обзор голландской системы, имея в виду, что фламандская отличается от нее весьма незначительно. Более подробный разбор обеих систем предприняли М. Желязкова и Д. Вестерхейден [Jeliazkova, Wes-terheijden, 2004], Д. Ван Дамм [Van Damme, 2004] и В. Вийнен [Wijnen, 2007].
Голландскую систему оценки качества можно описать как последовательность следующих этапов:
• внутреннее обеспечение качества как отправная точка;
• составление образовательным учреждением отчета с самооценкой;
42
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
• посещение образовательного учреждения внешней инспекционной комиссией или внешними оценщиками;
• составление отчета внешней экспертной комиссией;
• проведение метаанализа инспекторами.
Важной особенностью данной процедуры оценки качества было то, что она базировалась на той схеме обеспечения качества, которую выбрало для себя то или иное образовательное учреждение, т. е. университетам предоставлена высокая степень автономии. Подтверждением данного суждения служит тот факт, что оценивание производилось на основании отчета, который составлял университет и в котором были представлены отдельные программы, подлежащие оцениванию. Для таких отчетов был разработан особый формат, включающий следующие обязательные разделы:
• цели программы;
• структура и содержание программы;
• прием студентов на программу — обучение по программе — выпуск;
• описание среды обучения;
• технико-экономическое обоснование;
• качество подготовки выпускников;
• эффективность организации;
• качество профессорско-преподавательского состава;
• материальное обеспечение;
• интернационализация;
• собственная система отслеживания качества.
Затем в течение нескольких дней учебное заведение инспектировала внешняя экспертная комиссия. Формировали эту комиссию всегда по согласованию с проверяемым учебным заведением, т. е. оценивание нельзя считать в полной мере внешним. В комиссию входили коллеги-эксперты (ученые, работающие в той же области знания), специалисты в области образования, часто в нее включали также одного из студентов. На основании представленного учреждением отчета с самооценкой комиссия критически оценивала программы, при этом она рассматривала документы (например, результаты экзаменов, отчеты о пройденной практике, диссертации и т. д.) и проводила интервью как с сотрудниками образовательного учреждения, так и с другими заинтересованными лицами (с представителями органов власти, администрации вуза, преподавателями, студентами и выпускниками). Цель этих интервью состояла в подтверждении и уточнении данных, изложенных в отчете, а также в сборе дополнительной информации. Та же комиссия анализировала по-
http://vo.hse.ru
43
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
добные программы и в других университетах (например, программы по методам обучения).
На основании проведенных интервью и собственных наблюдений комиссия составляла заключение по итогам проверки, уделяя преимущественное внимание сильным сторонам практики данного университета и аспектам его деятельности, требующим особого внимания, следуя при этом той структуре изложения, которая была предложена в самоотчете образовательного учреждения. Анализируя программы в определенной области знаний, созданные в разных университетах, комиссия в конце концов вырабатывала общее представление о данной категории программ, так что могла сформулировать выводы о программах в рассматриваемой области знаний. Важно подчеркнуть, что в отчете комиссии особое место отводилось рекомендациям и советам по совершенствованию деятельности университета.
Последний этап оценки качества, а именно проводившийся инспекторами метаанализ данных, осуществлялся регулярно, но не во всех случаях. Инспекторы могли внести те или иные комментарии или предложения, дополняющие заключения внешней комиссии. К примеру, особо выделить те или иные замечания комиссии, на которые требовалось обратить особенно пристальное внимание в ходе следующей проверки учебного заведения.
В. Вийнен считает наиболее существенными характеристиками этой схемы оценивания:
• возложение полной ответственности за результаты деятельности на учебное заведение;
• важную роль, которая отводится оценке коллег;
• применение официальных санкций только в исключительных случаях;
• признание совершенствования деятельности университета основной целью оценивания;
• доверие как главный принцип в оценивании [Wijnen, 2007].
Такие мероприятия, направленные на обеспечение качества обучения, проводились каждые шесть лет, и, как уже было сказано, их основу составляло внутреннее оценивание качества. Ответственность за поддержание должного качества обучения несли главным образом сами высшие учебные заведения. Автономия учебных заведений в голландской системе обеспечения качества являлась безусловной ценностью, и внешние ведомства, такие как комиссии или инспекторы, не принимали никаких решений. Следовательно, внешнее оценивание не представляло для учебных заведений угрозу, поскольку не могло привести к введению официальных санкций. В. Вийнен высоко оценивает данную схему обеспечения качества образования: «Отчеты университетов, в которых они анализировали собственную деятельность, были
44
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
общедоступны, информация об образовательных программах становилась все более открытой, внешние экспертные комиссии аккумулировали идеи, полученные при оценивании разных образовательных учреждений, и высшие учебные заведения получали мощный импульс к самосовершенствованию» [Ibid. P 128].
На основании собственного опыта работы в составе различных оценочных комиссий я могу подтвердить, что совершенствованию деятельности университетов в этой системе оценки качества принадлежала важная роль. Составление отчета с самооценкой деятельности оказывалось полезным для образовательных учреждений и стимулировало рефлексию собственных программ и практик обучения. Я неоднократно имел возможность убедиться, что в результате такой работы образовательные учреждения лучше осознавали собственные сильные и слабые стороны. В заключениях внешней комиссии часто содержались полезные предложения по совершенствованию деятельности, они способствовали обмену идеями и налаживанию сотрудничества в рамках совместных проектов и программ. Одним из результатов проверки, не предусмотренных ее программой, становился рост интереса и усиление внимания в высших учебных заведениях к преподаванию наряду с исследованиями.
Система оценки качества оказала безусловное положительное влияние на университеты, и тем не менее в начале XXI в. Нидерланды и Фландрия сменили ее на систему аккредитации. Первыми ее ввели Нидерланды в 2003 г., а в 2005 г. была учреждена Нидерландско-фламандская организация по аккредитации (Nederlands-Vlaamse Accreditatieorganisatie, NVAO), так что сотрудничество двух стран в сфере организации высшего образования, начавшееся в предыдущую эпоху, продолжилось, и важным доводом в пользу совместной работы была возможность усилить собственное влияние на международном уровне.
Аккредитация представляет собой официальное заключение, подтверждающее, что качество того или иного курса обучения или образовательного учреждения отвечает заданным стандартам. Основой такого заключения является оценка качества. Таким образом, аккредитация и обеспечение качества тесно связаны [Dittrich, 2004]. Другими словами, аккредитация стала завершающим этапом оценки качества, на котором принимается независимое решение о том, удовлетворительным или неудовлетворительным является качество той или иной программы, т. е. о ее соответствии базовому уровню качества.
Учитывая безусловно положительные результаты применения процедуры оценки качества, нельзя не задаться вопросом: почему же Нидерланды и Фландрия все-таки перешли к аккредитации? Основной причиной стало, конечно, влияние Болонского
5. Аккредитация, направленная на усиление подотчетности системы высшего образования
http://vo.hse.ru
45
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
процесса, стимулировавшего международный бенчмаркинг, так что началось сравнение образовательных программ в разных европейских странах. Аккредитация делает возможным такое сравнение, а оно способствует мобильности студентов в Европе, что является главной целью Болонского процесса. С другой стороны, сыграла свою роль и определенная деградация системы оценки качества: с течением времени она отчасти утратила свою эффективность, превратившись в рутинную процедуру и не оправдывая ожиданий относительно улучшения деятельности университетов. Поэтому возникла настоятельная потребность в новом, более строгом и более эффективном оценивании высшего образования. Аккредитацию сочли подходящим ответом на этот запрос еще и потому, что она содействует проведению в жизнь решений государственных органов. Действительно, положительный результат аккредитации влечет для образовательного учреждения или программы однозначные последствия: они могут претендовать на государственное финансирование, студенты могут получать стипендии, учреждение может выдавать свидетельства об образовании, признаваемые государством.
С 2003 г. все программы обучения в высших учебных заведениях Нидерландов каждые шесть лет проходили аккредитацию. Она включала четыре этапа:
• составление учреждением отчета с самооценкой;
• посещение внешней комиссии для инспекции и оценивания;
• составление заключения внешней экспертной комиссией;
• решение, принимаемое Нидерландско-фламандской аккредитационной организацией.
Очевидно, что в основе аккредитации лежит прежняя процедура оценки качества. Действительно, первые три этапа те же самые, хотя и с некоторой разницей в деталях. В частности, отчет с самооценкой, который составляет проверяемое учреждение, стал более формализованным. В нем шесть обязательных разделов, содержащих в совокупности 21 пункт, по которым необходимо дать оценку в соответствии с четко обозначенными критериями.
1. Цели и задачи программы:
• требования, специфические для данной конкретной области знания;
• уровень программы;
• ориентация программы (профессиональная или академическая).
2. Качество программы:
• соответствие содержания программы ее целям и задачам;
• соответствие требованиям профессиональной и академической ориентации программы;
46
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
• непротиворечивость программы;
• учебная нагрузка;
• соответствие программы уровню подготовки студентов, которые на нее поступают;
• объем программы;
• соответствие дизайна программы ее содержанию;
• оценка и тестирование.
3. Численность и качество персонала:
• профессиональная или академическая ориентация;
• качество персонала;
• численность персонала.
4. Условия обучения:
• материальное оснащение;
• руководство студентами.
5. Внутреннее обеспечение качества:
• анализ результатов;
• меры, предпринимаемые для совершенствования деятельности;
• вовлечение в работу по обеспечению качества коллег, студентов, выпускников и специалистов.
6. Итоговые академические показатели:
• реализованный уровень образования;
• результаты программы.
Визит внешней инспекционной группы организовывало посредническое ведомство, которое осуществляло руководство работой комиссии и несло ответственность за предоставленное ею заключение. Основное изменение в работе экспертной комиссии при переходе к системе аккредитации состояло в том, что теперь она должна была дать формализованную оценку 21 аспекта деятельности университета по 4-балльной шкале: «неудовлетворительно», «удовлетворительно», «хорошо» или «отлично». На основании этих оценок выносилось решение по каждому из шести разделов отчета о работе университета: «удовлетворительно» или «неудовлетворительно». Оценку «неудовлетворительно» комиссия обязана была обосновать. Достаточно оценки «неудовлетворительно» по одному из шести разделов, чтобы аккредитация не состоялась.
Комиссия предоставляла свое заключение проверяемому образовательному учреждению. Оно проверяло документ на наличие каких-либо неточностей, но не имело права его комментировать или оспаривать оценку комиссии. Итоговый вариант отчета направлялся в Нидерландско-фламандскую аккредитационную организацию, а та уже принимала решение относительно аккредитации.
Голландскую аккредитационную систему в большей или меньшей степени продублировали во Фландрии, и, как показа-
http://vo.hse.ru
47
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
ли С. Шварц и Д. Вестерхейден, в итоге системы обеспечения качества образования в странах Западной Европы вновь оказались весьма схожими [Schwarz, Westerheijden, 2004b]. Так, во всех странах единицей анализа деятельности образовательного учреждения была учебная программа; оценивались все программы, по результатам которых выдаются государственные дипломы (кроме докторских программ в большинстве стран); способы обследования и оценивания учебных заведений в главном были одинаковыми, национальные аккредитационные агентства были тесно связаны с правительством. Хотя, разумеется, в формировании и применении схем аккредитации разными странами были и особенности [Witte, 2009].
Очевидно, что схема аккредитации значительно отличалась от предшествовавшей ей системы оценки качества. В. Вийнен так характеризует сдвиги, произошедшие в системе обеспечения качества образования при переходе от оценки к аккредитации:
• от совершенствования к подотчетности;
• от доверия к недоверию;
• от экспертов-коллег к бюрократам;
• от образовательных учреждений к правительствам;
• от децентрализации к централизации [Wijnen, 2007].
Смещение фокуса внимания с совершенствования на подотчетность и тот факт, что с высших учебных заведений сняли ответственность за обеспечение качества, безусловно, составили две важнейшие перемены. Как отмечает Д. Вестерхейден, субъектом обеспечения качества в результате стало не образовательное учреждение, а государство, и почти исчезло такое измерение деятельности университетов, как совершенствование [Westerheijden, 2007]. Эти кардинальные изменения наряду с бюрократической волокитой, которая сопровождала процедуру аккредитации, и чрезвычайной дороговизной системы, явились причиной острой критики данной схемы обеспечения качества, особенно со стороны высших учебных заведений. Последовали бурные дискуссии и интенсивные консультации, в результате которых аккредитационная система была пересмотрена, и новый ее вариант действует в Нидерландах с 2012 г. Сходная откорректированная система была введена с 2013/2014 учебного года во Фландрии.
6. Пересмотр системы аккредитации с учетом критики
Решающим шагом в развитии Болонского процесса стало принятие в 2005 г. на совещании министров в Бергене (Норвегия) «Стандартов и рекомендаций по обеспечению качества в сфере европейского высшего образования» (Standards and Guidelines for Quality Assurance in the European Higher Education Area, ESG)
48
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
Европейской сети обеспечения качества в высшем образовании (ENQA). Целью разработки данного документа было достижение единства в представлениях об обеспечении качества в европейском высшем образовании. Новая голландская схема аккредитации создавалась на основе этих стандартов и рекомендаций. При этом Нидерландско-фламандская организация по аккредитации (NVAO) попыталась преобразовать и упорядочить «Стандарты и рекомендации по обеспечению качества в сфере европейского высшего образования», чтобы поставить во главу угла повышение качества образования (см. www.nvao.net).
В новой системе аккредитации преимущественное внимание по-прежнему уделяется качеству отдельных программ. Однако важное нововведение состоит в том, что высшие учебные заведения могут обратиться в NVAO с запросом на проведение институциональной оценки системы обеспечения качества. Она призвана определить, реализуется ли в учреждении в целом эффективная система обеспечения качества, которая позволяет ему гарантировать качество отдельных программ. Учреждения, получившие положительный результат по итогам институциональной оценки, могут воспользоваться преимуществами так называемой сокращенной схемы оценивания программ: группа независимых специалистов оценивает определенную программу по краткому списку критериев, касающихся качества преподавания и содержания программы. Предполагается, что таким образом удастся на 25% уменьшить волокиту, связанную с аккредитацией; количество и объемы дополнительных оценок при этом ограничены.
Если образовательное учреждение не обращалось с запросом на институциональную оценку или получило отрицательное заключение по результатам такой оценки, его программы рассматриваются в соответствии с расширенной процедурой аккредитации, более или менее сходной с той, которая действовала ранее.
Институциональная оценка системы обеспечения качества включает пять взаимосвязанных составляющих, которым соответствуют пять стандартов.
• Образовательное учреждение имеет сформулированную концепцию качества предлагаемого им образования, которая проводится в жизнь на всех уровнях деятельности вуза, и развивает культуру качества.
• Учреждение проводит адекватную политику с целью реализации своей концепции качества предлагаемого образования. Эта политика распространяется на все сферы деятельности вуза: преподавание, подбор кадров, материально-техническую базу, обеспечение доступности учебной среды для сту-
6.1. Институциональная оценка обеспечения качества
http://vo.hse.ru
49
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
6.2. Сокращенная оценка программы
дентов-инвалидов, встраивание исследований в программу обучения.
• Учреждение имеет представление о том, в какой степени реализуется его концепция обеспечения качества предлагаемого образования. Оно регулярно измеряет и анализирует качество своих программ.
• При необходимости учреждение может продемонстрировать, что систематически повышает качество своих программ.
• В учреждении существует эффективная организация деятельности и структура принятия решений, касающихся качества его программ, которая позволяет четко распределить задания и обозначить зоны ответственности.
Для проведения институциональной оценки NVAO назначает комиссию по аудиту в составе не менее четырех человек. В комиссию входят эксперты в области администрирования, обучения и аудита; ее работу обеспечивают координатор и секретарь. На основании информации, предоставляемой самим учреждением, и двух посещений учреждения комиссия анализирует внутреннюю систему обеспечения качества по каждому из пяти стандартов и решает, соответствует та или иная составляющая системы стандарту, не соответствует или соответствует только частично. Затем комиссия пишет обоснованное общее заключение о том, реализуется ли в учреждении эффективная система обеспечения качества, которая позволяет гарантировать качество предлагаемых образовательных программ. Заключение может быть положительным, отрицательным или условно положительным. В случае отрицательного или условно положительного результата учреждению при определенных обстоятельствах предоставляют возможность исправить недостатки в течение, допустим, одного года.
Учреждениям, получившим положительное заключение по итогам институциональной оценки системы обеспечения качества, предоставляется право сокращенной оценки их программ. Основывается эта оценка на результатах обсуждения той или иной программы с экспертами-коллегами, которых прежде всего интересует ее качество и содержание. Здесь рассматриваются три главных вопроса, так же как при оценке системы обеспечения качества, представленные в виде трех стандартов.
• Целевые результаты обучения: планируемые результаты обучения по программе заложены в содержании, уровне и ориентации программы (бакалавриат или магистратура; профессиональная или академическая); они отвечают международным требованиям.
• Среда преподавания/обучения: учебный план, квалификация персонала, услуги, предоставляемые по программе, и имею-
50
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
щиеся материальные ресурсы позволяют принятым на программу студентам достичь планируемых результатов. Учебный план, квалификация персонала, услуги и материальные ресурсы составляют единую среду преподавания/обучения для студентов.
• Оценка и достигнутые результаты обучения: программа сопровождается адекватной системой оценки, на основании которой можно констатировать, что планируемые результаты обучения достигнуты.
Комиссию для проведения сокращенной оценки программ собирает образовательное учреждение или внешнее агентство по оценке качества образования по согласованию с учреждением. Экспертная группа должна действовать независимо от учреждения, и утвердить ее должна NVAO. Комиссия состоит как минимум из четырех членов, среди них не менее двух специалистов в данной предметной области и одного студента. Помимо предметной оценки программы комиссия проводит ее международную экспертизу, педагогическую экспертизу, оценочную и аудиторскую экспертизу, а также, если необходимо, профессиональную экспертизу.
Перед посещением учреждения члены комиссии получают для ознакомления документы, список которых определен заранее. На основании этих документов и результатов обсуждений, которые состоялись в ходе инспекции, они формулируют обоснованное заключение по каждому из трех стандартов, составляющих формат сокращенной оценки программы. Шкала оценок 4-балльная: «неудовлетворительно», «удовлетворительно», «хорошо» или «отлично». Затем по той же шкале комиссия дает обоснованное общее заключение о качестве программы. Содержание оценок раскрывается следующим образом.
• «Неудовлетворительно»: программа не отвечает действующим стандартам качества в данной предметной области, в ней выявлены серьезные недостатки.
• «Удовлетворительно»: программа отвечает действующим стандартам качества в данной предметной области, показатели по всему спектру оцениваемых характеристик находятся на приемлемом уровне.
• «Хорошо»: программа систематически превышает действующие стандарты качества в данной предметной области по всему спектру показателей.
• «Отлично»: программа систематически и значительно превышает действующие стандарты качества в данной предметной области по всему спектру показателей и может рассматриваться как международный или общенациональный образец.
http://vo.hse.ru
51
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Секретарь готовит экспертный отчет объемом примерно 20 страниц и после проверки членами комиссии оформляет его окончательно. Основную часть отчета составляют оценки, выставленные программе по трем стандартам, и пояснения этих оценок. В особом разделе предлагаются меры по совершенствованию программы.
На основании экспертного отчета образовательное учреждение подает заявку на аккредитацию в NVAO, которая может принять одно из трех решений: аккредитовать программу, не аккредитовать ее или дать время — на определенных оговоренных условиях—для исправления недостатков.
7. Итоговые замечания и прогноз на будущее
Наряду с тем очевидным фактом, что в результате введения аккредитации фокус анализа высшего образования сместился с совершенствования обучения на подотчетность учреждений высшего образования, В. Вийнен перечисляет еще пять неблагоприятных последствий применения аккредитационной системы:
• требует больших затрат;
• способствует распространению бюрократизма;
• ведет к единообразию;
• поощряет очковтирательство;
• препятствует развитию подлинных инноваций [Wijnen, 2007].
Конечно, пока еще слишком рано выносить окончательное суждение, насколько новый вариант системы аккредитации способен свести на нет или хотя бы сократить упомянутые отрицательные эффекты. Нельзя не признать, что были предприняты определенные усилия с целью направить преимущественное внимание при аккредитации на содержание и качество программ. И тем не менее я склонен согласиться с мнением Б. ван Шийн-дела и Э. ван Кеменаде [van Schijndel, van Kemenade, 2011]: недостатки, за которые подвергалась критике исходная система аккредитации, устранены лишь частично. Да, система упростилась, когда избавилась от кошмара 21 пункта оценки по предыдущей схеме. Но в то же время была введена институциональная оценка обеспечения качества, дополненная сокращенной оценкой программ. По-прежнему остается опасность, что такая схема приведет к дублированию. Таким образом, нам еще только предстоит увидеть, в какой мере удастся уменьшить бюрократическую волокиту и сократить затраты.
Несмотря на усилия реформаторов системы сосредоточиться при аккредитации программ на их качестве, аккредитация остается прежде всего мерой результативности программы, а главный результат состоит в обеспечении базового уровня качества, и подотчетность по-прежнему преобладает над функцией совер-
52
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
шенствования. Наличие риска не пройти аккредитацию вкупе с акцентом на достижении базового уровня качества действительно чревато единообразием и очковтирательством. В такой ситуации легко понять тех руководителей учебных заведений, которые предпочитают придерживаться традиционных, опробованных идей и моделей, а в отчетах, предоставляемых экспертной комиссии, всячески подчеркивать преимущества программы и скрывать ее слабые стороны. Как следствие, аккредитация становится препятствием для инноваций, поскольку учреждения не хотят рисковать: организация по аккредитации может отклонить новые подходы и инновационные идеи (см. также [Dittrich, Klaassen, 2007]).
Д. Бреннан выделяет самооценку деятельности и оценку коллег как два фактора, наиболее важных для совершенствования качества образования: необходимость самооценки стимулирует внутреннюю дискуссию, диалог и взаимодействие в академическом сообществе, а оценивание, осуществляемое коллегами, способствует обмену положительным опытом и инновационными идеями [Brennan, 2007]. Однако эти два фактора отнюдь не преобладают в принципах и методах аккредитации и, скорее, противоречат главенствующей функции подотчетности.
В. Вийнен считает переход от доверия к недоверию основным сдвигом, произошедшим при замене первоначальной процедуры оценки качества аккредитацией [Wijnen, 2007]. Д. Вестер-хейден характеризует внешнюю систему обеспечения качества как политический инструмент «организованного недоверия» [Westerheijden, 2007]. Политики и управленцы в сфере высшего образования недовольны сложившимся положением и хотели бы вернуться к схеме оценивания, в которой было больше доверия, но в то же время стремятся сохранить ту форму обеспечения качества, которая стала для них полезным инструментом. Д. Ве-стерхейден комментирует такие ожидания следующим образом: «Основополагающий вопрос здесь — возможно ли вообще возвращение к ситуации, когда доверия было больше? Кому принадлежит острота: однажды потерянную невинность уже не вернешь?» [Ibid. P 15].
На мой взгляд, этот вопрос, если говорить о новом варианте системы аккредитации, все еще актуален. Учитывая, что аккредитация, по-видимому, представляет собой серьезное препятствие для совершенствования образовательных учреждений, важно понять следующее: возможно ли совместить в одной схеме обеспечения качества функции подотчетности и совершенствования? Я склонен присоединиться к тем авторам, которые полагают обе эти функции нужными и значимыми, но требующими разных средств для своего осуществления [van Kemenade, Hardjono, 2010; van Schijndel, van Kemenade, 2011; Wijnen, 2007].
На основании результатов эмпирического исследования с участием большой группы университетских преподавателей
http://vo.hse.ru
53
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Литература
Таблица 1. Двусторонняя система интеллектуальной подотчетности: разделение контроля и совершенствования в процессе аккредитации
Внешняя оценка Внутренняя оценка
Функция Подотчетность Обязательная Совершенствование Добровольное
Объект Образовательное учреждение Программа
Основные правила Внешние минимальные стандарты Целесообразность (организация задает собственные стандарты)
Заинтересованные лица Все, но в основном правительство Все, но в основном студенты и работодатели
Организация Правительство Само образовательное учреждение с участием внешних заинтересованных лиц
Методология Анализ документов (включая управленческий анализ) Посещение учреждения Всесторонний отчет с самооценкой Посещение учреждения План совершенствования
Решение об аккредитации Раз в шесть лет Ежегодно
Субъекты оценивания Профессиональные аудиторы, сторонняя по отношению к учебному заведению аудитория Коллеги-эксперты
Ценности Контроль Непрерывное совершенствование и соблюдение стандартов
Э. ван Кеменаде и Т. Харджоно предложили, по их собственному определению, «двустороннюю систему интеллектуальной подотчетности», где подотчетность и совершенствование разделяются, как показано в табл. 1 [van Kemenade, Hardjono, 2010. P. 266].
В этой системе подотчетность достигается за счет внешнего аудита на основе анализа документов и посещения учреждения профессиональными аудиторами с целью объективации показателей деятельности учреждения или реализации программы. Совершенствование обеспечивают внутренние аудиты, организуемые самим высшим учебным заведением на основе самоанализа и инспекций коллег-экспертов.
1. Brennan J. (2007) The Multiple Functions of Evaluation and Quality Assessment / A. Cavalli (ed.) Quality Assessment for Higher Education in Europe. London: Portland Press. P. 17-25.
2. De Neve H. M.F., Janssen P. T. (1984) Validity of Student Evaluation of Instruction // Higher Education. Vol. 11. No 5. P. 543-552.
54
Вопросы образования. 2014. № 4
Эрик Де Корте Г ■
Анализ деятельности университетов Западной Европы L.B
3. Dittrich K. (2004) Methodological Common Instruments for Assessment and Accreditation in the European Framework / 2th Seminar on Methodological Common Instruments for Assessment and Accreditation in the European Framework. Santander, Spain, 28-30 July 2004.
4. Dittrich K., Klaassen L. (2007) The Accreditation System in the Netherlands and Flanders / A. Cavalli (ed.) Quality Assessment for Higher Education in Europe. London: Portland Press. P. 115-125.
5. Harvey L., Green D. (1993) Defining Quality // Assessment and Evaluation in Higher Education. Vol. 18. No 1. P. 9-34.
6. Jeliazkova M., Westerheijden D. (2004) The Netherlands: A Leader in Quality Assurance Follows the Accreditation Trend / S. Schwarz, D. Westerheijden (eds) Accreditation and Evaluation in the European Higher Education Area. Dordrecht: Kluwer Academic Publishers. P. 323-345.
7. Management Group, European Committee Meeting (1995) European Pilot Project for the Evaluation of Quality in Higher Education. Brussels: European Commission DG XXII «Education, Training and Youth».
8. Saari S., Frimodig M. (eds) (2009) Leadership and Management of Education. Evaluation of Education at the University of Helsinki 2007-2008. Helsinki: University of Helsinki.
9. Schwarz S., Westerheijden D. F. (eds) (2004a) Accreditation and Evaluation in the European Higher Education Area. Dordrecht: Kluwer Academic Publishers.
10. Schwarz S., Westerheijden D. (2004b) Accreditation in the Framework of Evaluation Activities: A Comparative Study in the European Higher Education Area / S. Schwarz, D. Westerheijden (eds) Accreditation and Evaluation in the European Higher Education Area. Dordrecht: Kluwer Academic Publishers. P. 1-41.
11. Teicher U. (2007) Accreditation: The Role of a New Assessment Approach in Europe and the Overall Map of Evaluation in European Higher Education / A. Cavalli (ed.) Quality Assessment for Higher Education in Europe. London: Portland Press. P. 55-64.
12. Van Damme D. (2004) Quality Assurance and Accreditation in the Flemish Community of Belgium / S. Schwarz, D. Westerheijden (eds) Accreditation and Evaluation in the European Higher Education Area. Dordrecht: Kluwer Academic Publishers. P. 127-157.
13. Van Kemenade E., Hardjono T. W. (2010) A Critique of the Use of Self-Evaluation in a Compulsary Accreditation System // Quality in Higher Education. Vol. 16. No 3. P. 257-268.
14. Van Schijndel B., van Kemenade E. (2011) Hoe Goed is Het Nieuwe Accred-itatiestelsel? // Tijdschrift voor Hoger Onderwijs & Management. Vol. 18. No 4. P. 6-10.
15. Westerheijden D. F. (2007) The Changing Concepts of Quality in the Assessment of Study Programmes, Teaching and Learning / A. Cavalli (ed.) Quality Assessment for Higher Education in Europe. London: Portland Press. P. 5-16.
16. Wijnen W. (2007) Accreditation in the Netherlands: An Improvement of External Quality Assessment? / A. Cavalli (ed.) Quality Assessment for Higher Education in Europe. London: Portland Press. P. 127-133.
17. Witte J. (2009) Parallel Universes and Common Themes: Reforms of National Curricular Governance in Germany, the Netherlands, France and England in the Context of the Bologna Process / A. Amaral, P. Maassen,
C. Musselin, G. Neave (eds) European Integration and the Governance of Higher Education and Research: The Challenges and Complexities of an Emerging Multi-Level Governance System. Dordrecht: Kluwer Academic Publishers. P. 227-255.
http://vo.hse.ru
55
En
THEORETICAL AND APPLIED RESEARCH
Evaluation of Universities in Western Europe:
From Quality Assessment to Accreditation
Author Erik de Corte
Professor Emeritus, Center for Instructional Psychology and Technology (CIP&T), University of Leuven, Belgium. Address: Katholieke Universiteit Leuven, Oude Markt, 13, Bus 5005 3000 Leuven, Belgium.
E-mail: Erik.DeCorte@ppw.kuleuven.be
Abstract The emergence of national evaluation schemes in higher education in Western Europe occurred in the mid-1980s, and originated in The Netherlands, Flanders, France and the United Kingdom. In the years thereafter many other Western European countries established similar evaluation systems. Over the past thirty years these systems have undergone important changes. This article discuss the following topics relating to evaluation in Western European higher education. What were the causes for the establishment of schemes for the evaluation of higher education institutions in Western Europe in the mid-1980s? Defining main concepts relating to the evaluation of higher education programs: quality assurance, quality, quality control, quality management, quality audit, quality assessment, evaluation, and accreditation. Quality assessment introduced in the mid-1980s lasted till the start of the 21th century, and focused on contributing to the improvement of higher education. The Dutch system of quality assessment that was representative for Western Europe will be presented. Notwithstanding the largely positive influence of the quality assessment system, in the early years of the 21st century a shift occurred in Western Europe from quality assessment to accreditation defined as a formal judgment that the quality of a degree course or an institution meets certain standards. Although based on quality assessment this approach shifted the focus from improvement to accountability. As an example the Dutch accreditation scheme will be discussed. Because of the shift from improvement to accountability, but also because of the bureaucratic burden and the expensiveness, the accreditation scheme was more and more heavily criticized. This led to very intensive discussions and consultations that resulted in a revised accreditation system that is operational in The Netherlands since 2012. The major changes in the accreditation approach will be reviewed. The article concludes with some final comments and a future perspective.
Keywords national evaluation schemes, higher education, quality assessment, quality assurance, accreditation, improvement of higher education.
References Brennan J. (2007) The Multiple Functions of Evaluation and Quality Assessment.
Quality Assessment for Higher Education in Europe (ed. A. Cavalli), London: Portland Press, pp. 17-25.
De Neve H. M.F., Janssen P. T. (1984) Validity of Student Evaluation of Instruction.
Higher Education, vol. 11, no 5, pp. 543-552.
Dittrich K. (2004) Methodological Common Instruments for Assessment and Accreditation in the European Framework. Paper presented at 2th Seminar on Methodological Common Instruments for Assessment and Accreditation in the European Framework, Santander, Spain, 28-30 July, 2004.
Dittrich K., Klaassen L. (2007) The Accreditation System in the Netherlands and Flanders. Quality Assessment for Higher Education in Europe (ed. A. Cavalli), London: Portland Press, pp. 115-125.
Harvey L., Green D. (1993) Defining Quality. Assessment and Evaluation in Higher Education, vol. 18, no 1, pp. 9-34.
56
Educational Studies. 2014. No 4
THEORETICAL AND APPLIED RESEARCH
En
Jeliazkova M., Westerheijden D. (2004) The Netherlands: A Leader in Quality Assurance Follows the Accreditation Trend. Accreditation and Evaluation in the European Higher Education Area (eds S. Schwarz, D. Westerheijden), Dordrecht: Kluwer Academic Publishers, pp. 323-345.
Management Group, European Committee Meeting (1995) European Pilot Project for the Evaluation of Quality in Higher Education. Brussels: European Commission DG XXII «Education, Training and Youth».
Saari S., Frimodig M. (eds) (2009) Leadership and Management of Education. Evaluation of Education at the University of Helsinki 2007-2008. Helsinki: University of Helsinki.
Schwarz S., Westerheijden D. F. (eds) (2004a) Accreditation and Evaluation in the European Higher Education Area. Dordrecht: Kluwer Academic Publishers.
Schwarz S., Westerheijden D. (2004b) Accreditation in the Framework of Evaluation Activities: A Comparative Study in the European Higher Education Area. Accreditation and Evaluation in the European Higher Education Area (eds S. Schwarz, D. Westerheijden), Dordrecht: Kluwer Academic Publishers, pp. 1-41.
Teicher U. (2007) Accreditation: The Role of a New Assessment Approach in Europe and the Overall Map of Evaluation in European Higher Education. Quality Assessment for Higher Education in Europe (ed. A. Cavalli), London: Portland Press, pp. 55-64.
Van Damme D. (2004) Quality Assurance and Accreditation in the Flemish Community of Belgium. Accreditation and Evaluation in the European Higher Education Area (eds S. Schwarz, D. Westerheijden), Dordrecht: Kluwer Academic Publishers, pp. 127-157.
Van Kemenade E., Hardjono T. W. (2010) A Critique of the Use of Self-Evaluation in a Compulsary Accreditation System. Quality in Higher Education, vol. 16, no 3, pp. 257-268.
Van Schijndel B., van Kemenade E. (2011) Hoe Goed is Het Nieuwe Accredi-tatiestelsel? Tijdschrift voor Hoger Onderwijs & Management, vol. 18, no 4, pp. 6-10.
Westerheijden D. F. (2007) The Changing Concepts of Quality in the Assessment of Study Programmes, Teaching and Learning. Quality Assessment for Higher Education in Europe (ed. A. Cavalli), London: Portland Press, pp. 5-16.
Wijnen W. (2007) Accreditation in the Netherlands: An Improvement of External Quality Assessment? Quality Assessment for Higher Education in Europe (ed. A. Cavalli), London: Portland Press, pp. 127-133.
Witte J. (2009) Parallel Universes and Common Themes: Reforms of National Curricular Governance in Germany, the Netherlands, France and England in the Context of the Bologna Process. European Integration and the Governance of Higher Education and Research: The Challenges and Complexities of an Emerging Multi-Level Governance System (eds A. Amaral, P. Maassen, C. Musselin, G. Neave), Dordrecht: Kluwer Academic Publishers, pp. 227-255.
http://vo.hse.ru
57
