CC BY
67опыт чешской республики, польши и германии по проведению самооценки школы*
ПЕШЕК ДАВИД
Старший менеджер проектов, DAP Services a.s. Е-mail: pesek@dap-services.cz Острава, Чешская Республика
АННОТАЦИЯ. В настоящей статье представлен опыт нескольких организаций, в том числе - членов Евразийской Ассоциации оценки качества образования, работающих в Европе по решению актуальных проблем оценки качества образования. Автором рассматриваются следующие вопросы: поддержка системы самооценки в школах, включая использование интернет-приложения, направленного на развитие и совершенствование процесса самооценки; инструменты для проведения самооценки, в основном ориентированные на оценку результатов образовательного процесса, а также на оценку атмосферы в школе и классах.
КЛЮЧЕВЫЕ СЛОВА: самооценка, модель комплексной оценки школы, школьная атмосфера.
* Статья подготовлена в дополнение к докладу автора на II ежегодной конференции ЕАОКО 17 ноября 2013 года (презентация доклада размещена в сети Интернет [3]).
school self-evaluation:
case studies from the czech republic,
poland and Germany
DAVID PESEk
Senior Project Manager, DAP Services a.s. Е-mail: pesek@dap-services.cz Ostrava, the Czech Republic
ABSTRACT. The focus of the paper is to present experience of the Czech organizations in the fields of current issues being solved within the EAOKO educational world. These issues include mainly but not exclusively: self-evaluation support for schools, including the internet based application focused on fostering the self-evaluation process; tools enabled for the self-evaluation, mainly focusing on the results of the educational process and also on the atmosphere in the schools and classrooms.
KEYWORDS: model of complex school evaluation, self-evaluation, school atmosphere.
Существуют рамочные программы финансирования проектов в области образования, которые позволяют углублять уже достигнутые результаты — ссылки на примеры таковых представлены в заключительном разделе настоящей статьи. Многие из этих программ могут быть использованы для реализации проектов в странах, представители которых являются членами Евразийской Ассоциации оценки качества образования, за счет адаптации тех наработок, которые были получены в Чешской Республике. Указанные программы используют грантовые схемы, для участия в которых большим преимуществом является наличие готовой базовой структуры для адаптации проектов.
Авторы настоящей статьи надеются, что она поспособствует мотивации проектных команд к диалогу для разработки инструментов и механизмов, которые могут быть использованы с целью адаптации результатов проектов, описанных в статье. Мы ожидаем, что этот короткий текст поможет членам ЕАОКО выявить некоторые из таких инструментов и механизмов, и выражаем надежду на продолжение дискуссии по данной теме на страницах журнала «Качество образования в Евразии» и вне его.
САМООЦЕНКА ШКОЛЫ
В рамках реформы образования, проводимой в Чешской Республике с 2000 года, школы должны разрабатывать свои собственные учебные планы (School Education Plans), которые должны основываться на государственной рамке учебного плана (Framework Educational Plan).
Серьезные усилия, предпринимаемые школьными учителями для того, чтобы соответствовать требованиям разработанных ими учебных планов, подкреплены законом 15/2005, который требует от школ систематического проведения самооценки для подтверждения эффективности разработанного школой учебного плана в условиях этой конкретной школы.
Как только соответствующие методические рекомендации были подготовлены правительством, университет Остравы стал работать над подготовкой концепции методологии самооценки, используя в качестве основы Общую рамку оценки (Common Assessment Framework (CAF)). Разработанные индикаторы по конкретным аспектам деятельности школы позволяют использовать логическую структуру Общей рамки оценки в области образования.
Европейское финансирование, доступное с 2004 года, в основном было использовано на поддержку и развитие отдельных инструментов и самой рамки оценки.
Так как наши разработки были положительно восприняты школами, мы решили подготовить интернет-приложение, которое позволило бы школам фиксировать процесс самооценки и сохранять данные (это требуется законом, а также Чешской школьной инспекцией).
С помощью наиболее активных школ (составляющих до 15% от общего числа школ: кстати, такое же количество школ было подтверждено другими странами, использующими нашу методологию) мы смогли оптимизировать количество индикаторов с целью достижения компромисса: с одной стороны, важно описать все основные процессы в школе, а с другой стороны, необходимо минимизировать усилия сотрудников школы по проведению самооценки по разработанной нами методологии.
В качестве следующего логического шага по поддержке школ в проведении самооценки явилось создание пилотных инструментов, направленных на поддержку процесса оценки и привязанных к отдельным индикаторам модели самооценки. Эти инструменты были компьютеризированы, и мы их предоставляем как дополнительный продукт помимо основной рамки самооценки.
Помимо рамки самооценки два инструмента (относительное улучшение знаний и навыков школьников и оценка школьной атмосферы) описаны более подробно.
Дизайн рамки самооценки основан на общей концепции модели качества (EFQM© Excellence Model). В 2010 году эта версия была адаптирована для использования в детских садах, начальной и средней школах (далее — школах), а также для органов школьного управления. Общая концепция модели качества (EFQM© Excellence Model) была дополнена набором исходных данных, определяющим профиль школы (см. схему на рис. 1).
Эта модель работает в четырех областях, 25 субобластях и использует примерно 70 индикаторов, при этом количественная оценка проводится в соответствии с методологией Radar©. Для проведения внутренней оценки, а также количественного описания отдельных областей и субобластей использовалась информационная система Diagnostic (далее — IS Diagnostic).
Рисунок 1. Модель комплексной оценки школы.
Внутренняя оценка школы проверяется внешней оценкой, в которой все уровни школы оцениваются по действующим критериям оценки,— это отмечено в приведенной выше схеме стрелками слева направо. Левая часть схемы представляет собой внутреннюю оценку школы, проводимую по определенным областям по системе методологии Radar©, используемой в концепции качества EFQM©.
Правая часть схемы представляет внешнюю оценку, которая состоит из трех уровней: уровня учебного плана, административного и организационного уровня и культурного и социального уровня. В этой части каждый из уровней является частью другого. Основу составляет планируемый, реализуемый и оцениваемый учебный план. Разработанный и реализуемый учебный план тесно связан с административным и организационным уровнем, и все это оказывает влияние на социальный уровень.
Все аспекты, отражающие школьную реальность в целом, могут быть описаны через соответствующие переменные, влияющие на общее качество работы школы. Таким образом, эти переменные могут быть структурированы по трем основным, взаимосвязанным уровням: культурный и социальный уровень, уровень учебного плана и административный и организационный уровень. Все эти уровни могут быть рассмотрены в разрезе оценки, так как все элементы этих уровней могут быть и должны быть оценены.
модель комплексной оценки школы
Данная модель оценки качества школы разработана как сочетание внутренней и внешней оценки. Внутренняя оценка или самооценка проводится школой. Внешняя оценка проводится соответствующей внешней организацией. В обоих случаях проведение оценки требует:
• детальной и объективной оценки реального состояния системы управления и достигнутых школой результатов в соответствии с описанной выше моделью;
• внесения результатов оценки в «отчет самооценки» в системе IS Diagnostic (отчет о внутренней оценке качества), который затем становится основой для принятия управленческих решений для дальнейшего улучшения работы школы или проведения необходимых изменений;
• в случае внешней оценки отчет о самооценке предоставляется соответствующей организации, которая затем проводит оценку в школе;
• педагогические работники школы обучаются проводить самооценку в соответствии с моделью;
• выбирается система количественного описания оценки.
Всем областям в модели, представленной на рисунке 1, присвоен одинаковый вес относительно их значимости.
Следующее описание модели оценки качества (Quality Evaluation Model) предоставляется сотрудникам школы вместе с инструкцией о том, что необходимо учитывать при проведении внутренней и внешней оценки. Это описание разделено на три части:
1. профиль школы;
2. инструменты оценки и способы оценки;
3. результаты.
Профиль школы — это краткое описание наиболее важных фактов, касающихся основных характерных особенностей школы. Для проведения внутренней оценки сбор информации о школе служит хорошим началом, для внешней оценки — это ценный инструмент, позволяющий экспертам, проводящим оценку, познакомиться со спецификой школы и ее деятельностью. Профиль школы должен включать следующую информацию:
• обзор учебных программ, предлагаемых школой в соответствии с ее документацией;
• описание организационной структуры школы;
• миссия, концепция развития и ценности школы;
• описание структуры, педагогических и непедагогических кадров школы;
• информация о результатах обучения учащихся в соответствии с целями, поставленными школой, предлагаемым уровнем образования, включая результаты заключительных экзаменов, экзаменов по окончании школы, испытаний на получение сертификатов;
• информация о предотвращении социально неблагоприятных явлений;
• информация о повышении квалификации педагогических кадров;
• информация о деятельности школы и ее представление общественности;
• характеристика окружающей среды школы;
• основная информация об экономической деятельности школы;
• информация об участии школы в международных программах и проектах развития;
• описание основных элементов определения качества и мониторинга деятельности школы.
Эти элементы могут быть модифицированы. Они могут быть дополнены другими фактами для того, чтобы предоставить всем специалистам, участвующим в оценке, первичную информацию для составления наиболее полной картины о том, что является характерным и уникальным для конкретной школы.
Представленная модель школы (см. рис. 2) отображает комплементарные и взаимосвязанные отношения отдельных уровней системы. Ученик с его уникальной личностью, особенностями развития является центром этой модели, а условия обучения составляют основу процесса обучения. Учитель
и процесс преподавания вместе с учеником и его стилем обучения образуют связь со школьной программой обучения, которая реализуется в соответствии с намеченными планами, целями и содержанием. Административный и организационный уровень представлен прежде всего школьной администрацией. Под этим уровнем находится уровень учебного плана. Администрация школы планирует, реализует и оценивает учебный план. Сообщество учеников, учителей и других педагогических и непедагогических работников и партнеров школы в своей целостности и с созданными ими принципами образует социальный уровень: этот уровень в основном включает аспекты психологического и социального климата, такие как качество человеческих отношений, удовлетворенность и безопасность. В дополнение к этому это сообщество на более глубоком уровне регулируется задекларированными и разделяемыми его членами внутренними ценностями, составляющими основу культурного уровня [2].
Культурный и социальный уровень
Административный и организационный уровень
Уровень учебных планов
Управление школой
Рисунок 2. диаграмма школьной реальности.
Процедура (стадии) оценки: 1. Мотивационная стадия. Этот первый шаг необходим для начала всего процесса самооценки и включает в себя три аспекта: потребности, движение и эффективность [1].
Для того чтобы самооценка стала потребностью, ее необходимость должна проистекать изнутри, как внутренняя мотивация сотрудников школы, а не быть навязанной извне.
Аспект движения включает в себя принципиальную идею изменения, которая объединяет внутреннее движение (работники школы) с внешним движением (например, внешний эксперт). Это устраняет проблемы, связанные с так называемой операционной слепотой.
2. Подготовительная стадия. На этой стадии определяются цели, задачи, процедуры, компетенции и обязанности отдельных сотрудников. Основные принципы проведения процесса также формулируются на этой стадии. Важным шагом на этом этапе является создание группы по проведению оценивания.
3. Проект самооценки. Это основной критерий успеха проведения процесса самооценки. В этом документе должны быть четко сформулированы программа и сроки проведения всего процесса самооценки.
4. Проведение мероприятий по самооценке. Эта стадия частично совпадает с подготовительной стадией. В рамках этой стадии должно быть описано реальное состояние дел в школе, обозначены ее проблемные области, собраны данные, определены специфические проблемы и т.д.
Основной характеристикой этой стадии является ее гибкость, то есть необходимость корректировать процесс оценки в соответствии с текущей ситуацией.
5. Непосредственно оценка. При анализе всего процесса оценки необходимо провести дополнительные проверки, интерпретировать собранные при проведении самооценки данные и составить отчет самооценки. Этот отчет включает информацию по всем обнаруженным проблемам и все результаты важных проверок. На этом этапе мы можем (а согласно законодательству мы должны) предложить шаги по улучшению работы школы и сделать ее более эффективной.
6. Стадия корректировки. Завершающая фаза, в которой исполняются предложения и рекомендации, сформулированные в заключительном отчете самооценки.
относитЕльный прирост зндний школьников
Относительный прирост знаний школьников представляет собой модель измерения добавочной стоимости образования. В Моравско-Силезском крае в 2007-2010 годах был реализован проект «Качество» (Ма№а 2007 ^ 2010). Его основной целью являлось тестирование выпускников средней школы по математике, чешскому, английскому и немецкому языкам, используя метод относительного прироста знаний. В проекте участвовало 8000 учеников из 300 классов и 80 школ из общего количества 147 средних школ всех типов.
Выборка включила 55% всех школ и может считаться репрезентативной. Измерения были проведены на чешском языке в школах с преподаванием на чешском и на польском языке в школах с преподаванием на польском. Знания на входе были протестированы в 2007 и 2009 годах, а знания на выходе были протестированы в 2010 и 2012 годах. Тестирование проводилось в электронном виде, для него были подготовлены специальные приложения, портал и базы данных. Ассоциация качества школьного образования (Spolecnost pro kvalitu skoly, o. s.) реализовывала проект и тем самым помогла региону определить свою добавочную стоимость в образовании. В 2008 году этот проект был признан самым передовым на национальном уровне среди исследований по данной тематике.
алгоритм определения относительного прироста знаний
Метод относительного прироста знаний был разработан на основе опыта и методик Центра оценки и мониторинга университета Дарема. Он включает в себя пять последовательных стадий:
I стадия — оценка уровня знаний школьников на входе. Электронное тестирование всех учащихся по одинаковым заданиям. Тестируется не только знание по предметам, но и навыки, необходимые для успешного решения заданий. Если в классе находится ученик с особыми нуждами, то время на прохождение тестирования удваивается.
Итог — оперативная оценка школы, классов, учащихся (без процентилей) .
II стадия — оценка уровня знаний студентов на выходе. Электронный вариант тестирования, проверяются не только знания по предметам, но и навыки, необходимые для успешного решения заданий.
Предусмотрено использование 10 вариантов тестов одинакового уровня сложности, где ротация заданий заложена в рамке теста (случайное распределение вариантов до тех пор, пока все варианты теста были использованы) . В случае тестирования студента с особыми нуждами время на прохождение теста увеличивается вдвое.
III стадия — согласование данных. Производится согласование данных по учащимся с 2007 по 2010 год.
IV стадия — подсчет относительного прироста знаний по предметным областям. Определение регрессионной прямой по предметным областям и отдельным предметам.
V стадия — обработка и представление результатов тестирования. Распределение относительного прироста знаний по пяти группам учащихся (15%, 20%, 30%, 20%, 15%). Распределение относительного прироста знаний по четырем группам школ (по квартилям, 0-25%, 25-50%, 50-75%, 75-100%) .
Оценка
знаний на выходе
Рисунок 2. Представление результатов проекта.
Рисунок 3. Пример результатов компьютерного тестирования1.
1 Добавленная стоимость всех классов в предметной области 1 (чешский язык) с отмеченными результатами конкретных школ относительно регрессионной прямой.
оценка атмосферы в школе
Вместо оценки добавленной стоимости для оценки атмосферы в классе использовался другой подход. По-видимому, атмосфера в классе является одним из ключевых элементов формирования навыков учащихся в школе.
Так как оценка атмосферы в классе с помощью анкетирования всегда была проблематичной, то для получения обратной связи об атмосфере в классе учителям и директорам была предложена альтернативная методология (ассоциации по цвету: www.camethod.com). Этот инструмент был разработан с помощью EAOKO в рамках сотрудничества Чешской Республики (организации DAP-Services) с британским партнером (www.redburnsolutios. com), расположенным в Белфасте.
Для предоставления школам инструмента, который позволил бы директорам и учителям увидеть школу глазами учащихся, был использован опыт проекта «Обеспечение эффективности образования в Моравско-Силезском крае» (2003-2006). В рамках проекта было протестировано более 30 000 учащихся, в основном на уроках информатики, так как тестирование проводилось с помощью онлайн-приложений.
Учащиеся использовали Интернет для доступа к онлайн-приложению, с помощью которого они выбирали три цвета, которые отражали их реакцию на отдельные слова (этих слов было больше 120), — см. рисунок 4.
Рисунок 4. Пример интерфейса тестирования.
После завершения тестирования в течение нескольких минут на сервере проекта автоматически готовился отчет, который был доступен для учителей и директоров на сайте [4] (так как на сайте доступны и предыдущие конфигурации, то для получения отчета необходимо определить отдельные классы и количество тестируемых учащихся в каждом классе).
После разработки методологии в Чешской Республике она стала использоваться на международном уровне, например, в рамках проектов Вишеград (Visegrad) [5]. Разработка и использование инструментов на основе цветовых ассоциаций также поддерживалась грантами Европейского Союза, например, в регионе Злин, где методология использовалась для профориентации (см. сайт Злинского региона [6] или портал проекта [7]). Другой подход был использован при оценке атмосферы в группах детского сада. В рамках этого проекта чешские специалисты тесно сотрудничали с Центром компетенций (Centrum Kompetencji) в Познани, Польша [8].
Отчет включает описание трех основных компонентов атмосферы школы и дает ответы на следующие вопросы:
• Насколько эффективно обучение и преподавание в вашей школе? Насколько оно эффективно по каждому предмету, в отдельном классе, при использовании данных педагогических методов?
• Положительно ли влияют отношения (атмосфера в классе и школе) между администрацией, учителями, детьми на обучение?
• Какие поведенческие риски присутствуют в вашей школе в каждом классе? Хорошо ли осознаются и контролируются эти риски для повышения эффективности обучения?
Ответы даются в виде простых диаграмм, например, следующая диаграмма иллюстрирует влияние отдельных элементов на общую эффективность процесса обучения и преподавания.
1.2 Факторы, влияющие на эффективность Ш
Школьная среда
Учителя
Предметы
Управление и оценка обучения
Механизмы управления школой I
Дальнейшее обучение и карьерный рост 1
Рисунок 5. диаграмма «Факторы эффективности обучения и преподавания».
Различие в атмосфере отдельных классов демонстрируется в виде матрицы, которая использует простой код «светофора» для представления информации (см. рис. 6).
Этот инструмент на русском языке пилотировался в Российской Федерации и Казахстане в октябре 2013 года. С помощью учителей, добровольно принявших участие в проекте, были подготовлены комментарии по процессу диагностики и общей применимости инструмента.
| Class |
¡Эффективность преподавания и обучения ^ cf 9 Общее
Биология • • • •
География о # • 0 •
Иностранный язык • • • 0 •
Информатика • • • 0 •
История
Математика ф ф ф ф ф
Рисунок 6. Диаграмма «Эффективность преподавания и обучения» по различным дисциплинам.
Метод цветовых ассоциаций к словам позволяет получить информацию, которая способствует повышению эффективности обучения. Она также может быть использована для раннего выявления вероятности возникновения социально «рискованных» ситуаций, часто встречающихся в классах. Этот вид измерений помогает выбрать подходящую среднюю школу или университет. Его новизна заключается еще и в том, что с помощью этого метода можно измерять и способности учащихся.
рамочные программы финансирования проектов в области образования
Visergad fund: www.visegradfund.org
Erasmus+: http://ec.europa.eu/programmes/erasmus-plus/index_en.htm Horizon202: http://ec.europa.eu/programmes/horizon2020/ Eureka: http://www.eurekanetwork.org/ Eurostars: https://www.eurostars-eureka.eu/
список литературы
1) schratz, M. Initiating Change through Self-evaluation: Methodological Implications for School Development / M. Schratz. — Dundee: CIDREE, 1997.
2) Seberova, A. Autoevaluace skoly — od teorie k praxi a vyzkumu / A. Seberova, M. Malcfk. — Ostrava: Pedagogicka fakulta Ostravske univerzity v Ostrave, 2009. — 136 p.
3) ЕАОКО [Электронный ресурс]: сайт Евразийской Ассоциации оценки качества образования. — Режим доступа: http://www.eaoko.org.
4) Brightlight on Education [Электронный ресурс]: [сайт проекта по изучению эффективности преподавания и обучения Bright Light On] . — Режим доступа: http://www.brightlighton.net.
5) Сайт проекта Psychological counselling in Visegrad schools [Электронный ресурс]. — Режим доступа: https://sites.google.com/a/dap-services.cz/ visegradschoolcomparison2012/home.
6) Zlfn Region [Электронный ресурс]: ^айт Злинского региона Чехии]. — Режим доступа: http://www.kr-zlinsky.cz/vzdelavani-pedagogickych-pracovniku-zamerene-na-karierove-poradenstvi-cl-807.html.
7) Z: Kariera [Электронный ресурс]: [сайт проекта по карьерному консультированию]: [портал Злинского региона Чехии]. — Режим доступа: http://www. zkariera.cz/.
8) Сайт проекта Materinky [Электронный ресурс]. — Режим доступа: http:// www.materinky.eu.
