CC BY
72Австралия: подходы к оценке качества образования
Нурминский Алексей Игоревич
ФГБНУ «ФИПИ», тестолог отдела научно-методической экспертизы и психометрических исследований, kim@fipi.org
Ключевые слова: национальная программа оценки учебных достижений, оценка грамотности чтения, оценка граждановедческой грамотности, оценка естественнонаучной грамотности, оценка грамотности в сфере информационно-коммуникационных технологий.
Образование в Австралии лежит прежде всего в зоне ответственности отдельных регионов (штатов и территорий)1. Правительство каждого штата или территории обеспечивает финансирование и регулирует государственные и частные школы в области управления. Штаты и территории несут ответственность за предоставление образования в Австралии школами, управляемыми как правительством, так и неправительственными органами народного образования, включая религиозные и частные школы.
Все министры образования штатов и территорий сотрудничают через Образовательный Совет для достижения национальных целей. 12 декабря 2008 года Совет опубликовал национальную декларацию (Мельбурнская Декларация) по образовательным целям для молодых австралийцев. В этой Декларации провозглашены две общенациональные цели:
■ обучение в школе обеспечивает равенство и справедливость в предоставлении образовательных услуг и сопутствующей информации, и высокое качество этих услуг;
■ все молодые австралийцы должны стать успешными учениками, уверенными и творческими людьми, и активными, и информированными гражданами.
Обязательное образование в Австралии охватывает детей в возрасте от пяти до пятнадцати или семнадцати лет, в зависимости от даты рождения и штата или территории. Обучение в Австралии начинается с подготовительного класса (год перед первым классом) и продолжается ещё 12 лет в начальной и средней школах. Причём, как и в России, конкретные учебные заведения могут обеспечивать как только начальное, основное (без начального) или старшее образование, так и содержать в себе все ступени обучения. В старших классах (11 и 12) студенты учатся для получения Свидетельства о полном среднем образовании (обычно называемое свидетельством 12 класса), которое требуется для поступления большинством австралийских университетов и учебных учреждений профессионально-технического образования.
1 https://www.education.gov.au
В Австралии развивается система школьной автономии как части всеобъемлющей стратегии повышения результатов школьного образования2. Австралийское правительство считает, что предоставленная школам и школьным директорам большая автономия может помочь улучшить результаты учащихся. Австралийское правительство поддерживает школьную автономию в рамках своей инициативы независимости государственных школ. Данная инициатива стремится давать отдельным государственным школам больше самостоятельности принятия внутренних решений и помогает укреплению связи между школами, родителями и местным сообществом. У больших школ во всех штатах и территориях есть достаточно свободы, чтобы принимать решения и разрабатывать курсы, которые лучше всего удовлетворяют потребностям их студентов.
Однако с 2012 года в стране постепенно вводился образовательный Стандарт для основной (с подготовительного по 10 классы) и старшей (11 и 12 классы) школы3. Образовательный стандарт адресован учителям и родителям, включает в себя стандарты обучения и оценки и обеспечивает:
■ соглашение по содержанию, которое нужно преподавать всем студентам;
■ стандарты учебной подготовки, которым должны соответствовать все студенты независимо от их личных обстоятельств, типа (государственная, частная или религиозная) или местоположения школы, в которой они учатся;
■ ясное понимание учителями и родителями того, какие потребности должны быть обеспечены каждым предметом на каждом году обучения;
■ гибкость для формирования учителем своих учебных курсов на основе учебного стандарта.
18 сентября 2015 года министры образования всех штатов и территорий одобрили образовательный стандарт основной школы по всем областям обучения. Для старшей школы стандарты одобрены по областям: математика, естество-
2 https://www.studentsfirst.gov.au
3 http://www.australiancurriculum.edu.au
знание, география, история и английский язык. По остальным направлениям стандарт старшей школы ещё находится на стадии обсуждения.
11 декабря 2015 года департаменты образования штатов и территорий ратифицировали информационные сообщения, подготовленные австралийской организацией, контролирующей Стандарт, оценку достижений и распространение соответствующей информации (The Australian Curriculum, Assessment and Reporting Authority (ACARA)) для обеспечения доступа родителей к Образовательному стандарту.
На данный момент организация ACARA является ответственной за содержание, введение и контроль обеспечения требований Стандарта4'5. В сферу ответственности ACARA также входят сбор данных для изучения, анализа, оценки учебного процесса, распределение ресурсов, отслеживание и отчёт об уровне результатов обучения на школьном и национальном уровне, и национальная программа оценки учебных достижений (National Assessment Program (NAP)).
Национальная программа оценки учебных достижений проводится под контролем австралийского Образовательного Совета. Организация ACARA сотрудничает с представителями всех штатов, территорий, университетов и неправительственных школьных секторов, но при этом является независимым агентом, полностью ответственным за NAP.
NAP является мониторинговым проектом и включает три направления6:
■ всеобщую Национальную Программу Оценки Грамотности и Способности к количественному мышлению (National Assessment Program — Literacy and Numeracy (NAPLAN));
■ выборочную оценку грамотности (NAP sample) в областях естествознания (science literacy (NAP-SL)), гражда-новедения (civics and citizenship literacy (NAP-CC)) и информационно-коммуни-
4 http://www.acara.edu.au
5 https://www.comlaw.gov.au/Details/ C2014C00453/Html/Text#_Toc393892290
6 http://www.nap.edu.au
кационных технологий (information and communication technology literacy (NAP-ICTL));
■ проведение в стране различных международных сравнительных исследований качества образований.
NAPLAN
Наиболее масштабным мероприятием по оценке образования в Австралии, несомненно, является NAPLAN, поскольку ежегодно охватывает абсолютно всех учащихся 3, 5, 7 и 9 классов. С 2008 года данное обследование является обыденным в школьном расписании абсолютно всех школ независимо от их принадлежности. Последние три года ведётся работа по организации этого тестирования в режиме online.
NAPLAN проверяет навыки, которые, по мнению местного образовательного сообщества, важны для каждого ребёнка, чтобы успешно развиваться на протяжении всего периода обучения в школе и в жизни. Тестирование проходит в национальном масштабе каждый год на второй полной неделе мая. При том что учебный год длится, в среднем, с конца января до середины декабря и состоит из 4
" 7
«четвертей»', между которыми проводятся двухнедельные каникулы, тестирование NAPLAN попадает на первую половину второй четверти.
Тестирование NAPLAN составлено из тестов в четырёх образовательных областях:
■ чтение;
■ письменная речь;
■ навыки письма (правописание, грамматика и пунктуация);
■ способность к количественному
о
мышлению.8
Навыки и уровни овладения ими, ожидаемые от студентов, представлены для
7 В разных штатах и территориях даты начала
и окончания каждой четверти несколько различаются. Также в религиозных и негосударственных школах эти даты могут несколько отличатся от принятых на данной территории или в штате. Тем не менее различия укладываются в пределах 2—5 дней и не меняют общее число учебных дней в учебном году.
8 http://www.nap.edu.au/naplan/the-tests.html
каждой области и для каждого класса в так называемых «минимальных стандартах»9.
Тесты по чтению NAPLAN измеряют грамотность в области английского языка и сосредотачиваются на чтении письменного английского. Знание и интерпретация языковых правил в том или ином контексте также является важной частью чтения, которая представлена во многих вопросах тестов. Студентам предоставляют брошюру, содержащую тексты, которые иллюстрируют различные стили письма. Студенты читают предоставленные тексты и отвечают на связанные с ними вопросы в отдельном буклете.
Навыки, продемонстрированные в тестах по чтению, зависят от сложности и доступности текста. В рамках анализа результатов используется широкий диапазон уровней способности чтения для каждого класса, поэтому все тесты начинаются с простых коротких текстов, которые далее становятся всё более и более длинными и сложными.
При оценке письменной речи из множества жанров, которые могут преподаваться студентам, используются три основных: жанр рассказа, информационный текст и текст побуждающий/убеждающий (например, реклама). В тестах на письмо студентам предоставляют идею или тему и просят написать текст в заданном жанре. Причём жанр объявляется в день тестирования, и он един для всех студентов.
Система оценивания написанного текста разработана таким образом, что, по заверениям авторов, позволяет оценить ответ студента независимо от класса, жанра и темы и позволяет как сравнивать результаты студентов разных штатов и школ между собой, так и отслеживать индивидуальный прогресс каждого студента с 3 по 9 класс. Проверку осуществляют специально подготовленные эксперты, а ответственность за качество проверки лежит на департаментах штатов и территорий.
Несмотря на то что правописание и пунктуация оцениваются в рамках проверки письменной речи, их дополнительно проверяют в тестах на грамотность письма. В этих тестах содержится множество
9 http://www.nap.edu.au
вопросов по правильному написанию слов с наиболее типичными ошибками, на проверку применения простых правил пунктуации (например, «где должна стоять запятая?» или «какое предложение написано правильно?»), а также на проверку правил построения предложений в австралийском варианте английского языка.
Тесты способности к количественному мышлению NAPLAN измеряют достижение студентов в сфере математических и пространственных преобразований. В тестах, как правило, представлены пять обобщённых и взаимосвязанных областей математики:
■ числа (преобразования, вычисления);
■ алгебра, функции;
■ измерение, работа с данными измерений;
■ пространство;
■ решение задач.
В 3 и 5 классах при выполнении тестов NAPLAN студенты не пользуются калькуляторами, а в 7 и 9 классах выполняются два теста по математике, в одном из которых калькулятор по-прежнему запрещён, а во втором использование калькулятора разрешено.
Ещё раз повторимся, что NAPLAN не является тестом содержательным и в его задачи не входит проверка предметных знаний. Он заявлен как независимое от школ и местных департаментов средство проверки овладения ограниченным набором ключевых правил и навыков, описанных в соответствующих стандартах. По итогам тестов дети и родители получают индивидуальные результаты, которые они могут сравнить с результатами сверстников в текущем классе, а также со своими собственными результатами в предыдущие годы. Таким образом, студенты получают информацию о собственном прогрессе в овладении ключевыми навыками и собственном успехе на фоне успехов остальных учащихся страны. Учителя на основании полученных результатов могут принять меры по оказанию помощи отдельным студентам или не давать «расслабиться» студентам с высокими результатами. Школы получают информацию о прогрессе своих студентов и на основании этого могут принять решение о сохра-
нении или коррекции учебных программ и курсов. Общество в целом получает независимую оценку эффективности своей системы образования и пищу для размышления о её дальнейшем развитии.
Выборочное тестирование NAP
Данное мониторинговое тестирование проводится по трём областям с интервалом в три года для каждого из них. Для тестирования случайным образом отбирается некоторое количество школ и учащихся. Процедура выборки и её объёмы практически идентичны таковым в международном исследовании PISA, которое проводится под руководством нескольких тестовых компаний мира, среди которых ведущую роль играет Австралийский совет по исследованиям в области образования (Australian Council for Educational Research (ACER)). Тестирование NAP проводится среди студентов 6 и 10 классов (за исключением теста по естественнонаучной грамотности, который проводится только среди шестиклассников) в октябре-ноябре — ближе к концу соответствующего учебного года.
Впервые этот проект был запущен в 2003 году с оценки естественнонаучной грамотности (NAP-SL). Следом, в 2004 году, проводилась оценка грамотности в сфере граждановедения (NAP-CC), а в 2005 году — по ИКТ-грамотности (NAP-ICTL). С 2006 года трёхлетний цикл повторялся. Оценки по этим трём областям независимы друг от друга и проводятся на независимых выборках по независимым шкалам.
Первым в цикле выборочного мониторинга состояния образования была оценка естественнонаучной грамотности NAP-SL. Это тестирование проводится лишь в 6 классе, потому что Образовательный совет, объединяющий руководителей образования штатов и территорий, принимает для оценки уровня естественнонаучной грамотности студентов старших классов результаты международного исследования PISA. Тестирование NAP-SL проводилось в 2003,2006, 2009, 2012 и 2015 годах, по результатам которых ACARA выпускала публичные отчёты (с 2014 года они пуб-
ликуются и online) для широкого доступа. Тест NAP-SL ориентируется на образовательный стандарт и на необходимость сравнивать результаты различных лет, что накладывает определённые требования на структуру теста и процедуру шкалирования результатов.
С 2015 года тестирование NAP-SL проходит в режиме online. К сожалению, отчёт по данному исследованию 2015 года ещё не опубликован, но по оценкам ACARA в нём должны были принять намного большее число студентов, чем в традиционном («бумажном») тестировании.
NAP-SL оценивает естественнонаучную грамотность, под которой понимают способность студентов применять теоретические знания для того, чтобы понять природные явления и интерпретировать сообщения СМИ по научным вопросам. Естественнонаучная грамотность также включает способность формулировать вопросы исследования, проведение исследований, сбор и интерпретацию данных и принятие решений. Это понимание пришло из определения научной грамотности, используемого в исследовании PISA.
При проведении первого цикла оценки в 2003 году в одну экспертную группу были объединены университетские педагоги, чиновники от образования, а также опытные учителя со всех штатов и территорий из государственных, католических и независимых школ для определения направлений оценки и определения уровней естественнонаучной грамотности, по которым будут распределяться результаты тестируемых. Всего выделили три основных направления оценки:
■ разработка и формулирование вопросов исследований, гипотез; планирование исследований и сбора данных;
■ интерпретация и построение выводов на основе данных собственных или чужих исследований; анализ достоверности чужих данных и выводов;
■ описание и/или объяснение природных явлений; интерпретация отчётов о наблюдаемых явлениях.
Инструментарий тестирования базируется на четырёх содержательных областях естествознания: Земля и Космос, энергия и силы, живая природа, материя.
Задания в каждом варианте распределяются по содержательным областям и направлениям оценки. Тестирование состоит из двух частей: письменная («бумажная») часть и практическая часть. Письменная часть длится 60 минут, в течение которых студент должен выполнить задания с выбором ответа и со свободным ответом. На практической части студенты малыми группами по три человека выполняют заданное экспериментальное исследование, а затем индивидуально отвечают на персональные вопросы по проведённому эксперименту. На всю практическую часть отводится 45 минут. Затем студенты заполняют анкету, предоставляя информацию о своём восприятии естествознания и отношении к нему, а также впечатления от его изучения в своей школе.
Оценка грамотности в области гражда-новедения NAP-CC проводится одновременно в 6 и 10 классах на независимых друг от друга выборках учащихся с интервалом в три года. Первое тестирование NAP-CC проводилось в 2004 году, повторялось в 2007, 2010 и 2013 годах, и планируется к проведению в текущем учебном году. В 2013 году NAP-CC было первым из проектов NAP, проведённых полностью в режиме online.
В рамках NAP-CC оценивается, насколько студенты ориентируются в системе государственного управления Австралии, прошлых (ушедших в историю) и современных методах управления, вопросах австралийской самобытности и культуры, демократических процессах, судебной системе и взаимоотношениях местных, региональных на уровне штата, общенациональных, региональных на международном уровне и глобальных влияний. Также оценивается способность студентов проявлять себя как часть социальной группы, включая понимание прав и ответственности, обязанностей и привилегий.
Направления оценки определяются национальным Стандартом по гражданове-дению, а в основу положена вторая цель Мельбурнской декларации: «Все молодые австралийцы должны стать успешными учениками, творческими и уверенными
в себе личностями, и активными и информированными гражданами». Развитие этой цели формулирует то, что имеется в виду иод термином «активный и информированный гражданин». Так, в соответствии с Мельбурнской декларацией, активные и информированные граждане:
■ действуют в согласии с морально-этическими нормами;
■ осознают социальное, культурное, языковое и религиозное разнообразие Австралии, и имеют представление о системе государственного управления Австралии, истории и культуре;
■ понимают и признают ценность коренных культур и обладают знаниями, навыками и пониманием, чтобы вносить свой вклад и извлекать выгоду из налаживания отношений между коренными и некоренными австралийцами;
■ привержены национальным ценностям демократии, равенства и справедливости, а также участвуют в общественной жизни Австралии;
■ способны устанавливать связи и взаимодействовать в разных культурах, особенно культурах стран Азии;
■ работают на общее благо, в частности, по сохранению и улучшению природных и социальных условий;
■ являются ответственными жителями мира и гражданами страны.
Очевидно, что причисление к активным и информированным гражданам включает в себя как когнитивный, так и эмоционально-поведенческий блоки. Причём наблюдается повышенное внимание к роли гражданина и как явно заданной модели, и в качестве ключевого результата обучения граждановедению. Таким образом, оценка NAP-CC включила в себя такие направления, как оценка объёма фактических знаний и способность их применять в конкретных ситуациях, так и оценка эмоциональных реакций на те или иные аспекты общественной жизни и степень участия в этой жизни студентов. Первое направление легло в основу тестирования с определёнными правильными или неправильными ответами, а второе определило спектр вопросов студенческой анкеты, где все ответы принимались без их оценки.
Инструментарий NAP-CC содержит различные типы заданий, включая составные задания из нескольких вопросов с двойным выбором (истинна/ложь) для каждого из вопросов, задания с выбором ответа и задания со свободным ответом, при ответе на которые требовалось в разных заданиях написать от одного слова до двух-трёх предложений. Составляется несколько вариантов с пересекающимися блоками заданий для того, чтобы охватить весь спектр содержания. Некоторые блоки заданий повторяются в 6 и 10 классах для того, чтобы связать шкалы результатов и оценить прогресс в развитии студентов.
Завершающим цикл выборочных оценок NAP является оценка грамотности в сфере информационно-коммуникационных технологий — NAP-ICTL. Грамотность в области информационно-коммуникационных технологий (ИКТ) имеет большое значение для студентов, так как они обучаются в школе и затем входят в жизнь, где информационные технологии встречаются повсеместно. Работа, сохранение здоровья, финансы семьи, обучения и социальное взаимодействие — всё будет зависеть от компетентности в области ИКТ. Для оценки прогресса в этом жизненно важном направлении обучения студентов, ACARA и проводит оценку компьютерной грамотности.
Впервые она прошла в 2005 году и повторилась в 2008, 2011 и 2014 годах. В 2014 году NAP-ICTL прошла в режиме online. Как и NAP-CC, NAP-ICTL проводится в октябре-ноябре в 6 и 10 классах на независимых друг от друга выборках студентов.
На понимание ИКТ грамотности в рамках проекта NAP большое влияние оказала работа в этом направлении американской корпорации Education Testing Service (ETS) в 2002 году. Согласно представлениям образовательного сообщества Австралии, студенты постоянно развивают свои способности в ИКТ, поскольку они учатся использовать ИКТ для доступа, создания и передачи информации, решения задач и совместной работы с одноклассниками во всех областях обучения в школе, а также за пределами школы. В этом контексте ИКТ грамотность представляется способ-
ностью использовать ИКТ в таких целях, как получение и управление информацией, создание и представление информации, решение задач, коммуникация, творческое выражение и практическое использование. Последнее относится к применению ИКТ в экспериментальных исследованиях: созданию мультимедийных моделей, анализу данных, моделированию решения задачи, управлению процессами и устройствами, проведению измерений и вычислений, работе в одиночку и в сотрудничестве с другими. Также элементом грамотности считается безопасная работа с программами и устройствами. Всё это постарались отразить в NAP-ICTL.
В рамках NAP-ICTL оцениваются не специализированные знания и умения, составляющие содержание школьных специализированных ИКТ курсов, а общие знания и навыки в области ИКТ. Тем не менее оценка проводится под девизом «прицел в будущее», чтобы гарантировать, что знания и навыки оцениваются в ногу с техническим прогрессом.
Инструментарий NAP-ICTL построен таким образом, чтобы студенты решали задачи, схожие с теми, которые они решают с помощью ИКТ в реальной жизни. Технически это реализовано через компьютерные эмуляции, предложенные студенту на его персональном рабочем месте (компьютере). До недавнего времени все варианты предоставлялись на USB-носителях, но с 2014 года тестирование и анкетирование проходят online. Как и в оценке граждановедения, в программе оценки ИКТ-грамотности используются повторяющиеся задания из тестов прошлых лет и общие задания для 6 и 10 класса, что позволяет оценить прогресс в ИКТ-грамотности.
Прогресс оценивается по трём шкалам, в некоторой степени связанным между собой:
■ Работа с информацией. Здесь оценивается уровень от простого поиска информации в указанном источнике по ключевым словам до построений сложных поисковых запросов, выбора подходящего источника информации, перепроверки найденной информации и оценки её достоверности.
■ Создание и обмен информацией. Прогресс в этой области рассматривается от простейшего использования заданной функции в представленной программе до форматирования, редактирования, адаптации в рамках одной программы и далее до выбора и использования нескольких инструментов для решения специфических задач при достижении заданной цели, сбора и компиляции информации из различных источников, развития предложенных идей и создания образов сложных явлений.
■ Ответственное использование ИКТ. Студенты развиваются от простого понимания и использования базовой терминологии и опыта использования ИКТ в повседневной жизни к осознанию воздействия от длительного влияния ИКТ и пониманию рисков и ответственности, а также проблем экономического, этического и социального характера.
Результаты тестирований обязательно соотносятся с ответами студентов на вопросы анкеты, в которых они освещают свою школьную и внешкольную практики общения с ИКТ, а также общие вопросы, связанные со школой и их социальным и экономическим статусом.
Можно утверждать, что выборочная оценка NAP дополняет тотальную проверку в рамках NAPLAN и вместе они позволяют контролировать ситуацию в подготовке учащихся по направлениям, признанным ключевыми в подготовке выпускника школы:
■ владение языком в плане грамотности и свободы изложения своих мыслей, а также корректности и полноты понимания полученной информации;
■ развитие пространственного и абстрактного восприятия; умение проводить простые вычисления и преобразования;
■ критичность восприятия информации, способность использовать знание базовых закономерностей для анализа, объяснения и предсказания событий или явлений;
■ понимание процедур проведения доказательного исследования, умение проводить простейшие измерения, обобщать и анализировать данные, делать выводы на основе анализа;
■ способность ориентироваться в информационном поле, использовать современные средства получения, обмена и обработки информации, анализировать её достоверность;
■ готовность участвовать в общественной жизни, знание законов и умение подчинять свои действия нормам и правилам социума в локальном и глобальном его понимании.
Тесты NAP не являются содержательными, поэтому, по уверениям ACARA, их результаты не подвержены влиянию усердной предварительной подготовки и отражают результаты повседневной работы студентов и преподавателей на уроках практически по всем предметам в школе. После проведения тестирования каждый учитель или студент получает доступ к образцам тестовых материалов. Кроме этого, по итогам каждого тестирования в открытом доступе публикуются отчёты с подробным анализом влияния тех или иных факторов, а также примерами заданий, ответов и типичных ошибок.
Проведение международных сравнительных исследований качества образования также является частью программы NAP. В частности, Австралия участвовала в таких массовых исследованиях, как PISA10, TIMSS11 и PIRLS. И хотя организация ACARA не отслеживает проведение международных исследований, их результаты рассматриваются австралийским Образовательным Советом как один из показателей, характеризующих работу системы образования в стране12'13'14.
Кроме этого очень сильно взаимное влияние материалов, использующихся в национальных и международных проектах. Так, например, на тесты NAP-CC сильное влияние оказали теоретические разработки ETS, а также материалы Международного исследования в области
10 http://www.oecd.org/pisa/
11 http://timssandpirls.bc.edu
12 https://www.acer.edu.au/ozpisa/
13 https://www.acer.edu.au/timss
14 https://www.acer.edu.au/pirls
граждановедения ICCS (International Civics and Citizenship Education Study)15.
Как уже говорилось выше, понимание естественнонаучной грамотности в тестах NAP-SL в своей основе имеет понимание, заложенное в международном исследовании PISA.
Совершенно очевидно сходство материалов NAPLAN в плане оценки навыков чтения с соответствующими материалами исследований PIRLS и PISA. Оценка способности к количественному мышлению также использует материалы, по форме и содержанию весьма схожие с материалами исследований TIMS S и PISA.
Спектр проверяемых навыков, а также дизайн материалов и процедуры проведения оценки NAP-ICTL имеют очень много общего с международным исследованием в этой области ICILS (International Computer and Information Literacy Study)16 и новым направлением в исследовании PISA — CBA (Computer based assessment).
Обобщая всё вышесказанное, хочется отметить, что в Австралии, не самой маленькой по численности населения и числу школ и не самой простой в плане управления системой образования, повышение эффективности и качества образования видят в двух факторах:
■ предоставление большей свободы директорам и учителям вплоть до разработки собственных вариантов учебных курсов;
■ создание чёткого стандарта с однозначным описанием содержания и деятельности, которые должна обеспечить школа по всем образовательным областям, и постоянный мониторинг достижения требований этого стандарта по ключевым направлениям образования.
Второе, что хочется отметить, это активное использование внешнего опыта и его адаптация при разработке собственных мониторинговых проектов, а также использование результатов международных исследований для публичного обсуждения качества образования.
15 http://www.iea.nl/iccs_2009.html
16 http://www.iea.nl/?id=303
