CC BY
45I || 11|| III III II III IIjl
1 - Колонка главного редактора
I ill lllllinlllll linil
разработка новых моделей контрольных измерительных материалов основного государственного экзамена
Решетникова Оксана Александровна
кандидат педагогических наук, директор ФГБНУ «Федеральный институт педагогических измерений», fipi@fipi.ru
Ключевые слова: государственная итоговая аттестация, основной государственный экзамен, контрольные измерительные материалы, экзаменационная модель, деятель-ностный подход.
Введение Федерального государственного образовательного стандарта основного общего образования включает и переход на новые экзаменационные модели контрольных измерительных материалов основного государственного экзамена (КИМ ОГЭ). Введение ОГЭ на базе экзаменационных моделей, отвечающих требованиям ФГОС ООО, запланировано на 2020 год. Очевидно, что создание экзаменационных моделей, их обсуждение и последующая разработка КИМ ОГЭ занимает очень длительное время. Поэтому в 2018-2019 гг. одним из ведущих направлений научной деятельности ФГБНУ «ФИПИ» становится разработка новых экзаменационных моделей, создание новых моделей заданий и обновленных банков заданий для формирования КИМ ОГЭ.
На страницах нашего журнала мы уже знакомили специалистов системы образования с основными концептуальными подходами к разработке контрольных измерительных материалов ОГЭ в предыдущие годы. Концептуальные подходы к разработке контрольных измерительных материалов ОГЭ и ЕГЭ в соответствии с требованиями ФГОС были разработаны в рамках соответствующего проекта Федеральной целевой программы развития образования, в котором активное участие принимали все ведущие специалисты ФИПИ1. В текущем году ФИПИ разрабатывает проекты экзаменационных моделей ОГЭ по 7 учебным предметам: история, обществознание, география, биология, физика, химия, информатика и ИКТ. В следующем году запланирована разработка модели еще по 7 предметам: русский язык, математика, литература, английский, немецкий, французский и испанский языки. Каждый проект экзаменационной модели включает кодификатор проверяемых элементов содержания и предметных результатов освоения обучающимися основной образовательной программы основного общего образования, спецификацию и демонстрационный вариант КИМ.
Проекты документов по каждому учебному предмету имеют свои особенности и отражают принятую в предмете систему оценки учебных достижений. Однако разработка новых экзаменационных моделей по всем предметам базирует-
1 Решетникова O.A., Демидова М.Ю. Новые подходы к разработке контрольных измерительных ма-
териалов. // Народное образование. № 9. 2015. - С. 91-104.
ся на единых подходах, которые определяются методологией ФГОС.
Как известно, в основе ФГОС лежит си-стемно-деятельностный подход, который распространяется и на систему оценки образовательных результатов. Это означает, что содержанием оценки выступают предметные результаты, выраженные в деятельностной форме. Текст ФГОС содержит требования к предметным результатам, которые, по сути, являются целевыми установками и отражают те способы действий, на формирование которых направлено обучение предмету. На основе этих требований формируется содержание предметного курса и предметные результаты, т.е. перечень умений и способов действий, которые должны быть достигнуты на данном этапе обучения.
Экзаменационная модель, отвечающая требованиям ФГОС к оценке образовательных результатов, должная быть валидна по отношению к предметным результатам обучения и, соответственно, обеспечивать полноту их проверки. Те предметные результаты и элементы содержания, которые подлежат оценке в рамках экзамена, отражаются в кодификаторе требований к результатам обучения для проведения ОГЭ. В кодификаторах большинства предметов сохраняется два раздела. Первый раздел содержит предметные результаты обучения и операционализированные умения, второй раздел — элементы содержания, проверяемые заданиями КИМ.
Серьезной научно-методической проработки по каждому предмету требует процесс создания первой части кодификатора. На первом этапе анализируется возможность проверки каждого из предметных результатов в рамках массового письменного контроля, которым и является ГИА. Большинство предметных результатов можно эффективно оценить в рамках массового письменного контроля или устной формы оценки (как это делается при проверке говорения в иностранных языках или в русском языке в процедуре допуска к ГИА). Но есть те результаты, для оценки которых необходимы другие формы.
Например, во всех естественнонаучных предметах есть требование ФГОС к формированию умений планировать и проводить учебное исследование или проектную работу и соответствующие предметные результаты. Проектная и учебно-исследовательская деятельность должна быть ведущим методом об-
учения в рамках системно-деятельностного подхода. Но полноценная оценка уровня овладения проектной деятельностью возможна только в процессе специально организованного наблюдения за выполнением учащимися конкретного проектного задания. В рамках письменной экзаменационной работы могут косвенно оцениваться лишь отдельные умения этого предметного результата — например, составление плана проектной работы или интерпретация результатов исследования. Таким образом, в кодификатор включаются те предметные результаты, проверка которых возможна в рамках процедуры экзамена.
Второй этап — это операционализация предметных результатов, которая представляет собой разбиение результата на отдельные умения. Операционализация проводится с учетом специфики предмета и, как правило, двумя способами. Первый способ базируется на выделении структуры деятельности, которая положена в основу предметного результата. Например, если предметный результат — это умение проводить наблюдение, то в этом случае операционализация базируется на структуре этого научного метода познания с учетом его адаптации к учебному познанию и к соответствующей возрастной категории обучающихся. Для предметного результата «умение проводить наблюдения» это могут быть выделенные отдельные умения формулировать гипотезу наблюдения, составлять план, выбирать оборудование и т.п. Для экзаменационных материалов могут выбираться, например, задания базового уровня, проверяющие лишь одно из перечисленных умений, а могут использоваться комплексные задания, оценивающие сразу всю совокупность перечисленных умений.
Второй способ базируется на выделении в предметном результате разных уровней его освоения. Например, для результата «Объяснять процессы или явления» это могут быть следующие умения: выявлять причинно-следственные связи, необходимые для объяснения; находить верное объяснение процесса в ряду предложенных; находить ошибки в объяснении процесса; самостоятельно строить объяснение из 2-3 логических шагов и т.п. Здесь в экзаменационную модель могут включаться, например, два задания, проверяющие данный предметный результат, которые позволят оценить разные уровни овладения этим способом действий. Например, на базовом уров-
Решетникова ОА.
разработка новых моделей контрольных измерительных материалов основного государственного экзамена
не будет проверяться умение находить верное объяснение, а на повышенном — умение самостоятельно объяснять явления или процессы.
Спецификации новых экзаменационных моделей включают традиционные разделы (назначение КИМ ОГЭ; документы, определяющие содержание КИМ; подходы к выбору структуры и содержания КИМ ОГЭ по предмету; структура КИМ ОГЭ и т.д.), которые наполнены новым содержанием и отражают новые подходы, специфичные для КИМ в соответствии с требованиями ФГОС.
Так, в разделе «Подходы к выбору структуры и содержания КИМ ОГЭ» описывается структура экзаменационной работы исходя из необходимости оценки достижения всех предметных результатов обучения. Как правило, выделяется несколько групп предметных результатов и приводится описание блока заданий, оценивающих данную группу результатов. Например, в спецификации по физике выделены пять групп предметных результатов:
■ освоение понятийного аппарата курса физики основной школы;
■ овладение методологическими умениями (проводить измерения, исследования и ставить опыты);
■ понимание принципов действия технических объектов;
■ умение по работе с текстами физического содержания;
■ умение решать расчетные задачи и применять полученные знания для объяснения физических процессов.
Эти группы охватывают все предметные результаты, в чем можно убедиться, ознакомившись с кодификатором предметных результатов по физике.
Для каждой группы предметных результатов приведено описание блока заданий, которое показывает валидность предлагаемого блока по отношению к проверке данной группы результатов. Например, для второй группы в спецификации по физике сказано: «Овладение методологическими умениями проверяется группой из 5 заданий». Здесь предлагаются как теоретические задания на снятие показаний измерительных приборов, на анализ результатов опытов по их описанию и планирование наблюдений и опытов, так и экспериментальное задание с использованием реального оборудования на проведение косвенных измерений, проверка закономерностей или исследований зависимостей физических ве-
личин. Блок включает задания, направленные на проверку умений из всех пяти предметных результатов этой группы. Проверка соблюдения правил безопасного труда осуществляется в процессе наблюдения за выполнением обучающимися задания на реальном лабораторном оборудовании».
В разделе «Структура КИМ ОГЭ» наиболее значимым является описание распределения заданий по проверяемым предметным результатам. Здесь число заданий, оценивающих сформированность того или иного предметного результата, пропорционально значимости этого результата в общеобразовательной подготовке обучающихся по предмету. В целом экзаменационная работа проверяет все предметные результаты и, значит, обеспечивает валидность по отношению к требованиям ФГОС.
Несмотря на то что для КИМ ГИА, построенных на деятельностном подходе к оценке учебных достижений, не стоит задача обеспечения валидности по содержанию, наши экзаменационные модели по-прежнему включают задания по всем разделам предметного курса. Задания могут базироваться на содержании всех элементов, включенных во второй раздел нового кодификатора ОГЭ. Распределение заданий по содержательным разделам также отражено в спецификации, в разделе о структуре КИМ. В качестве примера приведем данные из спецификации по биологии:
«Разделы курса биологии, включенные в экзаменационную работу:
■ Биология как наука. Методы биологии — 7—8 заданий;
■ Система, многообразие и эволюция живой природы — 7—8 заданий;
■ Организм человека и его здоровье — 11— 12 заданий».
Важным элементом разработки модели КИМ является распределение заданий по уровням сложности. Целью ОГЭ является не только оценка уровня общеобразовательной подготовки выпускников IX классов по предмету в целях их государственной итоговой аттестации, но и использование результатов экзамена при приеме учащихся в классы с углубленным изучением предмета средней школы или учреждения среднего профессионального образования. Поэтому в экзаменационную работу включаются задания разных уровней сложности: базового, повышенного и высо-
кого уровней. Для каждой группы предметных результатов в экзаменационной работе предлагаются задания не менее чем двух уровней сложности.
Для экзаменов по выбору (к их числу относятся все 7 предметов, новые модели КИМ ОГЭ для которых разрабатываются в этом году) задания разного уровня сложности включаются в работу в таком соотношении, чтобы примерно 50% от максимального балла составляли баллы за задания базового уровня и 50% от максимального балла составляли баллы за задания повышенного и высокого уровней. В качестве иллюстрации этого положения приведем данные из спецификации по биологии. Здесь при максимальном первичном балле, равного 48, за задания базового уровня можно получить 23 балла (48% от максимального балла), за задания повышенного уровня — 16 баллов (33%) и высокого уровня — 9 баллов (19%).
При разработке заданий разного уровня сложности учитывается не только сложность проверяемых умений, но и особенности того содержания, которое необходимо для выполнения заданий. Так, задания базового уровня конструируются на системе наиболее значимых элементов курса и трактуются как обязательные и доступные для выполнения всеми обучающимися. А задания высокого уровня конструируются на базе всех содержательных элементов предметного курса и ориентированы на выполнение наиболее мотивированными обучающимися.
Важнейшим этапом создания экзаменационной работы является разработка новых моделей заданий. Переориентация КИМ на новые стандарты не означает полной замены открытых банков заданий ОГЭ. Существующие в настоящее время модели КИМ ОГЭ ежегодно совершенствуются: добавляются новые группы заданий, постепенно изменяются формы заданий, совершенствуются критерии оценивания заданий с развернутым ответом. Кроме того, за последние годы использования банка заданий ОГЭ каждое задание обрело важные статистические характеристики, подтверждающие их качество и надежность, соответствующих целям экзамена. Поэтому в открытом банке ОГЭ по каждому предмету можно выделить «ядро» качественных заданий, которые оценивают важные для предмета способы действий и вполне отвечают предметным требованиям нового стандарта. Эти группы зада-
ний находят свое место в новых экзаменационных моделях КИМ ОГЭ.
Разработка новых моделей заданий идет с учетом нескольких приоритетных направлений:
1) Комплексные задания. Представляют собой, как правило, задания с развернутым ответом и позволяют оценивать сформирован-ность целой группы различных умений или одновременно нескольких предметных результатов. При использовании комплексных заданий повышенного и высокого уровней сложности в них выделяются части, верное выполнение которых может быть интерпретировано как достижение предметного результата (или умения) на базовом уровне сложности. Это позволяет повысить диагностическую ценность комплексных заданий.
2) Компетентностно-ориентированные задания. Эти задания базируются на контексте ситуаций «жизненного» характера и имеют большое значение в географии, биологии, физике и химии, где они направлены на оценку основных составляющих естественнонаучной грамотности выпускников основной школы.
3) Задания по решению разнообразных учебно-практических и учебно-познавательных задач. Здесь предполагается введение заданий, содержащих, например, избыточные для решения проблемы данные или, наоборот, предлагающихся с недостающими данными; заданий, предполагающих вариативные пути решения проблемы, и т.п.
4) Формы заданий с кратким и развернутым ответом. В новых экзаменационных моделях по большинству предметов не будут использоваться задания с выбором одного верного ответа из четырех предложенных, такие задания будут исключены из банков ОГЭ. В новых экзаменационных моделях существенно расширен блок заданий с развернутым ответом. Это означает, что повышается роль региональных предметных комиссий по проверке заданий и развернутым ответом и необходимо будет усилить работу по согласованию подходов к оцениванию работ выпускников перед проведением государственной итоговой аттестации по программам основного общего образования.
Для проведения ОГЭ в условиях девяти часовых поясов должно формироваться достаточно большое число вариантов. Поэтому при отборе моделей заданий учитывается возможность создания достаточно большо-
педагогические измерения / educatюnal measurements 1/2018
Решетникова О.А.
разработка новых моделей контрольных измерительных материалов основного государственного экзамена
го числа фасетных заданий в открытом банке заданий, откуда происходит формирование вариантов КИМ. Эти задания, как и модель, по которой они сконструированы, проверяют один и тот же предметный результат (умение или группу умений), имеют одинаковую сложность, но разрабатываются на различных элементах содержания или разных контекстах. В процессе использования фасетные задания демонстрируют и близкие статистические характеристики. Такой подход обеспечивает равные возможности для индивидуальной оценки учащихся.
На этапе разработки экзаменационной модели закладываются и подходы к интерпретации результатов экзаменов. Как процедура государственной аттестации, ОГЭ направлено на индивидуальную оценку качества учебной подготовки обучающихся, а как процедура отбора в классы разного профиля и в учреждения среднего профессионального образования, ОГЭ должно дифференцировать выпускников основной школы, выделяя группу наиболее подготовленных и мотивированных к изучению предмета обучающихся. Исходя из этого выделяются минимальный тестовый балл, который фиксирует достижение требований ФГОС к предметным результатам обучения на базовом уровне, и четыре уровня достижения требований ФГОС. Минимальный тестовый балл для ОГЭ соответствует границе «тройки», его достижение означает выполнение заданий базового уровня сложности, проверяющих наиболее значимые предметные результаты с опорой на наиболее важные элементы содержания. Каждый последующий уровень определяется выполнением группы заданий более высокого уровня, направленных на оценку более сложных способов действий, отраженных в предметных результатах.
Оценка качества образования по каждому предмету в образовательной организации или группе образовательных организаций (в муниципалитете, в регионе) может осуществляться при условии участия в экзамене статистически значимой выборки обучающихся.
Показатели, фиксируемые по результатам экзамена, определяют и направления анализа результатов экзаменов. Анализ результатов выполнения экзаменационных работ по новым моделям по всей выборке участников
можно будет проводить по следующим направлениям:
■ Достижение предметных результатов обучения. Анализируются результаты выполнения групп заданий, проверяющих каждый предметный результат;
■ Характеристика учебных достижений обучающихся с различным уровнем подготовки. Для каждого уровня подготовки выделяются типичные задания, успешность выполнения которых отличает данный уровень от предыдущего. Составляется перечень освоенных умений для каждого из уровней подготовки;
■ Динамика достижения предметных результатов. Динамику достижения предметных результатов можно оценить на основании сравнения результатов выполнения одинаковых моделей заданий, использовавшихся в течение нескольких лет.
При условии участия в экзамене статистически значимой выборки обучающихся и сбора дополнительной контекстной информации об условиях обучения на уровне групп образовательных организаций (регионов, муниципалитетов и т.п.) возможен анализ не только по указанным выше направлением, но и кластеризация образовательных организаций по уровню подготовки обучающихся с учетом особенностей процесса обучения (тип образовательной организации, их местоположение, используемый учебно-методический комплект, квалификация педагогов и т.п.). При наличии соответствующей контекстной информации проводится корреляционный анализ по каждому из пунктов.
* * *
Подводя итог, отметим, что в рамках работы над созданием новых экзаменационных моделей определены общие подходы к отбору содержания для проведения ОГЭ, сформулированы подходы к формированию кодификаторов предметных результатов освоения обучающимися основных образовательных программ, описаны объекты контроля, созданы новые модели заданий и проекты новых моделей КИМ по 7 предметам. Материалы научных сотрудников ФИПИ с описаниями особенностей новых экзаменационных моделей ОГЭ по отдельным предметам будут опубликованы в следующих номерах нашего журнала.
8
......I
