CC BY
28
ОБ ОБЪЕКТИВНОСТИ ОЦЕНОК ЕГЭ
Л.Г. Горбунова
Сыктывкарский государственный университет,
Республика Коми С.Ю. Караваев
Никольская СШ, Вилегодский р-н, Архангельская обл.
\ ф едрр а
С января 2009 г. Единый государственный экзамен по химии принят в качестве основной формы итоговой государственной аттестации школьников, освоивших образовательные программы средней (полной) общеобразовательной школы. По мнению разработчиков ЕГЭ, это означает переход школьного химического образования от методов субъективного оценивания к технологиям педагогических измерений, которые должны обеспечивать объективную оценку качества образования на основе созданного механизма внешнего оценивания [1, 2]. Законодательно закреплено (Федеральный закон от 9 февраля 2007 г. № 17-ФЗ), что результаты ЕГЭ признаются образовательными учреждениями среднего и высшего профессионального образования как результаты вступительных испытаний по соответствующим общеобразовательным предметам.
Контрольными измерительными материалами (КИМ) ЕГЭ служат тестовые задания. При использовании тестов следует помнить, что они только тогда могут стать инструментом объективного оценивания, когда их параметры удовлетворяют определённым требованиям, к которым тестологи сегодня относят надёжность, валидность, дифференцирующую способность [3].
Применительно к психолого-педагогическим измерениям ещё в начале ХХ столетия Ч. Спирмен писал: «Объективные тестовые результаты практически недостижимы, но приближения к ним вполне возможны» [4]. Понятие «объективность» означает независимость суждений от сознания и чувств отдельного субъекта, соответствие мнений и результатов действительности. Объективные результаты не зависят от того, кто измеряет и что измеряют. Основное назначение КИМ ЕГЭ — выявить (в виде итоговой отметки или балла) уровень подготовленности учащегося по предмету. Но в педагогике нет показателей, абсолютно объективно указывающих на уровень подготовленности учащихся (да и по вопросу количест-
Н
измерения
ва уровней подготовленности в педагогической литературе нет единого мнения [5]). Это латентное (выраженное неявным образом) свойство личности обучающегося. Можно выделить лишь признаки и подобрать тестовые задания-индикаторы, эмпирически проверяющие уровень подготовленности учащегося.
Мы попытались, используя однопараметрическую модель Г. Раша [6], оценить надёжность базовой части (А) демоверсии КИМ ЕГЭ по химии 2009 г. и её пригодность для объективного оценивания результатов обучения выпускников школы.
Задания с выбором ответа — самые многочисленные в экзаменационной работе. Их доля составляет 66,7% от общего числа заданий, построены они на материале практически всех важнейших разделов школьного курса химии и нацелены на проверку усвоения на базовом уровне значительного количества элементов содержания, предусмотренных стандартом образования, а также наличия у учащихся таких обязательных умений, как владение существенными признаками основных понятий курса, классифицирование веществ и химических реакций. В демоверсии КИМ представлены две разновидности заданий этого типа. В первом случае выполнение задания состоит в выборе правильного ответа из че-
тырёх предложенных, во втором — в оценке верности двух предложенных суждений. Каждое задание предназначено для проверки, как правило, одного элемента содержания.
Большая часть заданий части А демоверсии КИМ ЕГЭ (53,3% от общего числа заданий части А) относится к содержательному блоку «Вещество» (табл. 1), который в КИМ представлен тремя разделами: строение вещества, свойства неорганических и органических соединений. Второе место (30% заданий) в содержании базовой части КИМ ЕГЭ отводится блоку «Химическая реакция», задания которого нацелены на проверку умений составлять уравнения химических реакций различных типов, характеризовать факторы, оказывающие влияние на скорость химической реакции и химическое равновесие, а также объяснять сущность изученных химических реакций. Задания содержательных блоков «Химический элемент» (2 задания) и «Познание и применение веществ и химических реакций» (3 задания) нацелены на проверку умений составлять электронные формулы атомов, определять валентность и степень окисления атомов химических элементов в соединениях, а также осуществлять простейшие расчёты с использованием уравнений химических реакций.
В проведённом нами исследовании приняли участие 10 учащихся 11-го класса Никольской средней школы (Вилегод-ского р-на Архангельской обл.). Для выполнения части А демо-версии КИМ ЕГЭ было отведено 90 мин. Результаты тестирования мы оценивали по дихотомической шкале в соответствии с инструкцией по проверке и оценке работ: задание с выбором ответа считается выполненным верно, если учащийся указал код правильного ответа. Во всех остальных случаях (выбран другой ответ, выбрано несколько ответов, среди которых может быть и правильный, ответ отсутствует) задание считается невыполненным. Данного количества учащихся вполне достаточно, чтобы получить надёжные, устойчивые и несмещённые оценки параметров заданий теста в рамках однопара-метрической модели Г. Раша, которая оперирует с инвариантными латентными параметрами — уровнем подготовки испытуемых и уровнем трудности заданий теста и даёт возможность одновременного измерения значений обоих параметров и представления их на одной количественной шкале.
Как показали расчёты по результатам проведённого тестирования [7, с. 212], некоторые задания демоверсии КИМ оказались неинформативными для измерения уровня подготовки
учащихся (см. табл. 1). Кроме того, оказалось, что демоверсия КИМ ЕГЭ по химии 2009 г. не в полной мере сбалансирована по трудности заданий. Тест содержит избыточное количество трудных заданий, что неизбежно отражается на его дифференцирующей способности.
Сопоставив количественные характеристики трудности заданий и уровня подготовки учащихся, можно отметить, что 9 заданий (30% от общего числа заданий части А) оказались непригодными для измерения уровня подготовки учащихся. Как видно из данных табл. 1, такие бесполезные для измерения задания содержатся в каждом содержательном блоке демо-версии КИМ. Заметим, что задания 2, 6 и 27 давно освоены учащимися (минимальное значение уровня трудности), а задания 1, 5, 10, 11,12 и 29 бесполезны, наоборот, ввиду значительной трудности. Кроме того, полученные нами результаты свидетельствуют о нарушении в базовой части демоверсии КИМ ЕГЭ по химии 2009 г. стратегии предъявления заданий, характерной для нормативно-ориентированных тестов: в тесте использовано большое количество заданий одинакового уровня трудности (табл. 2).
Аналогичное исследование демоверсии КИМ ЕГЭ по химии 2005 г. показало, что в целом она была ещё более несовершенна, а
\ ф а
Н
измерения
ее использование в качестве КИМ не позволяет получить не только адекватные оценки уровня подготовки учащихся (эта базовая составляющая КИМ, она не дифференцирует учащихся), но даже и надежные (и объективные) [8]. Интересно сопоставить полученные нами результаты (см. табл. 1 и 3). Совершенствование КИМ ЕГЭ по химии в первую очередь выразилось в изменении количества заданий в содержательных блоках «Вещество» и «Химическая реакция». Уменьшение общего числа заданий части А (с 35 до 30) отразилось на долевом соотношении содержательных блоков в КИМ. При этом общая доля непригодных для измерения заданий существенно снизилась (с 51,4 до 30,0%), причем повышение каче-
ства тестовых материалов главным образом коснулось этих же содержательных блоков. И если демоверсию КИМ 2005 г. нельзя отнести к нормативно-ориентированной, то в 2009 г. этот недостаток уже практически устранен. Однако уровень подготовки (знания) учащихся по содержательному блоку «Химический элемент» (строение атома, периодический закон и Периодическая система химических элементов), а также соответствующие умения не были выявлены ни в той, ни в другой версии КИМ: одно из заданий было слишком легкое, другое — слишком трудное, что не позволило дифференцировать учащихся. Таким образом, обе версии обладают невысокой дифференцирующей способностью.
Таблица 1
Сравнительная характеристика части А демоверсий КИМ ЕГЭ по химии 2005 и 2009 гг.
Параметры сравнения Год Содержательный блок
Химический элемент Вещество Химическая реакция Познание и применение веществ и химических реакций
Число заданий в содержательном блоке 2005 2 20 11 2
2009 2 16 9 3
Доля заданий содержательного блока от общего числа заданий части А 2005 0,057 0,571 0,315 0,057
2009 0,067 0,533 0,100 0,100
Номера заданий в содержательном блоке части А 2005 1,2 3-22 23-33 34,35
2009 1,2 3-18 19-27 28-30
108 з' 2011
Параметры сравнения Год Содержательный блок
Химический элемент Вещество Химическая реакция Познание и применение веществ и химических реакций
Номера заданий, не пригодных для измерения (слишком лёгкие или слиш -ком трудные) 2005 1,2 4, 5, 7, 8, 9, 10, 16, 20, 22 23, 24, 28, 29,31 35
2009 1,2 5,6, 10, 11, 12 27 29
Доля непригодных заданий от общего числа заданий части А 2005 0,057 0,257 0,143 0,057
2009 0,067 0,167 0,033 0,033
\ ф едрр а
Таблица 2
Ранжирование заданий части А демоверсии КИМ ЕГЭ по трудности
Вектор уровня трудности заданий Возрастание трудности заданий
Номера заданий одинаковой трудности 2, 6, 27 8, 19, 23 3, 20, 25, 28 4,7, 13, 17, 18,21,24 9, 14, 15, 16, 22, 26, 30 1, 5, 10, 11, 12, 29
^личество заданий одинакового уровня трудности 3 3 4 7 7 6
Таблица 3
Соотношение трудности заданий в демоверсиях КИМ ЕГЭ по химии 2005 и 2009 гг.
Доля заданий в демоверсии ШМ ЕГЭ Год
2005 2009
Пониженной трудности (лёгкие) 0,28 0,10
Пригодных для измерений уровня подготовки учащихся 0,49 0,70
Повышенной трудности 0,23 0,20
В обеих версиях КИМ ЕГЭ к традиционно трудным относятся задания, связанные с фактологическими знаниями курса неорганической и органической химии, расчётные задачи (осо-
бенно расчёты теплового эффекта реакции), а также задания, в которых требуется охарактеризовать состав, свойства и применение неорганических и органических соединений ос-
H
измерения
новных классов. Существенные затруднения у учащихся вызывают задания, связанные с определением условий смещения химического равновесия и кислотности среды, гидролизом солей, окислительно-восстановительными реакциями. Как правило, выполнение таких заданий требует обобщения и систематизации знаний, понимания существа вопроса, знания фундаментальных основ строения атома.
К сожалению, из-за малой выборки испытуемых нам не удалось проследить правдоподобность использования дис-тракторов в заданиях части А. Однако некорректно составленные дистракторы вполне очевидны в заданиях 2, 6, 8, 14 и других демоверсиях 2009 г., что позволяет учащимся без особых затруднений угадывать правильный ответ, а это, в свою очередь, также существенно снижает дифференцирующую способность задания.
В заключение заметим, что идея ЕГЭ как формы независимой объективной государственной итоговой аттестации выпускников школ вполне приемлема только при наличии соответствующего инструментария. При его создании желательно привлекать к процессу апробации предтестовых заданий более значительное число учащихся, например как в Англии [8, с. 106], что позволит с боль-
шей достоверностью отобрать в банк КИМ только валидные по содержанию задания. Объективность же оценок ЕГЭ должна вытекать из результатов тестирования при проведении ЕГЭ, первичные (т. е. так называемые сырые баллы, матрицы ответов) данные которого за все время проведения ЕГЭ ни разу не были представлены в открытой печати, ее невозможно декларировать. Соответствие уровня трудности заданий теста уровню подготовленности целевой группы испытуемых — важное условие достижения объективности педагогического измерения. Отсутствие такого соответствия обрекает измерение на ненадежность, невалидность и необъективность результатов.
Литература
1. Бердашкевич А. Российская школа: стратегия развития // Народное образование. 2009. № 2. С. 11-15.
2. Реморенко И. О правоприменительной практике Единого государственного экзамена // Народное образование. 2009. № 1. С. 20-23.
3. Аванесов В. Проблема объективности педагогических измерений // Педагогические измерения. 2008. № 3. С. 3-40.
4. Spearmen C. Demonstration of formulae for true measurement
of correlation //Am. J. of Psychology. 1907. № 18. P. 160-169.
5. Бердшанский М.Е. Когнитивный мониторинг: диагностика уровня понимания / / Школьные технологии. 2003. № 2. С. 166-182.
6. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002.
7. Горбунова Л.Г. Оценка знаний студентов (отметка или индекс успеваемости). Архан-
гельск: Изд-во Поморского ун-та, 2008.
8. Горбунова Л.Г., Караваев С.Ю. Применение современных технологий тестирования при оценке качества тестов по химии //Актуальные проблемы химического образования. Нижний Новгород: НГПУ, 2008. С. 92-94.
9. Российский и зарубежный опыт построения систем образовательного тестирования. М.: Образование от А до Я. 2000.
ХпеЧагоги че йких \ ф а
