CC BY
77.................................................................................................................................................ЖИШЩ.......ШШШЬ......шиши
ТЕМАТИЧЕСКИЕ ТЕСТЫ -РЕАЛЬНАЯ ПОМОЩЬ УЧИТЕЛЮ
Елена Николаевна Стрельникова, учитель высшей категории, ГБОУ «Школа № 57», Москва
Татьяна Григорьевна Михалева, руководитель направления тестирования издательства «Вако», кандидат физико-математических наук, старший научный сотрудник
• педагогический тематический тест • критериально-ориентированный тест
• спецификация теста • план теста • анализ результатов тестирования
ВВЕДЕНИЕ
До сих пор в нашем обществе, в средствах массовой информации и даже в Государственной думе можно наблюдать определенную, хотя и не такую острую, как прежде, конфронтацию сторонников и противников ЕГЭ.
Противники этой процедуры считают, что на ЕГЭ используются тесты, которые являются «угадайкой», поэтому можно «натаскивать» выпускников школ на их выполнение. На фоне этой борьбы иногда звучат призывы к полному отказу от использования педагогических тестов в школе. И тут возникает опасение, что «вместе с водой» (ЕГЭ) могут выплеснуть и «ребенка» (педагогические тесты). Так уже было в 1936 году, когда на фоне борьбы с педологией применение педагогических тестов в учебных учреждениях России было прекращено1, и развитие педагогического тестирования в России было остановлено на многие десятилетия, в то время как в других странах шло его дальнейшее развитие и совершенствование.
Однако ЕГЭ использует только организационно-технологическую сторону массового тестирования. В то же время в качестве инструмента контроля используются не педагогические тесты, а так называемые «контрольно-измерительные материалы» (КИМы). Во многих аналитических научных публикациях (см., например, журнал «Педагогические измерения» и работы про-
1 Постановление ЦК ВКП(б) «О педологических извращениях в системе Наркомпроса» от 04 июля 1936года.
фессора В.С. Аванесова2) было многократно и убедительно показано, что КИМы не являются педагогическими тестами. Отметим также, что ни в одном нормативном документе Рособрнадзора КИМы не называются «тестами», а проведение ЕГЭ «тестированием». Представляется, что этот термин - «КИМ» - был специально придуман, чтобы педагоги, знакомые с основами педагогической тестологии, не могли предъявлять претензии к их качеству. Сейчас критики содержания КИМов практически не видно и не слышно. И не потому, что КИМ -идеальный инструмент оценки учебных достижений, а потому, что критика эта никому не нужна.
Тем, кто переносит свое недовольство КИМами на педагогические тесты, стоит познакомиться с работами наших замечательных российских ученых-тестологов (В.С. Аванесов, М.Б. Челышкова, А.Н. Майоров, В.Ю. Переверзев, и др.) и практиков-методистов, внедряющих педагогическое тестирование в учебный процесс и тем самым развивающих его. Тогда станет ясно, что несовершенство КИМов не должно стать причиной отказа от педагогического тестирования в школе. Кстати, практически во всех вузах есть классы компьютеризованного тестирования, где студенты проходят предэкзаменационную оценку знаний, и ни у кого нет сомнения в пользе тестовой формы контроля.
На примере множества тестовых заданий «с выбором ответа» по разным школьным
2 Аванесов В.С. ЕГЭ в фокусе научного анализа// Педагогические измерения.2006.№1
предметам, которые противники тестового контроля без разбора называют «угадайкой», было показано, что если такое задание составлено правильно, то вероятность «угадать» правильный ответ для незнающего ученика невелика3 и, в принципе, ее можно математически учесть при определении тестового балла. Но задания в КИМах действительно во многих случаях имеют «подсказки» в виде неграмотно подобранных дистракторов4, и ловкие репетиторы сейчас учат школьников - как, не зная предмета, действительно угадать в таких заданиях правильный ответ.
Кроме того, было доказано, что правильно, в соответствии с канонами тестологии, составленные тестовые задания и тесты могут не только проверять знания, но формировать и развивать и операционные, и содержательные компоненты мышления, то есть познавательные универсальные учебные действия5, соответствующие требованиям новых ФГОС. Это обстоятельство делает совершенно необоснованным скепсис некоторых учителей по поводу применения тестов в реальном учебном процессе. Вероятно, такое отношение к тестовому контролю связано с тем, что большинство предлагаемых на книжном рынке «тестовых материалов» направлено на проверку только знаний на репродуктивном уровне. Такое «тестирование» может провоцировать ученика на зубрежку, прямое цитирование учебника, формирует схоластический подход к знаниям, что недопустимо в современном образовании.
Но наша задача не обосновывать критику ЕГЭ и КИМов, а конкретно показать, что может дать учителю использование педагогического тематического теста в его учебной работе в школе.
3 См., например, Денищева Л.О., Корешкова Т.А., Михалева Т.Г. Разработка педагогических тестов по математике; Дятлова К.Д., Михалева Т.Г. Разработка педагогических тестов по биологии, и другие учебные пособия издательства Вако вышедшие в рубрике «Мастерская учителя».
4 Дистрактор - вариант ответа на тестовое задание, похожий на правильный ответ, но не являющийся таковым.
5 См. например, Лернер Г.И. Работа с тестами не только
контроль, но и обучение // Биология в школе. 2002. № 6. Дятлова К.Д. Формирование, развитие и оценка сформи-
рованного познавательных универсальных учебных умений школьников средствами тестового контроля.// Школьные технологии. №4.2014 г.
ОБ ИСПОЛЬЗУЕМЫХ ТЕРМИНАХ И ЭТАПАХ РАЗРАБОТКИ ПЕДАГОГИЧЕСКИХ ТЕСТОВ
Несмотря на то что число специалистов, занимающихся вопросами тестирования, постоянно растет, однозначной трактовки ключевых тестологических терминов на сегодня еще нет. Более того, определения этих терминов у разных авторов иногда противоречат друг другу. В работе профессора К.Д. Дятловой6, например, приводится более 10 определений термина «педагогический тест» из разных источников. Приведем определения некоторых терминов, которыми мы будем далее пользоваться.
Педагогический тест (далее - тест) - это
система специально подобранных заданий специфической (тестовой) формы, позволяющая количественно оценить учебные достижения в одной или нескольких областях знаний. Совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки, интерпретации и представления результатов выполнения, называется педагогическим тестированием. Обоснование этих терминов приводится в следующих работах7.
К основным этапам разработки педагогического теста относятся:
1. Определение общих целей тестирования (интерпретация результатов, а также вид и форма контроля, контингент учащихся, ресурсы).
2. Анализ содержания учебной дисциплины: отбор учебного материала, операциона-лизация целей: уточнение видов знаний и умений, которые контролируются тестом.
3. Разработка спецификации теста.
6 Дятлова К.Д. Системный подход к составлению и анализу педагогических тестов: монография. Нижний Новгород: НГСХА, 2006.
7 Хлебников В.А., Бляхеров И.С., МихалеваТ.Г. и др. Основные принципы построения системы понятий и терминов в педагогическом тестировании.// Стандарты и мониторинг в образовании. №3.2003 ;
Стандарт «Тестирование педагогическое. Термины и определения.//Вопросы тестирования в образова-нии.2004.№9.
.................................................................................................................................................ЖИШЩ.......ШШШЬ......ИИ
4. Составление тестовых заданий (или отбор готовых из банка тестовых заданий) в соответствии со спецификацией, компоновка пробного теста.
5. Апробация и рецензирование пробного теста.
6. Статистическая обработка результатов апробации.
7. Коррекция тестовых заданий, исключение неудовлетворительных и отбор удовлетворительных в конечный вариант теста.
Если главным словом в определении термина «педагогический тест» является «система», то наиболее существенными, влияющими на все последующие этапы разработки теста являются первые два этапа, которые можно отнести к этапам целепола-гания. Очень важно в самом начале разработки теста четко определить, для какого вида педагогического контроля этот тест предназначается, и как будут интерпретироваться результаты. Важно решить, какой тест мы хотим получить - критериально-ориентированный или нормативно-ориентированный. От этого будет зависеть отбор содержания заданий теста.
Критериально-ориентированный тест
предназначен для оценки уровня подготовленности каждого учащегося в соответствии с требованиями учебной программы. Индивидуальный результат при таком тестировании сравнивается с заранее запланированным результатом (критерием), а не с достижениями других учащихся. В системе заданий критериально-ориентированного теста отображается максимальное число элементов содержания курса или его части. Главное в разработке критериально-ориентированного теста - это четкое соответствие количества, содержания и трудности заданий требованиям программы.
Критериально-ориентированные тесты нужны при аттестации завершивших курс обучения или при мониторинге качества обучения, когда задача ранжирования учащихся по уровню подготовки не стоит, а нужно установить, достигнуты ли обязательные результаты обучения большинством учеников. Тестовый балл для таких тестов обычно определяется процентом правильно вы-
полненных заданий и устанавливается до проведения тестирования. Критериально-ориентированными являются все аттестационные тесты, тесты входного, текущего, тематического и рубежного контроля.
Нормативно-ориентированный тест предназначен для определения уровня подготовленности тестируемых путем сравнения их результатов друг с другом и/или с тестовой нормой. Тестовая норма - это среднее статистическое значение тестового балла, определяемое для данного теста. Отсюда и название теста. Тестовая норма определяется предварительно по результатам апробации теста на представительной выборке учащихся или после проведения массового тестирования, если представительную выборку заранее установить невозможно. Например, если тестирование является добровольным, то заранее нельзя просчитать, сколько школьников с разной успеваемостью по предмету придет на тестирование. В нормативно-ориентированный тест включаются задания, выполнение которых позволяет максимально дифференцировать учащихся по уровню их подготовленности. Уровень детализации области содержания теста несущественен, поэтому он может содержать меньше заданий, чем критериаль-но-ориентированный8. Эти тесты предназначены для конкурсного отбора при поступлении в учебные заведения или для установления рейтинга учащихся в процессе обучения.
Некоторые разработчики контрольных материалов объединяют эти два подхода в одном тесте (например, это имеет место в КИМах ЕГЭ). Выполнение одной части теста интерпретируется на основе критериально-ориентированного подхода, а выполнение другой части - нормативно-ориентированного. Но поскольку время выполнения теста всегда фиксировано, то такая смешанная интерпретация приводит к уменьшению числа заданий в каждой части теста, и, следовательно, в соответствии с классической теорией тестирования ошибка измерения учебных достижений увеличивается, а надежность теста уменьшается9.
8 Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000.
9 Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002.
О ДЕЯТЕЛЬНОСТНОМ ПОДХОДЕ К ОПРЕДЕЛЕНИЮ ЦЕЛЕЙ ТЕСТИРОВАНИЯ
В процесс целеполагания при разработке любого педагогического теста помимо определения необходимого подхода к интерпретации результатов тестирования включается операционализация целей: уточнение (конкретизация) целей изучения предмета или целей изучения содержания той части предмета, усвоение которой предстоит оценить с помощью теста. Известно: чем точнее определена цель функционирования любой системы, тем эффективнее будет ее работа. Значит, цель, ради которой создается система, должна быть определена так, чтобы ее достижение можно было достаточно четко и однозначно проконтролировать. То же самое можно сказать и о разработке теста: чем детальнее конкретизируется цель (а вернее, цели) тестирования, тем точнее (эффективнее для достижения заданной цели) могут быть составлены его элементы - тестовые задания, тем объективнее будут результаты тестирования.
Необходимость включения операционали-зации целей в этап целеполагания продиктована следующими причинами. Это прежде всего слишком общее, нечеткое определение конечных целей обучения в образовательных стандартах и учебных программах, что не позволяет однозначно понимать и толковать требования к результатам обучения, устанавливать конкретные уровни усвоения (часто можно встретить такие формулировки, как «формирование общих способов», «иметь представления», «овладение» и т. п.). Эти формулировки имеют неконструктивный с позиции контроля характер. В связи с этим возникает методическая задача создания перечня обобщенных видов умений по каждому предмету. При этом перечень обобщенных видов умений должен быть полным (то есть любое конкретное умение как цель изучения конкретного элемента содержания предмета может быть приведено к одному из них), но не избыточным (все виды знаний-умений, приведенные в перечне, контролируются тестовыми заданиями). Но нам с этим документом жить, и игнорировать его мы никак не можем. И слабо диагностируемые во ФГОС формулировки результатов обучения приходится переводить в систему показате-
лей внешней деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. В основе конкретизации целей изучения любого школьного предмета должен быть и анализ общих нормативных требований к итоговым результатам обучения (ФГОС первого и второго поколения, примерные программы и т.п.), и анализ различных формулировок результатов обучения в терминах внешней деятельности (см., например, таксономию целей Б. Блума, работы А.Г. Асмолова, М.Б. Челышковой).
На основе такого анализа была разработана следующая структура перечня учебных предметных целей по химии10.
1. Знать определения основных химических понятий, закономерности, формулы и названия веществ, виды химической связи, химические свойства и способы получения веществ, условия протекания и типы химических реакций.
2. Понимать смысл понятий, формул, уравнений химических реакций, сущность процессов диссоциации, химической реакции с позиций атомно-молекулярного учения, окислительно-восстановительных процессов, причин изменения скорости химической реакции.
3. Устанавливать причинно-следственные связи между строением атомов, положением элемента в периодической системе и свойствами элементов, строением и свойствами образуемых ими веществ.
4. Классифицировать вещества, химические связи, химические реакции (уметь устанавливать принадлежность объекта к определенному классу, типу).
5. Составлять схемы строения атомов, формулы веществ, уравнения диссоциации, молекулярные и ионные уравнения реакций, названия веществ (устанавливать соответствие между названием вещества и формулой).
5.1. Составлять формулы.
5.2. Составлять уравнения реакций.
10 Более подробно о деятельностном подходе к определе-
нию целей тестирования по химии см. Михалева Т.Г., Стрельникова Е.Н. Разработка педагогических тестов по химии. Вако. 2013.
.................................................................................................................................................жшчщ.......шшшь......ни
5.3. Составлять названия веществ.
5.4. Составлять схемы строения атомов.
6. Определять (устанавливать, находить с помощью правила, алгоритма) строение и свойства атома с помощью периодической системы, валентность (степень окисления) элемента по формуле, окислитель, восстановитель, процессы окисления и восстановления в химической реакции, число, вид и характеристики химической связи по формуле вещества, принадлежность веществ к электролитам, возможность протекания реакции, возможные продукты реакции и реагенты, коэффициенты в уравнениях реакций.
7. Производить вычисления: по формулам и уравнениям реакций, состава растворов.
7.1. Производить вычисления по химическим формулам.
7.2. Производить вычисления по уравнениям реакций.
7.3. Производить вычисления состава смеси (раствора).
В приведенном перечне объектов контроля даны в обобщенном виде (выделены подчеркиванием) наиболее важные виды предметных знаний и умений, которые можно проконтролировать с помощью тестовых заданий по химии, и внешне выраженная деятельность, на основе которой можно судить об их усвоении. Операциональные действия по этим видам знаний и умений зависят от уровня усвоения содержания и для разных классов могут быть разными. Но любое конкретное умение как цель изучения конкретного элемента содержания предмета «Химия» может быть сведено к одному из них.11 Операционализация целей, результатом которой являются четко сформулированные диагностируемые признаки качества знаний по предмету в виде деятельностных характеристик (виды знаний, умений, уровни усвоения), позволяет в полной мере осуществить системно-дея-тельностный подход не только в контроле, но и в обучении. Ведь сейчас практика общего образования показывает: учат не тому, что нужно, а тому, что будет проверяться.
11 Более подробно описание применения деятельностного подхода к определению целей тестирования по химии в школе можно посмотреть в книге: Михалева Т.Г., Стрельникова Е.Н. Разработка педагогических тестов по химии.- ВАКО, 2013.
Результатом первых этапов конструирования педагогического теста является построение описательной модели теста - спецификации теста. Спецификация теста, как и спецификация любого измерительного прибора, содержит описание его содержания, условия применения, метод интерпретации результатов и другие свойства теста. Спецификация может быть более полной - для тестов, предназначенных для массового тестирования, и сокращенной - для тестов тематического и текущего контроля. В спецификациях тестов для массового тестирования, результат которого архиважен для учащегося, должен содержаться список нормативных документов, определяющих отбор содержания тестовых заданий в соответствии с целью тестирования; список литературы для подготовки; сведения о тестовых заданиях: контролируемые ими элементы содержания и виды знаний-умений, трудность (определенная при апробации теста), форма; критерии оценки выполнения теста; число вариантов теста; инструкции для испытуемых и экспертов12, время тестирования и т. д.
Но результаты массового итогового контроля в его теперешнем виде, к сожалению, не могут быть использованы учителем в его конкретной преподавательской работе. Это происходит, во-первых, потому что информация о массовых итоговых испытаниях имеет весьма общий характер и используется в сферах управления образованием как «средняя температура по больнице». А во-вторых, как уже говорилось, оценочные материалы, используемые на ЕГЭ и ОГЕ, не сопровождаются такой спецификацией, которая позволила бы анализ результатов перевести в коррекцию конкретной работы учителя.
Такую возможность дают тесты текущего контроля и тесты тематического контроля, составленные по канонам требований те-стологии и сопровождаемые правильной спецификацией.
О ТЕСТАХ ТЕКУЩЕГО КОНТРОЛЯ И ТЕМАТИЧЕСКОМ ТЕСТИРОВАНИИ
Тест текущего контроля - рабочий инструмент учителя, и создание подробной спец-
12 Если есть открытые тестовые задания, которые проверяются экспертами.
ификации для него излишне. Учитель и без того прекрасно отдаёт себе отчёт и в назначении теста, и в том, какой учебник будут использовать ученики для подготовки. Однако план теста, в котором для каждого задания указан и элемент содержания, и вид контролируемой деятельности (объект контроля), нужен. Он позволит учителю убедиться в том, что ничего не упущено, а при анализе результатов будет легко понять, в чём заключаются типичные ошибки. План теста позволяет также соблюдать параллельность вариантов теста по содержанию, видам деятельности ученика и трудности заданий. План теста дополняется инструкциями по выполнению заданий, рекомендациями по оценке и времени выполнения теста, а также ключами (правильными ответами) к заданиям. Вся эта информация вместе с вариантами теста составляет пакет документов для текущего контроля. Этим материалом учитель сможет воспользоваться, во-первых, через год, когда он снова будет проводить тестирование. Во-вторых, этот материал пригодится для проверки достижений учащихся, которые в первый раз не смогли набрать нужное число баллов, установленное в качестве минимума усвоения. Если же учитель хочет опубликовать свой тест текущего контроля, то спецификация должна быть составлена в полном объеме так, чтобы коллеги с её помощью смогли понять замысел и структуру теста.
Рассмотрим подробнее роль правильно составленной спецификации теста в процессе анализа результатов тестирования и коррекции на его основе оперативной работы учителя на примере тематического теста.
Тест тематического контроля, или тематический тест, охватывает больший раздел содержания (главу учебника), включающий в себя материал нескольких уроков. В программах некоторых предметов эти разделы содержания называют темами. По завершении изучения таких разделов полагается провести контрольную работу, чтобы определить, насколько ученики усвоили учебный материал. В ряде случаев эту контрольную работу целесообразнее провести в тестовой форме.
В зависимости от объёма изученной темы на выполнение тематического теста может
отводиться от 20 до 40 минут. Число заданий, соответственно, может быть от 10 до 25. Тематический тест является критериально-ориентированным.
По результатам тематического тестирования учитель делает вывод об уровне усвоения классом данного раздела содержания и необходимости коррекционных занятий.
Для тестов тематического контроля в спецификации обычно указываются:
• нормативные документы: ФГОС, учебник; рабочая программа;
• цель тестирования;
• тема с указанием элементов содержания; число часов, отводимых по программе на ее изучение;
• перечень объектов контроля - виды деятельности, усвоение которых проверяется заданиями данного теста;
• формы тестовых заданий;
• число баллов за правильно выполненное задание разной формы; - таблица эталонов правильных ответов;
• критериальный балл: число верно выполненных заданий (или тестовый балл - процент к общему числу заданий в тесте), соответствующее критерию «аттестован - не аттестован», или таблица перевода тестовых баллов в четырёхбалльную шкалу школьных отметок;
• длительность тестирования.
Если тематический тест входит в комплект тематических тестов по конкретному учебнику, то общая информация, одинаковая для всех тестов этого комплекта, выносится в пояснительную записку к нему13. Но перед каждым тестом должна быть сокращенная спецификация, в которую, как минимум, включаются содержательно-деятель-ностная (технологическая) матрица, план теста, которые представлены в виде таблиц, и рекомендации по переводу тестового балла в школьную отметку.
Содержательно-деятельностная матрица позволяет сразу понять, какие элементы содержания и виды деятельности контролируют задания данного теста. Практически это представленная в виде матрицы цель педагогического контроля с помощью данного теста. В плане теста каждое тестовое зада-
13 См. например. Ахрименкова В.И. Математика 5-6кл. Тематические тесты. Вако.2016.
.................................................................................................................................................ЖИШЩ.......ШШШЬ......шш
ние соотносится с определенным элементом содержания учебного предмета, контролируемым знанием или умением, уровнем усвоения учебного материала, уровнем трудности (определенным на апробации или прогнозируемым составителем теста), формой тестового задания. Информация, представленная в этих двух документах, как будет показано ниже, является самой важной при анализе результатов тестового тематического контроля.
Формы заданий в тематическом тесте могут быть разнообразными. Это позволяет подобрать форму, адекватную содержанию задания. Знакомство учеников при выполнении такого теста с разными формами тестовых заданий полезно для их подготовки к неизбежному ЕГЭ. В нашем случае для проверки в химии знания определений лучше всего подходят задания дополнения, а для проверки классификационных умений - задания с выбором нескольких правильных ответов. Обычно в тематических тестах используются следующие формы тестовых заданий: 1 - закрытое задание множественного выбора с одним правильным ответом (число вариантов ответа не должно быть меньше 4-х); 2 - задание на установление правильного соответствия, 3 - задание на установление правильной последовательности, 4 - открытое задание дополнения (с кратким ответом), 5 - задание с выбором нескольких ответов.
Имеет смысл предварительно тем или иным способом ознакомить учеников с планом теста и демонстрационным вариантом теста. Демонстрационный вариант можно вывесить на стенде в кабинете, разместить в школьной компьютерной сети (for all), разослать ученикам по электронной почте. Открытость требований к уровню подготовки школьников может мотивировать учеников к сознательному овладению материалом, а не к поиску способов списать контрольную работу. Но не нужно «натаскивать» на тот материал, который включается в тест. Не нужно специально «разбирать» задания теста, тогда не получится объективная картина. Как и в случае теста текущего контроля, кроме плана теста нужны «ключи» (эталоны правильных ответов на каждое задание теста), текст инструкции по выполнению теста, рекомендации по оценке и время выполнения теста. По результа-
там тематического тестирования учитель делает вывод об уровне усвоения классом данной темы и необходимости коррекцион-ных занятий.
ПРИМЕР ТЕМАТИЧЕСКОГО ТЕСТА
В качестве примера вышесказанному приведем спецификацию теста тематического контроля для 8-го класса по теме «Первоначальные химические понятия».
1. Общее время выполнения теста - 20 минут.
2. Перечень элементов содержания курса химии, включенных в тест:
_Название элемента содержания
1.Основные понятия химии_
1.1. Предмет и задачи химии. Место химии среди естественных наук._
1.2. Вещества, свойства веществ._
1.3. Изменения, происходящие с веществами._
1.4. Основы атомно-молекулярного учения.
1.4.1. Атом, молекула.
1.4.2. Химический элемент. Символы химических элементов.
_1.4.3. Относительная атомная масса.
1.5. Понятие об аллотропных модификациях._'_
1.6. Состав вещества.
1.6.1. Простые и сложные вещества.
1.6.2. Смесь веществ.
1.6.3. Очистка веществ и разделение смесей.
1.6.4. Постоянство состава вещества. Химическая формула.
1.6.5. Относительная молекулярная масса.
_1.6.6. Массовые доли элементов._
Примечание: понятие об аллотропии формируется позже, поэтому элемент 1.5 в тест не включён.
4. Рекомендации по оценке результатов
Задания В1 и В3 оцениваются политомиче-ски: полностью правильный ответ - 2 балла, частично правильный ответ - 1 балл (допускается ОДНА ошибка). Правильное выполнение остальных заданий оценивается в 1 балл. Максимальное число баллов - 16.
Рекомендации по переводу тестового балла в четырёхбалльную шкалу:
«5» - более 90% правильных ответов (тестовый балл 15-16);
«4» - более 70% правильных ответов (тестовый балл 12-14);
3. Соотношение заданий по объектам контроля и элементам содержания (содержа-тельно-деятельностная матрица)
Раздел содерж. Объекты конт роля Всего заданий
4.1 4.2 4.3 4.4 4.5 4.6 4.7.1
1.1 1 1
1.2 1 1 1* 2 + 1*
1.3 1* 1*
1.4.1 1 1
1.4.2 2 1 3
1.4.3 1 1
1.6.1 1* 1*
1.6.4 1 1
1.6.5 1* 1*
1.6.6 1* 1*
Всего 4 4 0 3 0 1 2 14
*) отмечены задания части В
Примечания. В тесте не контролируются виды учебных действий 4.3 («Устанавливать причинно-следственные связи» 4.5 («Составлять»), потому что, в соответствии с программой, ученики ещё не приобрели этих знаний и умений.
5. План теста
№ тестового задания Раздел содержания Объект контроля (вид контролируемого знания-умения) Форма ТЗ Уровень знания Трудность задания (% выполнивш. зад.)
А1 1.1. Предмет и задачи химии. Место химии среди естественных наук 4.1 1 1 75
А2 1.2. Вещества, свойства веществ 4.1 1 2 90
А3 1.2. Вещества, свойства веществ 4.2 1 2 80
А4 1.4.2. Химический элемент. Символы химических элементов 4.2 1 2 60
А5 1.4.2. Химический элемент. Символы химических элементов. 4.1 1 1 85
А6 1.4.2. Химический элемент. Символы химических элементов 4.1 1 1 75
А7 1.4.1. Атом, молекула 4.2 1 2 75
А8 1.6.4. Постоянство состава вещества. Химическая формула 4.2 1 2 70
А9 1.4.3. Относительная атомная масса 4.6 1 2 80
В1 1.2. Вещества, свойства веществ 4.4 5 1 75
В2 1.6.1. Простые и сложные вещества 4.4 5 2 85
В3 1.3. Явления физические и химические 4.4 5 2 75
В4 1.6.5. Относительная молекулярная масса 4.7.1 4 2 85
В5 1.6.6. Массовые доли элементов 4.7.1 4 2 60
«3» - более 50% правильных ответов (тестовый балл 8-11).
По данным последнего столбца могут быть вопросы - почему задания с меньшей трудностью14 оказались в конце теста? Ведь специалисты по теории создания тестов настаивают на размещении заданий в тесте в порядке возрастания их реальной трудности выполнения для учеников. Однако на
14 В тестологии под «трудностью задания» принято считать (может быть в силу первоначально не точного перевода с английского) процент правильных ответов на задание. То есть, чем легче задание, тем его коэффициент «трудности» больше.
практике это осуществляется редко. Во-первых, пока не созданы банки калиброванных тестовых заданий (с известной трудностью). Во-вторых, специалисты-предметники предпочитают размещать задания в тесте по содержательным блокам («в соответствии с логикой предмета»). Они объясняют это тем, что ученику трудно всё время переключаться с одного элемента содержания на другой. В-третьих, если в тесте представлены задания разных форм, то существует объективная необходимость объединять задания одной формы общей инструкцией (всё время переключаться с одной формы на другую ещё труднее).
.................................................................................................................................................ШШШ,.......ИЗИЩ......ШЙЮ
6. Таблица эталонов (ключей) ответов к заданиям теста
№ № правильного ответа/ Полностью правильный Частично правильный ответ к
задания правильный ответ к ответ к заданиям с заданиям с политомической оценкой
заданиям с политомической оценкой (1 балл)
дихотомической оценкой (2 балла)
А1 1
А2 4
А3 4
А4 3
А5 1
А6 1
А7 2
А8 2
А9 3
В1 14 1, или 4, или 124, или 134, или 145
В2 235
В3 25 2, или 5, или 125, или 235, или 245
В4 100
В5 50
Впрочем, исследования, проведённые в Федеральном центре тестирования15, показали, что результаты тестирования практически не зависят от стратегии предъявления тестовых заданий.
А теперь приведем сам тест, соответствующий этой спецификации.
ТЕСТ ПО ТЕМЕ «ПЕРВОНАЧАЛЬНЫЕ ХИМИЧЕСКИЕ ПОНЯТИЯ» 16
Часть А
К каждому заданию А1-А9 даны четыре варианта ответа, из которых только один верный. Отметьте номер правильного, на ваш взгляд, ответа.
А1. Оцените справедливость утверждений:
А. Химия - это наука о веществах, их свойствах и превращениях. Б. Гипотеза - это предположение, не требующее доказательств.
1) верно только А;
2) верно только Б;
3) верно А и Б;
4) оба утверждения неверны.
15 Дятлова К.Д., Михалева Т.Г. Исследованияе влияния порядка расположения тестовых заданий на характеристики теста.//Вопросы тестирования в образовании. 2003.№7.
16 Общая инструкция к тесту здесь не приводится, так как в зависимости от способа предъявления теста она может изменяться. Инструкции к заданиям даны курсивом.
А2. Свойство вещества глюкозы, отличающее её от лимонной кислоты, -
1) цвет;
2) электропроводность;
3) агрегатное состояние при обычных условиях;
4) вкус.
А3. Про вещество нельзя сказать, что оно:
1) ядовитое;
2) прозрачное,
3) растворимое,
4) длинное.
А4. О химическом элементе серебре идёт речь в утверждении:
1)посуда, сделанная из серебра, обладает бактерицидными свойствами;
2) серебро обладает самой высокой электропроводностью среди металлов;
3) атом серебра почти в два раза тяжелее атома марганца;
4) серебро добавляют в колокольную бронзу для улучшения звука.
А5. «Купрум» - так произносится символ химического элемента:
1) меди;
2) кремния;
3) кальция;
4) кобальта.
А6. В честь страны получил название химический элемент:
1) рутений;
2) алюминий;
3) селен;
4) кобальт.
А7. Молекула воды состоит из трёх ...
1) веществ;
2) атомов;
3) молекул;
4) химических элементов.
А8. Три молекулы кислорода означает запись:
1) 30;
2) 302;
3) 303;
4) О3.
А9. Масса атома серы в два раза больше массы атома.
1) Си;
2) Ge;
3) 0;
4) С.
Часть В
При выполнении заданий В1-В5 запишите полученный ответ в отведенном для этого месте.
Ответы в заданиях В4-В5 округлите, если необходимо, до целых чисел.
В1. Запишите номера правильных ответов, не разделяя их запятыми. Веществами являются:
1) медь;
2) гвоздь;
3) стакан;
4) поваренная соль;
5) кастрюля.
В2. Запишите номера правильных ответов, не разделяя их запятыми. Формулы сложных веществ - это:
1) S8;
2) А1203;
3) FeCl2;
4) Р4;
5) H2S04.
В3. Запишите номера правильных ответов, не разделяя их запятыми. К физическим явлениям относятся:
1) появление зелёного налета на бронзовых статуях;
2) образование льда в морозильной камере;
3) горение спички;
4) почернение свинцовых белил;
5)свечение нити накаливания в электрической лампочке.
В4. Запишите пропущенное число. Относительная молекулярная масса СаС03 равна ...
В5. Запишите пропущенное число. Массовая доля кислорода в S02 равна ... %.
ПРИМЕР АНАЛИЗА РЕЗУЛЬТАТОВ ТЕМАТИЧЕСКОГО ТЕСТИРОВАНИЯ
Даже без компьютерной статистической обработки анализ результатов тестирования может дать учителю разнообразную информацию:
• о структуре знаний каждого ученика;
• о разделах содержания и видах умений, плохо освоенных группой в целом;
• о качестве данного теста как инструмента педагогического контроля.
Наконец, на основании результатов тестирования можно выстроить рейтинг учащихся. Подчеркнем, что возможность получения дополнительной объективной информации для коррекции индивидуальной работы и с группой в целом появляется у учителя только при использовании правильно составленного теста. Посмотрим, какую роль в этом играет спецификация теста и прежде всего план теста, в котором каждое задание соотнесено не только с элементом содержания, но и с видом деятельности, усвоение которой оно контролирует.
Представим результаты выполнения теста по теме «Первоначальные химические понятия» в виде таблицы.
По данным матрицы тест состоял из 14 тестовых заданий, и его выполнила группа из 10 человек. В двух нижних строках таблицы отражены значения показателя трудности задания - % участников, верно выполнивших это задание и, соответственно, % учеников совсем не справившихся с заданием. Первое тестовое задание (А1) выполнило 6 человек из 10 участников, и его трудность составляет 60, а десятого задания (В1) -100. Последний столбец содержит первичный тестовый балл конкретного тестируемого, то есть сумму баллов, набранную тестируемым за ответы на задания теста.
Матрица ответов
Таблица 1
№
Имя ученика
А1 А2 А3 А4 А5 А6 А7 А8 А9 В1 В2 В3
Номер тестового задания
В4
В5
Число правильных ответов, кол-во баллов (процент
выполнения заданий), отметка
Даня В
8 (50%) 3
2.
Илья Г.
12 (75%) 4
Яна Г.
10 (62,5%) 3
4.
Женя Г.
16 (100%) 5
5.
Тимур
10 (62,5%) 3
6.
Никита
14 (87,5%) 4
7.
Саша К
11(68,8%) 3
Женя К
15(93,8
5
Паша Л
13(92,9%) 4
10. |Артемий
16(100%) 5
% полностью правильных ответов на ТЗ
60
90
90
40
80
70
60
70
80
100
100
50
80
90
% учеников, совсем не справившихся с заданием
40
10
10
60
20
30
40
30
20
10
20
10
0
0
0
1
0
0
2
0
0
0
0
0
0
1
2
2
1
3
0
0
1
0
2
1
0
1
1
1
1
2
2
0
0
1
1
2
1
1
1
0
2
1
0
0
0
0
2
1
1
1
1
2
2
0
0
1
0
2
2
1
1
1
2
2
0
0
Для удобства определения структуры знаний учащихся по результатам тестирования составим еще одну таблицу на основе данных из Плана теста по этой теме.
Анализируя данные этих двух таблиц можно:
Проставить отметки обучающимся, если заранее были определены критериальные баллы, например: К5=15, К4=12 К3=8. Таким образом, отметку «5» получают уче-
ники: Женя Г., Женя К. и Артемий, «4» -ученики Илья, Никита и Паша, «3» - Даня, Яна, Тимур и Саша.
Используя первичный тестовый балл в процентах вместо отметок по четырёхбалльной шкале, можно более точно оценить знания учащихся. Например, из матрицы ответов видно, что, хотя Никита и Илья получили одинаковую отметку «5», у Никиты результат выше.
Таблица 2
Номер задания Раздел содержания Объект контроля (вид деятельности)
А1 1.1. Предмет и задачи химии. Место химии среди естественных наук 4.1 Знать
А2 1.2. Вещества, свойства веществ 4.1 Знать
А3 1.2. Вещества, свойства веществ 4.2 Понимать
А4 1.4.2. Химический элемент. Символы химических элементов 4.2 Понимать
А5 1.4.2. Химический элемент. Символы химических элементов 4.1 Знать
А6 1.4.2. Химический элемент. Символы химических элементов 4.1 Знать
А7 1.4.1. Атом, молекула. 4.2 Понимать
А8 1.6.4. Постоянство состава вещества. Химическая формула 4.2 Понимать
А9 1.4.3. Относительная атомная масса 4.6 Определять (устанавливать, находить с помощью правила, алгоритма)
В1 1.2. Вещества, свойства веществ 4.4 Классифицировать
В2 1.6.1. Простые и сложные вещества 4.4 Классифицировать
В3 1.3. Явления физические и химические 4.4 Классифицировать
В4 1.6.5. Относительная молекулярная масса 4.7.1 Производить вычисления по химическим формулам
В5 1.6.6. Массовые доли элементов 4.7.1 Производить вычисления по химическим формулам
Определить пробелы в знаниях каждого из учеников. Яна, например, не освоила алгоритм вычисления молекулярной массы (В4), что помешало ей выполнить и задание В5. А Саша не освоила понятия «атом» и «молекула» (задания А7 и А8). Таким образом выявляется структура знаний каждого ученика на содержательном уровне.
Выявить структуру знаний каждого ученика на деятельностном уровне: видно, например, что Даня не справился с заданиями А3, А4, А7 и А8 и А5, требующими понимания, а задания репродуктивного характера (А2, А5, А6) затруднений у него не вызвали.
заблуждения. Вот пример анализа выбора ответов в заданиях разных типов.
Задание с выбором одного правильного ответа из четырёх предложенных:
Оцените справедливость утверждений: А. Химия - это наука о веществах, их свойствах и превращениях. Б. Гипотеза - это предположение, не требующее доказательств.
1) верно только А;
2) верно только Б;
3) верно А и Б;
4) оба утверждения неверны.
Определить, какие элементы содержания и виды умений плохо усвоены большой группой учащихся и требуют дополнительной отработки. То есть выявить структуру знаний группы на деятельностном уровне. В данном случае это различение понятий «химический элемент» и «простое вещество» (задание А4). Существует вероятность, что низкий результат группы при выполнении одного из заданий вызван его некорректной формулировкой. Это задание должно привлечь к себе повышенное внимание учителя: понятна ли формулировка задания учащимся, есть ли единственно правильный ответ и т.п.
Определить корректность теста и соответствие теста цели тестрования, заявленной в спецификации. Соотношение средних, трудных и легких заданий должно соответствовать требованиям к критериально-ориентированным тестам: 70% средних (трудность 25-70%), 10% трудных (трудность 20% и менее), 20% легких (трудность 71% и более). Тест разделил обучающихся на успешных и неуспешных, но определить ва-лидность теста можно, только сопоставляя данные тестирования с другими показателями успеваемости данных респондентов. Если совпадение тестовых и нетестовых оценок имеется, то в целом, видимо, тест достаточно валиден для данной группы учащихся и может применяться для контроля знаний аналогичных групп.
Представляет интерес (хотя и требует дополнительных затрат времени) анализ выбранных ответов («веер» выбора). Он позволяет понять, в чем заблуждаются ученики, чтобы целенаправленно искоренить эти
Выбор учащихся распределяется следующим образом:
№ задания Число (%) учащихся, выбравших вариант ответа
1 2 3 4
А1 6 (60%) 0 4 (40%) 0
Анализ результатов показывает, что с утверждением А согласились все ученики группы, то есть ученики понимают, что изучает предмет «химия». Разногласия возникли при определении термина «гипотеза», над которым следует ещё поработать.
Открытое задание дополнения:
Относительная молекулярная масса СаС03 равна .
Вариант ответа 50 66 100
Число учеников, давших этот ответ 1 1 8
Ученик, давший ответ «50», очевидно, перепутал относительную атомную массу в таблице Менделеева с порядковым номером. Ученица, которая дала ответ 66, правильно определила значения относительных атомных масс. Но при вычислении не учла число атомов кислорода в «молекуле», то есть не усвоила алгоритм вычисления молекулярной массы.
Длительное применение тестовых заданий в учебной практике позволит учителю составить собственный банк заданий и определить трудность каждого задания (процент решаемости) на том контингенте учащихся, с которым он работает. Это дает возможность создавать тесты высокой, низкой и средней трудности и индивидуализировать обучение. Определение дифференцирующей способности заданий без
.................................................................................................................................................ЖИШЩ.......ШШШЬ......ИИ
специальных программ статистической обработки представляется маловероятным. Но опытный учитель, сопоставляя результаты тестового и обычного контроля, и без этой обработки может понять, как «работает» данное задание.
Действительно, анализ осуществляется путем сравнения доли учащихся, выбравших каждый предложенный ответ среди всей группы, а также групп сильных и слабых учеников. Хорошие задания должны иметь один выраженный максимум, соответствующий верному ответу. Неверные ответы (дистракторы) в тестовых заданиях должны выбираться учащимися, по идее, в равной степени, но это положение относится лишь к ситуации, когда учащиеся в принципе не знают ответа и действуют наугад. «Хороший» неверный ответ (диагностический) может быть выбран большим числом слабых учащихся, в этом случае он становится важным дидактическим фактором процесса обучения, демонстрируя самые
распространенные типичные ошибки и заблуждения учащихся. Собственно, при составлении тестового задания множественного выбора следует предлагать в качестве дистракторов типичные ошибочные ответы. Как раз неграмотный подбор абсурдных дистракторов и является причиной скептического отношения пользователей к заданиям множественного выбора.
Вывод. Тематический контроль в тестовой форме не только позволяет оценить индивидуальные учебные достижения каждого ученика, но и дает значительно больший объём информации (по сравнению с традиционными контрольными работами) для внесения необходимых изменений в процесс обучения, то есть более эффективно выполняет функцию обратной связи в системе «обучение-контроль». Подчеркнем еще раз, что это легко можно сделать только в том случае, если тест стандартизирован, т.е. сопровождается правильной спецификацией и планом. □
