CC BY
36
ДОПРОФЕССИОНАЛЬНАЯ ПОДГОТОВКА
ТЕХНОЛОГИЯ ТЕСТИРОВАНИЯ В ИНДИВИДУАЛИЗИРОВАННОМ
ОБУЧЕНИИ ХИМИИ
Л. Г. Горбунова, С. Ю. Караваев
В статье рассмотрен анализ и интерпретация результатов тестирования (на материале обязательной части А контрольно-измерительных материалов государственной итоговой аттестации по химии), выполненное в рамках однопараметрической модели Г. Раша, для обеспечения индивидуализированного подхода в процессе обучения химии.
Ключевые слова: тестирование, однопараметрическая модель Г. Раша, образовательные достижения учащихся, индивидуальный образовательный маршрут, химия, основная школа
Role of testing in maintenance of the individualized technology training chemistry at a basic school. In the article the analysis of the pupils testing results, executed on an obligatory Part A of the control and measuring materials of the State Final Certification on chemistry is considered within the framework of G. Rush one-parametrical model. The interpretation of the testing results for realization of the individualized approach in training chemistry is given too.
Key words: testing, G. Rush one-parametrical model, educational achievements of pupils, an individual educational route, chemistry, the basic school
Модернизация системы российского образования затронула все его сферы: от постановки целей основного общего образования, изменения содержания (выделение базового и профильного уровней) до форм и средств оценивания результатов учебной деятельности учащихся. Если введение ЕГЭ с 1 января 2009 года вошло в «штатный режим», то государственная итоговая предметная аттестация учащихся средней школы еще только набирает «обороты». Оценивание
учебных достижений обучающихся -формализованный или экспертный процесс. Именно в педагогической оценке отражаются уровень учебных достижений обучаегося, уровень профессионализма педагога, надежность методов и технологий их оценивания. Реализация процесса оценивания в рамках традиционного подхода отягощена субъективизмом оценок педагогов, отсутствием средств объективного контроля, адекватных компетентностному подходу в обу-
чении, отсутствием стандартизованных качественных и количественных эквивалентов оцениваемого уровня подготовленности учащихся. В то же время уровень подготовленности учащихся по предмету является латентным свойством личности учащегося, которое методами традиционной системы оценивания измерить не удается. Однако в рамках гуманно-личностной направленности обучения, являющейся в настоящее время приоритетной в образовании, возникает необходимость в достоверной количественной информации об этом свойстве. Эта информация определяет многие стороны образовательного процесса. Но, в первую очередь, она позволяет наметить пути продвижения учащихся к более высоким результатам обучения, способствуя реализации индивидуализированного подхода в обучении, повышения мотивации, организации процесса обучения в условиях рефлексии и ряде других аспектов. С этих позиций заслуживает внимания система педагогической диагностики, основанная на квалиметрическом подходе и позволяющая получить количественные (численные) эквиваленты, отождествляемые с оценкой измеряемой переменной - уровнем учебных достижений учащихся. Инструментом ее являются тестовые задания различной формы, которые позволяют использовать дихотомические шкалы для измеряемых свойств.
Тестирование, как инновационная система оценивания результатов учебной деятельности учащихся, прочно вошло в практику работы школы и вузов. Однако споры по поводу целесообразности его применения не утихают уже почти 10 лет. Следует согласиться 180
с мнением большинства критикующих эту систему за то, что она не позволяет выявить эрудицию, творческие способности учащихся, направленность обучения и малопригодна особенно для гуманитарных предметов [1]. Однако для получения количественных оценок базового информационно-продуктивного уровня подготовленности учащихся, то есть базовой составляющей федеральных стандартов, тестирование позволяет получить вполне адекватные результаты. Здесь важным является выбор критерия оценивания достигнутого состояния учащихся. К таким критериям в общем виде можно отнести соответствие тестового балла заданному уровню, эталону или статистической норме, достижение требований образовательных стандартов (степень совпадения запланированного и фактически достигнутого результата), соответствие достигнутого уровня подготовленности запросам и ожиданиям собственным, родителей, учителей (любых потребителей образовательных услуг) [2, с. 208]. Несмотря на то, что на сегодня нет единого ряда критериев и стандартов для оценки качества учебных достижений учащихся, использование тестов в образовательном процессе, несомненно, имеет положительный аспект особенно при текущем педагогическом контроле, подготовке учащихся к итоговой аттестации, решении ряда вопросов индивидуализированного обучения.
Рассмотрим возможности тестирования для проектирования индивидуальных образовательных траекторий в процессе обучения химии в школе.
Мы не создавали самостоятельно тестовых заданий (чтобы исключить
возможность получить невалидные измерительные материалы), а использовали для этих целей обязательную часть А контрольно-измерительных материалов (КИМ), предложенных федеральным институтом педагогических измерений (ФИПИ) для государственной итоговой аттестации (ГИА) школьников по химии за 2007 года (№№ 155 и 309). Для целей нашего исследования вполне пригодны любые другие КИМ, важно только, чтобы они были валидные по содержанию, снабжены спецификацией и желательно апробированы на репрезентативной выборке испытуемых.
Эксперимент проводили с участием учащихся 8 и 9 классов Никольской средней школы Вилегодского района Архангельской области. В обоих классах в тестировании принимали участие по 12 учащихся. Выбор именно двух классов разного уровня подготовки обусловлен тем, что основное содержание вопросов части А КИМ ГИА отражено в программе для 8 класса (более 60%), что позволяет провести сравнение между группами учащихся. Вопросы по неорганической химии были предложены учащимся 8 класса в полном объеме (18 заданий), а задания по органической химии (2 задания) были исключены, так как они еще не изучали данный материал к моменту проведения эксперимента. Учащиеся 9 класса отвечали на все задания КИМ. Тестирование в двух группах учащихся проводили в одинаковых условиях, предъявляя тестовые задания на бумажных носителях. Общее время тестирования не превышало 40 мин.
На следующем этапе эксперимента мы провели обработку эмпиричес-
ких данных тестирования, представленных в бланках ответов учащихся, построили матрицы ответов, которые использовали для получения числовых эквивалентов, позднее отождествленных с уровнем подготовки учащихся. Этап обработки результатов педагогических измерений, как правило, связан с преобразованием первичной шкалы, полученной непосредственно по числу выполненных заданий, в другую, более удобную для интерпретации и использования. Кроме того, «сырые» баллы результатов нельзя использовать для выставления итоговой оценки за работу [2, с. 227; 3, с. 219].
Обработка экспериментальных результатов была проведена в рамках современной теории тестирования, с использованием однопараметричес-кой модели Г. Раша [3, с. 256]. Преимущества этой модели хорошо известны: она позволяет получить надежные результаты, которые не зависят от трудности заданий теста, а также числа (минимально 10 человек) и уровня подготовки испытуемых. И в то же время в рамках этой модели удается графически представить результаты тестирования, отображая на одной школе оба множества переменных - уровень подготовки всех учащихся (д.) и уровень трудности всех заданий теста (в). Такое представление результатов тестирования позволяет отвести каждому конкретному учащемуся определенное количественное место на шкале «трудности заданий теста», и тем самым легко определить набор заданий, с которыми учащийся справился успешно, и выделить те, которые вызвали у него наибольшие затруднения. Используя кодификатор и спецификацию, предложенную цен-
181
тром тестирования для ГИА, нетрудно соотнести выявленные результаты с набором проверяемых КИМ обязательных элементов учебного содержания (знания базового уровня), а также набором проверяемых умений и видов деятельности, которые подлежат контролю, что и было нами выполнено.
Проведенные исследования показали, что для анализа степени усвоения учащимися содержания учебной дисциплины удобно пользоваться радиальными диаграммами, на которых по окружности нанесены номера тестовых заданий, а по радиусу - значения стандартизованных логит трудности заданий (в самом простом случае, если вы уверены в качестве используемых вами тестовых материалов, то можно по радиусу откладывать долю
решаемости задании теста, значение которой изменяется от 0 до 1 или до 100%). Такие диаграммы легко построить с помощью среды Microsoft Ехсе1. Именно такое представление эмпирических данных тестирования является не только более наглядным, чем гистограммы или линейные графики, но и более компактным. На эту же диаграмму следует нанести и значение стандартизованного логита уровня подготовки определенного учащегося (или всего класса одновременно), тогда номера по окружности будут соответствовать коду учащегося. Пример такой диаграммы, построенной нами на основании экспериментальных данных, которые показали учащиеся 8 класса, приведен на рис. 1.
-2
10
Рис. 1. Радиальная диаграмма, построенная по результатам тестирования учащихся 8 класса: 1 - стандартизованная логита трудности заданий теста, 2 - стандартизованная логита уровня подготовки учащихся
Анализ экспериментальных данных и их графическая интерпретация в виде диаграммы, приведенной на рис.1, позволяет получить следующую информацию.
Во-первых, можно сделать вывод о качестве и стратегии предъявления данных КИМ. В нашем случае по радиусу отложена стандартизованная логита трудности заданий теста (первое множество данных). Мы не были уверены в высоком качестве тестовых материалов, а потому рассчитывали трудность заданий теста путем математических преобразований эмпирических данных тестирования, стандартизацию которых проводили с помощью ряда преобразований [3, с. 272]: рассчитывали дисперсии по обоим множествам (в. и в) и поправочные коэффициенты для оценки параметров в. и в, которые затем использовали для составления линейных уравнений для расчета стандартизованных значений логит обоих множеств. Решение линейных уравнений для заданных эмпирических множеств значений дает оба стандартизованных параметра, что и позволяет представить их в единой интервальной шкале. Шкала трудности заданий на радиальной диаграмме всегда возрастает по радиусу от центра диаграммы к периферии. Из рис. 1 видно, что мы имеем ломаную линию (1), с максимумами показателя трудности на заданиях 2, 12, 18, 3, 7, 8, 15, которые свидетельствуют о том, что практически для многих учащихся эти задания оказались сложными. Минимальными значениями показателя трудности отмечены задания 4, 9, 13, с которым все учащиеся справились без особого труда, так как уровень сложности подобных заданий ими давно
освоен. В использованном нами тесте трудность задания не является линейной функций номера задания, то есть нельзя сказать, что трудность заданий теста нарастает (или наоборот падает) от первого задания к последнему. Этому случаю отвечала возрастающая, либо убывающая кривая (линия 1). А потому стратегия предъявления теста не выдержана, то есть задания в нем расположены не по ранжиру. Более того, данный тест не является нормативно-ориентированным: тест содержит избыточное количество трудных заданий, о чем свидетельствует, как показали расчеты, сумма стандартизованных значений логит трудности заданий теста. Она больше нуля. Напомним, для нормативно-ориентированного теста она должна быть равна нулю [3, с. 275].
Во-вторых, из приведенной на рис. 1 диаграммы мы получаем информацию об уровне подготовки каждого из учащихся в отдельности и класса в целом. Так, уровень подготовки учащегося с кодом 001 достаточно высокий (максимум на линии 2). Он успешно справился со всеми заданиями, для которых разница между стандартизованным значением логита уровня его подготовки (1,39) и уровнем трудности ^-задания положительна, т. е.. Проведя окружность такого радиуса, легко увидеть, что к таким заданиям относятся все, кроме 2, 12, 18. Заметим, что сырой тестовый балл данного учащегося равен 13, и он не справился с 5 заданиями КИМ. Следовательно, можно предположить, что формулировка двух (5-3) заданий в тесте вызвала у него непонимание содержания предложенного утверждения в задании, либо задания содержа-
183
ли неработающие дистракторы, хотя уровень его подготовки позволяет решить задания положительно. А вот учащийся под кодом 007 имеет самое низкое значение стандартизованного логита уровня подготовки, всего -1,25. Он освоил содержание только 4, 9, 13 заданий. Хотя «сырой» балл его равен
5, ибо он положительно ответил на 5 заданий теста. Но ответы задания 3 и
6, скорее всего, им были угаданы. К такому утверждению приводит нас и анализ содержания этих вопросов в КИМе: один из них относится к содержанию обучения в 9 классе и понимание его сути может быть достигнуто на следующем этапе изучения учебного предмета, а вот правильный ответ на задание 6 связан с вычислением количества вещества. Содержание этого вопроса относится к программе 8 класса. И этот пробел в знаниях и соответствующих умениях этого учащегося должен быть ликвидирован своевременно через различные формы обучения и самообучения, нацеленных на отработку основных химических понятий, решение простых задач расчетного типа, привлечение его к участию в проектной деятельности. Анализ диаграммы позволяет также выделить группы учащихся, сходных по уровню подготовки, например, сильных и слабых, и, соответственно, более дифференцированно подходить к выбору средств и методов обучения каждой из них.
Таким образом, исходная информация, которая должна быть заложена в проектировании индивидуальных образовательных маршрутов учащихся, связана с выявлением соотношения между уровнем его подготовки и уровнем трудности заданий теста. В общем 184
случае, если выполняется неравенство > 0, то все задания с номером ] оказались для определенного учащегося (/) довольно легкими, а соответственно, элементы предметного содержания, умения и виды деятельности, им соответствующие (согласно кодификатору), этим учащимся уже освоены. А если имеет место обратное неравенство, < 0, то все задания _/ оказались для /-учащегося, наоборот, сложными, и уровень его подготовки по этим элементам содержания не соответствует заявленному в стандарте. А потому именно эти элементы содержания подлежат повторному изучению, осмыслению, пониманию, а соответствующие умения и виды деятельности - дополнительной отработке, что в обязательном порядке должно быть учтено при планировании индивидуализированного обучения учащегося или определенной группы, осуществлении коррекционной работы.
Аналогичная радиальная диаграмма была построена нами на основании полученных экспериментальных данных и для учащихся 9 класса, по результатам которой также были выделены более трудные и более легкие задания теста, рассмотрена стратегия предъявления теста, также определены более успешные учащиеся и менее успешные.
Поскольку две группы учащихся выполняли разные варианты КИМ ГИА (№ 155-2 и № 309-2), то для того, чтобы сравнивать уровень базовой подготовки между группами, мы воспользовались непараметрическими Q-критерием Розенбаума (условия применимости критерия (п1, п2 > 11, и1~и2) и угловым преобразованием Фишера (ф*-критерий) (условие применимос-
ти критерия п1, п2 >5) [4, с. 42, 158] для выявления различий двух вариантов тестов как по качественно определяемому, так и по количественно измеряемому признакам. Во всех трех случаях мы получили сходящиеся между собой результаты, подтверждающие, что оба варианта тестовых заданий значимо не различаются между собой ни по качественному, ни по количественному признаку. Это позволило нам объединить две группы учащихся в одну и провести сравнение их между собой для выявления возможных различий в уровне подготовки между
ними. Обработка результатов тестирования в рамках однопараметрической модели Г. Раша показала, что средний стандартизованный уровень (в логи-тах) базовой подготовки учащихся 9 класса оказался ниже, чем таковой для 8 класса: -0,15 против -0,07. В целом уровень базовой готовности учащихся 8 класса (линия 2 на рис. 2) к выполнению заданий теста оказался немного выше, чем у учащихся 9 класса (линия 1 на рис. 2). Анализ содержания предъявляемых учащимся тестовых заданий более чем на 60% основывается на материале 8 класса.
Рис. 2. Ранжированное распределение учащихся 9 (линия 1) и 8 (линия 2) классов по уровню подготовки, в логитах
Однако со статистической точки зрения (по результатам сопоставления выборок на основании ф*-крите-рия) различия между двумя классами учащихся по уровню химической под-
готовки оказались незначимы, хотя разница в наличии эффекта (среднее стандартизованное значение уровня подготовки) выше почти в 2 раза (0,15/0,07) в 8 классе. Этот факт нахо-
дит подтверждение в словах академика РАО В. И. Загвязинского «.. .Главный порок ЕГЭ (имеется ввиду тестовой формы контроля) заключается в том, что весь измерительный аппарат его направлен на фиксирование «остаточных» знаний и типовых умений.» [1, с.7]. А уже ни у кого не вызывает сомнения, отмечает академик РАО В. Д. Шадриков, что «остаточные» знания со временем затухают практически по экспоненте [5, с. 5].
В заключение хочется добавить, что тестирование, широко вошедшее в настоящее время в практику работы учителей школ, несомненно, оказывает положительное влияние на повышение уровня внутренней мотивации учащихся, способствует осознанию учеником цели и этапов собственной деятельности, а также способствует обновлению функционального взаимодействия всех участников образовательного процесса. Знания и практические умения учащиеся получают в организованной и направляемой учителем систематической познавательной деятельности (индивидуальной, парной, групповой), в которой каждый учащийся получает дозированную помощь в самостоятельной работе. Именно тестирование дает количественные показатели, позволяющие учителю реализовывать индивидуализированный подход к учащимся, причем, не только к слабым, но и к тем, кто об-
наруживает высокий уровень развития, проявляет ярко выраженные интересы, склонности и способности к тем или иным видам деятельности. Систематическое и тщательное изучение учебных возможностей учащихся путем своевременного выявления уровня усвоения ими каждого раздела учебной программы, предупреждение образования пробелов в знаниях и видах умений позволяет учителю более эффективно управлять учебной деятельностью учащихся, осуществлять индивидуальный подход в организации их учебной работы.
Литература:
1. Загвязинский В. И. О роли педагогической науки на новом этапе реформирования образования // Вестник Тюменского государственного университета. - 2009.-№ 5. - С.3-8.
2. Ефремова Н. Ф. Тестовый контроль в образовании. - М.: Логос, Университетская книга, 2007. - 386 с.
3. Челышкова. М. Б. Теория и практика конструирования педагогических тестов. - М.: Логос, 2002. - 432 с.
4. Сидоренко Е. В. Методы математической обработки в психологии. - Спб.: Социально-психологический центр, 1996. -350 с.
5. Шадриков Д. В. Об участии негосударственных организаций в оценке качества образования и аккредитации вузов // Высшее образование в России. - 2009. -№ 2. - С. 4-7.
