CC BY
83
Ахриева А.Ю. ©
Аспирант, кафедра технологий и профессионального образования, ГБОУ ВПО «Академия социального управления» г. Москва
ПРОБЛЕМЫ ВАЛИДИЗАЦИИ ТЕСТОВ УЧЕБНЫХ ДОСТИЖЕНИЙ
Аннотация
В статье рассматриваются проблемы обновления системы контроля знаний учащихся, рассматриваются понятия, относящиеся к "критериально-ориентированным" тестам, исследуются такие критерии качества тестов, как надежность и валидность.
Ключевые слова: тест учебных достижений, качество теста, валидность. Keywords: test of educational achievements, quality of test, validity.
Проверка учебных достижений и оценивание успехов учащегося - это та часть педагогического процесса, которая выявляет достижения как учащихся, так и учителей, а также показывает степень успешности работы отдельных образовательных учреждений и всей системы образования в целом. Здесь смыкаются самые разноплановые стороны образовательного процесса, и выясняется, насколько результат обучения адекватен ставившимся учебным целям. Результат оценивания является обобщенной количественной характеристикой предшествующей работы всех уровней образовательной системы, он имеет многофункциональное назначение и используется для выбора путей совершенствования организации и методологии обучения.
Результаты оценивания должны быть объективными, а образовательная система - способной к их восприятию в качестве сигнала обратной связи для саморегулирования. Таким образом, получается, что объективность оценивания является главной предпосылкой устойчивого развития системы образования. Следовательно, получение объективных оценок - это необходимое условие для развития любой образовательной системы.
Контроль знаний учащихся принадлежит к основным элементам оценки качества процесса образования и выполняет несколько функций в процессе обучения: социальную, образовательную, воспитательную, эмоциональную, информационно-диагностическую, функцию управления.
Систематический учет знаний школьников помогает своевременно обнаружить пробелы в восприятии и осознании, осмыслении и запоминании, обобщении и систематизации знаний и действий, применении их на практике, а также корректировать деятельность учащихся и способы руководства этой деятельностью [6,78].
Новый этап обновления системы контроля и оценки качества обучения совпадает с введением стандартов образования, сущность которых в формулировании единых требований к минимально необходимой учебной подготовке во всех образовательных областях. Требования к обязательным результатам обучения, зафиксированные в стандартах, становятся объективной основой для разработки критериев эффективности качества обучения, для обновления всей системы оценки и контроля качества.
На сегодняшний день оценка качества учебных действий производится при помощи тестов. Применение тестовых форм в образовательном процессе рассматривается как ведущая проблема педагогической науки и практики XXI века.
В данной статье преимущественно будут рассматриваться понятия, относящиеся к "критериально-ориентированным" тестам.
Как считает В.С. Аванесов [1,89], это весьма условное, и в принципе, неправильное название группы тестов, получивших у нас распространение и признание. По существу же, мы имеем дело не столько с тестами названного рода, сколько с интерпретацией тестовых результатов.
Главной задачей критериально-ориентированных тестов (к которым относятся тесты учебных достижений) является стремление выяснить, какие элементы содержания учебного предмета усвоены тем или иным испытуемым. При этом определяется, что из совокупности заданий тестируемый знает. При ориентации на такие тесты требуется большое число заданий и полное определение содержания изучаемой дисциплины. Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания - ответы - выводы о соответствии испытуемого заданному критерию.
Споры ведутся вокруг двух главных вопросов:
© Ахриева А.Ю., 2013 г.
1) правильности содержания теста, что означает безошибочность формулировок его заданий, предметно-научная обоснованность, допустимость теста для проверки интересующих знаний в данной группе испытуемых. 2) обоснованности оценки знаний по всему учебному предмету, на основе результатов тестирования испытуемых по небольшой выборке заданий теста; выборка из потенциально или реально существующей генеральной совокупности всех заданий, которые можно было бы дать испытуемым для уверенной и обоснованной оценки.
При разработке программы контроля знаний по любому разделу (предмету) необходимо составить такую систему заданий, которые требуют применения контролируемых знаний в тех видах специфических и логических умений, которые предусмотрены целями обучения. Тесты проходят процесс обоснования качества, который заключается в оценке соответствия характеристик тестов двум основным критериям: надежности и валидности [8,319].
Надежность контроля понимается как устойчивость результатов, получаемых при повторном контроле. Естественно, что это понятие относительно: с течением времени качество усвоенных знаний может меняться.
Анализируя практику контроля в школе, нетрудно заметить, что контрольные задания не всегда валидны в должной мере. Понятие «валидность» в силу многозначности очень часто вызывает путаницу среди педагогов. Валидность - это соответствие предъявляемых контрольных заданий тому, что намечено проверить. Контролю подлежат предметные знания и те виды познавательной деятельности, в которой эти знания должны функционировать.
Например, в США значение валидности в профессиональном тестировании обычно определяется набором стандартов, подготовленных совместным комитетом, выбранным из трех основных организаций, профессионально занимающихся тестированием (Американская ассоциация образовательных исследований, Американская психологическая ассоциация и Национальный совет по измерениям в образовании) и зафиксированы в документе, который называется «Стандарты для образовательного и психологического тестирования» [5,177].
Так как зачастую постановка целей создания теста носит комплексный характер, валидность необходимо проверить с различных позиций. Насколько адекватно вопросы теста отражают смысл измеряемого явления? Насколько точно результаты тестирования согласуются с известными объективными критериями? Насколько хорошо тестирование может быть объяснено в терминах психологических характеристик [5,180]?
Следует заметить, что оценка валидности проводится всегда путем соотнесения характеристик результатов измерения с внешними критериями.
В зависимости от того, какие это критерии выделяют насколько видов валидности:
1. содержательную (критерии - оценка экспертов при анализе содержания теста и его адекватности целям использования);
2. конструктную ( критерии - результаты по другим тестам);
3. прогностическую (критерии - успешность дальнейшего обучения).
Высокая корреляция между результатами испытуемых и внешними критериями подтверждает высокую валидность теста. Однако возникает проблема: выбор значимого внешнего критерия.
Для тестов школьных достижений важна именно содержательная валидность.
Для повышения содержательной валидности в тест необходимо отбирать задания с малым коэффициентом интеркорреляции, однако, при этом снизится надежность теста. Это противоречие получило название «парадокс Ф. Лорда». Отсюда при конструировании теста возникают серьезные проблемы, и разработчику приходится искать разумный компромисс между повышением содержательной валидности теста и его надежностью.
Для повышения содержательной валидности теста необходимы:
• подбор оптимальной трудности заданий;
• экспертиза качества содержания теста;
• расчет оптимального времени выполнения теста;
• подбор валидных заданий с высокой дискриминативностью [4,52].
Содержательная валидность определяется на основе экспертных методов. И суммарный показатель, и результат выполнение отдельных заданий теста можно скорректировать относительно шкалы успеваемости. Отсюда, в тесте сохраняются только те задания, которые показывают наибольший прирост процента учащихся, переходящих с более низких на более высокие уровни успеваемости.
П. Клайн предлагает следующую процедуру для определения содержательной валидности для тестов школьных достижений, ее вполне можно использовать с практическими целями:
1. Укажите точно категорию лиц, для которой предназначен тест.
2. Определите навыки, подлежащие тестированию; возможно, вам потребуется их проанализировать. Составьте список.
3. Передайте этот список экспертам в данной области (учителям и т.п.) для проверки - нет ли упущений.
4. Преобразуйте этот список в перечень заданий, используя, когда это возможно, равное количество заданий на каждый навык.
5. Представьте эти задания экспертам для проверки.
6. Подвергните задания обычным процедурам конструирования тестов [4,60].
Как можно видеть, сама процедура создания тестов школьных достижений в том случае, если она не нарушается, обеспечивает содержательную валидность теста.
Для тестов учебных достижений также важна валидизация теста по критерию (третий вид валидности). Данная процедура состоит в том, чтобы сравнить результаты, полученные испытуемым, с внешним критерием и оценить их корреляцию. Для тестов учебных достижений наибольшее распространение нашли такие способы определения внешнего критерия как метод экспертной оценки (не мене трех человек), метод средневзвешенной оценки, метод ранжирования и метод парного сравнения.
На сегодняшний день очень важна оценка прогностической валидности теста (один из видов валидизации теста по критерию), которая указывает меру вероятности прогноза успешности дальнейшего обучения. С этой точки зрения важно оценить прогностическую валидность итогового теста: высока ли корреляция между результатами выпускников школы и студентами первого курса вуза. Соответственно, высокая корреляция будет означать высокую прогностическую валидность, что позволит по результатам теста судить, например, о дальнейших успехах учащихся.
Итак, процесс научного обоснования качества теста предполагает оценку его надежности и валидности. На сегодняшний день в работах зарубежных и отечественных исследователей представлено несколько методов и подходов к исследованию критериев качества тестов, которые взаимно дополняют друг друга. Каждый из методов имеет свои достоинства и недостатки, свою область применения и свои особенности в интерпретации оценок качества тестов. Однако несомненно одно: тесты, используемые сегодня для аттестации выпускников, должны обладать надежностью, высокой содержательной и прогностической валидностью. Это проблема, которую еще предстоит решить.
Литература
1. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. - 135 с.
2. Анастази А., Урбина С. Психологическое тестирование. — 7-е изд. — СПб.: Питер, 2007. — 688 с.
3. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход: Учебное пособие (ГРИФ) - М: Университетская книга, Логос. - 272 с.
4. Звонников В. И. Современные средства оценивания результатов обучения : учеб. пособие для студ. высш. учеб. заведений / В. И. Звонников, М.Б.Челышкова. — М. : Издательский центр «Академия», 2007. - 224 с.
5. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). — М., «Интеллект-центр», 2001. — 296 с.
6. Талызина Н. Ф. Педагогическая психология: Учеб. пособие для студ. сред. пед. учеб. заведений. - М.: Издательский центр «Академия», 1998. - 288 с.
7. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. Учеб. Пособие. - М.: ИЦ, 1995. - с.33.
8. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. - М: Логос, 2002. - 432 с: ил
