Оценка валидности тестирования как метода контроля качества усвоения учебного материала Текст научной статьи по специальности «Науки об образовании»

со s

с; <

i с

.о

i ^

ш I-О S

о

Ш

Оценка валидности тестирования как метода контроля качества усвоения учебного материала

Controlling the Quality of Learning: Assessing the Criteria of Validity and Reliability

УДК 378.016

Ш

I-<

Костин Геннадий Александрович

проректор по научной работе Санкт-Петербургского университета управления и экономики, доктор технических наук, доцент 190103, Санкт-Петербург, Лермонтовский пр, д. 44, лит. А

Kostin Gennadiy Aleksandrovich

St. Petersburg University of Management and Economics

Lermontovskiy Ave 44/А, St. Petersburg, Russian Federation, 190103

В статье рассматриваются актуальные вопросы оценки качества образования учеников. В частности, анализируются основные методы оценки знаний и критерии формирования оценки, рассматриваются проблемы надежности педагогических измерений знаний учеников, специфика понимания термина «ва-лидность» в контексте педагогического тестирования уровня знаний, особенности процедуры оценивания тестовых методик, определения уровня валидности теста. Реальный анализ эффективности инструмента-риев для педагогических измерений возможен только при наличии надежной, достоверной и развернутой информации о ходе процесса образования и его результатах. В статье обнаружены особенности ва-лидизации тестовых заданий, приведены такие характеристики, определяющие валидность теста, как сложность и разрешение, охарактеризованы причины невалидности, описаны способы ее устранения, обозначены направления дальнейшего изучения проблемы валидности.

The article deals with the quality of education, assessing two control criteria — validity and reliability — with different levels of students. As a first step, the document analyzes the basic corpus of knowledge, the assessment bases used in the course of evaluation trials, and the general framework of measuring educational data. In particular, the review investigates the reliability of student-collected knowledge and their ability to understand the term of 'validity' in a pedagogical-testing context. The report suggests that the latter implies grasping procedural-test- and trial-validity methodologies. Moreover, it adds that an efficient toolkit for educational analysis — one that is reliable and trustworthy — needs to contain detailed information about the educational processes and their projected results. The blueprint, in conclusion, has dealt with the controls placed upon the quality of education such as validating tests, reasons behind invalidity, and the causes of reliability and/or complexity in the learning procedure. It also has described how these challenges could be resolved and suggested that further analysis be conducted on validity-associated problems.

Ключевые слова: педагогическое тестирование, контроль знаний, валидность, сложность, разрешение.

Keywords: teacher testing, knowledge control, validity, complexity, reliability

Тестовая форма педагогического контроля давно и

прочно занимает лидирующее место во всемирной

Петрова Светлана Владимировна

аспирант Санкт-Петербургского университета управления и экономики 190103, Санкт-Петербург, Лермонтовский пр, д. 44, лит. А

Petrova Svetlana Vladimirovna

St. Petersburg University of Management and Economics

Lermontovskiy Ave 44/А, St. Petersburg, Russian Federation, 190103

педагогической практике как одно из наиболее объективных и корректных средств диагностики достигнутого уровня знаний выпускников начальных, средних и высших учебных заведений. К основным преимуществам тестового контроля относятся отсутствие субъективного фактора, невозможность различного толкования ответов и большая психологическая «комфортность» тестируемых. Этой форме определения уровня знаний присущи основные педагогические функции: диагностическая, обучающая, организационная и воспитательная [1], которые могут быть комплексно реализованы только в случае создания качественных тестовых заданий.

В случае если основной задачей тестирования является определение уровня усвоения материала, условием ее решения является применение принципов, регламентирующих процесс педагогического контроля знаний. Один из таких принципов — принцип научности. Тесты должны соответствовать определенным критериям оценки качества методов измерения: объективности, надежности, валидности и точности [2-3].

Валидность можно определить как соответствие того, что измеряется данным методом, тому, что он должен измерять. Валидность метода может быть описана определенными качественными характеристиками. В данной статье мы проанализируем специфику валидности тестирования как метода контроля качества усвоения учебного материала.

Внедрение новейших технологий обучения, основанных на новых подходах по представлению и усвоению знаний, требует новых, современных методов их измерения и оценки. Применение традиционных методов измерения знаний, таких как устный опрос и четырехбалльная система оценки, тормозит процесс информатизации образования. Поиск совершенных методов измерения уровня знаний на современном этапе приобретает чрезвычайную актуальность, поскольку объективизация процесса измерения, обеспечивая обратную связь, дает возможность координировать данное развитие. Таким образом, объективные и точные методы измерения и оценки знаний становятся одной из движущих сил научного прогресса.

Сравнительный анализ методов измерения уровня знаний, которые используются в современной педагогике, — устного опроса, письменной работы, интервью и тестирования — свидетельствует о том, что последний из них более чем соответствует критериям качества при определении уровня теоретических знаний.

Как отмечает В. А. Болотов, «знание — это качественная характеристика, которая присуща человеку и которую он приобретает в процессе обучения» [4, с. 88]. Но для того чтобы проанализировать уровень знаний, эта величина должна быть измерена и определена количественно. Измерением и оценкой качественных характеристик занимается тестология.

Тестология представляет собой направление научных исследований в области теории и практики измерения и оценки качественных характеристик, присущих человеку, в котором методом измерения является тестирование. Этот метод предполагает, что инструментом измерения является тест, составленный из тестовых заданий. Процедурой измерения является тестирование, а методом оценки — шкалирование.

Тестирование (от англ. test — испытание) впервые было использовано в Великобритании Дж. Фишером в 1864 г. для проверки уровня знаний учащихся с помощью оригинальных специальных книг (scale books)

[5]. Последние можно считать первыми образцами школьных тестов успеваемости. Теоретические основы тестирования были разработаны в 1880-е гг. английским психологом Ф. Гальтоном. Он дал определение тестирования как метода, в котором применяются одинаковые опыты с большим количеством индивидов, используется статистическая обработка результатов и определяются эталоны оценки [2].

Сегодня большинство специалистов по проблемам тестирования считают, что для учеников тесты являются непосредственно тем уроком, который позволяет им лучше оценить себя, выяснить цели и методы обучения. При правильном использовании тесты помогают как преподавателям, так и ученикам, а при неправильном они способны существенно затормозить процесс обучения. Подчеркивается, что игнорирование обучающей функции тестов способно нанести вред и ученикам, и программе обучения.

В современной отечественной литературе по педагогической тестологии отсутствует четкая дифференциация основных категорий измерения знаний, точное определение их значений, не полностью исследованы соответствующие характеристики. Эти факторы и тормозят внедрение тестирования.

В числе различных категорий процесса измерения знаний выделим следующие: метод измерения, инструментарий измерения, процедуры измерения и оценивания. Анализ всех категорий измерения уровня знаний основывается на определяющем понятии «валидность». В зарубежной литературе этот термин используется для общей характеристики теста, который отвечает требованиям и целям тестирования. В соответствии с наиболее общим определением валидности, предложенным О. В. Любимовой, она представляет собой «понятие, указывающее нам, что тест измеряет, и насколько хорошо он это делает» [1, с. 19].

В стандартных требованиях к педагогическим тестам валидность теста должна определяться как комплекс информации о характеристиках теста, процедуре тестирования, процедуре и методике оценки

[6]. Таким образом, по категориальному признаку валидность как общее понятие относительно процесса измерения и оценки знаний можно дифференцировать на:

• валидность метода:

• валидность содержания; ^

• валидность соответствия; ^

• валидность инструментария; >х

• валидность процедуры тестирования; ^

• валидность процедуры оценивания. 2 Валидность метода состоит из валидности со- ^

держания и валидности соответствия. Первая их них ^ определяет степень репрезентативности объема зна- ш ний, выраженную в количестве тестовых заданий. Она ^ связана с двумя важными параметрами: <

• общим объемом знаний, который должен усвоить о тестируемый; ^

• объемом информации, выносимым на тестирова- ш ние, при измерении которого делаются статисти- о чески достоверные, обобщающие выводы относи- ^ тельно уровня измеряемых знаний. о В доказательство можно привести следующий о

пример: если принять, что материал учебника экви- ^ валентен 2500 тестовым заданиям закрытого типа ^ альтернативной формы (ответы «да» или «нет»), то для 2 обеспечения точности в 10% необходимо составить ^ тест, который имеет 100 задач, а для точности 5% — 2 400 задач. Как отмечает К. Д. Дятлова, валидность соответствия представляет собой «полное соответствие теста уровню знаний учащихся и содержания учебного материала» [Там же, с. 67].

Валидность инструментария проявляется в соответствии характеристик инструментария измерения определенным критериям, обеспечивающим объективность результатов. К основным его составляющим относятся тест и тестовое задание. Таким образом, валидность инструментария можно рассматривать как валидность теста и валидность тестовых заданий.

Тест учебной успеваемости называется валидным, если при соблюдении других категорий процесса измерения полученные результаты соответствуют критериям объективности. Основные характеристики, которые определяют свойства теста на измерение учебной успеваемости, приведены в табл. 1.

Чтобы определить понятие сложности теста, необходимо установить некоторую шкалу и точку отсчета, относительно которой будет оцениваться этот параметр. Согласно классической теории тестов, их сложность должна соответствовать группе тестирования (средний ученик должен правильно ответить примерно на половину вопросов). Но это условие зависит от цели тестирования. Таким образом, под сложностью теста понимается соответствие средних результатов тестирования среднему уровню репрезентативной выборки. Если полученные результаты завышены, делаем вывод, что тест является легким. И наоборот, если результаты тестирования занижены, мы имеем дело со сложным тестом.

Разрешение — это способность с достаточной точностью различать тестируемых с разным уровнем знаний. Например, сложный тест с малой разрешающей способностью не позволит распределить уровень знаний средних и слабых учеников. И наоборот, легкий тест с малым разрешением позволяет распределить сильных и средних. Разрешение теста — не только внутренняя его характеристика, но и параметр, который оказывает существенное влияние на валидизацию процесса тестирования [7]. Нарушение валидности теста может произойти в случае несоответствия хотя бы одной из перечисленых характеристик.

Тестовое задание считается валидным, если оно соответствует требованиям теста, т. е. обеспечивает

<

I

<

о х о

<

m О

О

о о

Характеристики, определяющие валидность теста

Название Содержание понятия

Сложность Соответствие средних результатов тестирования средним значениям репрезентативной выборки

Разрешение Возможность достоверно различать тестируемых с разным уровнем знаний

Таблица 2

Характеристики, определяющие валидность отдельного тестового задания

Название Содержание понятия

Сложность Соответствие уровню усвоения знаний: • механическое запоминание; • понимание; • понимание и анализ

Разрешение Возможность получить тест с большим разрешением зависит от: • понятности вопросов; • однозначности ответов; • формы вопросов

его валидность. Характеристики тестовых заданий аналогичны характеристикам тестов и приведены в табл. 2.

Сложность тестового задания определяется уровнем усвоения информации и ее последующего преобразования в знание. Учитывая принцип возможности практического определения этой характеристики, выделяют три уровня степени сложности тестового задания:

1. механическое запоминание информации;

2. усвоение знаний на уровне понимания;

3. понимание и анализ.

Разрешение может быть обеспечено, если выполнены следующие условия вопросов и ответов:

• понятность вопросов;

• однозначность ответов;

• оптимальная форма вопросов.

Понятность достигается путем четкой формулировки вопросов с минимальным количеством слов, которые не несут смысловой нагрузки. На ясность вопроса большое влияние оказывает конструкция текста. В связи с этим важной представляется классификация текста по сложности, предложенная в работе Е. А. Михайлычева [2]. В ее основе лежит связь между восприятием текстовой информации и синтаксисом предложения. В зависимости от его конструкции вводится четыре категории сложности теста:

• Нулевая категория:

♦ подлежащее — сказуемое — обстоятельство;

♦ подлежащее — сказуемое — дополнение;

♦ подлежащее — составное глагольное сказуемое;

♦ простое вопросительное предложение.

• Первая категория:

♦ подлежащее — сказуемое — косвенное дополнение — дополнение;

♦ определение к существительному (прилагательному и др.).

• Вторая категория:

♦ пассив;

♦ парные союзы;

♦ сложноподчиненные предложения;

♦ сравнение;

♦ наречие и деепричастие;

♦ инфинитив в роли подлежащего.

• Третья категория:

♦ зависимые предложения в качестве подлежащего [Там же].

Также заметим, что желательно использовать в вопросах предложения, конструкции которых относятся к первой и второй категориям.

Под однозначностью вопроса понимается отсутствие различий в ответах, которые дают разные источники (учебники, конспекты лекций, комментарии экспертов) на один и то же вопрос.

Форма вопроса также значительно влияет на разрешающую способность тестового задания. Подавляющее большинство вопросов формулируется в позитивной форме, но небольшое их количество (примерно 10%) — в отрицательной, с формулировкой подобно следующей: «Все следующее корректно, за исключением...». Нежелательно использовать в вопросах двойное отрицание, например: «Все следующее некорректно, за исключением...», потому что в режиме ограниченного времени и стрессовой нагрузки, характерном для процесса тестирования, его участник может не понять суть вопроса.

Основные требования к тестовым заданиям для обеспечения их валидности можно сформулировать следующим образом:

• каждое тестовое задание должно нести в себе только одну мысль: если утверждение сложное, то формулировку необходимо сократить или разделить на несколько пунктов;

• необходимо пользоваться четким, понятным языком, не использовать многозначных понятий, редко употребляемых слов, сленга или диалектизмов;

• необходимо использовать по возможности простые предложения, потому что очень короткие формулировки, как правило, являются многозначными, а длинные фразы затрудняют понимание задачи, вызывают усталость;

• задачи должны быть реально приближены к предмету, по которому измеряется уровень знаний, иметь конкретное содержание;

• неверные ответы к тестовым вопросам должны быть правдоподобными, непосредственно относиться к предмету.

Практическое определение этих характеристик для обеспечения валидности теста и тестовых заданий можно делать на двух уровнях — априорном и апостериорном. Под первым из них, как правило, понимается экспертиза тестовых заданий, а не теста, которая проходит в два этапа:

Анализ невалидных тестовых заданий

Асимметрия Эксцесс Ex Характеристика Причины невалидности

> 0 < 0 Тестовое задание сложное Нарушение валидности содержания, несоответствие сложности задачи по уровню усвоения знаний уровню усвоения, предусмотренного программой обучения

> 0 > 0 Тестовое задание сложное и имеет малую разрешающую способность Нечеткая формулировка вопроса; неоднозначность ответов; сложная форма вопросов

< <

о х о

<

m О

О

1) устранение грубых ошибок (промахов);

2) устранение неточностей формулировок.

При разработке тестов необходимо учитывать мнение как минимум трех независимых экспертов и отбирать только те вопросы, ответы на которые совпадают.

Апостериорный уровень позволяет провести количественный анализ отдельных заданий и теста в целом. При этом можно определить причины нарушения их валидности.

В исследовании Е. А. Конопко предлагается схема анализа валидности тестовых заданий, базирующаяся на результатах статистической обработки данных тестирования — построении кривой распределения количеств правильных ответов на конкретное тестовое задание [8, с. 10].

Невалидным считаются задачи, на которые при тестировании получены:

• правильные ответы более чем у 84% респондентов;

• правильные ответы менее чем у 16% респондентов.

Первая группа состоит, как правило, из легких задач и поэтому должна быть полностью переработана. Во вторую группу входят как сложные задачи, так и задачи с малым разрешением. Их необходимо проанализировать, чтобы выяснить причины невалидности и провести последующую доработку. Для этого предлагается схема, которая приведена в табл. 3.

Алгоритм исследования тестовых заданий на валидность имеет следующий вид.

1. Подсчитать Рверн для тестового задания.

2. Сравнить Рверн с общими критериями валидности тестовых заданий:

• если Рверн > 84%, тогда (исключить задачи из теста как легкое, конец алгоритма),

• иначе, если 16% < Рверн < 84%, тогда (оставить задачи без изменений как валидный, конец алгоритма),

• иначе (задача сложная).

3. Определить AS и Ex для кривой распределения Р.

верн

4. По табл. 4 определить причины сложности задачи и переделать его.

5. Конец алгоритма.

Более сложная, но подобная предыдущей схема определения общей валидности теста приведена в табл. 4.

Алгоритм исследования теста с использованием табл. 4 выглядит следующим образом.

1. Подсчитать AS и Ex для кривой распределения Рверн теста.

2. Если AS = 0 и Ex = 0, тогда (оставить тест без изменений как валидный, конец алгоритма).

3. Если AS < 0 и Ex > 0, тогда уточнить процедуру тестирования, повторить тестирование, перейти к п. 1.

4. Если AS > 0 и Ex > 0, тогда изменить условия тестирования, повторить тестирование, перейти к п. 1.

5. Провести анализ тестовых заданий, удалить легкие, переделать сложные.

6. Если количество заданий в тесте меньше необходимого, тогда дополнить тест новыми задачами.

7. Повторить тестирование, перейти к п. 1.

8. Конец алгоритма.

Процедура измерения — это четкое определение требований относительно действий персонала и поведения того, кто тестируется. К условиям измерения относятся объективные (период и продолжительность процесса тестирования, помещение и оборудование для тестирования) и субъективные (официальное, регламентированное поведение персонала, проводящего тестирование) факторы. Конкретные требования относительно процедуры и условий тестирования должны прилагаться к тестам.

При компьютерном тестировании (автоматическое накопление, обработка и анализ ответов) возможны три варианта информирования участников о результатах тестирования: после каждого ответа, сразу после окончания тестирования и спустя некоторое время после прохождения тест. Результаты исследований отечественных педагогов свидетельствуют, что наиболее педагогически обоснованным и наименее конфликтным является второй вариант.

Процедура оценивания — категория, составными частями которой являются следующие элементы: первичный балл, конвертация, шкала, оценка. Процедура и методика оценки существенно влияют на окончательные результаты, возможность анализа и статистическую достоверность выводов.

Значение первичного балла рассчитывается по определенной для каждого теста формуле, которая учитывает количество верных (пв) и неверных (пн) ответов. Первичный балл Хi участника тестирования может определяться как в абсолютных единицах, пропорциональных количеству правильных ответов, так и в процентах.

Таким образом, проведенный нами анализ современных педагогических исследований показал разнообразие взглядов, касающихся тестирования как формы педагогического оценивания. В основном дискуссии происходят в поле проблем целесообразности использования тестовых заданий для определения валидности тестовых методик, определения основных элементов тестов, формы и видов тестовых заданий. Особое внимание уделяется технологиям их конструирования, методикам выполнения. Мы приходим к выводу, согласно которому валидность можно определить как соответствие того, что измеряется данным методом, тому, что он должен измерять. Ва-лидность метода может быть описана определенными качественными характеристиками.

В ходе нашего исследования мы стремились проанализировать особенности процедуры оценивания

Анализ тестов на валидность

Асимметрия AS Эксцесс Ex Характеристика Причины невалидности, способы ее устранения

= 0 = 0 Тест валидный —

< 0 > 0 Тест легкий, малое разрешение Тест сконструирован с использованием невалидных тестовых заданий и должен быть валадизирован путем усложнения задач и увеличения их разрешения. Невалидная процедура тестирования

< 0 < 0 Тест легкий, большое разрешение Валидизация заключается в усложнении тестовых заданий

< 0 = 0 Тест легкий

> 0 < 0 Тест сложный, большое разрешение Валидизация заключается в устранении тестовых заданий, которые не соответствуют уровню знаний

> 0 > 0 Тест сложный, малое разрешение Нарушение валидности содержания; невалидность тестовых заданий. Валидизация заключается в валидизации тестовых заданий.

> 0 = 0 Тест сложный

= 0 > 0 Неоднородный тест, малое разрешение Тест сконструирован из двух подтестов — сложного и легкого. Валидизация заключается в его расщеплении на два разных теста

= 0 < 0 Неоднородный тест, большое разрешение Тест сконструирован из нескольких (более двух) подтестов различной сложности. Валидизация заключается в его расщеплении на отдельные тесты

тестовых методик, определения уровня валидности теста. Дальнейшей перспективой изучения проблемы валидности являются определение степени надежности и ее связи с уровнем валидности тестового задания.

Литература

1. Любимова O. B. Основы образовательной стандартологии и нормологии / О. В. Любимова, О. Ф. Шихова. Ижевск: Изд-во ИжГТУ, 2009. 184 с.

2. Михайлычев Е. А. Дидактическая тестология. М.: Народное образование, 2001. 432 с.

3. Петрова С. В. К вопросу о надежности педагогических измерений знаний учеников // Ученые записки Санкт-Петербургского университета управления и экономики. 2013. № 3. С. 54-59.

4. Болотов В. А. Система оценки качества образования /

B. А. Болотов, Н. Ф. Ефремова. М.: Университетская книга; Логос, 2007. 192 с.

5. Гулюкина Н. А. Педагогический тест: этапы и особенности конструирования и использования / Н. А. Гулюкина,

C. В. Клишина. Новосибирск: Изд-во НГТУ, 2006. 151 с.

6. Дятлова К. Д. Прогностическая валидность абитуриентских тестов // Актуальные проблемы психологии образования: Мат-лы Третьей региональной науч.-практ. конф. Н. Новгород: Нижегородский гуманит. центр, 2004. С. 66-69.

7. Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. 352 с.

8. Конопко Е. А. Использование компьютерного тестирования в процессе профессиональной подготовки бакалавров в вузе: Автореф. дисс. ... канд. пед. наук. Ставрополь, 2007. 23 с.

References

1. Lyubimova O. B., Shikhova O. F. Osnovy obrazovatel'noy standartologii i normologii [Fundamentals of educational standardology and normology]. Izhevsk, IzhSTU Publ., 2009. 184 p.

2. Mikhaylychev E. A. Didakticheskaya testologiya [Didactic tes-tology]. Moscow, Narodnoe obrazovanie Publ., 2001. 432 p.

3. Petrova S. V. K voprosu o nadezhnosti pedagogicheskikh izmereniy znaniy uchenikov [On the question of the educational measurement reliability of pupils' knowledge]. Uchenye zapiski Sankt-Peterburgskogo universiteta upravleniya i ekonomiki [Memoirs of the St. Petersburg University of Management and Economics], 2013, no.3, pp. 54-59.

4. Bolotov V. A., Efremova N. F. Sistema otsenkikachestva obra-zovaniya [System of education quality assessment]. Moscow, "Universitetskaya kniga; Logos" Publ., 2007. 192 p.

5. Gulyukina N. A., Klishina S. V. Pedagogicheskiy test: etapy i osobennosti konstruirovaniya i ispol'zovaniya [Pedagogical test: Stages and features of the design and use]. Novosibirsk, NSTU Publ., 2006. 151 p.

6. Dyatlova K. D. Prognosticheskaya validnost' abiturientskikh testov [Predictive validity of applicants' tests]. Aktual'nye problemy psikhologii obrazovaniya. Mat. 3-ey region. nauch. -prakt. konf. [Actual problems of educational psychology. Proc. 3rd region. sci.-pract. conf.]. Nizhniy Novgorod, N. Novgorod Humanities Center Publ., 2004, pp. 66-69.

7. Mayorov A. N. Teoriya ipraktika sozdaniya testovdlya sistemy obrazovaniya [Theory and practice of tests development for the education system]. Moscow, Narodnoe obrazovanie Publ., 2000. 352 p.

8. Konopko E. A. Ispol'zovanie komp'yuternogo testirovaniya v protsesse professional'noy podgotovki bakalavrov v vuze. Kand. pedagog. nauk diss. Avtoref. [Using computer-based testing in the training of bachelors in high school Cand. pedagog. sci. diss. Synopsis]. Stavropol', 2007. 23 p.