Проектирование педагогических тестов на базе математических методов Текст научной статьи по специальности «Науки об образовании»

Матушанский Г.У., Бакеева Р.Ф.

ПРОЕКТИРОВАНИЕ ПЕДАГОГИЧЕСКИХ ТЕСТОВ НА БАЗЕ МАТЕМАТИЧЕСКИХ МЕТОДОВ

В статье рассматриваются основные понятия педагогического тестирования, состав и структура теста, формы тестовых заданий, этапы проектирования теста, элементы классической и современной теории педагогического тестирования, информационные средства проектирования тестов. Представленные материалы могут быть полезны преподавателям при разработке педагогических тестов и внедрении их в учебный процесс.

Ключевые слова: педагогический тест, надежность и валидность теста, математические методы

проектирования теста.

Одним из перспективных методов объективной оценки знаний является тестовый

V V г»

метод, переживающий сейчас второе рождение. В наши дни применение тестового контроля знаний представляет быстро развивающуюся сферу на стыке педагогики, математического моделирования, математической статистики, измерений и автоматизации.

Педагогический тест как научное определение представляет собой совокупность взаимосвязанных заданий возрастающей трудности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности [1].

В зависимости от длительности контролируемого обучения педагогический тестовый контроль может быть текущим, тематическим, рубежным, итоговым и заключительным. Текущий контроль производится сразу после изучения нового материала в конце проведенного занятия или во время выполнения домашнего задания. Тематический контроль оценивает результаты изучения определенной темы программы. Его можно проводить в виде контролирующих тестов на практических занятиях или в виде контролирующих компьютерных программ на лабораторных занятиях. Полученные результаты тестирования могут суммироваться в виде баллов при рейтинговом подходе к изучению предмета. Рубежный контроль осуществляет оценку знаний крупных разделов программы курса, его можно проводить в виде тестовых коллоквиумов. В текущем, тематическом и рубежном контроле целесообразно как можно шире использовать стандартные тестовые программы и технические средства, позволяющие обучаемому проводить самоконтроль. Итоговый контроль осуществляется преподавателем после прохождения всего учебного курса. Здесь подводится итог изучения учебной дисциплины. Заключительный контроль оценивает результаты изучения цикла дисциплин. Он осуществляется комиссией в виде выпускного комплексного теста с целью проведения специализированного профессионального отбора.

В отличие от качественного оценивания педагогический тест представляет собой процедуру количественного сопоставления изучаемого свойства с некоторым эталоном, применяемым за единицу измерения. Роль единицы измерения выполняют контрольные задания, подобранные по уровню знаний для определенного предмета. В отличие от обычно принятых вопросов, имеющихся в экзаменационных билетах, здесь речь идет о системе более дробных, коротких, взаимосвязанных между собой общей логикой заданий, отвечающих определенным научно обоснованным критериям качества.

Основываясь на системном подходе можно рассматривать тест с точки зрения состава и структуры. В состав теста включают только те задания, которые выражают его системные свойства. Рассмотрим основные из них. Задания должны отличаться по трудности их выполнения, в противном случае они будут группироваться в одной области знаний. Необходимо, чтобы задания охватывали максимум области контролируемых

знаний, иначе педагогический тест будет характеризоваться недостаточной валидностью (адекватностью). Задания должны быть краткими по форме и четкими по содержанию. Задания должны обладать кумулятивным эффектом, т.е. располагаться в тесте в порядке возрастания трудности. Задания, имеющие определенный порядковый номер в тесте, должны обладать дифференцирующей способностью, т.е. способностью отсекать заданный процент испытуемых. Например, среднее задание отсекает половину испытуемых. Дифференцирующая способность заданий в тесте должна аппроксимироваться моделью нормального распределения.

Под структурой теста понимают способ связи между заданиями. Первая связь между ними - через предметную чистоту. Это означает, что все задания теста по конкретному предмету должны относиться к этому предмету. Вторая связь- через корреляцию между заданиями. Слабо коррелирующие задания выявляются посредством корреляционного анализа и затем отсеиваются. Для группировки заданий по степени близости в кластеры (группы) используют математический аппарат кластерного анализа.

С точки зрения теории погрешности результат педагогических измерений можно представить в виде:

Х=Т+ Е1+Е2+Е3

■ Х - тестовый балл студента;

■ Т - предполагаемый истинный балл, который можно было бы выявить в результате бесконечного числа измерений;

■ Е1 - погрешность, вызванная состоянием испытуемого;

■ Е2 - погрешность, связанная с недостаточным качеством теста;

■ Е3 - другие погрешности, например, полученные в результате подсказки, догадки и т. п.

Обобщенную модель измерений знаний можно представить в виде:

Х=Т+Е, (1)

где Е - суммарная погрешность, которая в общем случае считается случайной. Задача состоит в оценке неизвестного значения предполагаемого истинного балла Т.

■ I Ч/ -г ч/ ч/ ч/

Как правило, оцениваемый параметр Т интерпретируют случайной величиной, распределенной по нормальному закону с неизвестным математическим ожиданием и дисперсией. Погрешность Е и тестовый балл Х также описывают указанной математической моделью. Задача оценки уровня знаний Т по полученным тестовым баллам Х составляет предмет классической и современной теории тестов.

Задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме утверждений, которые, в зависимости от ответов могут превращаться в истинные или ложные высказывания. Последние легко кодируются двойным кодом (1 или 0) и поступают в таком виде для дальнейшей обработки информации.

Наибольшее распространение на практике получили четыре основные формы [2]. Исторически первой считается форма заданий, где есть готовые ответы, из которых обычно один бывает правильным, а остальные - неправильные. Задания такой формы стали применяться с начала 20-х годов и получили название закрытых. Тестовые задания закрытой формы могут иметь два и более вариантов ответов. У подобных заданий имеется определенная вероятность угадывания при выборе правильного ответа, поэтому наиболее предпочтительными являются задания с четырьмя или пятью вариантами ответов.

Если до начала 80-х годов закрытые задания были самыми распространенными, то затем популярность постепенно переходит к открытым заданиям. Отвечая на каждое задание испытуемый дописывает в месте прочерка посредством добавления одного или нескольких ключевых слов. После дополнения предложение становится сконструированным в утвердительной форме.

Третьей формой тестовых заданий является задания на соответствие, появившиеся сравнительно недавно. Суть их заключается в необходимости установить соответствие элементов одного множества элементам другого множества. При этом каждому элементу первого множества соответствует только один элемент второго, а элементы второго множества рекомендуют вводить в два или почти в два раза больше по сравнению с элементами первого множества.

Наконец, четвертая форма тестовых заданий - это задания на установление правильной последовательности, служащие для проверки знания последовательности

Ч/ Ч/ Ч/ Ч/ Г-Ч

действий, процессов, операций, суждений, вычислений и т.п. В качестве инструкции можно использовать: «установить правильную последовательность». В ряде случаев инструкция в том или ином виде может входить в формулировку задания. Указания действия нумеруются, а в ответе надо проставить код, характеризующий правильную последовательность.

Для выявления недостатков и усиления сформулированных заданий рекомендуется провести их внутреннюю экспертизу в результате которой одни задания устраняются, другие - корректируются, а третьи - заново вводятся в текст. На следующем этапе

проводится предварительная эмпирическая проверка теста, для чего требуется

выполнение следующих условий:

■ проверка на контингенте от 100 до 300 человек;

■ обеспечение типичности контингента;

■ обеспечение случайной выборки (хотя бы случайного выбора группы);

■ обеспечение надежности теста на уровне не меньше 0,8;

■ желательное обеспечение автоматизации сбора и обработки информации;

■ описание статистических методов при обработки тестов.

Исторически складывалось три подхода к представлению и обработке тестовых результатов: первый - личностно ориентированный, основанный на изучении

испытуемых с принижением роли контрольных заданий; второй - объектно

ориентированный, направленный на изучение в основном качества заданий в тексте;

Ч/ Ч/ Ч/ 1—1 ч/ ч/

третий - сопряженный, изучающий сразу и испытуемых, и задания. Последний - самый современный подход, результаты тестирования в котором представляются в виде матрицы сопряжения.

В качестве примера рассмотрим матрицу 10х10 (табл.1) [3]. Здесь испытуемые занумерованы по алфавиту от 1 до 10. Тестовые задания после предварительных проверок расположены в порядке возрастания трудности и также пронумерованы. При правильном ответе 1-го испытуемого на ]-е задание в клетке их пересечения ставится 1, при неправильном ответе - 0. Столбец Х| представляет собой индивидуальный балл / - го испытуемого, строка К] - количество правильных ответов на у-е задание, п - количество испытуемых, т - число заданий в тесте. У нас частный случай п=т=10. В нижней правой

ч/ п т

ячейке имеем контрольную сумму ^х = ^К при любом п и т.

;=1 7=1

Таблица 1. Матрица сопряжения для 10 испытуемых и тестовых заданий

Испытуемые Задания

1 2 3 4 5 6 7 8 9 10 X!

№1 1 1 1 1 1 1 1 0 9 0 7

№2 1 1 0 0 0 0 0 0 0 0 2

№3 0 0 0 0 0 0 0 1 0 0 1

№4 1 1 0 1 1 1 1 1 1 1 9

№5 1 0 1 0 1 1 0 0 0 0 4

№6 1 1 1 0 0 0 0 0 0 0 3

№7 1 1 1 1 0 0 0 0 0 0 4

№8 1 1 1 1 0 0 0 0 0 0 4

№9 1 1 1 1 1 1 1 1 1 0 9

№10 1 1 1 1 1 0 1 0 0 0 6

9 8 7 6 5 4 4 3 2 1 !х,=49

После предварительного упорядочивания по Щ матрицу тестовых результатов можно упорядочить также и по Х1. В результате получим дважды упорядоченную матрицу, представленную в табл.2. С целью применения в дальнейшей статистической обработке введем в табл.2 вспомогательный столбец Х2, и вспомогательные строки:

0.=п-Ир где О— количество неправильных ответов:

Р = , где Р)- относительная частота правильных ответов;

1 п

д = Ол, где д - относительная частота неправильных ответов.

1 п

Таблица 2. Дважды упорядоченная матрица сопряжения для 10 испытуемых и 10 тестовых заданий

Испытуемые Задания

1 2 3 4 5 6 7 8 9 10 X! х,2

1 2 3 4 5 6 7 8 9 10 11 12

№4 1 1 0 1 1 1 1 1 1 1 9 8

№9 1 1 1 1 1 1 1 1 1 0 9 1

№1 1 1 1 1 1 1 1 0 0 0 7 49

№10 1 1 1 1 1 0 1 0 0 0 6 36

№5 1 1 0 1 1 0 0 0 0 4 16

№7 1 1 1 1 0 0 0 0 0 0 4 16

№8 1 1 1 1 0 0 0 0 0 0 4 16

№6 1 1 1 0 0 0 0 0 0 0 3 9

№2 1 1 0 0 0 0 0 0 0 0 2 4

№3 0 0 0 0 0 0 0 1 0 0 1 1

9 8 7 6 5 4 4 3 2 1 Ех1=49

1 2 3 4 5 6 6 7 8 9 2 а =51

0,9 0,8 0,7 0,6 0,5 0,4 0,4 0,3 0,2 0,1 2 Р.= 4,9

Ч) 0,1 0,2 0,3 0,4 0,5 0,6 0,6 0,7 0,8 0,9 1Ч, = 5,1

0,09 0,16 0,21 0,24 0,25 0,24 0,24 0,21 0,16 0,09 V РА = 1,89

0,3 0,4 0,46 0,49 0,50 0,49 0,49 0,46 0,40 0,30 ЕТм= 4,29

В литературе характеристику Ру называют мерой трудности задания, хотя на самом деле, чем больше значение Pj тем более легким будет у-е задание. Характеристика ду считается мерой легкости задания. Здесь, чем больше значение ду тем более трудное (у-е) задание.

Перейдем к обработке тестовых результатов и вычислению статистических характеристик тестов, важнейшими из которых являются надежность и валидность.

В классической теории тестов имеется пять постулатов. Первый из них мы рассмотрели выше, он определяется моделью: Х=Т+Е (1). Второй постулат предполагает, что истинный тестовый балл испытуемого равен математическому ожиданию полученного тестового балла, то есть Т=М(Х). Согласно третьему постулату, корреляция между истинным тестовым баллом и погрешностью равна нулю, то есть рТЕ = 0. Четвертый постулат утверждает то же самое для тестового балла и погрешности двух параллельных тестов - р-пЕ2=0. Наконец, пятый постулат предполагает независимость погрешностей двух параллельных тестов - рЕ1Е2=0.

На основании перечисленных постулатов была построена классическая теория надежности тестов. Из формулы (1) получено:

$х=$г2 +Бе2,

где Бт2 и 5х2- дисперсии истинного и полученного тестовых баллов испытуемых, Бе2-дисперсия погрешности измерения.

Отсюда имеем:

5т2/5х2=1-(5е2/Бх2).

Левую часть уравнения называют надежностью теста. Окончательно формула надежности имеет вид

гн.т=1-(ВЕ2/Бх2). (2)

Понятие надежности в тестовом контроле знаний связано с точностью педагогических измерений. Существует большое количество методов по определению надежности тестов. Мы рассмотрим достаточно простой по исполнению метод Дж.Ф.Кудера и М.В.Ричардсона ^-20. Цифра 20 означает порядковый номер опубликованных этими авторами различных моделей для расчета надежности. Согласно указанному подходу имеем

т \

т -1

1 -

(3)

где гнт - надежность теста; т - число заданий в тесте; Руду - дисперсия у-го задания теста в подходе авторов; !Руду - суммарная дисперсия задания теста.

1 т

Пусть х =1Vх. будет означать среднее арифметическое индивидуальных баллов

п 1 '

п 2

V (х1 - х)

испытуемых. Тогда 5 = ы_______ есть искомая дисперсия в формуле (3). Теперь несложно

х! п-1

подсчитать значение надежности применяемого теста. Заметим, что тест минимального (3-го) класса должен иметь надежность не менее 0,8. Тесты второго, первого и высшего

х

классов имеют нижний уровень надежности соответственно 0,9, 0,95 и 0,97.

Зная надежность теста гн.т и тестовый балл 1-го испытуемого Х|, можно более точно прогнозировать этот балл с помощью регрессионной модели.

Т= х +гн.т.(X - х )/ (4)

I

где Т прогнозируемый истинный балл 1-го испытуемого.

Выражение (4) дает значение Т с так называемой корреляцией на регрессию к

ТТ ч/

среднему значению X, в соответствии с которой результаты Х|, имеющие значения выше среднего, слегка занижаются, а результаты Х|, имеющие значения ниже среднего, слегка завышается. Значения Т считаются заслуживающими большего доверия, чем значения х .

Если в модели (2) будем считать гн.т_ и Бх2 известными величинами, то отсюда

можно найти величину дисперсии погрешности измерения теста Б =Б 2(1 - гнт).

Е2 х

Следовательно, для стандартного отклонения погрешности теста получим

Бе=Б^л/Т-г (5)

V н.т

Тогда для тестового балла 1-го испытуемого можно найти доверительный интервал

х±га О). Бе, (6)

где Ьа (у). - квантиль распределения Стьюдента; у=п-1 - число степеней свободы; а=1-р - уровень значимости; р - доверительная вероятность.

Из сказанного выше следует, что научность тестового подхода обеспечивается адекватностью математических моделей при измерении знаний и строгостью применения математического аппарата при анализе этих моделей.

Надежность - один из необходимых критериев качества теста. Другим основным критерием является валидность. Валидность педагогического теста - это его способность измерять педагогические показатели личности, а именно - знания по конкретным дисциплинам. Валидность теста имеет несколько составляющих, первая из которых -валидность заданий по концепции, т.е. их соответствие концепции описанного знания проверяемой дисциплины.

Существует несколько методов определения валидности заданий с суммарным баллом, характеризующим знание дисциплины. В качестве меры валидности возьмем биссериальный коэффициент корреляции между я и^к =^х = у:

мв - мн

где мв - средний арифметический балл по всему тесту у испытуемых, успешно ответивших на ]-е задание; Мя - средний арифметический балл по всему тесту у испытуемых, не ответивших на ]-е задание.

Второй составляющей валидности теста является различающая способность задания. В педагогическом тестировании существует метод Девиса, приближенно оценивающий различающую способность ]-го задания (рсЗу):

рс3=ргру (8)

где Рj - относительная доля лучших 27% испытуемых, правильно ответивших на ]-е задание; Рху - относительная доля худших 27% испытуемых, правильно ответивших на на ]-е задание.

Еще одной составляющей валидности является различающая способность теста (рсТ), которая может быть тем выше, чем меньше одинаковых оценок получают по нему испытуемые. Согласно этому показателю тест как средство измерения должен иметь

большую различающую способность, которая связана с охватом контрольными заданиями всей области знаний.

Тест будет валидным не только, если он различает почти всех испытуемых, но и если тестовые баллы этих испытуемых распределены относительно среднего арифметического балла по нормальному закону. Если это условие не выполняется, то тест считается невалидным с точки зрения соответствия нормальному закону распределения. Валидность по этому критерию достигается нормализацией теста за счет варьирования числа легких и трудных заданий.

Сначала рассмотрим методы повышения валидности теста и начнем с показателя валидности заданий по концепции. Для этого необходимо выявить и исключить невалидные задания. В нашем примере пользуясь данными табл.2, рассчитаем биссериальные коэффициенты всех заданий и сведем их в первую строку табл.3.

Таблица 3. Показатели валидности заданий по данным табл.2 согласно моделей (7) и (8)

Параметр Задания

1 2 3 4 5 6 7 8 9 10

ГН]4Ы5 0,495 0,457 0,224 0,591 0,800 0,731 0,886 0,357 0,666 0,521

рсЗ] 0,333 0,333 0,333 1 1 1 1 0,333 0,666 0,333

Из табл.3 видно, что задания 3 и 8 невалидны относительно рассматриваемого критерия и являются кандидатами на исключение из теста. Изучение второго показателя валидности, различающей способности заданий (рсЗ), на примере табл.2 дает нам заполнение второй строки табл.3. Из второй видно, что кандидатов на исключение среди заданий по этому показателю нет.

Третьим показателем валидности мы определили различающую способность теста (рсТ). При недостаточной валидности по этому показателю тестовые баллы будут сгруппированы относительно какого-либо уровня. Необходимо путем варьирования легких и трудных заданий заполнить всю шкалу тестовых баллов, при этом обеспечить соответствие нормально закону распределения. Этим мы выполним требование к четвертому показателю валидности теста. Проверку теста можно провести за счет построения гистограммы, где по осям отложены тестовый балл и число испытуемых, получивших данный тестовый балл. Однако для ее построения необходимо иметь достаточное число испытуемых, что не обеспечено в нашем примере из табл.2.

Аналогично заданиям можно провести анализ результатов испытуемых. Если окажется несколько человек, правильно ответивших на все задания теста, то это свидетельствует о недостаточной сложности вопросов. Если же несколько человек ответили на все вопросы неправильно, то в этом случае следует добавить легкие вопросы. Однако в данном случае можно также ставить вопрос о несоответствии знаний некоторых испытуемых установленным требованиям.

В настоящей статье мы рассмотрели только механизм разработки педагогического теста. Реально тесты содержат большее число заданий и предполагают значительно большее число испытуемых. Обычно тест разрабатывается на основании экспериментальной проверки от нескольких сот до нескольких тысяч испытуемых. После проведения предварительной эмпирической проверки тест передается на внешнюю экспертизу вместе со статическими результатами проверки. При положительном прохождении внешней экспертизы составляется инструкция пользователю. Здесь присутствуют инструкции к заданиям, описывается специфика данного теста, инструкция

по методам и средствам обработки данных, по пользованию средствами автоматического контроля и т.д. После этого можно начинать основную эмпирическую отладку теста, вводя в него необходимую корректировку [4].

Эффективность тестового контроля зависит не только от качества тестов, но и от методов сравнения тестовых результатов. Это утверждение верно потому, что разные тесты имеют разное число заданий и при суммировании оценок сумма баллов не несет объективной информации. Поэтому тестовые баллы выравниваются посредством перевода в одну из стандартных шкал.

Наибольшее распространение имеет z-шкала, получаемая путем нормирования индивидуальных тестовых результатов:

z = , (9)

s

x

Ч/ Ч/ /■“ Ч/ I ч/

где г-, - нормированный тестовый балл i-го студента; x- средний арифметический тестовый балл в группе; Sx - среднее квадратическое отклонение тестового балла в группе. Случайная величина z распределения от минус до плюс по нормированному нормальному закону с математическим ожиданием, равным нулю, и дисперсией, равной единице. Практически тестовые результаты испытуемых лежат в интервале от минус трех до плюс трех.

Более удобной на практике является стабильная Т-шкала, получаемая из z -шкалы или x-шкалы по формулам:

Tj=50+10zj или Ti=50+10(xi-x)/Sx. (10)

В этой шкале тестовый балл испытуемых лежит в интервале от нуля до ста со средним баллом, равным пятидесяти.

Наряду с указанными существуют и другие стандартные шкалы тестовых результатов - процентная шкала, tf-шкала стандартных единиц и т.д., являющиеся нормированными шкалами на уровне шкал интервалов. Это позволяет перейти от качественных порядковых к количественным квазиинтервальным шкалам и проводить адекватную обработку результатов более мощным математическим аппаратом.

Таким образом, в настоящей статье показаны механизмы разработки педагогических тестов с помощью классических статистических методов. В последнее время разрабатывается теория IRT (Item Response Theory), основанная на методологии латентно-структурного анализа (LSA) и на построении характеристических кривых в сопряженном пространстве уровня знаний i-го испытуемого и трудности j-го задания рi. Датский математик Г.Раш предложил модель, согласно которой вероятность правильного ответа на каждое задание ближе к 1 при возрастании Ti и убывания pi:

е (Ti-Pi )

р( Uii =l/Ti,Pi )=Т+7т-л (11)

Это однопараметрическая модель Раша. Здесь P(Uij=1/Ti,Pj) - вероятность правильного ответа i-м испытуемым на j-е задание является функцией от уровня знаний Ti. Следовательно, каждому заданию в тесте можно подобрать соответствующий балл и наоборот.

В дальнейшем А.Бирнбаум обогатил модель, введя в след за Pj второй параметр аi управляющий крутизной изменения кривых и позволяющий определять дифференцирующую способность тестовых заданий:

pai(Ti —pi)

Р = 1+eai(Ti-pi) (12)

Затем он ввел третий параметр й учитывающий вероятность угадывания у-го задания и получил трехпараметрическую модель:

Обычно в готовом тесте при заданных параметрах р\ а, и йу аналитическим или графическим способом находят соответствующие им оценки Т, .

Взаимнооднозначное соответствие между уровнем знаний 1-го испытуемого Т, и трудности у-го задания р^ позволяет проводить ускоренные процедуры тестирования, когда за несколько шагов тестируемому подбирается соответствующее его уровню знаний задание. [5]

Надеемся, что представленные материалы помогут преподавателям высшей школы в корректной разработке педагогических тестов и внедрении их в учебный процесс вузов

1. Аванесов В.С. Основы организации педагогического контроля в высшей школе. -М.: МНСиС, 1989. -170 с.

2. Аванесов В.С. Композиция тестовых заданий: Учебное пособие.- М.: Ассоциация инженеров педагогов, 1996.- 150 с.

3. Матушанский Г.У. Тестовый контроль знаний в вузе: Курс лекций.-Казань: КГТУ, 1993.-36с.

4. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний // Информатика и образование.-2000.- №6.- С. 7-10.

5. Матушанский Г.У. Педагогическое тестирование в России//Педагогика.-2002.-№2.- С.15-21.

6. Методические указания к выполнению выпускной работы по проектированию педагогических тестов / Сост. Г.У. Матушанский, Р.Ф. Бакеева.- Казань: Новое знание, 2000. -19 с.

(13)

[6].

Литература