CC BY
46
УДК 378.14
DOI: 10.17673/vsgtu-pps.2019.1.8
АНАЛИЗ ТЕСТА «ТЕОРИЯ ФУНКЦИЙ КОМПЛЕКСНОЙ ПЕРЕМЕННОЙ» С ПРИВЛЕЧЕНИЕМ МОДЕЛЕЙ РАША И БИРНБАУМА
Л.А. Муратова1
Самарский государственный технический университет Россия, 443100, г. Самара, ул. Молодогвардейская, 244 E-mail: [email protected]
АННОТАЦИЯ
Проводится анализ теста «Теория функций комплексной переменной». Основная цель - выявление возможных недостатков теста и определение способов их устранения. Материалом послужили результаты тестирования, проведенного на нефтетехнологическом факультете СамГТУ. Исследование теста выполнялось с помощью современной теории тестирования (IRT). При этом использовались две модели: модель Раша и двухпараметрическая модель Бирн-баума. После перехода к единой интервальной шкале логитов были построены совмещенные гистограммы уровней знаний и трудности заданий. Согласно модели Раша получены характеристические кривые зависимости вероятности правильных ответов от уровня знаний при фиксированной трудности. Для проверки соответствия эмпирических данных модели Раша представлены графики всех заданий теста. Дифференцирующая способность задания оценивалась с помощью двухпараметрической модели Бирнбаума. Построены характеристические кривые, соответствующие вероятности правильных ответов в зависимости от уровня знаний при фиксированной трудности и с учетом дискрими-нативности задания. Найдены информационные функции заданий и всего теста согласно модели Раша и двухпараметрической модели Бирнбаума. В итоге оказалось, что выполняются требования, предъявляемые к качественному тесту, такие как вид, близкий к нормальному для гистограмм уровней знаний и трудности заданий, а также определенный вид информационных функций. Кроме того, более половины заданий имеют допустимые значения коэффициентов дискриминативности. Что касается остальных заданий, проведенный анализ показал, какие из них необходимо переработать, какие удалить и какие следует добавить, чтобы добиться более равномерного распределения их по трудности. Предложенные преобразования теста позволят сделать его более приспособленным инструментом для измерения знаний.
Ключевые слова: модель Раша, двухпараметрическая модель Бирнбаума, дифференцирующая способность задания, информационная функция.
1 Лидия Александровна Муратова, кандидат технических наук, доцент кафедры
«Высшая математика и прикладная информатика».
111
Введение
Достижение высокого качества обучения есть цель учебного процесса, важной составляющей которого является контроль знаний. Контроль позволяет оценить успехи и выявить пробелы в знаниях. Использование тестов для контроля знаний дает возможность получить более объективную картину по сравнению с традиционными средствами оценивания. Содержание теста при этом не только предоставляет информацию о том, чему учат и что хотят получить в результате обучения, но и ориентирует определенным образом деятельность преподавателя в процессе обучения. Для того чтобы тест был эффективным средством измерения знаний, он должен удовлетворять определенным требованиям. Поэтому применение тестового контроля предполагает последующую проверку теста с построением его модели и сравнение с экспериментальными данными. В случае их несоответствия тест следует переработать.
В работе [1] был выполнен анализ теста по теме «Теория функций комплексной переменной» на основе классической теории. После статистической обработки экспериментальных данных были сделаны выводы, согласно которым два задания из 12 требуют переработки.
Считая проведенный анализ первым этапом конструирования теста, выполним более детальное исследование этого же теста с позиций современной теории тестирования и наметим пути его усовершенствования.
1. Обзор литературы
Современная теория тестирования Item Response Theory (IRT) [2-7] развивается в течение последних 50 лет. В этой теории осуществляется попытка связать латентные (скрытые) параметры с наблюдаемыми с помощью математико-статистических методов. При тестировании латентными параметрами являются уровень подготовленности испытуемого и трудность задания. Задания теста доступны для наблюдения и могут выступать в качестве индикаторов, позволяющих судить о величине латентного параметра. Главной задачей IRT является переход от индикаторных переменных к латентным параметрам [6].
Среди существующих моделей, позволяющих выполнить этот переход, наибольшее распространение получила модель Раша (см., например, библиографию [8-11]). В своей работе [4] Г. Раш разместил уровень подготовленности в и уровень трудности р задания на единой интервальной шкале, измеряя в и р в одних и тех же единицах - логитах. Им была предложена модель, в которой вероятность правильного ответа является функцией от разности указанных величин. Если находится вероятность правильного ответа в зависимости от уровня знаний, то в качестве параметра выступает трудность задания; если же находится вероятность правильного ответа в зависимости от трудности задания, то параметром становится уровень знаний. Более универсальной моделью считается модификация модели Раша с произвольными
промежуточными категориями выполнения тестового задания - Partial Credit Model (PCM). Именно она рекомендуется для педагогических измерений [12].
В модели Раша не учитывается дифференцирующая способность заданий. Коэффициент дифференцирующей способности задания появляется в двух-параметрической модели Бирнбаума [3] в качестве второго параметра. Трех-параметрическая модель Бирнбаума [3] содержит помимо двух перечисленных третий параметр, учитывающий эффект угадывания правильного ответа. Казалось бы, модели Бирнбаума лучше подходят для описания экспериментальных данных, но эти модели имеют свои внутренние противоречия [6]. Более того, позиция Раша и его последователей такова, что не теория должна соответствовать экспериментальным данным, а напротив, эмпирические данные - модели. По их мнению, именно модель Раша удовлетворяет требованиям, предъявляемым к тесту как качественному измерительному инструменту уровня знаний. И в случае отсутствия должного совпадения теории и эксперимента необходимо переработать тест [6]. Полученные при построении модели результаты выявят основные недостатки теста (неравномерность заданий по трудности, например) и позволят правильным образом скорректировать тестовые задания.
Но есть абсолютно иная точка зрения, согласно которой перечисленные модели не удовлетворяют требованию внутренней согласованности и непротиворечивости, и путь, по которому пошло развитие теории тестирования под влиянием работ Раша и Бирнбаума, является ошибочным [13].
В данном исследовании при анализе теста «Теория функций комплексной переменной» будем опираться на точку зрения большинства, то есть использовать модели Раша и Бирнбаума.
2. Материалы и методы
Объектом исследования является тест «Теория функций комплексной переменной» [1], который был предложен студентам нефтетехнологического факультета СамГТУ. Это тест закрытого типа, состоит из 12 заданий. К каждому заданию даются 5 ответов с одним правильным. Тест используется для текущего контроля знаний. Рассматриваемая выборка содержит 158 работ.
Исследование теста выполняется с позиций современной теории тестирования (IRT) [2-7, 14-18]. При этом используется однопараметрическая модель Раша [2-7, 14-19]:
РДв) = (1 + exp (—1,7(в - Р,)))"1 ; (1)
/¿(Р) = (1 + exp(—1,7(в£ — Р)))"1.
Первая формула позволяет находить //(в) - вероятность правильных ответов в зависимости от уровня знаний в при фиксированной трудности р,-, по
второй формуле находится Р^(Р) - вероятность правильных ответов в зависимости от трудности р задания при фиксированном уровне знаний в^.
В этой модели уровень знаний в и трудность заданий р размещаются на единой шкале логитов, что очень удобно при сравнении указанных величин. Гистограммы вир считаются [19] лучшим критерием качества измерений в ГО.Т, определяя недостатки теста. Например, несовпадение диапазонов значений в и р может быть следствием недостатка или избытка простых либо сложных заданий.
Сами гистограммы для хорошего нормативно-ориентированного теста должны соответствовать нормальному (симметричная кривая с одной точкой максимума) или близкому к нормальному распределениям. Что тогда означает, в частности, нарушение симметрии? Смещение среднего значения трудности заданий вправо от центра распределения говорит о том, что в тесте больше трудных заданий. Но вследствие этого среднее значение уровней знаний отклоняется от центра распределения в противоположную сторону, влево, а это означает получение заниженных результатов тестирования.
Дальнейший анализ теста предполагает построение характеристических кривых по формуле (1). У хорошего теста эти кривые достаточно равномерно заполняют весь интервал, разность трудностей стоящих рядом заданий меньше 0,5 логита, но при этом кривые не совпадают [7, 14].
Если это не так, в тест следует добавить другие задания, а также исключить дублирующие.
При проверке соответствия эмпирических данных модели Раша экспериментальные значения вероятности рэ(в) строятся на одном графике с соответствующей теоретической кривой (1) р(в). Чтобы найтирэ(в), все тестируемые делятся на группы вдоль шкалы в (с одинаковым уровнем подготовленности внутри группы). Далее для выбранного задания ] подсчитывается вероятность правильных ответов в каждой группе [6]:
где ^ - номер группы (5= 1,2,..., 5), т5 - число студентов в группе, " - число правильных ответов на задание. Следуя теории Раша, нужно избавиться от заданий, не дающих хорошего совпадения Р? (в) с теоретической войРДв).
Одним из важнейших критериев качественности нормативно-ориентированного теста является его дискриминативность - дифференцирующая способность заданий ранжировать испытуемых по уровню знаний [6]. О дискриминационной способности задания можно судить по наклону характеристической кривой задания в области р =0,5. Чем больше крутизна, тем больше дискриминационный эффект задания. Но в модели Раша дифферен-
цирующая способность заданий не учитывается и все графики в указанной области имеют одинаковую крутизну.
Поэтому для оценки дифференцирующей способности задания привлекают двухпараметрическую модель Бирнбаума:
Ру(б) = (1 + ехр (-1,7ау(б - Ру)))-1. (3)
Здесь ау - второй параметр, характеризующий дифференцирующую способность ] задания.
Наглядную картину дифференцирующей способности заданий дают графики характеристических кривых, построенных согласно формуле (3).
Тангенс угла наклона характеристической кривой /у-(б) в точке перегиба прямо пропорционален параметру ау. Поэтому чем больше значение этого параметра, тем круче характеристическая кривая и, значит, больше дифференцирующая способность задания.
Параметр ау находится по формуле [7, 20]
у!
п
%у * Г^Т? (4)
где точечный бисериальный коэффициент - коэффициент корреляции
каждого задания с тестовым баллом студента (индивидуальным баллом).
При отборе заданий в однородной группе тестируемых предпочтение отдают задачам с высокой дифференцирующей способностью (например, в случае совпадения характеристических кривых) [7, 17].
Последний в рассматриваемой работе способ проверки качества теста осуществляется с помощью информационной функции [5, 6, 17]. Предполагая, что количество информации от у'-го задания в точке в обратно пропорционально стандартной ошибке измерения данного значения в с помощью у'-го задания, Бирнбаум ввел в рассмотрение информационную функцию /у (б):
_ (РуО))2
где 3у(б) _ 1 - Ру(б).
Для модели Раша информационная функция принимает вид
/у (б) _ 2,89Ру(б)3у(б), (5)
для двухпараматрической модели Бирнбаума -
/у(б) _ 2,89а/Ру(б)3у(б). (6)
Максимум функции /у (б) достигается при условии б _ Ру. Принимая этот уровень за стопроцентный, можно оценить, насколько информативно задание ' при измерении данного уровня знаний б.
Величина /у (б) для двухпараметрической модели Бирнбаума прямо пропорциональна параметру ау дифференцирующей способности у'-го задания.
/у (б) _
Поэтому более информативными являются задания с большей дифференцирующей способностью.
Суммируя информационные функции . (б) всех заданий, получают информационную функцию теста:
У правильно сконструированного теста информационная функция имеет один четко выраженный максимум. Если это не так, следует доработать тест. Например, сдвинуть вправо или влево кривые информационных функций отдельных заданий, увеличив или уменьшив их трудность; если заданий много, можно убрать неподходящие [5, 6, 17].
3. Результаты исследования
Анализ рассматриваемого теста на основе классической теории дал такие результаты [1]: два задания требуют переработки. Это задание № 2 с низким
коэффициентом дискриминативности Гдиск и задание № 12, точечный бисери-альный коэффициент которого т]рЪ оказался ниже нормы.
Проведем более полное исследование этого же теста с привлечением модели Раша и двухпараметрической модели Бирнбаума. Построим сначала модель Раша (1).
Обозначив п - число заданий теста (п=12), N - число студентов, участвовавших в тестировании ^ =158), переведем б и р в удобную для сравнения единую интервальную шкалу логитов (логарифмов) [5, 6].
Пусть ; - число правильных ответов /-го студента, < - число правильных ответов на]-е задание.
X ■
Сначала находим относительные частоты р^ = —, ру = —. Затем опреде-
.(б) = 19=1. (б).
ляем начальные значения параметров б и в в шкале логитов б0 = /п
1-Рг'
р0 = /п —, их средние значения
1-Р;
и дисперсии
N = А-1(1Г=-(б[0)2 - О (б)2) = 1,13, и = ¿(^-(Ру)2 - п(Д)2) = 1,225.
Далее вычисляем поправочные коэффициенты X и У:
Для искомых параметров 0* и //у в соответствии с формулами
0*=Д + ;0*0,/ = 0~ + г/°
получаем соотношения (в единой интервальной шкале логитов) = -0,181 + 1,3070°,/у = 0,167 + 1,291/?. Чтобы оценить получившиеся результаты, выполним ряд построений. На рис. 1 представлены совмещенные гистограммы уровней знаний и трудности заданий. Верхний график - гистограмма уровней знаний, нижний - гистограмма трудности заданий. По вертикальной оси отложены относительные частоты.
Гистограмма уровней знаний
Рис. 1. Совмещенные гистограммы уровней знаний и трудности заданий
Проверяя соответствие меры трудности заданий уровню подготовленности студентов, отметим, что диапазон значений логитов трудности (-2,3) меньше диапазона уровня знаний (-3,3). Это означает, что в тесте нет заданий, соответствующих уровню наименее подготовленных студентов, то есть не хватает самых легких заданий.
Визуально оба распределения близки к нормальному, что характерно для нормативно-ориентированного теста. Некоторое смещение нижнего графика влево от центра распределения, в сторону легких заданий, говорит о том, что в тесте больше простых, чем сложных задач. Значения трудности /у (по возрастанию) для всех 12 заданий представлены в таблице.
Трудность и параметр дифференцирующей способности а,- заданий теста
№ задания 2 1 3 4 8 6 9 5 10 7 12 11
-2,65 -1,87 -1,36 -0,36 -0,23 -0,06 -0,06 0,13 0,70 0,84 1,74 2,39
- 0,78 0,51 1,00 0,13 0,17 0 0,19 0,57 0,14 0,9 0,65
0,49 0,431 0,713 0,38 0,609 0,714 0,5 0,653 0,748 0,692 0,295 0,392
Сумма трудностей отрицательна (простых заданий больше, чем сложных):
= -0,809.
Это недостаток теста, так как считается, что в хорошо сбалансированном тесте сумма трудностей всех заданий должна равняться нулю [6, 7].
Смещение гистограммы уровней знаний вправо (верхний график на рис. 1) относительно центра распределения является следствием смещения нижней гистограммы в противоположную сторону и означает получение завышенных результатов тестирования.
Построим теперь характеристические кривые для всех 12 заданий теста, используя соотношение (1).
Рис. 2. Характеристические кривые заданий (модель Раша)
На рис. 2 по горизонтали отложены логиты уровня знаний, по вертикали -вероятности выполнения заданий в зависимости от уровня знаний студента. Трудность задания совпадает с абсциссой точки кривой с ординатой 0,5, то есть точки перегиба. Кривые на рисунке (слева направо) соответствуют заданиям: 2, 1, 3, 4, 8, 6 = 9, 5, 10, 7, 12, 11. Оценим результат.
В данном случае очевидны значительные провалы между некоторыми кривыми. Более чем на 0,5 логита отличаются друг от друга задания 2 и 1, 1 и 3, 3 и 4, 5 и 10, 7 и 12, 12 и 11. В третью строку таблицы помещены числовые значения разностей трудности соседних кривых. Согласно приведенным
рекомендациям в тест следует добавить хотя бы по одному заданию внутри каждой из этих пар.
Совпали кривые заданий 6 и 9, имеющих одинаковую трудность. Это совершенно разные по тематике задачи (восстановление мнимой части аналитической функции по известной ее действительной части и вычисление интеграла по замкнутому контуру). Так как дублирующие задания не дают дополнительной информации при измерении данного уровня знаний, то (с точки зрения требований к нормативно-ориентированному тесту) одно из заданий следует исключить [6, 7]. В данном случае предлагается убрать задание 9, поскольку в тесте остаются похожие по смыслу задания 8 и 10 и тест ничего не проиграет в рамках критериального подхода.
Теперь проверим соответствие эмпирических данных модели Раша. Для этого все тестируемые делятся на 11 групп в зависимости от уровня подготовленности. Затем для каждого из 12 заданий подсчитаем вероятность правильных ответов внутри каждой группы по формуле (2).
Получившиеся графики, построенные в единой интервальной шкале ло-гитов для всех 12 заданий теста, представлены на рис. 3 (сплошные линии -согласно модели Раша, точки - результат эксперимента).
Дадим предварительную визуальную оценку соответствия эмпирических данных теории. В этом смысле самым удачным оказалось задание 10 (вычисление интеграла). Хорошее совпадение с моделью Раша дают также задания 1, 2, 3, 5, 6, 7. Большое скопление точек в верхней части кривой задания 2 (деление комплексных чисел) означает его простоту, наиболее трудным (много точек в нижней части кривой) является задание 11 (определение характера особых точек). К неудачным следует отнести задания 4, 8, 9, 11, 12.
Дадим предварительную визуальную оценку соответствия эмпирических данных теории. В этом смысле самым удачным оказалось задание 10 (вычисление интеграла). Хорошее совпадение с моделью Раша дают также задания 1, 2, 3, 5, 6, 7. Большое скопление точек в верхней части кривой задания 2 (деление комплексных чисел) означает его простоту, наиболее трудным (много точек в нижней части кривой) является задание 11 (определение характера особых точек). К неудачным следует отнести задания 4, 8, 9, 11, 12.
Оценивая дифференцирующую способность задания, строим двухпара-метрическую модель Бирнбаума (3). В этой модели появляется новый параметр ау. В последней строке таблицы представлены его значения, найденные
согласно формуле (4) (г,ь взяты из статьи [20]).
В соответствии с рекомендациями [7] оставлять задания, для которых ау попадают в диапазон (0,5-2,5), следует переработать либо заменить задачи 1, 2, 4, 11, 12.
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
0,75 0,5 0,25
-6 -4 -2 0 2 4 6
0,75 0,5 0,25
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
—< /
/
г
У
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
10
11
12
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
0,75 0,5 0,25 0
-6 -4 -2 0 2 4 6
1
2
3
1
1
0
0
4
5
6
7
8
9
Рис. 3. Сравнение эмпирических данных с моделью Раша
Сравнивая параметр дифференцирующей способности заданий 6 и 9, имеющих одинаковую трудность ау(а6 = 0,714 > 0,5 = а9), снова делаем вывод в пользу задания 6.
Рис. 4. Характеристические кривые заданий (двухпараметрическая модель Бирнбаума)
На рис. 4 представлены характеристические кривые всех 12 заданий, построенные согласно двухпараметрической модели Бирнбаума.
Пунктирные линии (слева направо) соответствуют заданиям 2, 1, 4, 12, 11. Эти задания (пологие кривые) имеют низкую дифференцирующую способность по сравнению с остальными (крутыми), причем самым плохим в этом смысле оказалось задание 12 (нахождение вычета функции).
т
-6
у
> \
X- 2 \
"X \ V
-4
-2
Рис. 5. Информационные функции теста
Построим теперь информационные функции теста для модели Раша (формула (5)) и двухпараметрической модели Бирнбаума (формула (6)). Результаты представлены на рис. 5. Здесь по горизонтальной оси отложены значения уровня подготовленности б, по вертикали - значения информационной функции теста/(б) для модели Раша (1) и для двухпараметрической модели Бирнбаума (2). В данном случае, как и полагается для «хорошего» теста, каждая из функций имеет один четко выраженный максимум.
5
2
1
0
0
2
4
6
в
Обсуждение и заключение
Поскольку целью исследования было выявление недостатков теста и возможности их устранения, перечислим только проблемные моменты:
1) нет легких заданий, соответствующих уровню самых слабых студентов;
2) в тесте в целом больше простых, чем сложных заданий, что приводит к завышенным результатам тестирования;
3) характеристические кривые заданий неравномерно заполняют рассматриваемый интервал трудностей, с одной стороны есть значительные провалы между кривыми, а с другой стороны есть совпадение кривых;
4) плохое соответствие эмпирических данных модели Раша у заданий 4, 8, 9, 11, 12;
5) задания 1, 2, 4, 11, 12 имеют низкую дифференцирующую способность.
Полученные результаты позволяют сделать ряд выводов по улучшению качества теста.
Необходимо преобразовать тест следующим образом: добавить в тест самое простое задание с трудностью, равной (-3) логитам; добиться более плотного распределения заданий по трудности, поместив внутри пар, отличающихся по трудности на величину, превосходящую 0,5 логита, новое задание; убрать из теста дублирующее задание 9; задания с плохой различающей способностью (1, 2, 4, 11, 12), среди которых два (4, 12) плохо согласуются с моделью Раша, заменить или переработать.
Предложенные действия позволят использовать переработанный тест как надежный инструмент педагогических измерений.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Муратова Л.А. Анализ и оценка валидности теста «Теория функций комплексной переменной» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2017. - № 2(34). - С. 66-73.
2. Baker F.B. The Basics of Item Response Theory. 2 ed. Hieneman, Portsmouth, New Hempshire, 2001. 172 р.
3. Birnbaum A. Some latent trait models and their use in inferring an examinee's ability. In F.M. Lord & M.R. Novick, Statistical theories of mental test scores. Reading, Mass.: Addison-Wesley, 1968. Chapters 17-20.
4. Rasch G. (1960/1980). Probabilistic models for some intelligence and attainment tests. (Copenhagen, Danish Institute for Educational Research), expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago: The University of Chicago Press.
5. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
6. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007.
- 214 с.
7. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. - М.: Логос, 2002. - 432 с.
8. Белобородое В.Н., Татур А. О. Применение современной теории тестирования IRT в системе контроля измерительных свойств диагностических материалов // Педагогические измерения. - 2016. - № 2. - С. 85-97.
9. Берестнева О.Г. Информационная технология оценки компетентности студентов ИТ-специальностей [Электронный ресурс] // Томский политехнический университет. - Режим доступа: fs.nashaucheba.ru/docs/150/index...
10. Летова Л.В. Исследование качества теста единого государственного экзамена по физике с помощью модели Раша // Управление образованием: теория и практика. - 2013.- № 3.- С. 52-61.
11. Родионов А.В., Братищенко В.В. Применение IRT-моделей для анализа результатов обучения в рамках компетентностного подхода // Современные проблемы науки и образования. Технические науки. - 2014. - № 4.
12. Деменчёнок Олег. Построение моделей педагогических измерений // Педагогические измерения. - 2012. - № 2. - С. 27-46.
13. Попов А.П. «Критический анализ параметрических [5] моделей Раша и Бирнбаума» [Электронный ресурс] // Ростовский государственный педагогический университет. - Режим доступа: http://www.ast centre.ru/books/favorits/273/
- 20.09.2009.
14. Аванесов В.С. Метрическая система Георга Раша - RASCHMEASUREMENT (RM) [Электронный ресурс]. - Режим доступа: [email protected]
15. Жилина Е.В. Анализ применяемых моделей и методов тестирования для оценки знаний специалиста // Zpravy vedecke ideje - 2011: materialy VII mezinarodni vedecko-prakticka konference. 27 rijna - 05 listopadu 2011 roku. Dil 4. Ekonomicke vedy. Praha: Publishing House «Education and Science» s.r.o. 2011. - C. 53-62.
16. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 168 с.
17. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие. - Донецк: ДонГУ, 1991. - 168 с.
18. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. - М.: НМЦ СПО Минобразования РФ, 1999. -152 с.
19. Аванесов В.С. Критерии качества педагогических измерений // Педагогические измерения. - 2012. - № 1. - С. 55-68.
20. Муратова Л.А. Модели Бирнбаума для оценки качества теста «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2017. - № 3(35). -С. 83-91.
Поступила в редакцию 28.11.2018 В окончательном варианте 14.01.2019
UDC378.14
THE ANALYSIS OF THE "THEORY OF FUNCTIONS OF THE COMPLEX VARIABLE" TEST WITH ATTRACTION OF MODELS RUSSIA AND BIRNBAUM
L.A. Muratova1
Samara State Technical University
244, Molodogvardeyskaya St., Samara, 443100, Russia
E-mail: [email protected]
ABSTRACT
In work the analysis of the "Theory of Functions of a Complex Variable " test is carried out. A main objective - identification ofpossible shortcomings of dough and definition of ways of their elimination. As material results of the testing held at pe-trotechnological faculty of SAMGTU served. Research of dough was carried out by means of the modern theory of testing (IRT). Thus two models were used: Russia and two-parametrical model of Birnbaum. After transition to a uniform interval scale of logits the combined histograms of levels of knowledge and difficulty of tasks were constructed. According to model Russia characteristic curve dependences of probability of the correct answers on the level of knowledge at the fixed difficulty are received. For check of compliance of empirical data of model Russia schedules of all tasks of dough are submitted. The differentiating ability of a task was estimated by means of two-parametrical model of Birnbaum. Characteristic curves, the corresponding probabilities of the correct answers depending on the level of knowledge at the fixed difficulty are constructed and taking into account a task diskriminativnost. Information functions of tasks and all dough according to model Russia and two-parametrical model of Birnbaum are found. As a result it appeared that requirements imposed to qualitative dough such, as are fulfilled: the look close to normal for histograms of levels of knowledge and difficulty of tasks, and also a certain type of information functions. Besides more than a half of tasks have admissible values of coefficients of a diskriminativnost. As for other tasks, the carried-out analysis showed what need to be overworked what to remove and what tasks should be added to achieve more uniform distribution them on difficulty. The offered transformations of dough will allow to make it more adapted tool for measurement of knowledge.
Key words: the Russia model, two-parametrical model of Birnbaum differentiating ability of a task, information function.
REFERENCES
1. Muratova L.A. Analiz i otsenka validnosti testa «Teoriya funkcij kompleksnoj peremennoj» [Analysis and assessment of a validity of the "Theory of Functions of a Complex Variable"] Vestnik of SSTU, Psychology and Pedagogical Sciences Series. No. 2(34). - 2017. Pp. 66-73.
1 Lidia A. Muratova, Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics Department.
2. Baker F.B. The Basics of Item Response Theory. 2 ed. Hieneman, Portsmouth, New Hempshire, 2001. 172 p.
3. Birnbaum A. Some latent trait models and their use in inferring an examinee's ability. In F. M. Lord& M. R. Novick, Statistical theories of mental test scores. Reading, Mass.: Addison-Wesley, 1968. Chapters 17-20.
4. Rasch G. (1960/1980). Probabilistic models for some intelligence and attainment tests. (Copenhagen, Danish Institute for Educational Research), expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago: The University of Chicago Press.
5. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sredstva ocenivaniya re-zul'tatov obucheniya [Modern means of estimation of results of training]. Moscow: Academy, 2007. 224 p.
6. Kim V.S. Testirovanie uchebnyh dostizhenij [Testing of educational achievements]. Ussuriisk: Publishing house of UGPI, 2007. 214 p.
7. Chelyshkova MB.Teoriya i praktika konstruirovaniya pedagogicheskih testov: Uchebnoe posobie [Theory and practice of designing of pedagogical tests: Manual]. Moscow: Logos, 2002. 432 p.
8. Beloborodov V.N., Tatur A.O. Primenenie sovremennoj teorii testirovaniya IRT v sisteme kontrolya izmeritel'nyh svojstv diagnosticheskih materialov [Application of the modern theory of testing of IRT in the monitoring system of measuring properties of diagnostic materials]. Pedagogical measurements, 2016. No. 2. Pp. 85-97.
9. Berestneva O.G. Informacionnaya tekhnologiya ocenki kompetentnosti studentov IT-special'nostej [Information technology of an assessment of competence of students of IT specialties]. Tomsk Polytechnical University. Access mode: fs .nashaucheba.ru/docs/15 0/index...
10. Letova L.V. Issledovanie kachestva testa edinogo gosudarstvennogo ehk-zamena po fizike s pomoshch'yu modeli Rusha [Research of quality of test of the unified state examination in physics by means of Rasch model]. "Management of education: theory and practice", 2013. No. 3. Pp. 52-61.
11. Rodionov A.V., Bratishchenko V.V. Primenenie IRT-modelej dlya analiza rezul'tatov obucheniya v ramkah kompetentnostnogo podhoda [Application of IRT models for the analysis of results of training within competence-based approach]. Modern problems of science and education. Technical science. 2014. No. 4.
12. Demenchyonok Oleg.Postroenie modelej pedagogicheskih izmerenij [Creation of models of pedagogical measurements] // Pedagogical measurements, 2012, No. 2. Pp. 27-46.
13. Popov A.P. «Kriticheskij analiz parametricheskih modelej Rasha i Birnbauma» ["The critical analysis of parametrical models Russia and Birnbaum"] // the Rostov state pedagogical university. Electronic resource. Access mode: http://www .ast cen-ter.ru/books/favorits/273/, 20/09/2009.
14. Avanesov V.S. Metricheskaya George Rasch's system [Metricheskaya sistema Georga Rasha] - RASCHMEASUREMENT (RM) [email protected]
15. Zilina E. V. Analiz primenyaemyh modelej i metodov testirovaniya dlya ocenki znanij specialista [The analysis of the applied models and methods of testing for an assessment of knowledge of the expert] // Zpravy vedecke ideje. 2011: materialy VII
mezinarodni vedecko-prakticka konference. 27 rijna. 05 listopadu 2011 roku. Dil 4. Ekonomicke vedy. Praha: Publishing House "Education and Science" s.r.o. 2011. Pp. 53-62.
16. Neumann U.M., Khlebnikov V.A. Vvedenie v teoriyu modelirovaniya i para-metrizacii pedagogicheskih testov [Introduction to the theory of modeling and parametrization of pedagogical tests]. Moscow: Prometheus, 2000. 168 p.
17. Oleynik N.M. Test kak instrument izmereniya urovnya znanij i trud-nosti zadanij v sovremennoj tekhnologii obucheniya. Uchebnoe posobie [The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training. Manual]: Donetsk, to DONG, 1991. 168 p.
18. Pereverzev V.Yu. Kriterial'no-orientirovannye pedagogicheskie testy dlya itogovoj attestacii studentov [The criteria focused pedagogical tests for total certification of students]. Moscow: NMTs SPO of the Ministry of Education of the Russian Federation, 1999. 152 p.; circulation is 2000 pieces.
19. Avanesov V.S. Kriterii kachestva pedagogicheskih izmerenij [Criteria of quality pedagogical measurements] // Pedagogical measurements, 2012. No. 1. Pp. 55-68.
20. Muratova L.A. Modeli Birnbauma dlya ocenki kachestva testa «Linejnaya algebra, analiticheskaya geometriya» [Birnbaum's models for an assessment of quality of the "Linear Algebra, Analytical Geometry"] Vestnik of SSTU, Psychology and Pedagogical Sciences Series. No. 3(35). - 2017. Pp. 83-91.
Original article submitted 28.11.2018 Revision submitted 14.01.2019
