CC BY
15
СТРУКТУРА ПАРАМЕТРА СЛОЖНОСТИ ТЕСТОВОЙ ФИЗИЧЕСКОЙ ЗАДАЧИ В МОДЕЛИ РАША
А.А. Гилев1, А.В. Пашин
Самарский государственный архитектурно-строительный университет 443001, г. Самара, ул. Молодогвардейская, 194 E -mail: algil@mail.ru
В современной теории тестирования IRT ответ на тестовое задание рассматривается как вероятностное событие, зависящее от уровня подготовленности студента и уровня сложности задания. Отмечено, что в научной литературе нет единого подхода к определению факторов, влияющих на сложность задачи. Сделано предположение, что трудность задачи возрастает с увеличением количества ключевых элементов, под которыми понимают элементы информации, используемые в решении задачи. На основе статистического анализа результатов решения специально разработанных тестовых заданий сделан вывод о линейной зависимости параметра сложности задачи в модели Раша от количества ключевых элементов решения. Полученный результат позволяет на стадии разработки тестовых задач реально оценивать их сложность и прогнозировать итоги тестирования.
Ключевые слова: модель Раша, параметр сложности задачи, когнитивные операции.
В последнее время в практику преподавания физики в высшей школе активно внедряется такая форма контроля, как тестирование. Его используют для получения объективных оценок работы кафедры и вуза, а также в процессе текущей и сессионной аттестации студентов. Основой современной теории тестирования является Item Response Theory (IRT). В России она известна по работам Ю.М. Неймана, В.А. Хлебникова [5], М.Б. Челышковой, В.С. Кима [3] и др. как теория моделирования и параметризации педагогических тестов. Ответ на тестовое задание рассматривается как вероятностное событие, зависящее от двух латентных, т.е. не подлежащих непосредственному измерению, переменных - уровня подготовленности тестируемого и уровня сложности задания. Вероятность правильного выполнения задания теста может быть описана функцией успеха, простейшая модель которой была предложена в работах Г. Раша [5]:
р ___ 1
ij 1 +exp-1,7 -(0. —ßj)] . (1)
В соотношении (1) параметры О. - уровень подготовленности i-того студента и ßj - уровень трудности j-того задания измеряют в логитах. Функция Раша Pij, определенная на отрезке [0, 1] и называемая логистической функцией, равна вероятности того, что тестируемый i-тый студент с уровнем подготовленности О. логит выполнит j-тое задание трудности ßj логит. Масштабный множитель 1,7 в равенстве (1) введен для совместимости модели Раша с моделью Фергюссона, где вероятность правильного решения задачи выражена интегралом нормального распределения [3]. Для всех тестируемых студентов сложность j-того задания ßj является объективной и независимой от уровня их подготовленности характеристикой задачи. Параметр сложности ß определяется лишь по окончании тестирования путем трудоемких вычислений с точностью до произвольной постоянной величины. Однако при этом его структура и способы управления остаются неизвестными. Также отсутствуют критерии, позволяющие на стадии разработки тестов оценивать их сложность и численные значения ß. Предварительная оценка сложности тестов является достаточно субъективной и основана лишь на опыте и интуиции разработчика.
Цель исследования
В научной литературе нет единого подхода к определению сложности задач. В работе Г.А. Балла [1] рассмотрен алгоритмический способ, основанный на оценке количества операций, необходимых для решения оцениваемой задачи. Более простым представляется метод определения сложности, сформированный на анализе структуры физической задачи. Сложность определяется количеством явлений, процессов и физических величин, значения которых надо определить. И.Я. Лернер [4] считает, что сложность задачи зависит от количества данных в условии, подлежащих
1 Александр Александрович Гилев (к.ф.-м.н., доцент), каф. физики.
Алексей Владимирович Пашин, директор общеобразовательного архитектурно-строительного лицея СГАСУ
учету и взаимному соотнесению. Это интуитивно понятное утверждение позволяет высказать предположение о том, что с увеличением количества ключевых элементов решения возрастает трудность решения задачи, описываемая в модели Раша параметром сложности р. Чем сложнее задача, тем большее число ключевых элементов должно быть задействовано в ее решении, тем большим показателем трудности р она должна быть описана. Целью исследования является определение зависимости параметра сложности задачи в от числа ключевых элементов решения.
Материал и методы исследования
Для определения параметра сложности задачи в и его зависимости от числа ключевых элементов был разработан комплекс тестов, основанный на содержании раздела «Электростатика» курса общей физики. Тест был предназначен для исследования операционального аспекта решения, поэтому для исключения влияния фактора «неосведомленности» вся необходимая «знаниевая» составляющая была приведена в тексте задания. В качестве заданий были использованы силлогизмы, содержащие различное количество общих и частных посылок, а также элементов исходных данных, используемых для формирования умозаключения. Время решения блока двадцати тестовых задач - 20-23 мин. Каждый правильный ответ оценивался в 1 балл, а неправильный - в 0 баллов. В тестировании принимали участие 76 студентов первого курса инженерных специальностей направлений «Строительство» и «Информатика».
Пример задания 1. Даны три одинаковых плоских конденсатора. На пластинах конденсаторов распределены заряды Q1, Q2, Q3. Разности потенциалов на конденсаторах - Ш, Ш, Ш, а напряженности полей во внутреннем пространстве - Е1, Е2, Е3. Если:
1. Е3 больше Е1, а и2 меньше Ш, то на каком конденсаторе самая большая разность потенциалов?
2. и3 больше и2, а Е1 больше Е3, то на каком конденсаторе находится самый большой заряд?
Пример задания 2. Даны три плоских конденсатора, постоянно подключенных к источнику ЭДС.
Электроемкости конденсаторов С1, С2, С3. На пластинах конденсаторов распределены заряды Q1, Q2, Q3, расстояния между пластинами конденсаторов d1, d2, d3, а напряженности полей во внутреннем пространстве - Е1, Е2, Е3. Если:
1. d1 больше d3 в 2 раза, а d2 меньше d3 в 4 раза, то во сколько раз Е1 меньше Е3?
2. Е3 больше Е1, а Е2 меньше Е3, то у какого конденсатора самое малое расстояние между пластинами?
3. С3 больше С2, а С3 меньше С1, то на каком конденсаторе самый большой заряд?
Результаты исследования и их обсуждение
По завершении тестирования была сформирована бинарная матрица тестовых результатов [3] и определена мера трудности каждой задачи ^ как отношение числа студентов, неправильно ответивших на _)-тый вопрос, к полному числу участников тестирования. Параметр ^, по сути, есть вероятность неправильного решения соответствующей задачи. Диапазон его изменения - отрезок [0,1]. Для очень трудных вопросов параметр ^ стремится к наибольшему значению, равному единице, для очень простых - к нулю. На практике обычно используют параметр g1 = 141, равный вероятности правильного решения 1-той задачи. Из первоначального набора заданий были убраны самые простые и самые сложные со значением параметра сложности g = 1 и g = 0. Все предложенные вопросы по значению параметра сложности были разделены на три группы: простые 0,8^<1, вопросы промежуточного уровня сложности с параметром g из диапазона
0,4^<0,8 и сложные, которые имели достаточно малое значение параметра g<0,4. Также были определены оценка каждого студента Ь на отрезке [0,1] как относительная доля правильно решенных им задач и средняя оценка Ьср всей группы тестируемых. Числовые параметры распределения результатов тестирования: размах ДЬ = Ьтах - Ьтт = 0,51; математическое ожидание Ьср = 0,64; дисперсия D = 0,036; среднеквадратичное отклонение о = 0,19; медиана Ьт = 0,67; асимметрия s = -0,24; эксцесс е = -1,1. Распределение плотности вероятности [2] решения студентами тестового задания на шкале оценок из интервала [0, 1] приближенно соответствовало функции Гаусса (см. рисунок).
Распределение плотности вероятности Д(Ь) по шкале оценок Ь
В дальнейшем под ключевыми элементами решения будем понимать элементы информации, которые необходимо использовать в решении задачи. Они могут содержаться в условии или вопросе задачи и быть заданы явно, например как значения физических величин, и неявно - как утверждения или зависимости, являющиеся элементами учебных знаний. Необходимые когнитивные операции для выполнения заданий рассматриваемого теста - анализ, сравнение и логические умозаключения на их основе. Каждое задание теста содержит минимальное количество т элементов данных (конкретные значения или утверждения о функциональной зависимости величин), необходимых для формирования решения и ответа на вопрос задачи. Их перечень и величина т для примеров заданий приведены в табл. 1. В таблице в символьной форме указан минимальный перечень ключевых элементов решения, соответствующий оптимальной последовательности умозаключений. Реальные варианты решений, представленных студентами, иногда содержали дополнительные элементы решения, которые не являлись необходимыми. Их количество было избыточным и превышало минимальное на одну-две единицы.
Таблица 1
Перечень и количество ключевых элементов решения
Номер задачи, ) Используемые ключевые элементы для формирования решения Количество ключевых элементов решения, mj
1. Е3, Е1, Е —И , d=const, и1, И2, из а > > > 7
2. Е1, Е3, Е — , а=сош^ Q = С • И , С=сош^ И1, а И2, ИЗ 9
3. и 1 Е1, Е2, ЕЗ, Е — , И сош1, ашШ~ а Етах 6
4. С1,С2,С3, С — И , Q=CИ, И=СОШ^ Qmax~Cmax 7
Как показывает анализ структуры представленных решений, сложность задач зависит от количества т используемых в решении информационных элементов. При увеличении их числа затруднительной и, видимо, энергетически затратной становится, прежде всего, операция анализа. При этом возрастает количество элементарных операций, необходимых для получения конечного результата. В условиях ограничения времени выполнения всего теста это приводит к уменьшению числа студентов, выполнивших его успешно, или к увеличению параметра сложности задачи.
Для определения значений латентных переменных 0j и 01, характеризующих уровень достижений _)-того студента и сложность 1-того задания, достаточно информации, содержащейся в бинарной матрице первичных ответов А) (0 или 1) студентов. В теории ЖТ оценки студентов Sj () = 1...^ N - число студентов) и оценки сложности тестовых вопросов Wl (1 = 1...М, М - число тестовых вопросов)
м
S. = I Л..; . і = 1
рассматриваются как случайные величины. Они могут быть реализованы при разных комбинациях слагаемых элементов, являющихся бинарными оценками Ау (0 или 1) ответов _)-того студента на 1-тый вопрос теста. Тогда под оценками SJ и W1 нужно понимать средние значения соответствующих сумм:
Среднее значение оценки ответа .-того студента на 1-тый вопрос теста равно соответствующей вероятности Ру правильного ответа, определенной в модели Раша функцией успеха следующим соотношением:
После ряда преобразований из соотношений (3) и (4) получим систему ^+М) нелинейных уравнений, необходимую для вычисления переменных 01, 02,..., 0К и 01, 02,..., 0М,
характеризующих уровень достижений студентов и сложность тестовых заданий [5]:
Для решения этой системы уравнений методом последовательных приближений были использованы стандартные средства математического пакета Mathcad. Для ускорения сходимости в качестве начального приближения взяты значения переменных, полученные в результате численного приближенного решения системы (5) в последовательности, описанной в работе М.Б. Челышковой [6]. Для проверки найденных значений корней проводилось численное решение системы уравнений (5), основанное на другом алгоритме, описанном в работе [7]. Различия полученных результатов после нормировки среднего уровня сложности заданий 0ср = 0 не превышали 0,001 логита. Результаты вычислений параметра сложности 0 примеров тестовых задач приведены в табл. 2.
(3)
N
N
і
(4)
1 м
-1
(і = 1,...,М; . = 1,...Д) (5)
Таблица 2
Значения параметра сложности задач
Номер задачи, j 1 2 3 4 5
m 7 9 5 6 7
Pj (логиты) 0,44 4,81 -2,70 -1,02 0,44
Расчет корреляции значений параметра сложности задач b и количества ключевых элементов решения m выявил наличие линейной зависимости (коэффициент корреляции Пирсона k = 0,9):
P(m) = A - (m — B) . (6)
Аналогичный результат был получен на тестовом материале из других разделов курса общей физики (механика, молекулярная физика и др.) при дополнительном тестировании 47 школьников 10-го и 11-го классов, а также 49 студентов 1 и 2 курсов. Бинарные матрицы тестовых ответов обрабатывались в рассмотренной выше последовательности. Вычислялись параметр сложности задач и количество содержащихся в них ключевых элементов решения. Для всех групп тестируемых значения этих величин линейно зависимы. Коэффициент пропорциональности А в соотношении (6) изменялся в пределах от 0,6 до 1,4 в зависимости от возраста тестируемых и содержания тестовых задач. При этом корреляция Пирсона была статистически значимой и варьировалась в пределах от 0,6 до 0,97. Заметим, что шкала сложности задач является интервальной. На ней значения b определены с точностью до произвольной постоянной. Однако при условии нормировки среднего уровня сложности заданий Ьср = 0 величина параметра В изменялась незначительно в интервале от 5,8 до 6,4 для всех групп тестируемых.
Заключение
Параметр сложности задачи b, являясь ее объективной характеристикой, линейно зависит от количества информационных ключевых элементов, необходимых для формирования решения. Полученный результат позволяет на стадии разработки тестовых задач реально оценивать их сложность и прогнозировать итоги тестирования.
СПИСОК ЛИТЕРАТУРЫ
1. Балл Г. А. Теория учебных задач: Психолого-педагогический аспект. - М.: Педагогика, 1990. - 184 с.
2. Гилев А.А. Когнитивные компетенции: развитие и диагностика в курсе физики высшей технической школы: монография. - Самара: СГАСУ, 2011. - 168 с.
3. Ким В.С. Тестирование учебных достижений: монография. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
4. Лернер И.Я. Проблемное обучение. Теория и методика обучения физике в школе: Общие вопросы / Под ред. С.Е. Каменецкого, Н.С. Пурышевой. - М.: Издательский центр «Академия», 2000. - 368 с.
5. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Москва, 2000. - 168 с.
6. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. - М.: Логос, 2002. - 432 с.
7. Stenner A.J., Wright B.D., Linacre J.M. From P-values and raw score statistics to logits // Rasch Measurement Transactions. - 1994. - Volume 8:1. - P. 338. http://www . rasch.org/rmt7rmt.8Lhtm (дата обращения 10.01.2012).
Поступила в редакцию - 25/III/2012, в окончательном варианте - 29/Ш/2012.
STRUCTURE OF A COMPLEXITY INDEX OF A TEST PHYSIC PROBLEM IN THE RASCH MODEL
A.A. Gilev, A. V. Pashm
Samara state university of architecture and civil-engineering 194 Molodogvardeyskaya st., Samara, 443000 E-mail: algil@mail.ru
In today's theory of IRT testing the solution to a test task is seen as a probabilistic event, depending on the student’s level of knowledge and the level of complexity of the assignment. It is noted that in the scientific literature there is no common approach to determining the factors influencing the complexity of the problem. It is suggested that the difficulty of the problem increases with the number of key elements, which are the data elements used in solving the problem. On the basis of the statistical analysis of solutions of specially designed test tasks it was concluded that there is a linear dependence of the complexity of the problem in the Rasch
model on the number of key elements of the solution. This result allows on the development stage of test problems to realistically assess their complexity and to predict the result of testing.
Key words: Rasch model, complexity index of a problem, cognitive operations.
Original article submitted - 25/III/2012, revision submitted - 29/III/2012.
Alexander A. Gilev (Ph.D., Associate Professor), Department of Physics. Alexey V. Pashin, Director of Architecture and Civil Lyceum.
