Кооперативный и частотный подходы к назначению веса заданий теста Текст научной статьи по специальности «Компьютерные и информационные науки»

150

Общетехнические задачи и пути их решения

ные технологии и общество. Казанский государственный технологический университет (Казань). - 2003. - Т. 6, № 3. - С. 164-186.

3. Тренажеры нового поколения : особенности, возможности, перспективы / А. Г. Ройзнер // Локомотив. - 2012. - № 5. - С. 17-19.

4. Группа компаний Транзас [Электронный ресурс]. - URL : http://www.transas.ru/Simulation/ Railway (дата обращения 10.03.2014).

5. Тренажерный комплекс локомотивных бригад [Электронный ресурс]. - URL : http://www. inius.ru/index.php/trenazhery-lokomotivnyx-brigad. html (дата обращения 10.03.2014).

6. Многотиповой тренажерный комплекс [Электронный ресурс]. - URL : http://www.rc-spectr.

УДК 519.2

М. М. Луценко, Н. В. Шадрицева

Петербургский государственный университет путей сообщения Императора Александра I

КООПЕРАТИВНЫЙ И ЧАСТОТНЫЙ ПОДХОДЫ К НАЗНАЧЕНИЮ ВЕСА ЗАДАНИЙ ТЕСТА

В работе сравниваются экспертный и частотный методы назначения веса заданий теста с кооперативным, рассмотренным авторами ранее [1, 2]. Определен вес Шепли заданий, найдены их значения для теста по теме «Интегральное исчисление». Сравнение проводилось по результатам тестирования студентов в 2010-2011 гг. Показано, что кооперативный вес является хорошим ориентиром при назначении веса заданий при известной структуре курса и времени на освоении его отдельных частей.

тестирование, вес заданий, кооперативные игры, вектор Шепли.

ru/catalog/product/category/tc/?itid=5 (дата обращения 10.03.2014).

7. Комплексный тренажер машинистов скоростных поездов [Электронный ресурс]. -URL : http://www.kmweg.com (дата обращения 10.03.2014).

8. Кузница кадров для «Сапсанов» / В. А. Владимиров // Локомотив. - 2011. - № 6. - С. 5.

9. Тренажеры для машинистов [Электронный ресурс]. - URL : http://zdsimulator.com.ua/ trenazhery (дата обращения 10.03.2014).

10. Многофункциональные тренажеры [Электронный ресурс]. - URL : http://www.sydac.com. au/en/products/mobile_simulators/mobile_simulators. jsp (дата обращения 10.03.2014).

Введение

Тестирование как инструмент измерения уровня знаний давно и успешно применяется в обучении. За последние годы интерес к нему значительно возрос, что вызвано формализацией учебного процесса и развитием компьютерных средств контроля знаний. Появление математических моделей Раша, Бирнбаума

и др. существенно расширили теорию и дали возможность использовать современные математические модели: теорию параметризации педагогических тестов (Item Response Theory) [3], статистические игры [4].

Одной из проблем теории тестирования является задача определения веса задания теста [3]. В большинстве тестов вес заданий считается равным, но по мере усложнения структу-

2014/3

Proceedings of Petersburg Transport University

Общетехнические задачи и пути их решения

151

ры теста и увеличения числа заданий в тесте потребность в определении их сложности возрастает. Это особенно важно при сравнении результатов учащихся, решавших разные тесты, или в тех случаях, когда времени на решение всех заданий теста недостаточно.

Так как тесты часто проводят по завершении части или всего курса обучения, вполне естественно определить трудность (сложность, вес) задания как время, необходимое для подготовки учащегося к его выполнению. Если учащийся самостоятельно выбирает последовательность изучаемых разделов (с учётом структуры курса и имеющегося у него времени), то за вес задания можно принять некоторое усреднённое время на подготовку к его решению. Такой способ нахождения веса характерен для теории игр. Таким образом, проблема назначения веса задания педагогического теста сводится к проблеме построения дележа в некоторой кооперативной игре.

Известны две группы методов назначения веса заданий теста: экспертный и частотный. В первой группе эксперт (преподаватель, проводящий тестирование) назначает вес заданий теста, основываясь на собственном опыте. Согласно второму методы определения веса назначаются по результатам пробного тестирования по правилу: чем больше тестируемых решило задание, тем меньший вес ему назначается. Однако применить эти методы сложно при малом опыте работы с курсом.

В 2010-2011 гг. в ПГУПС проводилось тестирование студентов по курсу «Интегральное исчисление». Учащиеся выполняли 24 задания по 9 разделам курса. Обработка итогов тестирования показала хорошую устойчивость частоты решения простых задач и плохую -сложных задач. Показано, что первоначально назначенный (экспертный) вес заданий плохо согласуется с частотным весом, хотя последний неплохо согласуется с весом, полученным из решения соответствующей кооперативной игры. Отдельный интерес представляет вес Шепли для редких заданий, так как там частотный вес оказывается крайне неустойчивым.

Игры с упорядоченным множеством игроков

Определение 1. Кооперативная игра [5] Г = (i, Vj определяется множеством игроков

I = {1,2,..., п} и характеристической функцией игры v, ставящей в соответствие каждому подмножеству игроков K с I тот выигрыш, который они могут получить, объединившись в коалицию K.

Определение 2. Дележом кооперативной игры Г = (I, vj называется неотрицательный вектор х = (x1, x2,..., xn ), удовлетворяющий условию коллективной рациональности: x(I) =

= X x = v( I).

isI

Определение 3. Для игрока isI в игре Г = = (I, v) величина Ai (K) = v(K u {i}) - v(K) называется вкладом игрока i в коалицию K, или приращением выигрыша коалиции K за счет игрока i.

Определение 4. Вектором Шепли кооперативной игры Г = (I, v) называется дележ Sh( v) = (Sh1 (v), Sh2 (v),..., Shn (v)), компоненты которого находятся по следующим формулам:

Sh(v)=

= X (n-*-1)№!(v(Ku{i})-v(K)),

K cI n!

k =| K |; n =| 11, i s I. (1)

Хорошо известна следующая вероятностная интерпретация вектора Шепли Sh(v) . Предположим, что игроки из множества I последовательно появляются на некотором месте встречи, и каждый вновь прибывший игрок i s I получает величину его вклада Ai (K) в создавшуюся до него коалицию K, тогда компонента Shi (v) равна математическому ожиданию выигрыша игрока i при равновероятности всех порядков появления игроков на общем месте встречи.

Пусть A = {а1, а2,...,аn} - множество разделов курса обучения, по которым составлен некоторый тест. Мы предполагаем, что курс A

ISSN 1815-588Х. Известия ПГУПС

2014/3

152

Общетехнические задачи и пути их решения

структурирован и его структура определяется двумя функциями S (а), аа. Первая из них S (а) определяет множество разделов курса, непосредственно предшествующих разделу а. Вторая аа указывает время, необходимое для освоения раздела а, если учащийся освоил все разделы из множества S (а).

Определение 5. Будем говорить, что раздел в курса A следует за разделом а, или раздел а предшествует разделу р, и записывать а<Р, если найдутся такие разделы а = у 2,...,

Yк = в курса A, для которых выполняются следующие утверждения: а е S(y2), Y2 е S(y3), ...,Yк-1 е S(в).

Введённое отношение следования (предшествования) обладает свойством транзитивности, т. е. для любых трёх разделов а, в, у е A верно следующее утверждение: (а < в)& (в<у) ^ (а <у). В дальнейшем мы предполагаем, что функция непосредственного предшествования S (а) такова, что порождённое ей отношение следования антирефлексивно на множестве разделов A.

Обозначим через V(а) = {ве A | в < а} и V (а) = {ве A | а < в} - множества из разделов курса, предшествующих разделу а, и разделов, следующих за разделом а, соответственно, а через V[K] = V(K) u K.

Пример (сумма знаний [1, 2]). Пусть A = = {а1, а2,...,ап} - частично упорядоченное множество игроков, порожденное отношением непосредственного предшествования S^), а а = (а1, а2,., ап ) - неотрицательный вектор. Определим характеристическую функцию игры Г = ^A, v) по формуле

v(K) = £ аа . (2)

oieV [ K ]

Таким образом, значение v(K) есть время, необходимое для изучения разделов из множества разделов K. Перечислим некоторые свойства характеристической функции v( K ).

1. Персональность. v(0) = 0.

2. Монотонность и неотрицательность. Для любых двух совокупностей разделов Kx и K2 верно следующее утверждение:

K1 с K2 ^ v(K1) < v(K2).

3. Ориентация на продвинутые разделы. Значение характеристической функции на множестве разделов K совпадает с её значением на множестве максимальных разделов множества K, т. е. v( K) = v(max K). Иными словами, время, затраченное на изучение разделов из множества K, совпадает со временем, затраченным на изучение наиболее «продвинутых» разделов из множества K.

Теорема. В кооперативной игре Г = (A, v) с частично упорядоченным множеством игроков A и характеристической функцией (1) компоненты вектора Шепли могут быть найдены по формуле

sk (v) = £

а j eV [а ]

а

V[аj ] ’

(3)

где а - имя игрока; V[а] - число элементов

множества V [а] = V (в) u {в}.

Теорема была сформулирована в работе [2], доказательство ее для древовидного порядка на множестве игроков можно найти в работе [3].

Вес задач педагогического теста

Предположим, что по окончании учебного курса A = { а1, а2,..., ап } учащийся выполняет проверочный тест, составленный таким образом, что из каждого раздела в тест входит ровно одно задание, поэтому для заданий теста мы будем использовать те же обозначения, что и для соответствующих разделов курса

A. Если тестируемый выполнил задания совокупности K теста A = {а1, а2,., ап}, то v(K) можно интерпретировать как уровень его подтверждённых знаний или уровень его подготовки к тесту A.

К сожалению, такая оценка уровня знаний крайне неустойчива. Во-первых, выполнение хотя бы одного задания высокого уровня обеспечивает тестируемому высокий балл. Однако такое решение может появиться или случай-

2014/3

Proceedings of Petersburg Transport University

Общетехнические задачи и пути их решения

153

но, или как результат несанкционированных консультаций. Во-вторых, тестируемый может неправильно оценить свои силы и затратить всё отведённое время на выполнение наиболее сложного задания. В этом случае возможная неудача (недостаток времени, нервозная обстановка, арифметическая ошибка) приведёт к тому, что итоговый балл тестируемого будет сильно занижен. В-третьих, балл тестируемого мало зависит от числа выполненных им заданий, что затрудняет дальнейшее сравнение учащихся.

На практике давно и успешно применяется аддитивная оценка уровня знаний тестируемого:

w(K) = X Wa , (4)

aeK

где K - множество заданий теста A = { a1, a 2,..., a n }, выполненных тестируемым; wa - вес соответствующих заданий, ae A . В дальнейшем функцию w(K) мы будем называть весовой функцией теста (изучаемого курса). Хорошо известны две группы методов назначения весов заданий теста.

Экспертный. Обычно экспертом является составитель заданий, и он назначает вес, руководствуясь собственным опытом. Возможны и более сложные процедуры назначения веса заданий с участием нескольких экспертов.

Частотный. Вес заданий назначают лишь после проведения теста, причём задание получает больший вес, если оно решено меньшим числом тестируемых. Для расчёта веса используют различные математические модели, в том числе Раша, Бирнбаума и др. [3].

Недостатки обоих методов очевидны. Первый субъективен и мало применим к построению тестов по новым курсам. К недостаткам второго следует отнести невозможность указания веса задания до проведения теста и появление большого веса у простых, но непопулярных заданий.

Перечислим свойства веса Шепли w = = sh(v) и покажем, что он является разумным весом заданий теста v.

Пусть K - совокупность выполненных заданий теста A или совокупность соответствующих разделов курса A. Тогда оценка уровня знаний w( K) близка к истинному уровню знаний v(K) (является оценкой наименьших квадратов с соответствующими коэффициентами).

Весовая функция w(K) аддитивна, положительна и строго монотонна (если время на изучение начальных разделов положительно), т. е.

w( K1 u K2) = w( K1) + w( K2) при K1 n K2 = 0 ;

K1 c K2 ^ w(K1) < w(K2) при K1, K2 c A .

Вес (балл) Шепли wa измеряется в часах, связан со временем подготовки к выполнению заданию a курса A и его структурой. Вес wa задания a - математическое ожидание времени обучения этому заданию при равновероятности всех программ обучения, или доля времени, затраченного строго на изучение раздела a.

Вектор веса w находится в дополнительном с-ядре C (v) и может быть легко построен по любому курсу A, если известны его структура и функция aa.

Примеры расчета веса заданий

Пример 1. Предположим, что изученный курс состоит из трех разделов A = {a1, a2, a3} . Логическая структура курса A описывается функцией непосредственного предшествования S (a), задаваемой равенствами

S(a1) = S(a2) = 0; S(a2) = {a1, a2}.

Таким образом, разделы at и a2 являются начальными, а освоение раздела a3 возможно лишь после освоения двух предыдущих разделов. Обозначим через av a2 время, необходимое для освоения соответствующих разделов,

ISSN 1815-588Х. Известия ПГУПС

2014/3

154

Общетехнические задачи и пути их решения

а через а3 - время, необходимое для освоения третьего раздела, если предыдущие два раздела уже освоены.

Согласно теореме, вес Шепли соответствующих разделов можно найти по формулам w1 = а1/2 ; w2 = а2/2; w3 = а1/2 + а2/2 + а3.

Заметим, что вес 3-го раздела оказывается больше веса 1-го и 2-го разделов даже в том случае, когда время а3, затраченное на освоение раздела а3, равно нулю.

Пример 2. Предположим теперь, что тест, составленный по курсу A, содержит к1 заданий первого раздела, к2 заданий второго раздела и к3 заданий третьего раздела. Составим кооперативную игру «Сумма знаний». В этой игре будет к1 + к2 + к3 игроков. Внутри каждого раздела задания можно считать линейно упорядоченными, причем время освоения каждого нового задания считаем равным нулю. Следовательно, вес заданий каждого раздела оказывается равным. Запишем формулы веса для

заданий трех разделов: w1 = а1 / (к1 + к3); w2 =

W2 = а2 /(к2 + к3 ); w3 = а1/(к1 + к3) + а21(к2 +

+ к3) + а^/ к3.

Пример 3. На кафедре «Математика и моделирование» в различные годы в рамках курса «Математический анализ» проводилось тестирование студентов по теме «Интегральное исчисление». В 2012, 2013 гг. в тестировании участвовало 120 и 87 человек, соответственно. Задания теста были составлены по 9 разделам, названия которых перечислены в таблице. Обозначим через а. название i-го раздела проверяемой темы, а через к. - число заданий теста соответствующего раздела, i = 1,9.

9

Всего тест содержал ^ кх = 24 заданий раз-

i=1

личной трудности. Экспертный вес заданий был указан в тесте (см. таблицу), и они должны были помочь тестируемым выбирать задания в соответствии с их уровнем подготовки. Максимально возможная сумма баллов

Баллы заданий теста

№ (i) Проверяемые разделы темы «Интегрирование» (а.) Число заданий раздела в тесте (к) Время освое- ния раздела (ai) Экс- пертные баллы ( wfK) Частотные баллы Баллы Шепли (wSh)

2012 г. (w2) 2013 г. (w13)

1 Таблица интегралов 10 3 1,0 0,5 1,1 0,5

2 Следствия из таблицы 4 5 3,0 1,2 2,1 2,2

3 Определенный интеграл 1 1 3,0 2,2 4,2 4,6

4 Интегрирование по частям 3 2 5,0 2,0 3,2 3,3

5 Разложение дроби 2 2 3,0 0,9 1,7 1,5

6 Коэффициенты разложения 1 1 3,0 1,8 3,3 2,8

7 Интеграл от дроби 1 1 6,0 2,5 3,9 7,9

8 Двойной интеграл 1 2 10,0 6,4 19,6 12,1

9 Интеграл от тригонометрического выражения 1 3 10,0 44,5 11,8 20,4

Итого 24 20 75 75 75 75

2014/3

Proceedings of Petersburg Transport University

Общетехнические задачи и пути их решения

155

9

Ъ к{ WjK — 75, причем сложность заданий, как

i—1

правило, возрастала при увеличении номера задания.

Для каждого года частота выполнения заданий теста рассчитывалась по формулам p{ — Nj (ktN), где N - число заданий i-го раздела, выполненных тестируемыми; к. - число заданий i-го раздела, предложенных в тесте; N - общее число тестируемых в рассматриваемом году. Из таблицы видно, что значения частоты выполнения заданий для двух лет близки (кроме наиболее сложной задачи раздела 9). Частотные баллы строились по следующим формулам:

к

w =— pi

; к — 75

( 9 к X1 V '■=1 pi J

в которых к - нормирующий множитель, обеспечивающий максимальную общую сумму баллов, равную 75. В таблице можно заметить, что полученные частотные баллы значительно отличаются как от экспертных баллов, так и друг от друга в различные годы тестирования.

Тема «Интегрирование» изучалась в соответствии с учебным планом и указанными в нем взаимосвязями разделов. Отношение непосредственного предшествования разделов может быть задано функцией S (а), ее значения:

ветствующих разделов, при условии, что все предыдущие разделы уже изучены. Их значения указаны в таблице. Таким образом, время на изучение всех разделов изучаемой темы равно a1 + а2 +-+ а9 — 20 (час).

Так как по некоторым разделам тест содержал несколько заданий, для построения веса Шепли необходимо определить кооперативную игру с числом участников, равным 24. Время подготовки участников к выполнению заданий одного и того же раздела теста мы считаем равным времени освоения этого раздела. Так как общая сумма веса Шепли равна общему времени освоения темы, т. е. 20, то баллы Шепли будут в к — 75/20 = 3,25 раз больше соответствующего веса, что сделано для удобства сравнения с ранее рассчитанными баллами.

Окончательно баллы Шепли были рассчитаны по формулам:

w1 — к ■ а1/21; w2 — к (а1/21 + а2/11); w4 — к (а1/21 + а2/11 + а4/7); w5 — к ■ а5/5;

W3 — к (а^/21 + а^11+ а^3 + а^/7); w6 — к ■ (а5/5 + а6/3);

W7 — к (а^/21 + а2/11 + а^ /7 +

+ а5/5 + а6/3 + а^ / 2);

Wg — к(а^/21 + а^11+а^3 + а^7 + а^);

W9 — к (axj21 + а2/11 +аз /3 + а^7 +

+ а5/5 + а6/3 + а^2 + а9).

S(а1) = S(а5) = 0; S(а2) = {а1};

S(аб) = {а5}; S(а4) = {а2}; S(аз) = {а4};

S (аз) = {аз}; S ^) = {а 2, а б};

S(а9 ) — {аз , а7} .

Согласно определению 5, функции S (а) на множестве разделов A порождают отношение следования. Таким образом, 3-й и 7-й разделы оказались начальными, а 8-й и 9-й указаны как наиболее сложные.

Числа а. > 0, i — 1, 9 (см. таблицу) определяют время, необходимое для изучения соот-

Их точные значения приведены в таблице.

Из таблицы видно, что баллы Шепли близки к частотным баллам для заданий с малыми номерами, а для последних заданий их значения лежат между частотными баллами различных лет.

Вывод

При проведении итогового или промежуточного контроля баллы Шепли могут быть

ISSN 1815-588Х. Известия ПГУПС

2014/3

156

Общетехнические задачи и пути их решения

хорошим ориентиром при назначении баллов заданий теста.

Библиографический список

1. Теория статистических решений : учеб. пособие. Ч. 2 / М. М. Луценко. - Санкт-Петербург : Петербургский гос. ун-т путей сообщения, 2012. -111 с.

2. Lutsenko, M. M., Shadrintseva, N. V. Shap-ley value in testing // Proceedings of the 2nd int. conf. «Game theory and management application», «Game theory, operations research and applications»,

Hyderabad, Inst. of public enterprise, India. - Hyder-bad, 2012. - P. 47-49.

3. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. - Москва, 2000. - 168 с.

4. О точности педагогического тестирования / М. М. Луценко, Н. В. Шадринцева // Изв. Петербург. ун-та путей сообщения. - Санкт-Петербург : Петербург. гос. ун-т путей сообщения, 2011. - Вып. 4 (29). - С. 250-258.

5. Теория игр : учеб. пособие для университетов / Л. А. Петросян, Н. А. Зенкевич, Е. А. Семина. - Москва : Высш. шк., 1998. - 304 с.

2014/3

Proceedings of Petersburg Transport University