CC BY
16
УДК 519.83
Вестник СПбГУ. Прикладная математика... 2017. Т. 13. Вып. 3
М. М. Луценко, Н. В. Шадринцева
ВЕСА ШЕПЛИ ДЛЯ ЗАДАНИЙ ПЕДАГОГИЧЕСКОГО ТЕСТА
Петербургский государственный университет путей сообщения Императора Александра I, Российская Федерация, 190031, Санкт-Петербург, Московский пр., 9
Одной из проблем теории тестирования является задача определения веса задания педагогического теста. Для большинства тестов веса заданий считаются равными, но по мере усложнения структуры теста и увеличения числа заданий теста потребность в определении сложности заданий теста возрастает. Это особенно важно при сравнении учащихся, решавших разные тесты или в тех случаях, когда времени на решение всех заданий теста недостаточно. Кроме того, разрешающая способность теста существенно увеличивается, если различным заданиям теста приписываются разные веса. В работе для учебного курса, имеющего иерархическую структуру и известные продолжительности освоения его разделов, построена кооперативная игра «сумма знаний», в которой игроками являются разделы освоенного курса, а значение характеристической функции — время, необходимое учащемуся для освоения совокупности разделов. Выведены простые формулы для определения вектора Шепли построенной игры и тем самым расширен класс кооперативных игр, для которых вектор Шепли рассчитывается аналитически. Доказательство основано на разложении характеристической функции по дополнительным простейшим характеристическим функциям и на использовании свойств конуса во множестве частично упорядоченных разделов. Компонента вектора Шепли — среднее время освоения соответствующего раздела курса — может быть применена при проведении итогового тестирования в качестве веса задания теста. Теория двойственности (дополнительности), развитая для кооперативных игр, позволяет связать игры «сумма знаний», «оплата взлетно-посадочной полосы», «сообщество равных». Приведены примеры расчета весов заданий теста, подготовленного по некоторому модельному курсу. Библиогр. 16 назв. Ил. 2.
Ключевые слова: кооперативная игра, вектор Шепли, аналитическое решение игры, педагогический тест, вес задания, частично упорядоченное множество игроков.
M. M. Lutsenko, N. V. Shadrinceva SHAPLEY WEIGHTS OF TEST ITEMS
Imperator Alexander I Petersburg State Transport University, 9, Moskowskii pr., St. Petersburg, 190031, Russian Federation
One of the problems of the theory of testing is the problem of determining the weights of the test item. For most tests, the weights of assignments are considered to be equal, but as the complexity of test design and increasing the number of test items, the need for determining the complexity of the test increases. This is especially important when comparing students to solve different tests or in cases when the time for the solution to all the test items is not enough. In addition, the resolution of the test increases significantly if different test items are attributed to different weights. In the work for a course that has a hierarchical structure and is known for the duration of the development of its sections, we built a "sum of attainments" cooperative game in which players are the parts of the course, and the value of the characteristic function on a coalition is the time necessary for a student to study the coalition of the parts. We have found simple formulas for the calculation of the Shapley value as constructed in the game and so
Луценко Михаил Михайлович — доктор физико-математических наук, профессор; [email protected]
Шадринцева Наталия Владимировна — аспирант; [email protected]
Lutsenko Mikhail Mikhailovich — doctor of physical and mathematical sciences; [email protected]
Shadrinceva Natalia Vladimirovna — postgraduate student; [email protected] © Санкт-Петербургский государственный университет, 2017
expanded the class of cooperative games for which the Shapley value is calculated analytically. The basis of the proof lies in the decomposition of the characteristic function in a sum of the dual unanimity games and using the properties of a cone in the set of partially ordered elements (parts of course). The component of the Shapley value is the average time of learning the part of the course and it may be used as the weight of the item for a final test. The theory of duality (complementarity), developed for cooperative games permits us to link "the sum of attainments game", "the airport game" and "the peer group game". Examples of the calculation of weights for test items has been prepared by the use of a particular model term course. Refs 16. Figs 2.
Keywords: TU game, Shapley value, analytical game solution, teaching test, weight of item, partial ordered set of players.
1. Введение. Исторически кооперативные игры использовались при моделировании «разумного» дележа общего дохода людьми, внесшими различный вклад в его получение. Именно для таких моделей традиционно определяются как дележи, так и принципы их оптимальности. Среди наиболее известных дележей — вектор «справедливого дележа» Шепли. К сожалению, в общем случае каждая компонента вектора Шепли содержит 2n слагаемых и поэтому задача их получения вычислительно сложна. В предлагаемой работе мы построим новый класс игр, для которых вектор Шепли рассчитывается по простым формулам.
В работе [1] кооперативную теорию уже применили к задаче о распределении платежей за строительство взлетно-посадочной полосы (ВПП) аэропорта. Ее авторы предложили распределять взносы за строительство согласно вектору Шепли, аналитический вид которого оказался крайне простым. Хотя задачи распределения доходов и платежей очень близки, но соответствующие им кооперативные игры различны, например в игре о ВПП множество дележей и с-ядро игры пусты.
Тестирование, как инструмент измерения уровня знаний, давно и успешно применяется в обучении. За последние годы интерес к нему значительно возрос, что вызвано формализацией учебного процесса и развитием компьютерных средств контроля знаний. Математические модели Раша, Бирнбаума и др. существенно расширили теорию и дали возможность использовать современные математические модели: теорию параметризации педагогических тестов (Item Response Theory — IRT) [2-6], статистические игры [7].
Одной из проблем теории тестирования является задача определения веса задания теста [5, 6]. В большинстве тестов веса заданий считаются равными, но по мере усложнения структуры теста и увеличения числа заданий в нем потребность в определении сложности задания теста возрастает. Это особенно важно при сравнении учащихся, решавших разные тесты, или в тех случаях, когда времени на решение всех заданий теста недостаточно.
В теории параметризации педагогических тестов предлагается оценивать вес задания педагогического теста по доле учащихся, его решивших [5]. Однако такой подход стимулирует нетрадиционные методы обучения: чем меньше учащихся выполнили задание, тем выше его вес, но вполне возможно, что время, затрачиваемое на подготовку тестируемого к решению более редкого задания, окажется малым и преподаватель начнет готовить учащихся к решению «редких» заданий, нарушая логику курса.
Так как тесты часто проводятся по завершению части или всего курса обучения, то вполне естественно определить трудность (сложность, вес) задания как время, необходимое для подготовки учащегося к выполнению этого задания теста. Если учащийся самостоятельно выбирает последовательность изучаемых разделов (с учетом структуры курса и имеющегося у него времени), то за вес задания можно принять среднее время, затраченное на подготовку к его выполнению. Такой способ нахож-
дения весов характерен для теории игр. Таким образом, проблема назначения веса задания педагогического теста сводится к проблеме построения дележа в некоторой кооперативной игре.
Данный подход к назначению весов заданий является новым. Он разрабатывался авторами в серии работ. В частности, если структура изучаемого курса линейная, то кооперативная игра, возникающая при назначении веса задания, близка к игре, рассмотренной в работе [1] в связи с задачей о ВПП. Для курса, имеющего структуру дерева, вектор Шепли был построен авторами в работах [4, 8, 9] (см. также [10]). В настоящей статье найден вектор Шепли для игр, построенных по произвольному курсу обучения.
В ч. 2 даны основные определения классической кооперативной теории и, в частности, дележа, вектора Шепли, двойственной характеристической функции. Кооперативным играм с упорядоченным множеством игроков посвящен п. 3. Перечислены простейшие методы построения частичного порядка на множестве. Подробно рассмотрены игры «с заданной структурой разрешений», «оплата за строительство ВПП», «сумма знаний». Сформулирована основная теорема о разложении характеристической функции и виде вектора Шепли для этой игры. Описан пример. В п. 4 обсуждается возможность применения кооперативной игры «сумма знаний» при назначении весов заданий педагогического теста. Приведены примеры расчета весов заданий теста в соответствии с построенным вектором Шепли.
2. Кооперативные игры.
Определение 1. Кооперативная игра Г = определяется .множеством
игроков I = {1, 2,...,п} и характеристической функцией V, ставящей в соответствие каждому подмножеству игроков К С I тот выигрыш, который они могут получить, объединившись в коалицию К.
В этой интерпретации характеристическую функцию вполне естественно считать неотрицательной. Существует и другая интерпретация компонент кооперативной игры. А именно, значение v(K) характеристической функции рассматривается как платеж коалиции К в случае ее возникновения.
Таким образом, характеристическая функция V отображает множество всех подмножеств 21 во множество вещественных чисел Д. В дальнейшем любое подмножество игроков К С I в игре Г назовем коалицией, а ее мощность обозначим через \К\. Заметим, что коалиция может быть пустой, одноэлементной или совпадать со всем I. В дальнейшем будем предполагать, что v($) = 0.
Определение 2. Дележом игры Г = Ц^) называется неотрицательный вектор х = (х\,х2,...,хп), удовлетворяющий условию коллективной рациональности:
В настоящей статье мы отказываемся от предположения об индивидуальной рациональности дележа (ж.;, ^ г'(й) ПРИ * = 1; часто требуемого в работах [11].
Определение 3. Игра Гт = Ц,^), Т = $, называется простейшей с носителем Т, если выигрыши коалиций, содержащих коалицию Т, равны единице, а выигрыши всех других коалиций равны нулю.
Таким образом, в простейшей игре Гт значения характеристической функции находятся по формулам
х
(I ) = £ xi = v(I).
Если зафиксировать множество игроков I, то на множестве характеристических функций можно определить операции сложения и умножения на число:
(и + V) (К) = и(К) + ю(К), (с ■ ю)(К) = с ■ ю(К).
В результате получим линейное пространство характеристических функций размерности N = 2п — 1, которое изоморфно пространству К1. В работе Шепли [12] показано, что простейшие функции ит составляют базис пространства К1, а следовательно, каждая характеристическая функция V имеет единственное разложение по нему:
V (К) ^^ vт ■ ит (К),
тст, т=ф
где vт = v(T) — ^Зст vs — координаты функции V в этом базисе (дивиденды Хар-саньи).
На множестве I определим характеристическую функцию множества Т С I
1 (г) = ! 1 пРи г 6 Т,
1т(г) при г 6 Т.
Каждой характеристической функции 1т (г) множества Т может быть сопоставлен ет — п-мерный вектор инцидентности коалиции Т, у которого компонента с индексом г равна единице тогда и только тогда, когда этот индекс принадлежит множеству Т.
Определим вектор Шепли Бк^) = (Бк1^),Бк1^),...,Бкп^)) как линейную функцию из пространства К1 в пространство Кп, ставящую в соответствие каждой простейшей функции ит центр тяжести ее ядра, т. е. п-мерный вектор, ненулевые компоненты которого равны 1/\Т|, и они соответствуют элементам множества Т. Таким образом, для произвольной характеристической функции v компонента г вектора Шепли Бк^) находится по формуле
тст, т= \ \
где vт — координата функции v в базисе функций ит; 1т — характеристическая функция множества Т. Полученный здесь вектор Шепли совпадает с вектором справедливого дележа, введенным в работе [12] аксиоматически. В той же работе показано, что г-ю компоненту вектора Шепли можно найти следующим образом:
= Рк ■ ЫК и {г}) — v(K)), рк = (пС1, к = \К\. (1)
г/К
Заметим, что число слагаемых в сумме (1) равно N = 2п — 1.
Хорошо известна и вероятностная интерпретация вектора Шепли. Величина Бкг^) — математическое ожидание выигрыша игрока г, если при последовательном объединении в коалиции игрок г получает весь выигрыш Ки{г}) — v(K)), который он приносит в созданную до его появления коалицию К. При этом все последовательности объединения игроков считаются равновероятными.
Определение 4. Характеристическая функция ^и* называется двойственной к функции v игры Г = (I, ^и), если
(К) = v (I) — v Ц\К). Вестник СПбГУ. Прикладная математика. Информатика... 2017. Т. 13. Вып. 3 303
Величина v* (K) — упущенная выгода коалиции K при ее отказе от объединения с дополнительной (двойственной) коалицией I\K.
Рассчитаем двойственную функцию для простейшей характеристической функции ut. Легко проверить, что она имеет вид
* < 1 /т\ ьп / 1 при K П T = 0,
ut(k) = 1 - Ut(I\Kо при K n T = 0.
Таким образом, выигрывающая коалиция в игре ГТ = {I, u*T) лишь та, в которую входит хотя бы один игрок из множества T.
Заметим, что множество характеристических функций {иТ} также составляет базис во всем множестве характеристических функций RN. Более подробно связь между кооперативной и двойственной к ней играм обсуждается в работе [4].
3. Игры с упорядоченным множеством игроков. Покажем, как наличие частичного порядка на множестве игроков кооперативной игры и согласованной с ним характеристической функции может помочь в нахождении вектора Шепли.
Множество игроков A = {ai, a2,...,an} кооперативной игры Г = {A, v) частично упорядочено отношением «<», если это отношение иррефлексивно и транзитивно.
Пусть a — произвольный элемент частично упорядоченного множества A. Обозначим через
V(a) = {ß е A\ ß <a} , V(a) = {ß e A\ a < ß}
множество игроков, предшествующих игроку a, и множество игроков, следующих за элементом a.
В силу иррефлексивности отношения предшествования множество V(a) не содержит a. Обозначим через V[a] = V(a) U {a} множество элементов, предшествующих a или равных ему, а через V[a] = V(a) U {a} — множество следующих или равных a.
Множества V [a] и V [a] будем называть соответственно нижним и верхним замкнутыми конусами с вершиной в a.
Определение 5. Элемент a назовем максимальным во множестве игроков K (K С A), если не существует игрока ß е K, для которого a < ß.
Множество всех максимальных элементов во множестве K обозначим через max K. Аналогично определяется множество минимальных игроков min K во множестве K.
Таким образом, игрок a минимален в A, если V(a) = 0, и максимален в A, если
V(a) = 0.
Заметим, что для любого непустого множества разделов K С A множество максимальных разделов max K не пусто. Если же множество K пусто, то множество max K будем считать также пустым.
Для каждого игрока a можно рассчитать множество игроков, непосредственно ему предшествующих, по формуле
S (a) = max V (a),
т. е. среди элементов множества A, и для любого ß е V(a) нет элемента y, удовлетворяющего неравенствам ß < y < a.
Частичный порядок на множестве игроков A = {ai, a2,..., an} назовем линейным, если он полон, т. е. для любых двух различных элементов a, ß множества A верно ровно одно из двух неравенств: a < ß или ß < a. Частичный порядок на множестве A назовем древовидным с корнем ai, если каждый элемент, кроме ai, имеет
ровно один непосредственно предшествующий элемент, а элемент а\ является минимальным в множестве А.
Частичный порядок может быть задан через функцию непосредственного предшествования или с помощью графа. Предположим, что на множестве А задана функция Б (а), ставящая в соответствие каждому элементу множества А его подмножество, т. е. Б : А ^ 2А. Функция Б позволяет определить на множестве А транзитивное отношение предшествования следующим образом.
Определение 6. Элемент в множества А следует за элементом а или элемент а предшествует элементу в, и тогда можно записать а < в, если найдутся такие элементы а = 71,72,...,7к = в множества А, для которых выполняются следующие утверждения:
Введенное нами отношение следования tr(5) называется транзитивным замыканием функции непосредственного предшествования Б, а следовательно, есть отношение частичного порядка на множестве разделов курса A.
Отношение предшествования на множестве A можно определить и с помощью ориентированного графа (орграфа). В этом случае вершинам графа сопоставляются элементы множества A. Дуга (а, в) с вершинами из A принадлежит графу лишь тогда, когда в непосредственно предшествует а, т. е. в € Б (а).
В дальнейшем будем предполагать, что функция (непосредственного) предшествования Б (а) такова, что порожденное ею отношение предшествования иррефлек-сивно на множестве разделов A. В частности, а € Б (а) для всех игроков а € A.
Приведем примеры игр с упорядоченным множеством игроков, у которых характеристические функции согласованы с частичным порядком. Первый из них связан с задачей распределения доходов, а второй и третий — с распределением платежей.
3.1. Игры с заданной структурой разрешений. Для организации, имеющей иерархическую структуру получения доходов, построим дележ, «справедливый» для всех ее сотрудников. Пусть A = {а\, а2,..., ап} — множество всех сотрудников организации. Для сотрудника организации а обозначим через Б(а) множество его прямых подчиненных. Будем считать, что функция Б порождает на множестве сотрудников A иррефлексивный порядок. Предполагаем, что сотрудник а приносит доход aa в том и только в том случае, когда он получает разрешение от всех своих руководителей. Через a = (ai, a2,...,an) обозначим неотрицательный вектор доходов организации, причем через aa — доход, который может принести сотрудник а.
Построим кооперативную игру Г = (A,v), в которой игроками будут сотрудники рассматриваемой организации. По структуре организации и способу получения дохода определим характеристическую функцию игры Г. В частности, знаем, что коалиция K С A получит доход aa тогда и только тогда, когда эта коалиция содержит верхний замкнутый конус V[ck], т. е. при К С V[a], Следовательно, характеристическую функцию игры Г на коалиции K можно найти как сумму доходов всех участников коалиции. В результате получим
а € Б(Y2), 72 € Б(Y3),..., Yk-i € Б (в).
(2)
aeA
где ит — характеристическая функция простейшей игры с носителем T.
Используя аддитивность вектора Шепли и формулу (2), запишем компоненты вектора Шепли
Элемент ар/У[/3] войдет в эту сумму лишь при а Е У[0\ или, что равносильно, при
в е V[а].
В частности, координата вектора Шепли, соответствующая игроку а, равна
БНа (V )= ^ в [а]
а/з
\пв ]\
(3)
Согласно этой формуле, игрок а получает долю доходов а в всех своих подчиненных (в е V[а]). Причем она тем больше, чем меньше руководителей у соответствующего сотрудника.
Формулу (3) для вектора Шепли можно найти в статьях [13, 14], в которых игроков игры Г интерпретируют как агентов с общественными и индивидуальными экономическими характеристиками, причем общественные интересы задаются отношением порядка, а экономические — вектором а = (/1, а2,...,ап). Экономические задачи, сводящиеся к рассмотренным выше играм, можно найти также в работах [14, 15].
Пример 1. Предположим, что в организации с иерархической структурой работают 4 сотрудника, т. е. А = {а1, а2, а3, а4}. Обозначим через а = (а1 ,а2,а3,а4) вектор возможных доходов организации, получаемых сотрудниками. Таким образом, организация может заработать а1 + а2 + а3 + а4 денежных единиц. Будем считать, что структура организации задается графом, приведенном на рис. 1. Таким образом, функция непосредственного предшествования $ задается следующими равенствами:
>а4
а4
• а2 а3•
/ «3
ах
Рис. 1. Структура организации, содержащей 4 сотрудника
$ (а1) = 0, $ (а2) = {а1},
$ (аз) = {а1}, $ (а4) = {а2 ,аз }.
Запишем нижние и верхние конусы для всех работников организации:
V [а1 ] = {а1}, V [а2 ] = {а1 ,а2 }, V [аз ] = {а1 ,аз }, V [а 4 ] = {а1 ,а2 ,аз ,а4 },
У[оц] = {аъ а2, аз, а4}, У[а2] = {а2, а4}, У(а3) = {а3, а4}, У(а4) = {а4}.
Используя формулу (3), рассчитаем координаты вектора Шепли. В результате получим следующий справедливый дележ игроками общего дохода организации:
БНх (V) = а4/4 + аз/2 + а2/2 -БКз (V) = а4/4 +аз/2,
- а1, БН4(V)= а4/4, БК2 (V) = а4/4 + а2/2.
(4)
(5)
3.2. Оплата ВПП. В 1973 г. Литтлчайлд и Оуэн [1] предложили использовать вектор Шепли при распределении платежей за строительство ВПП аэропорта. Ими была построена кооперативная игра и получены крайне простые формулы для вектора Шепли.
Предположим, что п авиакомпаний А = {а1, а2,...,ап} должны распределить затраты на строительство ВПП, причем для обслуживания самолетов, принадлежащих авиакомпании г, достаточно, чтобы длина ВПП была равна сг. Будем считать, что затраты пропорциональны длине соответствующей ВПП, причем компании упорядочены таким образом:
С1 < С2 < ■■■ < Сп. (6)
Определим кооперативную игру Г = (А, v), в которой игроками будут авиакомпании из множества А. Учитывая предположение (6), запишем характеристическую функцию игры. А именно затраты коалиции авиакомпаний К могут быть найдены по формуле
v(K) = тглх{сг\ аг 6 К}.
Можно доказать (см. [1]), что вектор Шепли для записанной функции v будет иметь следующие компоненты:
= (7)
^—' п — 1 + 1
3=1 7
для всех г = 1 ,п, причем со = 0.
Из формулы (7) следует, что платеж за часть ВПП, используемой всеми авиакомпаниями, одинаков и равен С1/п. За следующую часть, которой пользуются только п — 1 компания, он также одинаков и равен (с2 — С1)/(п — 1) и т. д.
Рассмотренная в п. 3.2 игра тесно связана с задачей о распределении платежей за загрязнение реки (см., например, [16]). С математической точки зрения игра «оплата ВПП» является частным случаем игры «сумма знаний», которую рассмотрим в п. 3.3.
3.3. Сумма знаний. Учащийся изучает учебный курс, состоящий из нескольких разделов и имеющий сложную логическую структуру. Из опыта работы с этим курсом известно время, затрачиваемое учащимся на освоение нового раздела, если все предыдущие разделы этого курса изучены. Попробуем оценить сложность освоения каждого из разделов в часах, а в дальнейшем и в баллах.
Для решения поставленной задачи составим кооперативную игру Г = (А, v) («сумма знаний» [8, 9]), в которой множество игроков А = {а1, а.2,..., ап} — множество всех разделов изучаемого курса, Б (а) — множество разделов курса, непосредственно предшествующих разделу а, аа — время, необходимое учащемуся для изучения раздела а, если он освоил все разделы из множества Б (а). Предположим, что функция Б порождает на множестве А ирреффлексивный частичный порядок. Множества V(а) = {в 6 А\ в < а} и У(а) = {в 6 А\ а < в} состоят из разделов курса, предшествующих разделу а, и разделов, следующих за разделом а, соответственно. Определим характеристическую функцию игры Г по формуле
v(K )= аа, (8)
а/У [К]
где V(К) — множество разделов курса, предшествующих разделу из множества К, а V[К] = V(К)иК. Таким образом, v(K) — время, необходимое учащемуся для освоения множества разделов К изучаемого курса, и, следовательно, является числовой характеристикой совокупности разделов, учитывающей как время освоения разделов, так и логическую структуру курса.
Заметим, что время изучения любого начального раздела а курса А равно аа. Легко также указать время подготовки тестируемого ко всему тесту. Так как V (А) С А, то, согласно формуле (8), время освоения курса А равно
^и(А) = ^2 аа.
а/А
Перечислим некоторые свойства характеристической функции v(K), доказательство которых практически очевидно.
Персональность. v($) = 0.
Монотонность. Для любых двух совокупностей разделов К1 и К2 верно такое утверждение:
К1 С К2 ^ ^и(К1) < ^и(К2).
Неотрицательность и ориентация на продвинутые разделы. Характеристическая функция v неотрицательна, и ее величина на множестве разделов К совпадает со значением на множестве максимальных разделов множества К, т. е. v(K) = v(max К). Иными словами, времена, затраченные на изучение разделов из множества К и затраченные на изучение наиболее «продвинутых» разделов из этого множества, совпадают.
Для игры «сумма знаний» Г = (А, v) найдем разложение ее характеристической функции по базисным функциям {и*р} и запишем формулу расчета вектора Шепли.
Теорема. Пусть Г = (А, v) — кооперативная игра с частично упорядоченным множеством игроков А, а = (аа)а/А — неотрицательный вектор, v - характеристическая функция, определенная по формуле (8), тогда ее значения можно найти следующим образом:
аа
v (■к) = Еа« ■ ища]
a/A
а вектор Шепли игры Г имеет компоненты
Sha(v)= У J^f-r. (9)
v ; ^ \V[f3}\ 1 '
a(v)
в/V [a]
Используя вероятностную интерпретацию вектора Шепли, можно сделать вывод, что в игре «сумма знаний» сложность раздела а есть математическое ожидание времени, затраченного учащимся на изучение курса, если все последовательности разделов, следуя которым изучается курс, равновероятны.
Доказательство. С одной стороны, сумму (8) составляют лишь те компоненты вектора a = (aa), индексы которых входят в множество V[K]; с другой — из определения функции следует, что ее значения равны единице лишь в том
случае, когда V[a] П К ^ 0. Следовательно, достаточно доказать утверждения
a € V[I<] & V[a] П К + 0.
Последнее утверждение может быть доказано формально. Из того, что а € V[K], вытекает, что существует такой элемент в € K, для которого а ^ р. Таким образом, /3 G К и /3 G ^[А'], а поэтому V[a] ПК ^ 0. Аналогично доказывается и обратная импликация.
Так как векторы Шепли исходной и двойственной функций совпадают [4], то можно записать векторы Шепли для простейшей характеристической функции и двойственной к ней:
БНаХит) = 8На(ит) = щ1 т{а).
Следствие. Для задачи о распределении платежей за строительство ВПП характеристическую функцию соответствующей игры запишем как
= (С1МТ?[а1] + (С2 - С1)иЬ[а2] + ... + (сп - Сп-1)иЬ[ап]) ($) .
Применяя формулу (9), получим компоненты вектора Шепли в виде (7).
4. Веса заданий теста. Тестирование давно и успешно используется в процессе обучения. Часто тестирование осуществляется в конце некоторого курса и преподавателю сложно оценить трудности заданий теста, так как опыт проведения такого теста у него незначителен. Попробуем определить веса заданий теста при помощи кооперативной теории.
Предположим, что в конце учебного курса А = { а\, а2,...,ап} учащийся выполняет проверочный тест, составленный так, что из каждого раздела курса в тест входит ровно одно задание. Поэтому для заданий теста будем использовать те же обозначения, как и для соответствующих разделов курса А.
Если тестируемый выполнил задания совокупности К теста А с вектором затраченного времени а = (а1,а2, ...,ап), то v(K) можно интерпретировать, как уровень его подтвержденных знаний курса А или уровень его подготовки к тесту А. К сожалению, такая оценка уровня знаний крайне неустойчива.
Во-первых, выполнение хотя бы одного задания высокого уровня обеспечивает тестируемому высокий балл. Однако такое решение может появиться или случайно, или как результат несанкционированных консультаций. Во-вторых, тестируемый может неправильно оценить свои силы и затратить все отведенное время на выполнение наиболее сложного задания. В этом случае возможная неудача (недостаток времени, нервозная обстановка, арифметическая ошибка) приведет к тому, что итоговый балл тестируемого будет сильно занижен. В-третьих, балл тестируемого мало зависит от числа выполненных им заданий, что затрудняет дальнейшее сравнение учащихся.
На практике давно и успешно применяется аддитивная оценка уровня знаний тестируемого:
ЦК) = ^ ™а,
аек
где К — множество заданий теста А, выполненных тестируемым. В дальнейшем функцию т(К) будем называть весовой функцией теста (изучаемого курса), а ее значения на отдельных заданиях — числа та, а е А, — весами соответствующих заданий.
Хорошо известны следующие группы методов назначения весов заданий теста.
1. Экспертный. Обычно экспертом является составитель заданий, который назначает веса, руководствуясь собственным опытом. Возможны и более сложные процедуры назначения весов заданий с участием нескольких экспертов.
2. Частотный. Веса заданий назначают лишь после проведения теста с некоторой группой, причем задание получает больший вес, если оно решено меньшим числом тестируемых. Для более точного расчета весов используют различные математические модели, в том числе модели Раша, Бирнбаума и др.
Недостатки обоих методов очевидны. Первый метод субъективен и мало применим к построению тестов по новым курсам. К недостаткам второго метода следует отнести невозможность указания веса задания до проведения теста и появление больших весов у простых, но непопулярных заданий.
Итак, пусть А = { а1, а2,...,ап} — множество заданий теста (разделов курса) со структурой непосредственного следования Б; отношением частичного порядка 1г(Б), п-мерным вектором с неотрицательными координатами а = (аа); характеристической функцией v, заданной формулой (8). В работе [4] показано, что веса Шеп-ли ш = Бк^) являются разумными весами заданий, а величины ш(К) — близкими к уровню знаний v(K) и более устойчивыми при случайных ошибках тестируемых.
Приведем примеры расчета весов заданий теста для курсов, имеющих различную структуру.
Пример 2. Пусть все разделы курса А = {а1, а2,..., ап} не связаны друг с другом (¿'(а.;,) = 0, г = 1, п), а аа — время, затрачиваемое на изучение раздела а. Значение характеристической функции v(K) — время, затраченное на изучение разделов совокупности К, равное v(K) = ^ аа. Таким образом, характеристическая функция
а/К
игры Г = (А, v) аддитивна. В этом случае вес раздела (задания теста) а е А совпадает со временем на изучение соответствующего раздела курса А: ша = v({а}) = аа.
Пример 3. Предположим, что курс обучения, состоящий из четырех разделов, имеет структуру, указанную на рис. 1. В этом случае веса заданий, соответствующие этим разделам, можно найти по формулам (4), (5), приведенным для примера 1.
Пример 4. Курс, по которому со-• а« ставлен тест, состоит из 6 разделов. Его
Об структура задается схемой, изображенной
на рис. 2. Числа щ ^ 0, г = 1.6, определяют время, необходимое для изучения соответствующих разделов, при условии, что все предыдущие разделы уже освоены. Таким образом, время на изучение всех разделов курса равно v(A) = а1 + а2 + ■ ■ ■ + а6. Для каждого раздела а е А укажем множества непосредственно ему предшествующих разделов:
Б(а1) = 0, Б(а2) = {а1}, Б(а3) = {а1}, Б(а.4) = {а.2}, Б(а5) = {а.2}, Б(аб) = {аз, а,4, а5, }.
Учитывая структуру курса, найдем компоненты вектора Шепли по формуле (9). В результате получим следующие веса разделов курса (задач теста):
= а1/6, Ю2 = а1/6 + а2/4, юз = а1/6 + аз/2, V4 = а1/6 + а2/4 + а4/2, •шь = а1/6 + а2/5 + а5/2, = 0,1/6 + а2 /4 + аз/2 + а4/2 + а5/2 + ае.
Пример 5. Для студентов, изучавших интегральное исчисление в вузе, был подготовлен тест, содержащий 24 задания по 9 разделам курса. В работе авторов [3] был составлен граф структуры курса и подготовлен вектор времен, затраченных для освоения соответствующих разделов курса. Веса заданий рассчитывались по формуле (9) и сравнивались как с экспертными, так и с частотными весами. Результаты сравнений приведены в той же работе.
Рис. 2. Структура курса, содержащего 6 разделов
5. Заключение. Построен класс игр, для которых вектор Шепли рассчитывается по простым формулам, причем компоненты вектора можно использовать для расчета сложности заданий педагогических тестов. Приписывая заданиям теста различные веса, мы существенно увеличиваем разрешающую способность теста, так как разбиваем группу тестируемых на большее число подгрупп. Использование операции дополнения позволило связать игры «с заданной структурой разрешений» и построенные нами игры «сумма знаний».
Литература
1. Littlechild S. C., Owen G. A simple expression for the Shapley value in a special case // Management Sci. 1973. Vol. 20. P. 370-372.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник / пер. под ред. В. И. Звонникова, М. Б. Челышковой. М.: Логос, 2010. 668 с. (Crocker L., Algina J. Introduction to Classical and Modern Test Theory.)
3. Луценко М. М., Шадринцева Н. В. Кооперативный и частотный подходы к назначению весов заданий теста // Изв. Петерб. ун-та путей сообщения. СПб.: Петерб. гос. ун-т путей сообщения, 2014. Вып. 3(40). С. 150-156.
4. Луценко М. М., Шадринцева Н. В. Кооперативный подход к назначению весов заданий в педагогическом тесте // Математическая теория игр и ее приложения. 2014. Т. 6, вып. 4. C. 37-67.
5. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. 2-е изд., испр. и доп. М.: Высшая школа, 2000. 168 с.
6. Handbook of Modern Item Response Theory / eds: Win J. Van der Linden, R. K. Hambleton. New York: Springer-Verlag, 1997. 510 p.
7. Луценко М. М. Теоретико-игровой подход к оценке точности тестирования // Математическая теория игр и ее приложения. 2009. Т. 1, вып. 4. С. 63-77.
8. Lutsenko M. M., Shadrintseva N. V. The Shapley and Banzaf values for different courses of study // The Sixth Intern. conference "Game Theory and Management": abstracts. St. Petersburg: St. Petersburg State University, 2012. P. 165-169.
9. Lutsenko M. M., Shadrintseva N. V. Shapley value in testing // Proceedings of the second Intern. conference "Game theory and management application", "Game theory, operations research and applications". Hyderabad, India: Institute of public enterprise, 2012. P. 47-49.
10. Mashler M., Solan E., Zamir S. Game theory. Cambridge, USA: Cambridge University Press, 2013. 1005 p.
11. Петросян Л. А., Зенкевич Н. А., Шевкопляс Е. В. Теория игр: учебник. СПб.: БХВ-Петербург, 2012. 432 с.
12. Shapley L. S. A value for W-person games // Contributions to the Theory of Games II / eds. H. W. Kuhn, A. W. Tucker. Princeton: Princeton University Press, 1953. P. 307-317.
13. Branzei R., Fragnelli V., Tijs S. Tree-connected peer group situations and peer group games // Mathematical Methods of Operations Research (Prinston; New York). 2002. Vol. 55. P. 93-106.
14. Gilles R. P., Owen G., Brink R. van den. Games with permission structures: The Cunjuctive Approach // Intern. Journal of Game Theory. 1992. Vol. 20, iss. 3. P. 277-294.
15. Rasmusen E. Games and information, An Introduction to Game theory. Oxford, UK; Cambridge, USA: Blackwell, 1989. 560 p.
16. Ni D., Wang Y. Sharing a polluted river // Games and Economic Behavior. 2007. Vol. 60. P. 176—186.
Для цитирования: Луценко М. М., Шадринцева Н. В. Веса Шепли для заданий педагогического теста // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2017. Т. 13. Вып. 3. С. 300-312. DOI: 10.21638/11701/spbu10.2017.307
References
1. Littlechild S. C., Owen G. A simple expression for the Shapley value in a special case. Management Sci., 1973, vol. 20, pp. 370-372.
2. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Boston, Cengage Learning, 2006, 527 p. (Russ. ed.: Crocker L., Algina J. Vvedeniye v klassicheskyu i sovremennyu teoriu testov. Moscow, Logos Publ., 2010, 668 p.)
3. Lutsenko M. M., Shadrintseva N. V. Kooperativnyj i chastotnyj podhody k naznacheniju vesov zadanij testa [Cooperative and frequency approaches to assigning weights of the test]. Proceeding of Saint Petersburg University of Railways, 2014, vol. 3(40), pp. 150—156. (In Russian)
4. Lutsenko M. M., Shadrintseva N. V. Kooperativnyj podhod k naznacheniju vesov zadanij v pedagogicheskom teste [A cooperative approach to assigning the weights of the tasks in the pedagogical test]. Matematicheskaja teorija igr i ee prilozhenija [Mathematical game theory and its applications], 2014, vol. 6, iss. 4, pp. 37—67. (In Russian)
5. Neiman U. M., Khlebnikov V. A. Vvedenie v teoriju modelirovanija i parametrizacii pedagogicheskih testov. 2-e izd., ispr. i dop. [Introduction to the theory of modelling and parameterization of pedagogical tests]. Moscow, Vysshaja shkola Publ., 2000, 168 p. (In Russian)
6. Handbook of Modern Item Response Theory. Eds by Win J. Van der Linden, R. K. Hambleton. New York, Springer-Verlag Publ., 1997, 510 p.
7. Lutsenko M. M. Teoretiko-igrovoj podhod k ocenke tochnosti testirovanija [Game-theoretic approach to the assessment of testing accuracy]. Matematicheskaja teorija igr i ee prilozhenija [Mathematical game theory and its applications], 2009, vol. 1, iss. 4, pp. 63—77. (In Russian)
8. Lutsenko M. M., Shadrintseva N. V. The Shapley and Banzaf values for different courses of study. The Sixth Intern conference "Game Theory and Management": abstracts. Saint Petersburg, Saint Petersburg State University Press, 2012, pp. 165—169.
9. Lutsenko M. M., Shadrintseva N. V. Shapley value in testing. Proceedings of the second Intern. conference "Game theory and management application", "Game theory, operations research and applications". Hyderabad, India, Institute of public enterprise Press, 2012, pp. 47—49.
10. Mashler M., Solan E., Zamir S. Game theory. Cambridge, USA, Cambridge University Press, 2013, 1005 p.
11. Petrosiyan L. A., Zenkevich N. A., Shevkoplias E. V. Teorija igr: uchebnik [Game theory: textbook]. Saint Petersburg, BHV-Petersburg Publ., 2012, 432 p. (In Russian)
12. Shapley L. S. A value for N-person games. Contributions to the Theory of Games II. Eds by H. W. Kuhn, A. W. Tucker. Princeton, Princeton University Press, 1953, pp. 307—317.
13. Branzei R., Fragnelli V., Tijs S. Tree-connected peer group situations and peer group games. Mathematical Methods of Operations Research (Princeton, New York), 2002, vol. 55, pp. 93—106.
14. Gilles R. P., Owen G., Brink R. van den. Games with permission structures: The Cunjuctive Approach. Intern. Journal of Game Theory, 1992, vol. 20, iss. 3, p. 277—294.
15. Rasmusen E. Games and information, An Introduction to Game theory. Oxford, UK; Cambridge, USA, Blackwell Publ., 1989, 560 p.
16. Ni D., Wang Y. Sharing a polluted river. Games and Economic Behavior, 2007, vol. 60, pp. 176—
186.
For citation: Lutsenko M. M., Shadrinceva N. V. Shapley weights of test items. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2017, vol. 13, iss. 3, pp. 300-312. DOI: 10.21638/11701/spbu10.2017.307
Статья рекомендована к печати проф. Л. А. Петросяном. Статья поступила в редакцию 5 марта 2017 г. Статья принята к печати 8 июня 2017 г.
