CC BY
100
Метод интервальной оценки результатов выполнения системы одиночных тестовых заданий закрытого типа с единственным верным ответом
Печников Андрей Николаевич Заслуженный деятель науки РФ, доктор педагогических наук, доктор технических наук, профессор, профессор кафедры кораблевождения Военного института (военно-морского)
ВУНЦ ВМФ “Военно-морская академия”,
197045, г. Санкт-Петербург, Ушаковская наб., д.17/1; тел. +79119221982
pan287@users.mns.ru
Палкин Константин Сергеевич адъюнкт кафедры кораблевождения Военного института (военноморского)
ВУНЦ ВМФ “Военно-морская академия”,
197045, г.Санкт-Петербург, Ушаковская наб., д.17/1; тел. +79312027052
palkinks@mail. га
Аннотация
В статье рассматривается способ интервальной оценки результатов выполнения системы одиночных критериально-ориентированных тестовых заданий закрытого типа с единственным верным ответом, основанный на использовании свойства дихотомичности ответа обучаемого The article considers the method of interval estimations of results of implementation of system of a single criterion-referenced strategy oriented test tasks of the closed type with a single correct answer, based on the use of properties of dichotomicity answer trainee Ключевые слова
критериально-ориентированный тест; точечная оценка; интервальная оценка; доверительный интервал
criterion-referenced test; the point estimate; interval estimate; confidence interval Введение
Ниже под термином “педагогический тест” понимается “совокупность тестовых заданий, позволяющая по результатам их выполнения объективно измерить уровень подготовленности испытуемых по конкретным разделам определенной области знания” [1]. Термин “тестовое задание” трактуется как “учебное задание специфической формы, элемент теста, минимальная законченная составляющая единица теста, по которой испытуемый в ходе выполнения теста совершает отдельное действие, а его результат регистрируются в первичном протоколе в форме отдельного ответа” [1].
Тестовые задания по форме ответов разделяют на открытые и закрытые. Задание открытого типа - “тестовое задание без указания возможных вариантов ответа; испытуемому предлагается самостоятельно указать правильный ответ” [1]. Тестовые задания закрытого типа предполагают наличие готовых вариантов ответа, его “содержание сопровождается несколькими номерованными вариантами ответа; испытуемому предлагается выбрать номера правильных ответов или расположить их заданном порядке” [1].
Тестовые задания закрытого типа могут быть представлены в нескольких формах: 1) одиночный выбор, когда тестируемый должен выбрать один вариант ответа из нескольких предложенных; 2) множественный выбор, когда тестируемый должен выбрать несколько вариантов ответа из нескольких предложенных; 3) соответствие, когда тестируемому нужно упорядочить два списка таким образом, что бы они соответствовали друг другу; 4) упорядоченный список, когда тестируемому нужно упорядочить список в заданном порядке. Наиболее распространенным видом тестовых заданий являются тестовые задания закрытого типа в форме одиночного выбора (с одним правильным вариантом ответа).
Кроме того, тесты, тестовые задания и методы оценки их результатов бывают нормативно-ориентированными и критериально -ориентированными.
Тест нормативно-ориентированный - “частный случай относительного теста, позволяющий сравнивать учебные достижения (уровень подготовленности) отдельных испытуемых друг с другом или относительно предварительно полученных тестовых норм” [1]. Тест критериально-ориентированный - “частный случай теста, предназначенного для абсолютного тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемый учебной программы или ее части. При этом результаты тестирования сравниваются с некоторым критерием уровня подготовленности” [1].
Достоинства и недостатки приведенных выше видов тестовых заданий и методы оценки полученных по ним результатов широко обсуждаются в педагогическом сообществе. При этом обсуждаются инструментальные средства создания тестов и способы их применения [2,3,4,5,6], оценивается влияния видов и сложности тестовых заданий на результаты тестирования [7,8,9], описываются различные методы и модели обработки первичных результатов (сырых баллов) тестирования [10,11,12,13,14].
Гораздо меньше публикаций направлено на анализ и разработку способов получения первичных результатов (сырых баллов). К числу таких способов и относится процедура оценки результатов выполнения систем критериальноориентированных тестовых заданий, представленных в форме одиночного выбора.
Анализ современного состояния проблемы
Обычно в качестве исходной характеристики результатов тестирования рассматривается вероятность р успеха, которая определяется как “вероятность того, что определенный участник тестирования верно решит тестовое задание” [15]; как “вероятность правильного ответа на задание” [16] и как “вероятность правильного выполнения заданий теста” [17].
Показатель В, которым оценивается вероятность р успеха (успешность), является оценкой вероятности только в теории. На практике он определяется в виде показателя частости вида
п
X л-
в = ^, (1)
п
где: I (I = 1, п) - номер тестового задания, п - общее число тестовых заданий, Л (Л = 0,1) результат выполнения отдельной попытки при наличии соответствия и = 1 - ошибок нет, Л = 0 - ошибки есть.
При таком подходе оценка (1) является точечной эмпирической оценкой, достоверность которой может быть оценена только на основании закона больших чисел.
Ниже предлагается метод, который позволяет оценивать безошибочность не как частость, а как вероятность, имеющую вполне определенный доверительный интервал.
Предлагаемый метод базируется на том факте, что в рассматриваемом случае успешность В является дихотомической переменной вида “да - нет (правильно -неправильно, верно - неверно и т.п.)”, а процедура ее определения в процессе решения выборки из п тестовых заданий соответствует схеме Бернулли.
Постановка и решение задачи интервальной оценки результатов тестирования
Пусть в результате решения обучаемым выборки из п тестовых заданий получен вектор (примеры векторов приведены в табл. 1)
./' (./'•.Л..../,)• (2)
в котором = 0,1 есть оценки успешности выполнения соответствующего задания ( У( = 1 - задание выполнено без ошибок, = 0 - задание выполнено с ошибками). Требуется оценить вероятность р безошибочной деятельности.
Таблица 1
Некоторые варианты векторов результатов тестирования для п = 12
Вариант І іі Іі із І4 І5 І6 Л І9 ./іо /11 112
1 1 1 1 1 1 1 1 1 1 1 1 1
2 1 0 1 1 1 1 1 1 1 1 1 1
3 1 1 1 0 1 1 1 1 1 1 1 1
4 1 1 1 1 1 1 1 1 1 1 1
5 1 0 1 0 1 1 1 1 1 1 1 1
6 1 1 1 1 1 1 1 0 1 1 1
7 1 1 1 1 0 1 1 1 1 1 1
8 1 1 1 1 0 1 1 1 0 1 1 1
9 1 1 1 1 0 1 1 1 1 1 1 0
10 1 1 1 1 1 0 1 1 1 1 1 0
Введем понятие вектора непрерывного успеха И, под которым будем понимать любую часть вектора (2), каждый из элементов которой равен 1 ( /( = 1).
Например, в табл. 1 для 6 варианта вектора у это вектора Л = (/, ,/2).
И: (У;../,../..../ Лз =О'10,уп,у12). Величина каждого из векторов 1ь
непрерывного успеха оценивается как
к = X /■ (5=1=т). (3)
Л=!
Л £*.1
Рассмотрим событие появления вектора (2) как совокупность двух видов событий:
1) события Ь, заключающееся в том, что при выполнении п заданий обучаемым было допущено к ошибок;
2) событий Н, заключающихся в появлении в векторе (2) т векторов непрерывного успеха.
Поскольку ^ есть дихотомическая переменная, вероятность Р(Ь) наступления события Ь оценивается по биномиальному закону
Р(Ь) = С>п-У Ш С = —п^~, (4)
к !(п - к)!
где: р - вероятность безошибочного выполнения задания, д = 1- р - вероятность выполнения задания с ошибкой, к - число заданий, выполненных с ошибкой, п -общее число заданий, п - к - число заданий, выполненных без ошибок.
На том же основании вероятность Р(Н) наступления событий Н оценивается по геометрическому закону
Р(Н) = ркд , (5)
где: р - вероятность безошибочного выполнения задания, д = 1- р - вероятность выполнения задания с ошибкой, к (к = 1, (п - к)) - номер / последнего задания,
выполненного без ошибки.
События к:, е Н относятся к категории попарно несовместных событий,
поэтому вероятность Р(Н) любой из их реализаций оценивается по формуле
5=т
Р(Н) = Р(к и... ик, и... икт) = Р(к) +... Р(к) +... Р(кт) = XР^Ч , (6)
5=1
корректность расчетов по которой определяется выполнением условий
5=т
X К = п - к ; (7)
5=1
Г к ї де ]п = 0
т = 1 ■>п . (8)
Ік+1 їде л = 1
Эти условия вытекают из смысла задачи, принципов формирования векторов ] , к5 и фиксируют следующие очевидные соотношения:
1. Число т векторов непрерывного успеха всегда равно числу к допущенных ошибок, если последнее задание п выполнено с ошибкой (]п = 0), и всегда на 1 больше числа к, если последнее задание п выполнено без ошибок (/я = 1). При этом в
случае отсутствии ошибок (к=0) вектор непрерывного успеха существует и в качестве него рассматривается сам вектор /, т.е. при к= 0 имеют место соотношения:
т=1, к = п .
2) скалярная сумма величин векторов непрерывного успеха всегда равна разности между общим числом п тестовых заданий (общим числом элементов /\ в
векторе /) и числом к ошибок (числом элементов в векторе /, для которых
наблюдался неблагополучный исход = 0).
Обосновано, что события вида Ь и вида Н независимы. Поэтому вероятность Р{ЬН) их совместного наступления с учетом (4) определяется как
5=т
Р(Ш) = Р(Ь)Р(Н) = Скп рп-кдк+1 £ рк , (9)
5=1
а с учетом д = 1 - р по формуле
5=т
Р(/Н) = Скрп-к (1 - р)к+1 £ Рк . (10)
5=1
Для оценки в (9,10) неизвестного параметра р предлагается использовать
метод максимального правдоподобия, при котором в качестве оценки вероятности р
принимается ее значение
р = аггтах /(/Iр) = агетах Р(ЬН), (11)
р е (0,1) РЕ(0,1)
максимизирующее вероятность Р(ЬН) появления при выполнении п тестовых заданий вектора / = (/,......./(.../в), характеризующего результативность
деятельности рассматриваемого обучаемого.
Поиск р целесообразно реализовать путем решения следующей задачи нелинейного программирования
С к п-к/л \„+1 X ' h _ _
„Р (1 -Р) £Ps ^ max,
7=1 Р
p е (0,1), к = 1, п,
h = 1, (п - к), £ h = п - „
(12)
Для решения (12) целесообразно использовать стандартную функцию “Solve (Поиск решения)” Microsoft Excel.
Анализ и интерпретация результатов
Сравним оценки обучаемых, полученные обычным путем и на основе предлагаемого метода.
Пусть обучаемыми выполнено 12 заданий и получены результаты, приведенные в табл. 1. Результаты оценки успешности приведены в табл. 2.
Таблица 2
Оценки успешности для вариантов результатов деятельности, приведенных в таблице 1
s=1
№ вари- анта n к hi h2 hs Ah = hmax - hmin Оценка p по модели (2) Оценка p по модели (12) Значение (10)
1 12 0 12 - - 0 1,0000 0,9600 0,0150
2 12 1 1 10 - 9 0,9167 0,8757 0,0491
3 12 1 3 8 - 5 0,9167 0,8875 0,0443
4 12 1 5 6 - 1 0,9167 0,8917 0,0425
5 12 2 1 1 8 7 0,8333 0,7951 0,1003
6 12 2 2 5 3 3 0,8333 0,8129 0,0846
7 12 2 4 4 2 2 0,8333 0,8141 0,0836
8 12 2 4 3 3 1 0,8333 0,8158 0,0823
9 12 2 4 6 - 1 0,8333 0,8316 0,0403
10 12 2 5 5 - 0 0,8333 0,8333 0,0397
С учетом того, что размах = величин векторов /?, объективно
характеризует стабильность деятельности обучаемого, приведенные в табл. 2 данные имеют соответствующую здравому смыслу закономерность: при одном и том же числе ошибок безошибочность тем выше, чем стабильнее результаты деятельности обучаемого.
Таким образом, оценки по модели (12) ограничены сверху соответствующими оценками по модели (2) и совпадающими с ними оценками по модели (4).
При поиске
5=т
р = тах Скп рп-к (1 - р)к+1 £ рК
РЕ(0Д) 5=1
p ^ max при Cknpn k (1 - p)k+1 У phs ^ min . Рассмотрим функцию
F(p,n,k,{hs}) = C^(1 -p)k+1 £phs . (ІЗ)
s=1
и найдем ее экстремальные значения в условиях
p, q , n, k = const
и ^. (І4)
hs = var
Очевидно, что в условиях (14) max и min функции (13) определяются
s=m
значением суммы У phs , в которой все параметры фиксированы в соответствии с
s=1 s=m
(7,8). Найдем min У phs . В соответствии со следствием из теоремы о среднем
h =var s s=1
арифметическом и среднем геометрическом имеем место соотношение
п I п
min У a = n • ЛП a
i=1 V i=1
т.е. сумма минимальна, когда все слагаемые одинаковы. Отсюда с учетом (7)
j s=m
s=m — У hs n-k
min У phs = mpm s=1 = mp m . (І5)
h =var s s=1
s=m
Найдем max У phs . Очевидно, что в условиях (14) с учетом (7)
h =var s s=1
s=m
max У phs = Г(m -1)p + pn-k-m+11. (І6)
h =var [ —
h =var s=1
При поиске
p = arg max c„ pn-k (1 - p)k+1 У ph
s=1
с учетом (8) определяется как абсцисса точки, в которой функции
з=ш п~к
F(p,n,k, {й,}) = Спкрп-у+1У 1 = (1- 1+1 їде 7я = 0 ,(17)
s=1
s=m
F(p,n,k,{hs}) = СУ-У+У1 = Cknpn-k(1-p)k+'(k + 1)pk+1 їде jn = 1, (ІВ)
s=1
принимают максимальные значения.
Найдем максимальные значения функций (4,17,18) и для чего решим следующие уравнения:
1. Для функции (4):
сР(Ь)_ Л [Скрп-к (1 - р)к ]
dp dp d [ pn-k (1 - p)k -
dp
Введем переменные l = n - k, g = k, тогда (19) примет вид
d [P (1 - P)s -
= G,
= G. (І9)
dp
Решая (20), имеем
= G. ^0)
ір Ч1-1 -1(1 - 1)Я 1 = о І
р =
1+я
Подставляя в полученное решение значения I и g, получаем
п - к
р = -
(22)
2. Для функции (17):
dP( Ш) йр
Скрп-к (1 - Р)к+1 кр к
йр '(1 - Р)к
= 0.
йр
= 0 .
(23)
п - к ( 1 ^
Введем переменные I = п - к +-= (п - к) I 1 + —I, £ = к +1, тогда (23)
к ^ к)
примет вид (20). Подставляя в решение (21) принятые значения 1^ , имеем
Г
Р =
(п - к) I 1 + - .
і ^ к) п - к п - к
і + Я / і \ ( л 1 і т і п - к + к & (п - к) | 1 + —.+ к +1
(24)
Отметим, что для рассмотренного случая может существовать физическая
реализация вектора ]. Вектор ], соответствующий (24), должен удовлетворять
т п — к п л
условиям (7,8) и условию к5 = сот1. Это возможно, если к5 =-------------= —-1 и
т к
п
соответственно-------целые числа.
к
3. Для функции (18):
йР(ЬИ)
Скрп-к (1 - Р)к+1 (к +1) Рк
йр
йр '(1 - Р)к
= 0,
йр
= 0 .
п__к ( 1
Введем переменные і = п - к + -—- = (п - к) | 1 + -
к +1 ^ к +1 примет вид (20). Подставив в решение (21) принятые значения , имеем
(25)
Я = к +1, тогда (24)
/
п - к
Р =
1 + Я
п + -
1
к + 2
(26)
п
й
п
Оценка (26) всегда ограничена сверху оценкой (22) и разница между ними составляет
п - к п - к п - к
Ар =----------
_1 n2(k + 2) + n
k + 2
(З7)
Отметим, что для рассмотренного случая физическая реализация вектора j = у,.также может существовать. Как отмечалось выше вектор у,
соответствующий (26), должен удовлетворять условиям (7, 8) и условию h = const .
п - к п - к п
Такое возможно, если h =
k rr k
- целое число. Поскольку
т к +1 к + 1 к +1 к +1
никогда не бывает целым числом, то последнее условие выполняется только при
п = ак , где а = 2, да. Очевидно, что к = пк = (а -1) —к---------целое при а = к + 2 и
А' + 1 к+ \
п = к(к + 2). Значит вектор у, соответствующий (26), существует при
, п - к к (к + 2) - к , ,
п3 =-----=---------------= к, т.е. когда скалярная величина к всех векторов
к +1 к +1
непрерывного успеха равна числу к ошибок.
Продемонстрируем справедливость приведенных выше выводов на примере. Пусть А-3, тогда вектор у , который будет соответствовать (26), при п = к (к + 2) = 15, к = 3 и примет вид
у = (у.../...../ .) (1.1.1.П.1.1.1.П.1.1.1.П.1.1.1) • (27)
В этих же условиях вектор у , соответствующий (24), примет вид
./ = (у..У,...у .) (1.1.1.1.».!. 1.1.. (28)
Покажем, что вектор (27) по сравнению с другими векторами при п = 15, к=3 дает
п к = 0,0105 от
оценку p, которая имеет минимальное отклонение Ap =
n (k + 2) + n
оценки (22), а вектор — оценку совпадающую с оценкой (22), для чего рассмотрим и оценим вектора, характеристики которых приведены в табл. 3.
Таблица 3
Оценки успешности для некоторых вариантов векторов у
n к h2 hs h4 Ah = hmax - hmin Оценка p по моделям (І,4) Оценка p по модели (7) Ap
І І5 3 І І І 9 В 0,В00 0,7690 0,0ЗІ0
З І5 3 З 3 4 3 З 0,В00 0,7ВВЗ 0,0ІІВ
3 І5 3 3 3 3 3 0 0,В00 0,7В95 0,0І05
4 І5 3 3 5 4 - З 0,В00 0,79В5 0,0015
5 І5 3 4 4 4 - 0 0,В00 0,В000 0,0000
n
Приведенные в табл. 3 результаты расчетов в явном виде демонстрируют, что при любых сочетаниях векторов непрерывного успеха оценка p по (7) ограничена сверху оценкой по (1.4) и достигает своего максимального значения при выполнении на векторе j = Ц,следующих условий: n
1) условия h = — 1 — целое число, для случая (17), когда jn = 0;
к
2) условия h = к, n = к(к + 2) для случая (18), когда j = 1.
Отсюда следует, что при определении доверительного интервала для оценок (12) корректно использование следующих формул оценки доверительных интервалов биномиального распределения:
1) оценка точного доверительного интервала:
___________(П - к)_________ (П ~ к + 1)F2(n-k+1), 2к, 1-е/2 ^9)
^ (n — к) + (к + 1)^2(к+1),2(п-к),1-s/2 к + (П — к + 1)^2(п-к+1),2к, 1-s/2 у
где n - число испытаний, к - число ошибок, а Ffta - квантиль порядка а
распределения F с fg степенями свободы;
2) оценка приближенного доверительного интервала производится в
соответствии с центральной предельной теоремой, когда при больших n
распределение биномиальной случайной величины будет близко к нормальному, как
fp-^JVp+^Jv], (30)
V П V n
V ’ '/
где: щ_вП - квантили стандартного нормального распределения порядка (1 - е / 2).
Таким образом, применение предлагаемого метода оценки успешности обеспечивает переход от точечных оценок эмпирической частости к теоретически обоснованной оценке вероятности правильного действия или результата, которая имеет количественно оцениваемый доверительный интервал.
Литература:
1. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. - М.: Центр тестирования и развития “Гуманитарные технологии”, 2009. [Электронный ресурс] URL: http://www.ege.ru/dict/dict1.htm (дата обращения: 21.03.2014)
2. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)” - 2007. - Т. 10 -№ 3.- С.336-360. ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
3. Хохлов Д.Г., Захарова З.Х., Захаров А.Н. Оценка уровня подготовки в системе электронного обучения программированию // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)” - 2012. - Т. 15. - № 1. - С. 537-554. ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
4. Сафаров Р.Х., Хрусталев А.В. Типы вопросов тематических тестов по классической механике на основе программного продукта TestMaker // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”. - 2010. - Т. 13. -№ 1. - С. 281-292. ISSN 14364522. URL: http ://ifets.ieee.org/russian/periodical/j ournal. html
5. Осадчий В.В. Компьютерная система рейтингового оценивания знаний, как средство повышения уровня знаний студентов. // Международный электронный
журнал “Образовательные технологии и общество (Educational technology & Society)” - 20ІЗ. - Т. 16. - № 2. - С. 361-37i. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html .
6. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) / И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126с.
7. Кинцель ДА., Кузнецов A.B. Нечисловой подход к моделям тестирования и оцениванию параметров тестов // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)” -2007. - Т. 10. - № 1. - С. 276-28І. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
8. Сафаров Р.Х., Панищев О.Ю. Численное моделирование инвариантности оценки знания относительно трудности тестовых заданий в рамках модели Г. Раша // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”- 20І2. - Т. 15. - № 1. - С. 424-435. ISSN І43б-4522. URL: http ://ifets.ieee.org/russian/periodical/j ournal. html
9. Хохлов Д.Г., Захарова З.Х., Захаров A.H. Оценка уровня подготовки в системе электронного обучения программированию // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)” - 20І2. - Т. 15. - № 1. - С. 537-554. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
10. Оганесян AX. Aнатомия внешнего независимого оценивания знаний // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”. - 20І2. - Т. 15. - № 4. - С. 457-479. ISSN І43б-4522. URL: http ://ifets.ieee.org/russian/periodical/j ournal. html
11. Осадчий В.В. Компьютерная система рейтингового оценивания знаний как средство повышения уровня знаний студентов // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)” - 20ІЗ. - Т. 16. - № 4. - С. 361-37i. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html .
12. Кузнецов A.B. Методика тестирования знаний и устранение случайных ошибок // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”. - 2007. - Т. 10. - № 1. - С. 271-275. ISSN І43б-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html .
13. Колгатин AX., Колгатина Л.С. Вопросы качества процедур тестирования и интерпретации тестовых результатов в информационно-коммуникационной педагогической среде // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”. - 20ІЗ. - Т. 16. - № 1. -С. 575-585. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html .
14. Печников A.H., Туровская A^., Туктаров P.P. Модели и процедуры оценки результатов компьютерного тестирования знаний // Международный электронный журнал “Образовательные технологии и общество (Educational technology & Society)”. - 20ІЗ. - Т. 16. - № 4. - С. 365-37i. ISSN І4Зб-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html .
15. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. - М: Логос, 2002. - 432 с. [Электронный ресурс] URL: http://www.twirpx.com/file/i0i903/ (дата обращения: 21.03.2014)
16. Ким В.С. Тестирование учебных достижений: Монография. - Уссурийск: Издательство УГПИ, 2007. - 214 с. [Электронный ресурс] URL: http://www.twirpx.com/file/639729/ (дата обращения: 21.03.2014)
17. Нейман Ю.М., Хлебников B.A. Введение в теорию моделирования и параметризации педагогических тестов. - Москва, 2000. - 168 с.
