CC BY
36
УДК 378.14 (Организация учебной работы)
РАСЧЕТ ДИСКРИМИНАТИВНОСТИ И ВАЛИДНОСТИ ДЛЯ ОЦЕНКИ КАЧЕСТВА ПЕДАГОГИЧЕСКОГО ТЕСТА ИЗ КУРСА МАТЕМАТИКИ
ПО ТЕМЕ «РЯДЫ»
© 2021 Л.В. Лиманова1, Н.В. Попов2 Лиманова Лариса Владимировна, кандидат технических наук, доцент, доцент кафедры «Высшая математика». E-mail: [email protected] Попов Николай Владимирович, доктор медицинских наук, доцент, профессор кафедры «Стоматология детского возраста и ортодонтии».
E-mail: [email protected] ''Самарский государственный технический университет. 2Самарский государственный медицинский университет Минздрава России.
Самара, Россия
Статья поступила в редакцию 29.01.2021
Последние двадцать лет на кафедре «Высшая математика и прикладная информатика» Самарского государственного технического университета для контроля знаний студентов используются тесты по всем главам курса «Математика». Чтобы понять, насколько объективно тот или иной тест позволяет провести данную оценку, необходимо исследовать его качество. Этой проблеме посвящены многие теории. В данной статье будет проведен анализ качества теста и тестовых заданий на основе классической теории тестов. Исследование состоит из следующих этапов: составление контролирующего теста; проведение его на выборке студентов, которая удовлетворяла бы всем требованиям статистического анализа; обработка этой выборки и расчет основных характеристик; анализ получившихся коэффициентов, который позволяет сделать вывод о том, можно ли применять исследуемый тест в качестве контроля уровня знаний студентов и какие изменения надо провести, чтобы его улучшить. В данной статье проводится анализ некоторых характеристик при исследовании качества теста по теме «Ряды» курса математики, а именно дискриминативности и валидности. Для анализа валидности теста были найдены точечные бисериальные коэффициенты корреляции - это коэффициенты корреляции некоторого задания с индивидуальным баллом студента. После этого рассчитывался общий коэффициент валидности. Как показали расчеты, общий коэффициент валидности равен 0,53. Это достаточно высокий показатель, что нельзя сказать о некоторых точечных бисериальных коэффициентах корреляции, а именно для заданий №2 и 9. Следовательно, эти задания необходимо либо изменить, либо заменить другими. Анализ коэффициентов дискриминативности заданий теста показал, что их величины удовлетворяют требованиям экспертов.
Ключевые слова: педагогический тест, повышение качества теста, коэффициент корреляции, коэффициент валидности, коэффициент дискриминативности. DOI: 10.37313/2413-9645-2021-23-76-35-41
Введение. К сожалению, в настоящее время сокращаются часы для преподавания курса «Математика» даже в технических вузах. Поэтому преподавателю необходимо так организовать учебный процесс, чтобы студент мог освоить программу и чтобы осталось время для контроля пройденного материала. Использование теста в качестве средства оценивания позволяет быстро, с затратой минимума времени, проверить уровень знаний студентов. Но чтобы объективно оценить уровень подготовки обучающихся, мало просто составить набор задач. Эти задачи должны быть грамотно составлены, сбалансированы по сложности. Поэтому необходимо исследовать качество составленного теста, чтобы при необходимости можно было его улучшить.
В статье «Анализ надежности педагогического теста курса математики по теме «Ряды» [10] была проведена часть проверки качества данного теста, а именно анализ надежности педагогического теста. Было выявлено, что для повышения качества теста рекомендуется либо изменить некоторые задания (а именно, второе - услож-
нить, а девятое - упростить), либо увеличить количество заданий в тесте.
В данной статье рассмотрим другие характеристики, которые показывают, соответствует ли данный тест требованиям проверки уровня знаний обучающихся. Эти характеристики - валид-ность и дискриминативность [1 - 9, 13 - 17].
Методы. В данном исследовании при анализе теста «Ряды» будем проводить анализ качества теста и его заданий на основе классической теории тестов с помощью методов математической статистики [1 - 3, 6 - 9, 13, 16, 18 - 20].
Валидность - один из основных показателей качества теста (произошло от английского слова «valid», в переводе означает «годный»), но многие исследователи трактуют его по-разному. Существует множество методов и рассуждений, которые позволяют оценить или доказать высокую валидность определенного теста. Все эти методы имеют свои достоинства и недостатки, свои области применения и даже свое определение валидности.
Чтобы определить валидность исследуемого теста, необходимо сначала рассчитать точечные
Известия Самарского научного центра Российской академии наук. Социальные, гуманитарные, медико-биологические науки, т. 23, № 76, 2021 Izvestiya of the Samara Science Centre of the Russian Academy of Sciences. Social, Humanities, Biomedical Sciences, Vol. 23, no. 76, 2021
бисериальные коэффициенты корреляции гр)Ь ■
Эти коэффициенты характеризуют статистическую взаимосвязь данного задания с индивидуальным баллом студента и вычисляются с помощью формулы [7, 9, 11, 12]
Г
X1 - X 0
pb
ni ■ n0
n(n -1)
_ (1) где Х-1 - средний индивидуальный балл студентов, которые выполнили данное задание;
Xо - средний индивидуальный балл студентов, которые не выполнили это задание;
п1 - количество студентов, которые выполнили данное задание;
п0 - количество студентов, которые не выполнили это задание;
п - общее количество студентов; 5Х - стандартное отклонение для индивидуальных баллов всех студентов.
Для качественно составленного теста величины точечных бисериальных коэффициентов корреляции должны быть не менее 0,5 [2, 16].
Общий коэффициент валидности теста рассчитывается по формуле
rpb
M
Ъ
j =1
j
pb
M
(2)
где М - количество заданий в тесте.
В работе [16] так расцениваются его значения: 0,2 - 0,3 - низкий; 0,3 - 0,5 - средний; свыше 0,5 - высокий.
Следующая характеристика - дискриминатив-ность. Практически все исследователи трактуют ее следующим образом: дискриминативность (discriminatory power) - это способность задания дифференцировать студентов на «лучших» и «худших». Этот критерий качества теста позволяет отследить те задания, которые обладают определенными недостатками (некорректная формулировка, неоднозначность условия, очевидность решения и т.д. [13]). Для оценки данной характеристики также существует множество методов и формул в зависимости от целей создания данного теста, а также применяемого математического аппарата.
В данном исследовании для определения ко-
эффициента дискриминативности Г^иск зовалась формула [7, 11, 12]
исполь-
Г
диск
P
P0j
(3)
где р( - отношение количества правильных ответов на данное задание к 27% студентов, которые были признаны «лучшими» по результатам выполнения теста;
р0 - отношение количества правильных
ответов на данное задание к 27% студентов, которые были признаны «худшими» по результатам выполнения теста.
Все значения этого коэффициента находятся
в промежутке от -1 до 1. Причем Г^иск = 1 в том
случае, если все «лучшие» студенты правильно выполнят некоторое задание, а все «худшие» не
справятся с ним. Величина Гдиск = 0, когда одинаковое количество студентов решат данное задание в обеих подгруппах. Коэффициент Гдиск =
-1 в случае, когда все «худшие» студенты справятся с данным заданием, а все «лучшие» - не смогут этого сделать. Следовательно, те задания, у которых значения Гдиск отрицательны,
следует исключить.
Также дискриминативность можно определить и с помощью точечного бисериального коэффициента корреляции Гр}Ь (они вычислялись по
формуле (1)). Об этом говорится в источниках [7, 17]. В этом случае задания с коэффициентом дискриминативности меньше 0,2 также следует исключить из теста.
Результаты исследования и обсуждение. Объектом исследования является тест по теме «Ряды» из курса «Математика». Этот тест является средством для текущего контроля знаний студентов I курса Самарского государственного технического университета. Это тест закрытого типа, он состоит из 9 заданий (примерный набор задач представлен в табл. 1). Для каждого задания предлагаются 5 вариантов ответов, среди которых только один правильный.
Как и в случае при исследовании надежности, выборка состояла из 235 работ студентов нефте-технологического факультета, часть которых (33 работы) были исключены из выборки, вследствие того что не несли никакой информации об уровне качества теста (это работы студентов, которые либо не решили ни одной задачи, либо, наоборот, выполнили все задания теста). Рассчитаем требуемые величины для определения коэффициента валидности. По формуле (1) вычислим для данной выборке значения точечных бисери-альных коэффициентов корреляции. Соответствующие результаты расчетов, необходимые для этого, сведены в таблицу 2.
s
x
Таблица 1. Тест по теме «Ряды» (Test on "Rows")
№ Задания
Дан ряд Van .Указать все верные утверждения.
А) Если ряд сходится, то liman = 0 ; n—>от
1. Б) Если liman = 0 , то ряд сходится; n —ОТ В) Если liman ф 0 , то ряд расходится. n — ОТ Ответы: 1) А, В; 2) А, Б, В; 3) А, Б; 4) Б, В; 5) А
2. От 1 Найти сумму ряда V-. ' П=1(5п - 1)(5n + 4) Ответы: 1) — ; 2) - ; 3) 0; 4) — ; 5) - 15 4 20 5
3. ОТ П ОТ 1 ОТ n2 ОТ Определить, какие ряды сходятся: А) V—; Б) V—В) —; Г) V(n + -)- n=1 4 n=2 n ln n n=1 n + 1 n=1 Ответы: 1) А, Б; 2) А, Б, В; 3) Г; 4) А, Г; 5) А, В
4. м (-1)nn ^ (-1)nn2 Исследовать на сходимость ряды: А) V~—-п—; Б) V^-^-. n=1 4 n=1 n + 1 Ответы: 1) А сх. усл., Б сх. абс.; 2) А сх. абс., Б расх.; 3) А расх., Б сх. абс.; 4) А сх. усл., Б сх. усл.; 5) А сх. абс., Б сх. усл.
5 Найти радиус сходимости степенного ряда V n(* n 3 . n=1 2
Ответы: 1) 2; 2) 4; 3) 1; 4) -; 5) - 4 2
6. ОТ xln Найти область сходимости функционального ряда . n = 1 9 Ответы: 1) (-3,3); 2) (-3,3]; 3) [- 3,3); 4) (-3,0); 5) [-3,3]
Разложить в ряд Маклорена функцию х2(e ~3х -1).
7. Ответы: 1) х3 - -х4 + 3х5 -...; 2) - 3х3 + -х4 --х5 +...; 3) х3 + -х4 + -х5 +...; 2 2 2 2 2 2 4) 3х3 + -х4 + -х5 +... ; 5) 3х3 - -х4 + -х5 -... 2 2 2 2
8. Í2, - 4 < х < 0 г , Функция f (х) = j разложена на отрезке [- 4;4] в тригонометрический ряд [ х, 0 < х < 4
Фурье. Этот ряд в точке х = 0 сходится к Ответы: 1) 0; 2) 3; 3) 4; 4) 1; 5) 2
„ - , Í0, 0 < х < 2 Разложить в ряд Фурье по косинусам функцию f (х) = j 3 2 < < 4
9. _ ., ^ 6 ^ 1 . т ттх 3 6 ^ 1 . тт ттх Ответы: 1) 6 —> — sin—cos-; 2)---> — sin—cos-; т n 4 4 2 т tí n 2 4 1 . mm f ОТ 1 sin f ОТ 1 /- ОТ 1 „ 6 v-i 4 ттх ^ 6 v"1 1 • mm ттх „ 6 1 • mm ттх 3) 3 +—V -— cos-; 4) — V — sin—cos-; 5) 3 +—V — sin—cos- т tí n 4 т j=1 n 4 4 т tí n 4 4
37
Известия Самарского научного центра Российской академии наук. Социальные, гуманитарные, медико-биологические науки, т. 23, № 76, 2021 Izvestiya of the Samara Science Centre of the Russian Academy of Sciences. Social, Humanities, Biomedical Sciences, Vol. 23, no. 76, 2021
Таблица 2. Точечные бисериальные коэффициенты корреляции ^ и данные, необходимые для их вычисления (Point Biserial Correlation Coefficients rL
and the data needed to calculate them)
Номер задания A2 A7 A5 A3 A4 A1 A8 A6 A9
n 142 135 130 116 107 100 97 67 52
По 60 67 72 86 95 102 105 135 150
X i 5,35 5,56 5,61 5,80 5,84 5,4 6,06 6,04 6,5
X 0 3,12 2,9 3,01 3,17 3,38 3,1 3,41 4,01 4,05
J rpb 0,46 0,57 0,56 0,59 0,56 0,52 0,6 0,44 0,49
Характеристики, которые приведены в данной таблице, описаны в разделе «Методы». Величины точечных бисериальных коэффициентов корреляции Гр^ь находятся в последней
строке. Согласно рекомендациям экспертов [2, 16] необходимо, чтобы эти коэффициенты были не менее 0,5. Как видно из таблицы, коэффициенты заданий № 2, 6, 9 не удовлетворяют этому условию.
По формуле (2) определим общий коэффициент валидности теста
Грь = 0,53.
В соответствии с мнениями экспертов [2, 16] данный тест имеет высокий коэффициент валид-ности.
Рассмотрим следующую характеристику -дискриминативность.
Значения индекса дискриминативности
Гдиск, вычисленные по формуле (3) для исследуемого теста и необходимые данные для их вычисления, находятся таблице 3.
Таблица 3. Индексы дискриминативности rдиск и данные, необходимые для их вычисления (Discrimination indices Г^1{ск and the data needed to calculate them)
Номер задания A2 A7 A5 A3 A4 A1 A8 A6 A9
Pj 0,96 0,93 0,93 0,87 0,87 0,74 0,89 0,67 0,57
P0 0,39 0,3 0,22 0,17 0,15 0,33 0,13 0,17 0,06
yj диск 0,57 0,63 0,7 0,7 0,72 0,41 0,76 0,5 0,52
Характеристики, представленные в таблице, описаны в разделе «Методы». Анализируя табл.
3 можно заметить, что для всех заданий Г^иск
положительные и находятся в интервале от 0,41 до 0,76, что говорит о том, что тест «правильно» разделяет студентов на «сильных» и «слабых», и более подготовленные студенты справляются с каждым заданием лучше, чем те, которые не совсем разбираются в данной теме.
Среднее значение индекса дискриминативно-сти равно 0,61, что говорит о том, что исследуемый тест обладает хорошим дифференцирующим эффектом.
Оценим дискриминативность с помощью точечного бисериального коэффициента корреляции грь. Все значения этих коэффициентов (последняя строка табл. 2) больше 0,2. Значит, нет необходимости исключать задания из теста.
Заключение. Итак, на основании исследований качества теста по высшей математике «Ряды», которые проводились в данной статье и статье [10], можно сделать следующие выводы:
1) данный тест имеет высокое значение общего коэффициента валидности. Для анализа коэффициента валидности отдельных заданий вычислялись точечные бисериальные коэффициенты корреляции, которые показали, что не все задания соответствуют требованиям экспертов. В первой части исследований говорилось о том, что необходимо либо изменить второе и девятое задания, либо заменить их другими. Аналогичный вывод можно сделать и в результате анализа величин Гр^ь для этих заданий;
2) рассчитанные значения коэффициентов дискриминативности показали, что их величины для всех заданий теста положительны и доста-
точно высоки, что соответствует необходимым требованиям;
3) также в первой части исследования для повышения качества теста было предложено увеличить количество заданий [10].
Итак, в результате проведенного исследования можно сделать вывод, что данный тест необходимо откорректировать для применения его в качестве инструмента измерения уровня знаний студентов по теме «Ряды» курса «Математика».
1. Аванесов, В. С. Основные понятия педагогической тестологии // Научные проблемы тестового контроля знаний: Тез. докл. участников школы-семинара. - М., 2005.
2. Аванесов, В. С. Тесты: история и теория // Управление школой. - 1999. - №12.
3. Анастази, А., Урбина, С. Психологическое тестирование. - Спб.: Питер, 2006. - 688 с.
4. Ащепкова, Л. Я. Материалы к семинару по обработке результатов тестирования / Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
5. Буров, А. В. Применение методов статистической обработки данных к оценке валидности тестовых материалов единого государственного экзамена // Научно-методический электронный журнал «Концепт». - 2014. - № 1 (январь). - С. 81-85. - URL: http://e-koncept.ru/2014/14017.htm (дата обращения 20.01.2021).
6. Векслер, В. А., Рейдель, Л. Б. Особенности определения валидности педагогического теста // Novalnfo («Но-ваИнфор»), 2015, №36-1.
7. Звонников, В. И., Челышкова, М. Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
8. Карпенко, А. П., Домников, А. С., Белоус, В. В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Журнал. Наука и образование: электронное научно-техническое издание. - Выпуск №04/2011. - 28 с.
9. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
10. Лиманова, Л. В. Анализ надежности педагогического теста курса математики по теме «Ряды» // Вестник Сам-ГТУ, Серия «Психолого-педагогические науки» № 4(36)-2017. - Самара, Самар. гос. техн. ун-т, 2017. - С. 90-98.
11. Лиманова, Л. В., Муратова, Л. А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник СамГТУ, Серия «Психолого-педагогические науки» № 2(26)-2015. -Самара, Самар. гос. техн. ун-т, 2015. - С. 113-122.
12. Лиманова, Л. В., Муратова, Л. А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник СамГТУ, Серия «Психолого-педагогические науки» № 1(25)-2015. - Самара, Самар. гос. техн. ун-т, 2015. - С. 143-151.
13. Майоров, А. Н. Теория и практика создания тестов для системы образования. - М.: «Интеллект-центр», 2001.
- 296 с.
14. Муратова, Л. А. Валидность и дискриминативность при исследовании и оценке качества теста «Интегральное исчисление» // Научный альманах, 2016, № 6-1(19). - С. 323-326.
15. Олейник, Н. М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. Учебное пособие: Донецк, ДонГУ, 1991. - 168 с.
16. Психологическая диагностика. Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c. - URL: http://www.psi-test.ru/pub/psy-diagnos/3-2.html (дата обращения 20.01.2021).
17. Челышкова, М. Б. Теория и практика конструирования педагогических тестов. - M.: Логос, 2002. - 432 c.
18. Crocker L., Algina James. Introduction to Classical and Modern Test Theory. New-York: Harcourt Brace Jovanovich, 1986.
19. Lord F.M., Novick M. Statistical Theories of Mental Test Scoires. Addison-Westley Publ. Co. - Reading, Mass. 1968.
- 560 p.
20. Richard H.Williams, Donald W.Zimmerman, Bruno D.Zumbo, Donald Ross. Charles Spearman: British Behavioral Scientist. // Human Nature Review, 2003, N3. - Р. 114-118.
CALCULATION OF DISCRIMINATIVE AND VALIDITY FOR EVALUATION OF THE QUALITY OF THE PEDAGOGICAL TEST FROM THE COURSE OF MATHEMATICS ON THE TOPIC "RANKS "
© 2021 L.V. Limanova1, N.V. Popov2 Larisa V. Limanova, candidate of technical sciences, associate professor, Associate Professor of Higher Mathematics. E-mail: llv- [email protected] Nikolai V. Popov, Doctor of medical sciences, associate professor, professor of the Department of Dentistry of Childhood and Orthodontics.
E-mail: [email protected] 1Samara State Technical University 2Samara State Medical University of the Ministry of Health of Russia
Samara, Russia
Известия Самарского научного центра Российской академии наук. Социальные, гуманитарные, медико-биологические науки, т. 23, № 76, 2021 Izvestiya of the Samara Science Centre of the Russian Academy of Sciences. Social, Humanities, Biomedical Sciences, Vol. 23, no. 76, 2021
The last twenty years the Department of Higher Mathematics and Applied Informatics of Samara State Technical University has been using tests on all chapters of the Mathematics course to control students' knowledge. To understand how objectively a particular test allows a given assessment, it is necessary to examine its quality. Many theories are devoted to this problem. This article will analyze test quality and test tasks based on classical test theory. The study consists of the following stages: compiling a control test; conducting it on a sample of students that meets all the requirements of statistical analysis; processing of this sample and calculation of basic characteristics; analysis of the resulting coefficients, which allows us to conclude whether the test under study can be used as a control of the level of knowledge of students and what changes need to be made in order to improve it.
This article analyses some characteristics when examining the quality of the test on the topic "Series" of the course of mathematics, namely, discrimination and validity. To analyze the validity of the test, point biserial correlation coefficients were found - these are correlation coefficients of some task with the student's individual score. After that, the total validity coefficient was calculated. As the calculations showed, the total validity coefficient is 0.53. This is a fairly high indicator, which cannot be said about some point biserial correlation coefficients, namely, for tasks No. 2 and 9. Therefore, these tasks must either be modified or replaced by others. Analysis of the discrimination coefficients of test tasks showed that their values satisfy the requirements of experts.
Keywords: pedagogical test, improvement of quality of the test, correlation coefficient, validity coefficient, diskriminativ-nost coefficient.
DOI: 10.37313/2413-9645-2021-23-76-35-41
1. Avanesov, V. S. Osnovnye poniatiia pedagogicheskoT testologii (Basic concepts of a pedagogical testologiya) // Nauchnye problemy testovogo kontrolia znaniT: Tez. dokl. uchastnikov shkoly-seminara. - Moscow, 2005.
2. Avanesov, V. S. Testy: istoriia i teoriia (Tests: history and theory) // Upravlenie shkoloT, 1999. - No 12.
3. Anastazi, A., Urbina, S. Psikhologicheskoe testirovanie (Psychological testing). - Spb.: Piter [SPb.: St. Petersburg], 2006. - 688 p.
4. Ashchepkova, L. Ya. Materialy k seminaru po obrabotke rezul'tatov testirovaniya (Materials to a seminar on processing of results of testing) / Regional'nyi centr problem kachestva pri DVGU. Vladivostok, 2001.
5. Burov, A. V. Primenenie metodov statisticheskoT obrabotki dannykh k otsenke validnosti testovykh materialov edinogo gosudarstvennogo ekzamena (Application of methods of statistical data processing to assessment of validity of test materials of the unified state examination) // Nauchno-metodicheskiT elektronnyT zhurnal «Kontsept». - 2014. - No 1 (January). - Pp. 81-85. - URL: http://e-koncept.ru/2014/14017.htm.
6. Veksler, V. A., ReTdel', L. B. Osobennosti opredeleniia validnosti pe-dagogicheskogo testa (Features of determination of validity of the pedagogical test) // Novalnfo. - 2015. - No 36-1.
7. Zvonnikov, V. I., Chelyshkova, M. B. Sovremennye sredstva ocenivaniya rezul'tatov obucheniya (Modern means of estimation of results of training). - Moscow: Academy, 2007. - 224 p.
8. Karpenko, A. P., Domnikov, A. S., Belous, V. V. Testovyi metod kontrolya kachestva obucheniya i kriterii kachestva obrazovatel'nyh testov (Test method of quality control of training and criteria of quality of educational tests) / Nauka i ob-razovanie: elektronnoe nauchno-tehnicheskoe izdanie. - No. 04/2011, 28 p.
9. Kim, V. S. Testirovanie uchebnyh dostizhenii (Testing of educational achievements). - Ussuriisk: Izd-vo UGPI, 2007. -214 p.
10. Limanova, L. V. Analiz nadezhnosti pedagogicheskogo testa kursa matematiki po teme «Ryady» (The analysis of reliability of pedagogical test of a course of mathematics on the subject «Ranks») // Vestnik SamGTU, Seriya «Psiholo-go-pedagogicheskie nauki». - No. 4(36)-2017. - Pp. 90-98.
11. Limanova, L. V., Muratova, L. A. Analiz kachestva testa iz kursa vysshei matematiki po teme «Lineinaya algebra, analiticheskaya geometriya» (The analysis of quality of dough from a course of the higher mathematics on the subject "Linear Algebra, Analytical Geometry") // Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki». - No. 2(26)-
2015, pp. 113-122.
12. Limanova, L. V., Muratova L.A. Statisticheskii analiz kachestva testa iz kursa vysshei matematiki po teme «Predely. Proizvodnye» (Statistical analysis of quality of dough from a course of the higher mathematics on a subject "Limits. Derivatives") // Vestnik SamGTU, Seriya «Psihojogo-pedagogicheskie nauki». - No. 1(25)-2015, pp. 143-151.
13. MaTorov, A. N. Teoriia i praktika sozdaniia testov dlia sistemy obrazo-vaniia (The theory and practice of creation of tests for the system of education). - Moscow: «Intellekt-tsentr», 2001. - 296 p.
14. Muratova, L. A. Validnost' i diskriminativnost' pri issledovanii i otsenke kachestva testa «Integral'noe ischislenie» (Validity and a diskriminativnost at a research and assessment of quality of the Integral calculus test) // NauchnyT al'manakh,
2016, No 6-1(19). - Pp. 323-326.
15. Oleynik, N. M. Test kak instrument izmereniya urovnya znanii i trudnosti zadanii v sovremennoi tehnologii obucheniya (The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training). Donetsk, DonGU, 1991. - 168 p.
16. Psihologicheskaya diagnostika (Psychological diagnostic)] [Under the editorship of K.M. Gurevich and E.M. Boriso-va]. - Moscow: Izd-vo URAO, 1997. - 304 p.
17. Chelyshkova, M. B. Teoriya i praktika konstruirovaniya pedagogicheskikh testov (Theory and practice of constructing pedagogical tests). - M.: Logos, 2002. - 432 p.
18. Crocker, L., Algina James. Introduction to Classical and Modern Test Theory. - New-York: Harcourt Brace Jovano-vich, 1986.
19. Lord, F.M., Novick M. Statistical Theories of Mental Test Scoires. Addison-Westley Publ. Co. Reading, Mass. - 1968. - 560 p.
20. Richard H.Williams, Donald W.Zimmerman, Bruno D.Zumbo, Donald Ross. Charles Spearman: British Behavioral Scientist. // Human Nature Review, 2003, No 3. - Pp. 114-118.
