CC BY
57
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММ
УДК: 371.27
АНАЛИЗ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ, ИСПОЛЬЗУЕМЫХ В ПРОЦЕССЕ ОБУЧЕНИЯ КУРСАНТОВ
А.С. Черткова, А.И. Ситников
Определено качество тестовых материалов, используемых при проверке знаний курсантов ВИ МВД России по экологии. При помощи бинарной матрицы оценено качество разработанных тестов в первом приближении. Затем для более глубокого анализа использовался критерий Пирсона. После построения дихотомической матрицы результатов тестирования и проведения необходимых процедур статистической обработки результатов были вычислены показатели связи тестовых заданий между собой и с индивидуальным баллом испытуемых.
Ключевые слова: тест, коэффициент корреляции Пирсона, точечный бисериальный коэффициент корреляции, корреляционная матрица.
Введение. В процессе контроля учебно-познавательной деятельности важным условием оптимизации учебного процесса является систематическое получение объективной информации о ходе усвоения знаний курсантами.
Основополагающей в системе контроля качества подготовки специалистов в вузе является проверка остаточных знаний как еще одна подсистема в общей системе контроля знаний.
В настоящее время одновременно с традиционной системой оценки результатов обучения стала широко использоваться новая эффективная система, основанная на использовании тестовых технологий.
Для выяснения, насколько глубоко обучаемый усвоил материал и в какой мере у него развито аналитическое мышление, может применяться тестирование [1].
Основным элементом любого теста является вариант задания. Измерительные характеристики заданий можно оценить на основе статистических методов анализа результатов тестирования.
Черткова Анастасия Сергеевна,
Воронежский институт МВД России; Россия, г. Воронеж. Ситников Александр Иванович, канд. техн. наук, доцент, Воронежский институт МВД России; Россия, г. Воронеж. e-mail: sitnikov_74@list. ru
© Черткова А.С., Ситников А.И., 2015
В данной работе предполагается определить качество отдельных заданий тестирования, используемых при проверке остаточных знаний курсантов по экологии. Апробационное тестирование было проведено в четырех группах курсантов. Всего в тестировании участвовало 43 испытуемых.
1. Статистическая обработка при помощи бинарной матрицы. Статистическая обработка начинается с формирования матрицы с результатами тестирования, которая должна быть упорядочена по строкам (по убыванию тестового балла) и по столбцам (по возрастанию трудности задания). В нашем случае была построена бинарная матрица, в которой единице соответствует верный ответ, нулю - неверный ответ [2].
Для дальнейшего анализа матрица дополняется следующими значениями:
- Yi - индивидуальный балл ьго испытуемого;
- RJ и pJ - количество и доля верных ответов на j-ое задание;
- WJ и qJ - количество и доля неверных ответов на j-ое задание.
Рассмотрим подробнее каждый из этих параметров.
т
г =Е а (1)
}=1
Например, для пятого испытуемого (1=5) индивидуальный тестовый балл равен (в нашем случае т=43):
Г5 = Х «5У = «51 + «52 + «53 + ••• + «543 = 29
j=l
Я = Х«
(2)
= п - Я, (3)
Например, для второго задания количество верных и неверных ответов, соответственно:
43
Я2 = X «2 = «12 + «22 + «32 + ••• + «422 + «432 = 20
¡=1
Ж, = 43 - Я, = 43-19 = 23
В нашем случае количество заданий т и количество тестируемых курсантов п совпало и равно 43.
Я,
р=п
Ь =1- ру
(4)
(5)
Для второго задания доля верных и неверных ответов, соответственно:
Р2 =
Я--2° = 0465
43 43 ъ = 1 - р2 = 1 - 0442 = 0^535
Матрица результатов тестирования дополнена значениями, рассчитанными по вышеуказанным формулам, и упорядочена по строкам и по столбцам - по убыванию тестового балла испытуемых и по возрастанию трудности задания, соответственно.
Бинарная матрица (рис.1) имеет характерную особенность - почти все нули и единицы распределились относительно диагонали, идущей из левого нижнего угла в правый верхний. Для наглядности ячейки с нулевыми значениями выделены другим цветом.
Согласно Гуттману это разграничение должно быть идеальным. Если испытуемый справился с трудным заданием, то он тем более должен ответить на более легкие задания. Это должно приводить к строгому разграничению единиц и нулей диагональю матрицы [3]. В действительности же это не совсем так. Причиной расхождений может являться как нарушение процедуры тестирования, так и недочеты в содержании самих тестовых заданий [4].
¡=1
Рис.1. Редуцированная бинарная матрица
Рассчитав доли верных и неверных ответов можно найти вариацию (дисперсию) результатов по >му заданию:
^ = Р} ■ ч} (6)
Этот параметр позволяет определить задания с наилучшими дифференцирующими характеристиками. Например, в нашем случае тридцать восьмое задание имеет наименьшую вариацию 0,084, что свидетельствует о его низкой дифференцирующей способности. Если данный тест использовать как нормативно-ориентированный, то задания с низкой вариацией надо исключить, так как они не позволяют ранжировать испытуемых по уровню их подготовленности. В случае же критериально -ориентированного теста эти же задания позволят определить степень усвоения испытуемыми учебного материала.
На рис. 2 представлена зависимость дисперсии (вариации) от трудности задания, построенная на основе дихотомической матрицы, которую мы получили в результате апробации теста. Если с заданием никто не справился или ответили все, то это задание не может дифференцировать испытуемых. Наибольшей дифференцирующей способностью обладают задания со средним уровнем трудности.
Рис.2. Зависимость дисперсии (вариации) тестовых баллов от трудности задания.
Еще одним важным параметром, позволяющим дифференцировать тестируемых, является дисперсия индивидуальных баллов:
й =-1
n -
Т-Е Y- Y )2
1 i=i
(7)
Так как построение матрицы и все расчеты проводились с помощью программы Miсrosoft Excel, то для нахождения дисперсии воспользовались возможностями данной программы, а именно статистической функцией «ДИСП», указав при запросе столбец с индивидуальными баллами.
В нашем случае дисперсия индивидуальных баллов равна 32. Для дальнейшего анализа необходимо найти стандартное отклонение
S.. =
№
(8)
S =у/э2 = 5.65
В.И. Звонников и М.Б. Челышкова [5] считают, что дисперсию можно считать оптимальной (распределение индивидуальных баллов близким к нормальному), если среднее арифметическое примерно равно утроенному стандартному отклонению:
Y « 3S.
(9)
B.C. Ким [3] в качестве оценки распределения тестовых баллов рекомендует использовать следующее соотношение:
Y - 3Sy < Y < Y + 3Sy
(10)
Что касается первого выражения, то в нашем случае 22.3 » 3-5.65 = 17 . Это позволяет сделать вывод о распределении индивидуальных баллов, близком к нормальному. Второе соотношение это подтверждает, так как все значения индивидуальных баллов укладываются в этот интервал:
22.3 -17 < Y < 22.3 +17
Проведя данное исследование, мы оценили качество разработанного теста, как говорится, в первом приближении.
2. Анализ тестовых заданий с помощью корреляционной матрицы. Для более глубокого анализа необходимо получить более строгие доказательства, например, используя критерий Пирсона. После построения дихотомической матрицы результатов тестирования и проведения необходимых процедур статистической обработки результатов, для дальнейшего анализа необходимо вычислить показатели связи тестовых заданий между собой и с индивидуальным баллом испытуемых.
Для того чтобы включить задание в тест, то есть в систему, необходимо проверить его коррели-руемость с другими заданиями. Используя данные из бинарной матрицы, проводится расчет коэффициента корреляции Пирсона для каждой пары заданий и строится корреляционная матрица. Для этого воспользуемся возможностями программы Miсrosoft Excel, а именно статистической функцией «ПИРСОН», указав при запросе столбцы с соответствующими номерами заданий. В результате расчетов получили матрицу размерности 43*43 (по количеству заданий).
■1 7 3 4 5 6 7 8 9 10 11 12 13 14 15 10 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 гвЬ
•1 •1 fl.il -0 0,118 0,12 004 -03 0,34 0,15 -0,1 -03 0,24 -0,1 0 0,2 0 08 034 0,19 03 008 0,19 0,21 009 -0,1 004 0,12 004 -0,15 0,18 -0,1 -03 0,19 001 001 0,2 031 -0 0,12 0,14 -0 0 П.24 -03 0.236
2 0,2 1 0,4 0,106 0,21 -0 0,04 0.34 -0 0,16 ■0,3 ОД -0 036 003 -0,1 009 0 35 003 03 0,18 -0 0,18 п,11 0,16 П 04 002 -002 002 -0,1 0,15 -0 031 001 -03 033 038 0,29 -0,1 0 0,48 •ОД 0Д5 0,333
3 4 5 -0 0.1 0.1 0.4 0.1 0.2 0,36 0.4 0,357 0.338 0,36 0,34 -0,1 0,15 0,15 ОД 0,18 -0 0,32 0,39 0,5 5 0,15 0,49 0,15 0,03 0,38 004 од 0,24 004 0,03 008 008 -0,1 0,05 035 0,04 0,12 0 0^6 0,4 03 031 0,19 008 0,16 0,47 0,21 032 0,62 0,41 0,15 °3 од 0,16 -0,1 0,18 033 03 0,19 002 031 008 0,12 0,19 0,19 0,12 0,45 001 039 0,49 037 0,17 034 0 -0 0,14 034 0,14 0,336 0095 -0,1 008 0,18 0,11 0,12 •од 032 03 03 -0 0,4 -0 036 0,45 0,45 032 033 0,43 -ОД -03 -0 031 0,43 0,19 034 0,4 0,19 032 036 036 ОД 0,44 034 -0,1 -03 -0 037 0 0,12 -0 0,12 •0,1 0,13 ■ОД 0,15 0,442 0.69 0.504
6 и -0 -0.1 0.15 0 16 -и -0,1 0,111 и К I.107 С1,2У О0У 0,18 и, 12 и 1 и 1 -и -0,1 -0,1 -и,1 -из -ОД -и -0,1 006 007 -0,12 0,12 -и -из -0 -из 007 -0,1 ОД -1-й -0,1 и 17 002 006 -из -ОД 0.01
7 -0,3 0 0.1 0,18 -0 -0 •1 0,06 0,04 0,27 -0,1 0,1 0,24 0,27 0,1 001 -0,1 оде 037 -03 008 0,16 0,18 0,18 0,16 0,15 0,12 0,137 007 -03 032 038 007 003 -0 001 0,18 0,22 001 -0 037 -0 0,1 0,267
8 0,2 0,3 0,3 0,39 0,6 -0,1 0,00 ■1 0 1 0 1 •0,1 0,13 0,19 0,2 039 -0 039 0,52 039 0,18 0,45 039 0,45 008 0,42 003 -0 006 -008 0,18 -0 031 0,13 035 0,29 0 1 0,45 0,45 0,49 0 21 -03 03 -0 •0,1 0,001
9 0,2 -0 0 1 0,49 0,2 0 0 0,1 1 0^1 0,19 оде -0,1 -0 0,46 0,47 037 0,45 004 -0,1 0,45 037 -0,1 037 0,42 03 0355 003 008 0,12 0,16 035 008 -ОД 033 0.24 0,15 03 002 ОД 037 031 0.499
10 -0,1 0.2 0 0.38 0 0.1 0,3 0,1 0.31 1 -0,1 аре -0,1 0,1 оде -0 оде 0,56 0,15 0,14 035 034 0,13 0,49 0,42 0,1 03 0355 003 -0 001 036 0,15 -ОД -0,1 0,11 034 003 0,4 •0,1 034 003 031 0.443
11 -п я -п ? П 1 0.24 п П 1 -П 1 -П 1 п ? -П 1 1 -од 1 -0 1 -0 1 0 16 0 Я"» одг -0 0 Г|Я -П -П N П 0« -П 1 -0 1 0 14 036 П 08 0316 007 -п -0 (102 П 14 -0 -0 1 п и 0 12 0 1 0 16 -0 -0 и 11 0.169
12 п ? и 1 п 0.08 и 1 П 3 П 1 П 1 П 1 П 1 -п ? П 11 п П 19 N 1 П 1 0 м 0 26 0 14 -0 п оя П 06 -03 0,17 -036 -П 1 -П 1 П 17 -П 1 -0 1 П 19 П 05 и 14 0 пз 0 П8 0 П4 и 14 -0 0.206
13 -0,1 -0 -0.1 0,05 0.3 0.1 0,2 0,2 -0.1 -0.1 -0,1 0.11 1 0,17 03 0,13 •0,2 001 од -0 031 003 0,11 0,16 009 0,13 007 036 -0 032 006 0,16 0,49 03 034 031 039 003 •03 0,17 •03 •0,1 0,293
14 п 03 п 0,12 п п ? П 3 0 •? -п о 1 -П 1 м -: П 1? 007 0 пз 0 П7 0 П6 -п -0 -0 П 24 и 1 009 -0,1 п ГЦ -0,14 0 П6 П 03 п и П 12 П 12 П 07 П 07 0 22 и 17 0 П6 0 П9 -и 1 0,178 0.886
15 0.2 0 0.3 0.4 0.3 0.1 -0,1 0,4 0,5 0.3 0.2 0.2 о.з 0,07 0,42 031 0,45 035 036 0,68 039 001 0,1 036 0,44 0337 0,17 0,18 005 004 03 038 007 0,42 039 037 035 •0,1 0,18 036 0.04
10 0.1 -0.1 0.3 0.19 0.1 -0.1 0 -0 0,5 -0 0.3 -0,1 0.1 -0.2 0,42 -1 оде 0,16 031 03 031 0,13 -0 0,19 033 007 035 0377 •°Д 0,15 038 0,12 008 004 009 0,14 039 0,18 035 •ОД 007 0,18 038 0.424
17 0.3 0.1 0.2 0.47 0.2 -0.1 -0.1 0,4 0,4 0.2 0.2 -и -и ,2 -0.2 0.5 0,2! 1 036 О^У 0,18 0,59 0,54 оде -ид 0,5 -03 и 33 0,178 0,18 002 005 из/ 0 ¿4 002 004 0,4 оде из 0,47 -03 0,12 0^ "ОД 0.57
18 0.2 0.3 0.3 0,62 0.4 -0 0,2 0,5 0,5 о.е 0.1 0.1 0 0 0.4 0.2 0.66 •1 035 032 035 0,43 035 03 0^57 003 038 0318 032 005 036 033 0,41 0,16 -од 039 0,45 032 0,48 -03 038 009 009 0.78
19 0.3 и 0.1 0.3 0.1 -0.1 и,3 0,4 0 0.1 -и 0.3 0.1 0.1 0.3 0.3 и.4 0.84 1 оде 0,58 оде и,1 -0 0 35 007 007 0015 -и,1 -и 005 и,43 03 -0,1 и ,16 из! и,1 0,15 0,16 •03 007 0,3'/ •из 0,461
20 0,1 0,2 0,2 -0.13 0,2 -0,1 -0,2 0,2 -0,1 0.1 -0 0,3 -0 0,1 0,4 0,2 0,2 0 2 0,27 ■1 0.24 006 005 -0 003 -03 035 -003 0,15 005 -0,1 -03 008 -0,1 008 -0 0.24 0,16 0,16 •03 0,18 0,16 од 0.254
21 0.2 0.2 0.2 0.5 0.2 -0.1 0 1 0,4 0,5 о.з 0.1 0.1 0.1 -0 0.7 0.5 0.6 0 6 0,6 0.24 •1 035 0,12 03 036 -0,1 0,41 0373 005 0,17 035 □33 0,4 007 001 031 0,42 034 032 •0,1 032 034 001 0.742
22 0.2 -0 0 0.21 0.1 -0.3 0,2 0,4 0,4 0.2 0.2 -0 0 -0 ОА о 0.1 0.5 0,4 0,3 0,1 0.36 1 032 -0,1 03 -03 035 0,178 031 0,14 005 0,12 031 002 037 037 ОД 03 035 -03 0,12 03 -од 0.481
23 0.1 0.2 0.1 0.19 0.2 -0.1 0,2 0,4 -0.1 0.1 -0,1 -0,2 0.1 -0 -0 0.2 0,4 0,1 0 0,1 0.22 1 009 034 032 -од 0047 005 -0,1 0,15 -0,1 0,4 007 -0,1 039 0,42 037 0,22 -03 0,11 -0,1 001 0.336
24 -II 1 м 1 II 1 0,45 п -I11 11 У п 1 ИИ и -П 1 и 1 0 7 п? и 1 п •? -II 1 п :-! -II -II ИИ -II 1 II ни 1 II 27 N 12 II -,!4 0336 -II ЩИ и <4 0 32 008 -II 1 II 19 и 12 II 24 п -II 1 II 1'. 0,408
25 0 0.2 0.4 0.49 0.3 -0.1 0,2 0,4 0,4 0.4 0.2 0.1 0.1 0.1 0.6 0.2 0.5 0,7 0,3 0 о,е 0.5 0.2 0.27 1 -од 03 0,109 003 008 033 036 037 004 0,47 035 039 0,4 002 034 037 0,11 0,703
2в 0.1 0 0.2 0.24 0 0.1 11,1 0 -0 0.1 -0,3 -0,2 0.2 "о1 -0.1 0.1 -0.2 и 0,1 -0.2 -0.1 -0,3 0.2 0.-1 -0,1 -о^ 0,122 -из -03 0,15 0,15 0 033 -0 0,2 0,11 004 -0,1 •03 009 -03 •03 0028
27 0 0 -0 0.14 0.2 0.1 0 1 0,1 0,3 0.3 0.3 0.1 0.1 0,4 0.3 0.2 0,3 0,1 0,3 0,4 о.з -0,1 0.2 о.з -о.з 0316 0,44 -0 008 0,11 034 -0 -0 004 031 032 0,44 -0 0,12 032 03 0,506
28 -0,1 -0 0.1 0.34 0.1 -0.1 0,1 -0.1 0,4 0.4 0.2 -0,3 0.1 -0.1 0.2 0.4 0.2 0,3 0 -0 0,3 0.2 0 О.З 0.1 0.1 0,22 1 03 0,18 032 0,17 034 0,18 -0,2 0,12 0,27 0,14 032 -03 0.12 -0,1 0,19 0.367
29 0.2 и -0.1 0,08 0.2 и.1 и.1 0,2 0 0 0.1 -0 0.2 0.1 0.2 -0.1 0.2 и,2 -и.1 и,2 и 0.3 и -и и -0.2 0.4 0,197 1 и,14 -ОД 009 008 и,14 -0 009 005 и,16 0,16 006 -ид и,1 0.264
30 -0,1 -0.1 0.1 0,12 -0.1 -0 -0.2 -0 0,1 -0 0.4 -0,1 -0 ■0.3 0.2 0.1 0 0,1 -0 0 0,2 0.1 -0,1 0 0.1 -0.3 -0 0,18 0,14 1 -0 -03 -0,1 003 -од 0,15 -0 -03 -0 -0,1 -03 0,11 0,18 0,044
31 -0,2 0,2 0,3 0.3 0,3 -0,3 0 3 0,2 0,1 0 -0 •0 1 0.3 о 0 0,3 0,1 0 3 0 -0,1 0,3 0,1 0.1 0,3 0,2 0,1 0 1 0.32 -0,1 -0 1 033 032 036 -ОД 038 035 032 008 -03 037 009 0,19 0.416
32 0.2 -0 -0 0.4 -0 -0 0 4 0,1 0,2 0.3 0 0.2 0.1 0.1 0 0.1 0.4 0,3 0,4 -0.3 0,3 0.1 -0,1 о.з О.З 0.1 0.1 0.17 0,1 -0.3 0.23 1 0,19 007 -0,1 033 033 008 0,11 •0,1 0,15 008 •03 0.361
33 О 0.3 0.4 0.45 0.4 -0.2 0,1 0,6 0,2 0.2 0.1 -0,1 0.2 0.1 0.3 0.1 0.3 0,4 0,2 0,1 0,4 0.2 0.4 0.3 О.З 0 0.2 0.34 0,1 -0.1 0.5 0.19 1 033 -0,1 0,43 03 0,48 034 -03 0,12 -0 -од 0.587
34 0 0 0.2 0.33 0.4 0.1 0 0,3 0,1 -0.1 -0 -0,1 0.5 0.1 0.3 0 0 0,2 -0.1 -0.1 0,1 0 0.1 0.2 0.1 0.2 -0 0.18 0,1 0 0.4 0.1 0.33 1 -0 036 0,17 032 007 -03 -0,1 -03 -0,1 0.289
35 11 ■/ -I11 -п 1 -0,21 -II -I11 -II I11 -I11 -II 1 -I11 П У II У I11 и 1 и 1 п -II 1 11 V I11 II II Н -I11 -и 1 II -и -Г, -0,2 -II -I11 -II 1 -II 1 -и 1 -II ...... .и | II117 -II II ПУ II N4 0,04
30 0.3 0.3 0.3 0,43 0.2 -0.1 0 0,5 0,2 0.1 0.1 о 0.2 0.1 0.4 0.1 0.4 0,4 0,3 -0 0,5 0.3 0.3 0.2 0.5 0.2 0 0,12 0,1 0.1 0.3 0.2 0.4 о.з 0.09 1 039 031 004 •03 007 0,18 -0 0,583
37 -0 0.3 0.3 0.4 0.2 -0.2 0,2 0,4 0,2 0.2 0.1 0.1 0,2 П? 0,3 0.3 0.2 0 5 0,1 0,2 0,4 0.1 о.з 0.5 О.З 0.1 0.3 0.27 0 -0 0.4 0.2 0.5 0.2 -0.2 0,29 -1 0.46 0,12 •0,1 032 -0,1 03 0.62
38 0.1 0.3 0.2 0.30 0.4 -0.1 0,2 0,5 0,1 0 0.1 о о.з 0.2 0.4 0.2 0.3 0,3 0,1 0,2 0,3 0.3 0.6 0.5 0.4 0 0.3 0.14 0,2 -0.2 0.3 0.2 0.5 0.2 -0.1 0.3 0.46 •1 032 •0,1 0,17 -0 0,13 0,591
39 40 0.1 -0 -0.1 0 0.1 -0.1 0.44 -0,1В 0.5 -0 0.2 0 0 -0 0,2 -0.2 0,3 0 0.4 -0.1 0.2 -0 V г.? 0.4 -0.1 0.3 -0.1 0.5 -0.2 0,5 -0.2 0,2 -0.2 0,2 -0.2 0,2 -0.1 0.3 -0,2 0.2 -0,2 0.2 -0,2 0.4 0 -0.1 -0.1 0.4 о 0.22 -0,3 0,2 -0.3 -0 -0.1 0.1 -0,2 0.1 -0,1 0.2 -0,2 0.1 -0,2 0.1 -0 0 -0.2 0.1 -0.1 0.32 -0.1 1 -0.2 -0,3 •1 001 0,17 од 006 031 -0 0.519 -0,19
41 и 0.6 0.2 0 0.1 и.1 0,3 0,1 0.3 -0,3 0.1 0.2 и.1 -0.2 0.2 0.1 0.1 0,4 и.1 и,2 0,2 0.1 0.1 и 0.3 0.1 -0 0,12 и.1 -и .2 0.3 0.1 0.1 -0,1 0.1 0.1 0.2 0,2 0 0.1 1 0,17 009 0,372
42 0,2 -0,1 -0 0.12 -0,1 -0,2 -0 -0 0,3 0 -0 0,2 -0,2 0,3 0,2 0,3 0,1 0 4 0,2 0,3 0,3 •0 1 -0,1 0,3 -0.2 0,3 0.12 -0,1 0.1 0,1 0,1 -0 -0,3 0 0,2 -0,1 -0 0,1 0,1 0,17 1 002 0.195
43 -0,2 0,2 0,1 -0.06 0,1 -0,1 0 1 -0,1 0,2 0,1 0,1 -0 •0,1 •0,1 0 0,3 -0,1 0 1 -0,2 0,1 0 •0 1 0 0,1 0,1 -0,2 0,3 0.19 0 1 0,2 0,2 •0 2 -0,1 -0,1 -0,3 -0 0,3 0 1 0 2 -0 0 1 0,02 1 0.166
1г 3.9 5.5 7.3 11.4 8.2 0.1 4,5 9,0 8,3 7.4 2.5 3.5 4.7 3 11 6.9 9.4 13 7,5 4,1 12 8 5.4 7.1 12 0.7 8 6.37 4,1 о.е 6.9 6.2 9.7 4.7 0.6 9.6 10 9,7 8,4 -3.2 6,2 3.2 2.4
гср 0.1 0.1 0.2 0.27 0.2 0 0 1 0.2 0.2 0.2 0.1 0.1 0.1 0.1 0.3 0.2 0.2 0 3 0.2 0.1 0.3 0.2 0.1 0.2 О.З 0 0.2 0.15 0.1 0 0.2 0.1 0.2 0.1 0 0.2 0.2 0 2 0.2 •0 1 0.1 0.1 0 1
Рис. 3. Корреляционная матрица
В последнем столбце указан точечный бисе-риальный коэффициент корреляции:
ГрЬ =
У - У
Б,.
' п ■ (п -1)
(11)
Для его получения необходимо провести дополнительные расчеты:
У - среднее арифметическое индивидуальных баллов испытуемых, выполнивших данное задание;
У - среднее арифметическое индивидуальных баллов испытуемых, не выполнивших данное задание;
8У - стандартное отклонение для индивидуальных баллов;
П - число испытуемых, выполнивших данное задание;
По - число испытуемых, не выполнивших данное задание;
п - общее количество испытуемых.
Первые два показателя легко определить для дихотомических данных с помощью математической функции «СУММЕСЛИ», указав в качестве условия, в первом случае наличие единиц в столбце задания, а во втором - наличие нулей.
В двух последних строках матрицы указаны суммарные значения коэффициента корреляции для каждого задания и среднее арифметическое.
При наличии высокой корреляции между двумя заданиями, близкой к единице, можно сделать вывод о дублировании друг друга. Если же корреляция отрицательна, то это может значить, что ответы на одно задание противоположны ответам на другое. Это свидетельствует об ошибках либо в формулировке вопроса, либо в оформлении самого задания.
Вывод. Статистическая обработка наших тестовых заданий показала, что вопрос под номером 40 имеет отрицательную корреляцию почти со всеми заданиями, так же, как следствие, отрицательные суммарное и среднее значения коэффициента корреляции, и отрицательный точечный бисе-риальный коэффициент корреляции. Низкой корреляцией с индивидуальными баллами испытуемых обладают задания № 6, 26, 30, 35. У этих же заданий нулевое среднее значение коэффициента корреляции с другими заданиями.
В результате задание №40 следует исключить из теста, а задания №6, 26, 30, 35 либо переработать, либо также исключить из теста.
Применение статистической обработки результатов тестирования позволяет не только объективно проанализировать содержание самих тестовых заданий, но и, в зависимости от целей контроля, варьировать содержание теста.
Таким образом, введение системы тестирования повышение качества оценки знаний и контроль по всему объему программы учебной дисциплины на основе строгих математических расчетов.
Библиографический список
1. Берлёв С.В. Организация рубежного контроля усвоения знаний по дисциплине «Электропребразователь-ные устройства радиоэлектронных средств» / С.В. Берлёв // Проблемы безопасности при ликвидации последствий чрезвычайных ситуаций: сб. ст. по материалам всерос. науч.-практ. конф. ФГБОУ ВПО Воронежский институт ГПС МЧС России. - Воронеж, 2012. - С. 305-306.
2. Ситников А.И., Черткова А.С., Бутов В.В. Место экологии в подготовке специалистов в Воронежском институте МВД России / А.И. Ситников, А.С. Черткова, В.В. Бутов // Современные технологии обеспечения гражданской обороны и ликвидации последствий чрезвычайных ситуаций: сб. ст. по материалам всерос. науч.-практ. конф. с междунар. уч. / ФГБОУ ВПО Воронежский институт ГПС МЧС России. - Воронеж, 2014. - С. 230233.
3. Ким B.C. Тестирование учебных достижений / B.C. Ким. - Монография. - Уссурийск: Издательство УГ-ПИ, 2007. - 214 с.
4. Ситников А.И. Черткова А.С., Бутов В.В. Применение бинарных матриц при статистической обработке результатов тестирования / А.И. Ситников, А.С. Черткова, В.В. Бутов // Пожарная безопасность: проблемы и перспективы: сб. ст. по материалам V Междунар. науч.-практ. конф. в 2-х ч. Ч. 2 / ФГБОУ ВПО Воронежский институт ГПС МЧС России. - Воронеж, 2014. - С. 171173.
5. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения / В.И. Звонников. - М: Издательский центр «Академия», 2007. -224 с.
References
1. Berljov S.V. Organizacija rubezhnogo kontrolja usvoenija znanij po discipline «Jelektroprebrazovatel'nye ustrojstva radiojelektronnyh sredstv» / S.V. Berljov // Problemy bezopasnosti pri likvidacii posledstvij chrezvychajnyh situacij: sb. st. po materialam vseros. nauch.-prakt. konf. FGBOU VPO Voronezhskij institut GPS MChS Rossii. - Voronezh, 2012. - S. 305-306.
2. Sitnikov A.L, Chertkova A.S., Butov V.V. Mesto jeko-logii v podgotovke specialistov v Voronezhskom institute MVD Rossii / A.I. Sitnikov, A.S. Chertkova, V.V. Butov // Sovremennye tehnologii obespechenija grazhdanskoj oborony i likvidacii po-sledstvij chrezvychajnyh situacij: sb. st. po materialam vseros. nauch.-prakt. konf. s mezhdunar. uch. / FGBOU VPO Voronezhskij institut GPS MChS Rossii. - Voronezh, 2014.
- S. 230-233.
3. Kim B.C. Testirovanie uchebnyh dostizhenij / B.C. Kim. - Monografija. - Ussurijsk: Izdatel'stvo UGPI, 2007. - 214 s.
4. Sitnikov A.I. Chertkova A.S., Butov V.V. Primenenie binarnyh matric pri statisticheskoj obrabotke rezul'tatov testirovanija / A.I. Sitnikov, A.S. Chertkova, V.V. Butov // Pozhar-naja bezopasnost': problemy i perspektivy: sb. st. po materialam V Mezhdunar. nauch.-prakt. konf. v 2-h ch. Ch. 2 / FGBOU VPO Voronezhskij institut GPS MChS Rossii. - Voronezh, 2014. - S. 171-173.
5. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sred-stva ocenivanija rezul'tatov obuchenija / V.I. Zvonnikov. - M: Izda-tel'skij centr «Akademija», 2007.
- 224 s.
ANALYSIS OF THE QUALITY OF TEST MATERIALS WHICH USED IN THE CADET'S PROCESS OF TRAINING
Chertkova A.S.,
Lecturer, Voronezh Institute of the Ministry of the Interior of the Russian Federation; Russia, Voronezh. Sitnikov A.I.,
Phd in Engineering, Assoc. Prof, Voronezh Institute of the Ministry
of the Interior of the Russian Federation;
Russia, Voronezh
e-mail: sitnikov_74@list. ru
The quality of the test materials which are used in the knowledge check of VIMVD's cadets for ecology was defined. Then, for a deeper analysis Pearson criterion was used. After building a dichotomous matrix of test results and the necessary procedures of statistical processing of the results, the index of connection of tasks between themselves and with the individual scores of the testees were calculated.
Keywords: test, Pearson's correlation coefficient, point biserial correlation coefficient, correlation matrix.
