CC BY
28
УДК 378.14
АНАЛИЗ НАДЕЖНОСТИ ПЕДАГОГИЧЕСКОГО ТЕСТА КУРСА МАТЕМАТИКИ ПО ТЕМЕ «РЯДЫ»
Л.В. Лиманова1
Самарский государственный технический университет 443100, г. Самара, ул. Молодогвардейская, 244 E-mail: llv-1@mail.ru
Данная работа посвящена анализу качества педагогического теста по теме «Ряды» курса математики, который применяется для проверки уровня знаний студентов на первом курсе СамГТУ. Для этого проводились исследования трех характеристик теста: степень трудности каждого задания, вариация тестовых заданий и надежность. Коэффициент надежности вычислялся по трем формулам: формуле KR-20, среднему коэффициенту корреляции всех заданий между собой и формуле Спирмена - Брауна. При анализе получившихся результатов оказалось, что значения коэффициентов надежности недостаточно высоки. Поэтому для повышения качества теста рекомендуется либо изменить задания, негативно влияющие на коэффициент надежности, либо увеличить количество заданий в тесте (как показали исследования - на два задания).
Ключевые слова: педагогический тест, коэффициент корреляции, коэффициент надежности, вариация тестовых заданий, степень трудности каждого задания.
Для текущего и рубежного контроля знаний студентов на кафедре «Высшая математика и прикладная информатика» Самарского государственного технического университета были составлены тесты по всем разделам высшей математики в соответствии с рабочей программой для бакалавров всех специальностей университета. Некоторые из них уже проверялись на качество и были исправлены согласно рекомендациям [1-6]. Данная статья посвящена проверке качества педагогического теста по теме «Ряды» (табл. 1). Этот тест содержит 9 заданий, решив которые, студент должен выбрать правильный ответ из пяти предложенных.
К основным характеристикам, оценивающим качество педагогического теста, относятся объективность, надежность и валидность [7-12]. Поскольку проверка качества теста является объемным процессом, то в данной статье
1 Лариса Владимировна Лиманова, кандидат технических наук, доцент кафедры высшей математики и прикладной информатики.
90
мы рассмотрим только его часть и проведем анализ надежности педагогического теста.
Таблица 1
Тест по теме «Ряды»
№
Задания
Представить в показательной форме число 1- fbi.
- ' Ж - - - ' - '
Ответы: 1) 2е 6 ; 2) 2е 3 ; 3) Se 6 ; 4) 2е 3 ; 5) Ае 3
Вычислить -
1-5; 5 +
Ответы: 1) -2+ ; 2) 1+ i; 3) Ai; 4) 5 - ; 5) -
Указать множество точек на комплексной плоскости, удовлетворяющее условию 1< г- +/' < Ответы: 1)
y А М(1,-1)
2)
У
3)
М(-1,-1)
y L 1 И / / 2
/
/ x
/
4)
ZZZ
5)
/////
M(-1,1) R1=1 R2=2
Ln(- )= .
Ответы: 1) 1п2+ кп'\ 2) ктт/1п2;4) 1п2+ .kxj 5) ]п2 + г -л- + 2/сл-j •
Решить уравнение z + . + i = 'и найти возможные значения arg z.
Ответы: 1) '—,к = Ü;2) —+ — ,к= ¡З;3) —+ — Д = Ü;
16 2 16 2 8 2
Г7Г — 'ТГ Г7Г —
4) - —+ — ,к= ),3;5) - —+ — ,к= ),3. 8 2 4 2
Для аналитической функции /(г)= ¡(х, г(х, у) найти у(х, .у), если известно, что
и(х,у)= - - ' ,_Д0)=0.
Ответы: 1) х + ■>; 2) - ; 3) х- > ;4) у- •; 5) х .
Вычислить интеграл J - z (Jz , где AB - отрезок прямой между точками zx =
AB
z9 = .
Ответы: 1) 1 + \i; 2)--\i; 3) -2 + ; 4) 2 - ; 5) 1 - \i.
1
2
3
y
2
1
x
4
5
6
7
Окончание табл. 1
№ Задания
8 ^ Г ^ - 2 ф: | | Вычислить -. I \г+ = . зЗ ' ' Ответы: 1) ^ ; 2) ; 3) ^ ; 4) о ; 5) . 3 9 9 3
9 ^ Г ^ - 2 ф | | Вычислить -=зг- ,Г:\г- = ;. зЗ ' ' Ответы: 1) ^ ; 2) 0; 3) ; 4) ^ ; 5) . 9 9 3 3
При исследовании качества теста используются методы математической статистики. Для обработки были выбраны работы студентов нефтетехнологиче-ского факультета. Объем выборки составил 235 работ, из которых были исключены 33 работы. Авторы этих работ либо решили все задания теста, либо не справились с заданиями и не решили ни одной задачи. Такие работы исключаются из выборки, так как никакой информации о качестве теста не несут.
На первом этапе анализа оценим степень трудности каждого задания pj. Эта величина находится по формуле
т
р =
п
где mj - количество правильных ответов на ^задание; п - общее количество студентов. Графически эта характеристика изображена на рис. 1. Наиболее трудным для решения оказалось девятое задание теста, с ним справилось меньше всего студентов (26 %). А наиболее легким - второе задание теста, но однако не все студенты справились и с ним (лишь 70 %).
А1 А2 А3 А4 А5 А6 А7 А8 А9 номера заданий
Рис. 1. Степень трудности задания 92
Данный тест относится к нормативно-ориентированным тестам. Для этого вида тестов при исследовании качества важной является следующая характеристика - вариация тестовых заданий • qj, где {qj=\- ). Отсортируем
номера заданий в порядке убывания количества правильных ответов и построим ее график (рис. 2). Эксперты считают, что ее величина должна находиться около 0,25. Менее всего удовлетворяют этим требованиям опять второе и девятое задания. Поэтому рекомендуется их изменить.
0,3 -|
0,25 -
а. 0,2 -
Л!
0,15 -
3"
Ц 0) 0,1 -
ш
0,05 -
А2 А7 А5 А3 А4 А1 А8 А6 А9 номера заданий
Рис. 2. Вариация тестовых заданий
0
Для исследования надежности теста применяется коэффициент надежности г [7 - 10], который вычисляется с помощью формулы KR-20, среднего
коэффициента корреляции Я и формулы Спирмена - Брауна. Применим формулу KR-20 [8, 9]:
м\, §
Г= - 1
' М-1 £
I )
где М - количество заданий; - исправленная дисперсия индивидуальных
X
п
\ и о
баллов студентов: .у2 = --х)2; х, - индивидуальный балл исиытуе-
и-1,-=1
1 "
мого; х- -У'л. - средний балл всех студентов; п - общее количество ступ ,-=1
дентов.
Коэффициент надежности, вычисленный с помощью этой формулы, равен Г = 0,65.
Формула для нахождения коэффициента надежности с помощью среднего коэффициента корреляции Я всех заданий между собой имеет вид
МЯ
Г1 = -=>
1+ М- )Я
_ ^ м
где Я - —/ г3№ - средний коэффициент корреляции всех заданий между собой; г'У - среднее значение коэффициентов корреляции дляу'-го задания.
Поэтому сначала надо найти средние значения коэффициентов корреляции для каждого задания гу. Их значения приведены в табл. 2. Считается [8],
что они должны быть меньше 0,3. Как видно из таблицы, вычисленные коэффициенты удовлетворяют требованиям экспертов.
Таблица 2
Средние значения коэффициентов корреляции
А2 А7 А5 А3 А4 А1 А8 А6 А9 А2
г1 ху 0,24 0,29 0,29 0,3 0,28 0,16 0,3 0,22 0,26 0,24
Далее вычисляем средний коэффициент корреляции Я — ),26, а затем и коэффициент надежности г = 0,76.
Формула Спирмена - Брауна [8, 11] имеет вид
2 г
- —,
1+ •
1/2
где г - коэффициент корреляции между группами, на которые необходимо
разделить тест по четным и нечетным заданиям. Он вычисляется следующим образом:
¡¿у 1
г= 1 V г= 1 ) V г= 1 )
г =
1/2
( П ^ П ^ ^ ( П ^ П ^ ^
-I I / 1 1 / / г I II / ¡у I / г I I
^ ¿=1 и 1 ) ) ^ ¿=1 и 1 ) )
где хг и уг - индивидуальные баллы 1-го испытуемого в четных и нечетных заданиях соответственно.
Проделав необходимые вычисления, получаем г = 0,5. Тогда коэффициент надежности г{ = 0,67.
Итак, мы нашли значения коэффициента надежности с помощью трех формул и получили результат: 0,65, 0,76 и 0,67. Эксперты считают, что его величина должна быть больше 0,7. Только один из коэффициентов удовлетворяет этим требованиям. Для повышения надежности теста эксперты [7, 8, 12] предлагают либо изменить задания, которые снижают коэффициент надежности (а в нашем случае это задания № 2 и № 9), либо увеличить количество заданий в тесте. Посмотрим, на сколько заданий надо увеличить тест. Для этого применяется формула [1]
кг,
г =
1+ к- )г(
где г{ - коэффициент надежности до изменения длины теста; г[ - коэффициент надежности после изменения; к - кратность изменения.
В качестве г[ возьмем требуемую величину коэффициента надежности -
0.7. а величине Г зададим наименьшее из полученных значений коэффициента надежности г{ - ),65. Проведя необходимые вычисления, получим к = ,26. Значит, необходимо увеличить тест на две задачи.
Таким образом, в ходе исследований вычислялись такие характеристики, как степень трудности каждого задания, вариация тестовых заданий и коэффициент надежности, который определялся с помощью трех формул. Оценка первых двух характеристик показала необходимость изменения второго и девятого заданий теста. Они также влияют на величину коэффициента надежности (два результата не удовлетворяют требованиям экспертов). Поэтому для повышения качества теста рекомендуется либо изменить эти задания (второе - усложнить, а девятое - упростить), либо увеличить количество заданий в тесте.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 1(25). - С. 143-151.
2. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 2(26). - С. 113-122.
3. Муратова Л.А. Валидность и дискриминативность при исследовании и оценке качества теста «Интегральное исчисление» // Научный альманах. - 2016. - № 6-1(19). - С. 323-326.
4. Лиманова Л.В. Повышение надежности педагогического теста «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного тех-
95
нического университета. Сер. Психолого-педагогические науки. - 2016. - № 2(30). - С. 75-81.
5. Лиманова Л.В. Улучшение качества педагогического теста из курса высшей математики по теме «Интегральное исчисление» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. -2016. - № 3(31). - С. 54-60.
6. Лиманова Л.В. Проверка качества педагогического теста по высшей математике по теме «Теория функции комплексной переменной» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2017. - № 2(34). - С. 56-65.
7. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
8. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
9. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. Вып. 04/2011. - 28 с.
10. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие. - Донецк: ДонГУ, 1991. - 168 с.
11. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования // Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
12. Психологическая диагностика: Учеб. пособие / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.
Поступила в редакцию 11.10.17 В окончательном варианте 16.11.17
UDC 378.14
THE ANALYSIS OF RELIABILITY OF PEDAGOGICAL TEST OF A COURSE OF MATHEMATICS ON THE SUBJECT "RANKS"
L.V. Limanova1
Samara State Technical University
244, Molodogvardeyskaya St., Samara, 443100
E-mail: llv-1@mail.ru
This work is devoted to the analysis of quality of pedagogical dough on the subject "Ranks" of a course of mathematics which is applied to check of level of knowledge of students at the first year of SAMGTU. Researches of three characteristics of dough were for this purpose conducted: degree of difficulty of each task, variation of test
1 Ludmila V. Limanova - Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics Department.
tasks and reliability. The coefficient of reliability was calculated on three formulas: by means of a formula KR-20, average coefficient of correlation of all tasks among themselves and on Spirmena-Brown's formula. In the analysis of the turned-out results it appeared that values of coefficients of reliability aren't rather high. Therefore for improvement of quality of dough it is recommended or to change the tasks influencing decrease of coefficient of reliability or to increase quantity of tasks in the test (as showed researches - on two tasks).
Keywords: pedagogical test, correlation coefficient, reliability coefficient, variation of test tasks, degree of difficulty of each task.
REFERE^ES
1. Limanova L. V., Muratova L.A. Statisticheskii analiz kachestva testa iz kursa vysshei ma-tematiki po teme «Predely. Proizvodnye» [Statistichesky the analysis of quality of dough from a course of the higher mathematics on a subject "Limits. Derivatives"] Vestnik SamG-TU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 1(25)-2015, pp. 143-151.
2. Limanova L.V., Muratova L.A. Analiz kachestva testa iz kursa vysshei matematiki po teme «Lineinaya algebra, analiticheskaya geometriya» [The analysis of quality of dough from a course of the higher mathematics on the subject "Linear Algebra, Analytical Geometry"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 2(26)-2015, pp. 113-122.
3. Muratova L.A. Validnost' i diskriminativnost' pri issledovanii i ocenke kachestva testa «Integral'noe ischislenie» [Validnost and a diskriminativnost at research and an assessment of quality of the Integral calculus test] Nauchnyi al'manah [The Scientific almanac]. 2016. No. 6-1(19). P. 323-326.
4. Limanova L.V. Povyshenie nadezhnosti pedagogicheskogo testa «Lineinaya algebra, analiticheskaya geometriya» [Increase of reliability of the pedagogical test "Linear Algebra, Analytical Geometry"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 2(30)-2016, pp. 75-81.
5. Limanova L. V. Uluchshenie kachestva pedagogicheskogo testa iz kursa vysshei matematiki po teme «Integral'noe ischislenie» [Improvement of quality of pedagogical dough from a course of the higher mathematics on the subject "Integral calculus"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 3(31)-2016, pp. 54-60.
6. Limanova L. V. Proverka kachestva pedagogicheskogo testa po vysshei matematike po teme «Teoriya funkcii kompleksnoi peremennoi» [Quality check of pedagogical dough on the higher mathematics on a subject "Theory of function of a complex variable"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 2(34)-2017, pp. 56-65.
7. Zvonnikov V. I., Chelyshkova M. B. Sovremennye sredstva ocenivaniya rezul'tatov obucheniya [Modern means of estimation of results of training]. Moscow: Academy, 2007.224 p.
8. Kim V. S. Testirovanie uchebnyh dostizhenii [Testing of educational achievements]. Ussuriisk: Izd-vo UGPI, 2007. 214 p.
9. Karpenko A.P., Domnikov A.S., Belous V. V. Testovyi metod kontrolya kachestva obucheniya i kriterii kachestva obrazovatel'nyh testov [Test method of quality control of training and criteria of quality of educational tests] Nauka i obrazovanie: elektron-noe nauchno-tehnicheskoe izdanie. No. 04/2011, 28 p.
10. Oleynik N. M. Test kak instrument izmereniya urovnya znanii i trudnosti zadanii v sovremennoi tehnologii obucheniya [The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training]. Donetsk, DonGU, 1991. 168 p.
11. Ashchepkova L. Ya. Materialy k seminaru po obrabotke rezul'tatov testirovaniya [Materials to a seminar on processing of results of testing] Regional'nyi centr problem kachestva pri DVGU. Vladivostok, 2001.
12. Psihologicheskaya diagnostika [Psychological diagnostics] [Under the editorship of K M. Gurevich and E M. Borisova]. M.: Izd-vo URAO, 1997. 304 p.
Original article submitted 11.10.17 Revision submitted 16.11.17
