CC BY
23
УДК 378.14
УЛУЧШЕНИЕ КАЧЕСТВА ПЕДАГОГИЧЕСКОГО ТЕСТА ИЗ КУРСА ВЫСШЕЙ МАТЕМАТИКИ ПО ТЕМЕ «ИНТЕГРАЛЬНОЕ ИСЧИСЛЕНИЕ»
Л.В. Лиманова1
Самарский государственный технический университет 443100, г. Самара, ул. Молодогвардейская, 244 E-mail: llv-1@mail.ru
Одним из способов контроля знаний является тестирование учащихся. Цель данной работы - повышение качества педагогического теста по теме «Интегральное исчисление» курса высшей математики, который применяется для оценки знаний студентов на первом курсе СамГТУ. Для этого исследовалась одна из основных характеристик теста -надежность. Коэффициент надежности вычисляется с помощью трех формул: по вариации тестовых заданий (формула KR-20); с использованием среднего коэффициента корреляции всех заданий между собой; по формуле Спирмена - Брауна. Исследование надежности показало необходимость увеличения числа заданий в соответствии с формулой кратности.
Ключевые слова: педагогический тест, коэффициент корреляции, коэффициент надежности.
В настоящее время тестовые технологии рассматриваются в качестве мощного инструмента оценки и контроля качества образования. Использование педагогического тестирования позволяет наиболее качественно и объективно оценить уровень подготовленности каждого обучающегося. Для этого тест должен удовлетворять определенным требованиям. В качестве основных критериев качества теста используются надежность, валидность и дискрими-нативность [1-8]. Эти характеристики рассчитываются с помощью математических методов статистики.
1 Лариса Владимировна Лиманова, кандидат технических наук, доцент кафедры высшей математики и прикладной информатики.
В данной публикации исследуется надежность педагогического теста по теме «Интегральное исчисление» курса высшей математики [9]. Он используется для текущего контроля знаний студентов первого курса Самарского государственного технического университета. Этот тест относится к тестам закрытого типа и содержит 10 заданий с выбором единственного правильного ответа из пяти предложенных. Для обработки результатов тестирования были выбраны работы студентов нефтетехнологического факультета университета. В тестировании участвовали 203 студента.
Как и в предыдущих статьях [1, 2], в начале анализа исследуем степень трудности каждого задания. Для этого найдем величину pj, равную отношению количества правильных ответов на]-е задание к общему количеству студентов. График этой характеристики представлен на рис. 1. Из него видно, что наибольшее число студентов справилось со 2-м заданием, наименьшее -с 9-м заданием.
номера заданий
Рис. 1. Мера трудности задания
Далее рассмотрим следующую важную характеристику - вариацию тестовых заданий р:1 ■ д}- (= 1 - р:1). Отсортируем номера заданий в порядке
убывания количества правильных ответов (ось абсцисс) и построим график вариации заданий (ось ординат) (рис. 2). Эксперты считают, что ее величина должна быть в районе 0,25, что для нормативно-ориентированных тестов считается наиболее удачным. В нашем случае величина вариации удовлетворяет их требованиям.
0,3 0,25
(Т
0,2
га
I 0,15 у
| 0,1 ш
0,05 0
А2 А1 А7 А8 А3 А4 А6 А10 А5 А9 номера заданий
Рис. 2. Вариация тестовых заданий
В качестве числовой характеристики надежности данного теста рассматривают коэффициент надежности Г [3 - 6]. Для расчета его значения применяют несколько формул. Сначала найдем коэффициент надежности с помощью формулы КЯ-20 [4, 5]:
( M \
Е p1q1
1 -
М
М -1
(1)
V У
где М - количество заданий; - исправленная дисперсия индивидуальных
1
п ■
~Е (Хг - X)2; X -
' 1 г=1
xi - индивидуальный балл испытуе-
баллов студентов: s
_ 1 "
мого; x = — Е xi - средний балл всех студентов; п - общее количество ступ ,=1
дентов.
Тогда коэффициент надежности согласно формуле (1) равен Г = 0,665. Следующая формула определения коэффициента надежности записывается с помощью среднего коэффициента корреляции R всех заданий между собой:
МЯ
1 + (М - 1)Я
(2)
_ 1 М
Здесь Я =~Е гХу - средний коэффициент корреляции всех заданий между
собой; г' - среднее значение коэффициентов корреляции дляу'-го задания.
Л'
х
Г
Так как наши данные представлены в виде дихотомического ряда (1 - правильный ответ, 0 - неправильный ответ), коэффициенты корреляции сртк между
заданиями с номерами т и к ( т = 1, М, к = 1, М ) находим по формуле [4]
т = Ртк ~ РтРк
ттк ~ I- 5
VРтЧтРкЧк
где Ртк - отношение количества правильных ответов для заданий с номерами т и к к общему количеству студентов.
Для качественно составленного теста значения коэффициентов корреляции сртк должны быть меньше 0,3. Кроме того, задания не должны давать отрицательную корреляцию с большим количеством других заданий [4]. В данном тесте отрицательных значений коэффициентов корреляции немного и практически все (ртк < 0,3, что удовлетворяет требованиям экспертов. В таблице приведены средние значения коэффициентов корреляции для каждого задания г1,.
ху
Средние значения коэффициентов корреляции для гхУ
А2 А1 А7 А8 А3 А4 А6 А10 А5 А9
0,266 0,265 0,262 0,281 0,243 0,259 0,208 0,257 0,159 0,278
В результате получаем Я = 0,248, г = 0,767.
Третий способ определения коэффициента надежности основан на применении формулы Спирмена - Брауна [4, 7]:
2г
1 + г
(3)
Этот метод заключается в следующем: тест разделяется на две части по четным и нечетным заданиям, затем находится коэффициент корреляции г между этими группами по формуле
п ( п Л ^ п Л
ПЕ ХгУг - |Е х I ' |Е У!
1 =1 V ! = 1 У V ! = 1
(
п
пп
2Х - |£х,1
1=1 V1 =1 У
Л Г
п
пп
Е у2 -1Е Уг
V 1=1 У
2
У
где хг и уг - индивидуальные баллы 1-го испытуемого в четных и нечетных заданиях соответственно.
1/2
Г =
1/2
г
1/2
В нашем случае коэффициент корреляции г равен 0,527, значит, коэффициент надежности согласно формуле (3) г- = 0,691.
Как видим, все величины коэффициента надежности примерно равны. Но требуемому значению (больше 0,7) соответствует только коэффициент надежности, рассчитанный по формуле (2).
Во многих источниках сказано [3, 4, 8], что для повышения надежности теста необходимо либо изменить задания, которые снижают коэффициент надежности, либо увеличить количество заданий в тесте. Чтобы определить, на сколько заданий надо увеличить тест, применяется формула [4]
/ кгг
Г =--—,
- 1 + (к - 1)г-
где г - коэффициент надежности до изменения длины теста; г' - коэффициент надежности после изменения; к - кратность изменения.
Найдем значение к, взяв в качестве г- наименьшее из полученных значений коэффициента надежности г- = 0,665, и зададим новое значение г'= 0,7. В результате получим к = 1,18. Значит, к 10 задачам теста следует добавить еще две задачи.
Таким образом, в результате проведенных исследований качества педагогического теста «Интегральное исчисление» можно сделать вывод, что не все коэффициенты надежности, рассчитанные по трем формулам, соответствуют требованиям экспертов. Для повышения качества теста рекомендуется, например, увеличить количество заданий в тесте (до 12).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского государственного университета. Сер. Психолого-педагогические науки. - 2015.
- № 1 (25). - С. 143-151.
2. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного университета. Сер. Психолого-педагогические науки. -2015. - № 2 (26). - С. 113-122.
3. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
4. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007.
- 214 с.
5. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. Вып. 04/2011. - 28 с.
6. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: учеб. пособие. - Донецк: ДонГУ, 1991. - 168 с.
7. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования / Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
8. Психологическая диагностика: Учеб. пособие / Под ред. К.М. Гуревича и Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 с.
9. Муратова Л.А. Валидность и дискриминативность при исследовании и оценке качества теста «Интегральное исчисление» // Научный альманах. - 2016. - № 6-1(19). - С. 323-326.
Поступила в редакцию 20.09. 2016; в окончательном варианте 10.10.2016
UDC 378.14
IMPROVEMENT OF QUALITY OF PEDAGOGICAL DOUGH FROM A COURSE OF THE HIGHER MATHEMATICS ON A SUBJECT "INTEGRAL CALCULUS"
L. V. Limanova1
Samara State Technical University
244, Molodogvardeyskaya St., Samara, 443100
E-mail: llv-1@mail.ru
One of ways of control of knowledge is testing of pupils. The purpose of this work is improvement of quality of pedagogical dough on the subject "Integral calculus" of a course of the higher mathematics which is applied to an assessment of knowledge of students at the first year of SAMGTU. One of the main characteristics of dough - reliability was for this purpose investigated. The coefficient of reliability is calculated by means of three formulas: on a variation of test tasks (formula KR-20); with use of average coefficient of correlation of all tasks among themselves; on Spirmena-Brown's formula. Research of reliability showed need of increase in number of tasks according to a frequency rate formula.
Keywords: pedagogical test, correlation coefficient, reliability coefficient.
1 Larisa V. Limanova, Cand. Tech. Sci., Associate Professor of Advanced Mathematics and Applied Information Department.
REFERENCES
1. Limanova L.V., Muratova L.A. Statisticheskii analiz kachestva testa iz kursa vysshei matematiki po teme «Predely. Proizvodnye» [Statistichesky the analysis of quality of dough from a course of the higher mathematics on a subject "Limits. Derivatives"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 1(25)-2015, pp. 143-151.
2. Limanova L. V., Muratova L.A. Analiz kachestva testa iz kursa vysshei matematiki po teme «Lineinaya algebra, analiticheskaya geometriya» [The analysis of quality of dough from a course of the higher mathematics on the subject "Linear Algebra, Analytical Geometry"] Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 2(26)-2015, pp. 113-122.
3. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sredstva ocenivaniya rezul'tatov obucheniya [Modern means of estimation of results of training]. Moscow: Academy, 2007.224 p.
4. Kim V.S. Testirovanie uchebnyh dostizhenii [Testing of educational achievements]. Ussuriisk: Izd-vo UGPI, 2007. 214 p.
5. Karpenko A.P., Domnikov A.S., Belous V.V. Testovyi metod kontrolya kachestva obucheniya i kriterii kachestva obrazovatel'nyh testov [Test method of quality control of training and criteria of quality of educational tests] Nauka i obrazovanie: elektron-noe nauchno-tehnicheskoe izdanie. No. 04/2011, 28 p.
6. Oleynik N.M. Test kak instrument izmereniya urovnya znanii i trudnosti zadanii v sov-remennoi tehnologii obucheniya [The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training]. Donetsk, DonGU, 1991. 168 p.
7. Ashchepkova L.Ya. Materialy k seminaru po obrabotke rezul'tatov testirovaniya [Materials to a seminar on processing of results of testing] Regional'nyi centr problem kachestva pri DVGU. Vladivostok, 2001.
8. Psihologicheskaya diagnostika [Psychological diagnostics] [Under the editorship of K M. Gurevich and E M. Borisova]. M.: Izd-vo URAO, 1997. 304 p.
9. Muratova L.A. Validnost' i diskriminativnost' pri issledovanii i ocenke kachestva testa «Integral'noe ischislenie» [Validnost and a diskriminativnost at research and an assessment of quality of the Integral calculus test] Nauchnyi al'manah [The Scientific almanac]. 2016. No. 6-1(19). P. 323-326.
Original article submitted 20.09.2016; revision submitted 10.10.2016
