CC BY
14
N.V. Federal Agency for Education. State Educational Institution of Higher Professional Education "Samara State University". Samara. 2009.
6. Labzina P.G. Razvitie kreativnogo mishleniya studentov tekhnicheskogo vuza v processe izucheniya inostrannogo yazika [The development of students' creative thinking in a technical school in the process of learning a foreign language] // Vestnik Samar-skogo Gosudarstvennogo Tekhnicheskogo Universiteta. Psikhologo-pedagogicheskie nauki. 2013. No.1 (19). - 63-66 pp.
7. Dobrova V.V., Sisueva I.G. Sokrashennie formy rechevogo obsheniya kak sredstvo osushchestvleniya mezhkulturnoj kommunikacii [Abbreviated forms of verbal communication as means to intercultural communication] // Vestnik Samarskogo Gosu-darstvennogo Tekhnicheskogo Universiteta. Psikhologo-pedagogicheskie nauki. 2012. No.2 (18). - 72-76 pp.
S. Dudley-Evans A., St. Johns M.J. Developments in English for Specific Purposes. -Cambridge University Press, 199S.
Original article submitted 11.05.16; revision submitted 23.05.16
УДК 37S.14
ПОВЫШЕНИЕ НАДЕЖНОСТИ ПЕДАГОГИЧЕСКОГО ТЕСТА «ЛИНЕЙНАЯ АЛГЕБРА, АНАЛИТИЧЕСКАЯ ГЕОМЕТРИЯ»
Л. В. Лиманова1
Самарский государственный технический университет 443100, г.Самара, ул. Молодогвардейская, 244 E-mail: llv-1@mail.ru
Качество педагогического теста оценивается с помощью характеристик надежности, валидности и дискриминативности. Данная статья посвящена анализу надежности переработанного педагогического теста «Линейная алгебра, аналитическая геометрия» курса высшей математики Самарского государственного технического университета. Результаты исследований показали, что в новом тесте в отличие от прежнего все коэффициенты корреляции заданий друг с другом положительны и не превосходят величины 0,3, что считается хорошим показателем. В сравнении со старым тестом увеличилась надежность (более 0,8), значит, тест стал более качественным.
Ключевые слова: педагогический тест, коэффициент корреляции, коэффициент надежности.
Педагогические тесты служат инструментом оценки и контроля знаний обучающихся. И это должен быть качественный инструмент, который позво-
1 Лариса Владимировна Лиманова, кандидат технических наук, доцент кафедры высшей математики и прикладной информатики.
лит получить достоверные результаты. Анализу качества педагогического теста по теме «Линейная алгебра, аналитическая геометрия» из курса высшей математики была посвящена статья, представленная в номере 2 (26) - 2015 научного журнала «Вестник Самарского государственного технического университета» (СамГТУ) серии «Психолого-педагогические науки» [1]. В этой статье согласно классической теории тестов [2-14] была выполнена статистическая обработка и проведен анализ результатов на соответствие характеристик теста научно обоснованным критериям качества. Известно, что процесс создания тестов включает в себя ряд этапов [6, 8, 14]. Следующим этапом является чистка теста, замена и добавление новых заданий. В упомянутой статье была предложена коррекция содержания теста для оптимизации таких показателей, как надежность и валидность. В частности, рекомендовалось исключить из теста или заменить задания 1, 4 и 12, поскольку они либо имели отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Как следствие, был подготовлен новый тест со следующими коррективами. Было изменено задание № 1: если в старом тесте оно касалось вычисления определителя третьего порядка (с ним справилось слишком большое количество студентов - 93 %, что для нормативно-ориентированного теста нежелательно [6, 9]), то в новом тесте это задание на применение формул Крамера к решению системы линейных уравнений (табл. 1). Задание № 4 (умножение матриц) составители посчитали целесообразным сохранить. Задание № 12 (теоретический вопрос) исключено, так как отрицательно коррелировало со многими другими заданиями, что, очевидно, связано с угадыванием. Новый тест, содержащий теперь 19 задач (нумерация осталась прежней, чтобы не было путаницы), для чистоты эксперимента был апробирован на студентах того же факультета -автоматики и информационных технологий СамГТУ. В тестировании участвовало 136 студентов. Четыре студента справились со всеми заданиями и никакой информации для анализа основных характеристик качества теста не давали, поэтому их тесты были исключены из дальнейшего рассмотрения.
Таблица 1
Задание № 1, представленное в тестах 2014 и 2015 гг.
2014 г. (старый тест) 2015 г. (новый тест)
Вычислить: 2 -10 3 0 - 2 0 2 1 Для системы уравнений - х - 2 г = 1, у - г = 4, найти А, Ах, х. 2 х - у = 5
Проанализируем получившиеся результаты. Для определения трудности каждого задания найдем величину ру (отношение количества правильных ответов на у'-е задание к общему количеству студентов), график которой представлен на рис. 1. Наибольшее количество студентов справилось с 4-м заданием (85 %). С новым первым заданием справились 84 % (против 93 % в старом тесте). Как и ранее, наименьшее число студентов справилось с 16-м заданием.
о, о, о,
Ï о,
I о,
s о,
5 о, m
о,
о,1
A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 А11 А13 А14 А15 А16 А17 А18 А19 А20
номера заданий
Рис. 1. Мера трудности задания
На рис. 2 представлен график вариации тестовых заданий. Ее величина определяется как pj ■ qj ( qj = 1 - pj ). По оси абсцисс расположены номера
заданий в порядке убывания количества правильных ответов, а по оси ординат - вариация (дисперсия) заданий. Здесь довольно много заданий средней трудности ( Pj ■ qj = 0,25). Для нормативно-ориентированных тестов именно
такие задачи считаются наиболее удачными [2, 8, 9, 11]. 0,3
0,25
■ о,2 о,15
0.1 о,о5
о
A4 A1 A3 A7 A2 A14 А1о A13 A8 A5 A9 A6 A17 A19 A18 A11 A15 А2о A16
номера заданий Рис. 2. Вариация тестовых заданий
Как и ранее [1, 15], коэффициенты надежности вычислялись тремя методами.
1. По формуле KR-20 [7 - 9, 12]:
( M \
S pq
M
M -1
1
j=1
4
о
2
Л'
где М - количество заданий;
- дисперсия индивидуальных баллов студентов
1
=■
—I ( 1 £
х - х )2;
х, - индивидуальный балл испытуемого; 1 "
х = — I х■ - средний балл всех студентов;
«7=1
п - общее число студентов. 2. С помощью среднего коэффициента корреляции всех заданий между собой [4, 9]:
= МЯ = 1 + (М - 1)Я'
где Я - средний коэффициент корреляции всех заданий между собой:
Я
М
I
1=1
хУ
М
3. Путем расщепления теста по четным и нечетным заданиям и последующего определения коэффициента корреляции г1/2 между этими группами по формуле [3, 7, 9]
п С п \ С п Л
«I ХгУг - II X I • II Уг
, =1 V г =1 У V г =1 У
Г1/2
И
п
пп
2Х -
1 =1 V г =1 У
2
п
пп
I Уг' - I I Уг
V г = 1 У
2
где х, и у, - индивидуальные баллы г-го испытуемого в четных и нечетных заданиях соответственно. Так как этот коэффициент корреляции соответствует только половине теста, необходимо скорректировать его в соответствии с формулой Спирмена - Брауна
2г
„ _ 1 / 2
1 + г
1/2
Для сравнения полученные результаты представлены в табл. 2.
Коэффициенты надежности по результатам тестирования, проведенного в 2014 и 2015 гг.
Таблица 2
Метод 2014 г. 2015 г.
(старый тест) (новый тест)
Формула КЯ-20 0,753 0,813
С помощью среднего коэффициента корреляции 0,824 0,847
Расщепление теста 0,774 0,837
Как видно из таблицы, все значения коэффициентов надежности увеличились, то есть качество теста повысилось. Следовательно, его можно использовать как достаточно эффективное средство объективного контроля
знаний студентов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 2(26). - С. 113-122.
2. Аванесов В. С. Десятилетний юбилей журнала «Педагогические измерения» // Педагогические измерения. - 2014. - № 3. - С. 3-43.
3. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования // Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
4. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. -М.: Прогресс, 1976. - 496 с.
5. Ефремова Н.Ф., Звонников В.И., Челышкова М.Б. Педагогические измерения в системе образования // Педагогика. - 2006. - № 2. - С. 14-22.
6. Жилина Е.В. Анализ применяемых моделей и методов тестирования для оценки знаний специалиста // Zpravy vedecke ideje - 2011: materialy VII mezinarodni vedecko-prakticka konference. 27 rijna - 05 listopadu 2011 roku. Dil 4. Ekonomicke vedy. Praha: Publishing House «Education and Science» s.r.o. 2011. - C. 53-62.
7. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
8. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. - 2011. - № 04. - 28 с.
9. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
10. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов / Под общ. ред. В.И. Звонникова, М.Б. Челышковой. - М.: Логос, 2010. - 668 с.
11. Морев И. А. Образовательные информационные технологии. Ч. 2 // Педагогические измерения. - Владивосток: Изд-во Дальневост. ун-та, 2004. - 174 с.
12. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. - Донецк: ДонГУ, 1991. - 168 с.
13. Психологическая диагностика / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.
14. Челышкова М.Б. Теория и практика конструирования педагогических тестов. -M.: Логос, 2002. - 432 c.
15. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского
государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 1(25). - С. 143-151.
Поступила в редакцию 05.05.16; в окончательном варианте 18.05.16
UDC 378.14
INCREASE OF RELIABILITY OF THE PEDAGOGICAL TEST "LINEAR ALGEBRA, ANALYTICAL GEOMETRY"
L. V. Limanova1
Samara State Technical University 443100, Samara, Molodogvardeyskaya St., 244 E-mail: llv-1@mail.ru
Quality ofpedagogical dough is estimated by means of characteristics of reliability, a validity and diskriminativnost. This article is devoted to the analysis of reliability of the processed pedagogical test "Linear Algebra, Analytical Geometry" of a course of the higher mathematics of the Samara state technical university. Results of researches showed that in the new test, unlike former, all coefficients of correlation of tasks are with each other positive and don't surpass the size 0,3 that is considered a good indicator. In comparison with old dough reliability increased (more than 0,8), so the test became more better.
Keywords: pedagogical test, correlation coefficient, reliability coefficient.
REFERE^ES
1. Limanova L.V., Muratova L.A. Analiz kachestva testa iz kursa vysshei matematiki po teme «Lineinaya algebra, analiticheskaya geometriya» [The analysis of quality of dough from a course of the higher mathematics on the subject "Linear Algebra, Analytical Geometry"]. Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 2(26)-2015. - pp. 113-122.
2. Avanesov V. S. Desyatiletnii yubilei zhurnala «Pedagogicheskie izmereniya» [Ten-year anniversary of the Pedagogical Measurements magazine]. Pedagogicheskie izmereniya. No. 3. - pp. 3-43.
3. Ashchepkova L.Ya. Materialy k seminaru po obrabotke rezul'tatov testirovaniya [Materials to a seminar on processing of results of testing]. Regional'nyi centr problem kachestva pri DVGU. Vladivostok.
1 Larisa V. Limanova, Cand. Tech. Sci., Associate professor of Advanced Mathematics and Applied Information Science Department.
4. Glass J., Stenli J. Statisticheskie metody v pedagogike i psihologii [Statistical methods in pedagogics and psychology]. M.: Izd-vo Progress [Moscow: Publishing house Progress]. - 496 p.
5. Efremova N.F., Zvonnikov V.I., Chelyshkova M.B. Pedagogicheskie izmereniya v sisteme obrazovaniya [Pedagogical measurements in an education system]. Pedagogika [Pedagogics]. No. 2. - pp. 14-22.
6. Zilina E. V. Analiz primenyaemyh modelei i metodov testirovaniya dlya ocenki znanii specialista [The analysis of the applied models and methods of testing for an assessment of knowledge of the expert]. Zpravy vedecke ideje: materialy VII mezinarodni vedecko-prakticka konference. 27 rijna - 05 listopadu 2011 roku. Dil 4. Ekonomicke vedy. Praha: Publishing House "Education and Science" s.r.o. - pp. 53-62.
7. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sredstva ocenivaniya rezul'tatov obucheniya [Modern means of estimation of results of training]. Moscow: Academy. - 224 p.
8. Karpenko A.P., Domnikov A.S., Belous V.V. Testovyi metod kontrolya kachestva obucheniya i kriterii kachestva obrazovatel'nyh testov [Test method of quality control of training and criteria of quality of educational tests]. Nauka i obrazovanie: elektron-noe nauchno-tehnicheskoe izdanie. No. 04/2011. - 28 p.
9. Kim V.S. Testirovanie uchebnyh dostizhenii [Testing of educational achievements]. Ussuriisk: Izd-vo UGPI. - 214 p.
10. Crocker L., Algina J. Vvedenie v klassicheskuyu i sovremennuyu teoriyu testov [Introduction to the classical and modern theory of tests] [Under the general editorship of V.I. Zvonnikov, M.B. Chelyshkova]. Moscow: Logos. - 668 p.
11. Morev I.A. Obrazovatel'nye informacionnye tehnologii. [Educational information technologies. Part 2]. Pedagogicheskie izmereniya [Pedagogical measurements]. Vladivostok: Publishing house of Dalnevost. un-ta. - 174 p.
12. OleynikN.M. Test kak instrument izmereniya urovnya znanii i trudnosti zadanii v sov-remennoi tehnologii obucheniya [The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training]. Donetsk, DonGU. - 168 p.
13. Psihologicheskaya diagnostika [Psychological diagnostics] [Under the editorship of K.M. Gurevich and E M. Borisova]. M.: Izd-vo URAO. - 304 p.
14. Chelyshkova M.B. Teoriya i praktika konstruirovaniya pedagogicheskih testov [Theory and practice of designing of pedagogical tests]. Moscow: Logos. - 432 p.
15. Limanova L.V., Muratova L.A. Statisticheskii analiz kachestva testa iz kursa vysshei matematiki po teme «Predely. Proizvodnye» [Statistichesky the analysis of quality of dough from a course of the higher mathematics on a subject "Limits. Derivatives"]. Vestnik SamGTU, Seriya «Psihologo-pedagogicheskie nauki» [The Messenger SAMGTU, the Psychology and Pedagogical Sciences Series]. No. 1(25)-2015. - pp. 143-151.
Original article submitted 05.05.16; revision submitted 18.05.16
