CC BY
21Оценка качества тестовых материалов на этапе их создания
Самохина Виктория Михайловна,
кандидат педагогических наук, заведующая кафедрой «Математика и информатика», Технический институт (филиал) ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова» в г. Нерюнгри E-mail: vsamokhina@bk.ru
Похорукова Мария Юрьевна,
кандидат технических наук, доцент кафедры «Математика и информатика», Технический институт (филиал) ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова» в г. Нерюнгри E-mail: maria.pokhorukova@gmail.com
Корниненко Диана Сергеевна,
студент кафедры «Математика и информатика», Технический институт (филиал) ФГАОУ ВО «СевероВосточный федеральный университет имени М.К. Аммосова» в г. Нерюнгри
E-mail: artemidaamadinart@gmail.com
Развитие образовательных технологий и распространение дистанционной формы обучения обуславливает актуальность и необходимость использования различных тестовых материалов для оценки качества знаний студентов. Компьютерное тестирование позволяет оперативно проверить уровень знаний большого количества участников, будь то вступительные испытания, текущие аттестации, прием экзамена, зачета, проведение рубежных срезов по дисциплине. Однако разработка тестовых материалов является довольно сложным процессом и тесно связана с такими понятиями как надежность, валид-ность и эффективность. Существуют различные методики и методы определения надежности и валидности тестов. В данной статье определяется качество тестов для направлений подготовки «Строительство», «Прикладная информатика» «Электроэнергетика» и специальности «Горное дело» по дисциплине «Математика» с помощью методов Спирмена - Брауна, Рюло-на и метода KR-20. Предложен алгоритм проверки тестов на количественном и качественном уровне, который позволит увеличить количество надежных и эффективных заданий, снизить погрешность результатов оценивания знаний студентов, увеличить число утвержденных тестовых материалов.
Ключевые слова: тестовые материалы, оценка качества, надежность, валидность, метод Спирмена - Брауна, метод Рюло-на, метод KR-20.
В связи с повсеместным распространением, а иногда и необходимостью, дистанционного обучения и развитием технологий для его обеспечения, тестовые материалы для оценки качества знаний студентов приобретают особую актуальность. Традиционная форма общения между студентами и преподавателями, безусловно, необходима для получения качественного образования, но оценка знаний студентов может быть, а иногда должна быть, реализована в виде тестирования. При использовании соответствующих дистанционных образовательных технологий компьютерное тестирование позволяет оценить уровень усвоения материала, своевременно корректировать процесс усвоения студентами новых знаний, проверить степень их готовности к экзамену или зачету и т.п. [2].
Зачастую тестовые задания, которые используются в образовательном процессе для оценки качества знаний, разработаны преподавателями этих же заведений. В первую очередь потому, что преподаватели создают тестовые материалы с учетом рассматриваемых тем по конкретной дисциплине и индивидуальных особенностей студентов (уровня подготовки, имеющихся знаний и т.п.).
В Ти (ф) СВФУ тестирование проводится для разных целей: вступительные испытания, текущие аттестации, прием экзамена, зачета, проведение рубежных срезов по дисциплине, коллоквиумы и т.д., поэтому учебный процесс должен быть обеспечен тестовыми заданиями. Базы тестовых заданий (БТЗ) утверждаются на учебно-методическом совете вуза и внесение БТЗ в систему дистанционного обучения MOODLE является обязательным условием для утверждения. При этом, около 50% тестов отправляются на доработку в связи с обнаружением нарушений методических и технологических требований: часто бывают ошибки в структуре, содержании и оформлении тестовых заданий. Разработка тестовых материалов для оценки качества знаний студентов, является сложным процессом, так как ряд жестких требований к тестам уже содержатся в определениях теста.
В результате анализа определений к понятию «тест» были рассмотрены работы М.Б. Челыш-кова [5], А.Н. Майорова, В.С. Аванесова [1]. Под педагогическим тестом понимается система тестовых заданий различной трудности, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности обучающихся. При этом можно выделить следующие основные признаки теста: состоит из некоторого количества тестовых заданий стандартизированной формы и содержания, задания оцениваются в зависимости от трудности.
сз о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
о с
CJ
ем о см
В соответствии с теорией тестирования, разработанной В.С. Аванесовым, Т.А. Ильиной, А.Н. Майоровым, М.Б. Челышковой и др., качество любого теста сопряжено с такими понятиями как надежность, валидность и эффективность.
Надежность теста означает, что при повторном проведении тестирования должны быть получены идентичные либо очень близкие результаты. Согласованность результатов при этом можно измерять коэффициентом корреляции Пирсона. При значении коэффициента более 0,8 можно говорить о довольно высокой надежности теста. Оценка надежности тестов проводится различными исследователями, например, по формулам Кью-дера - Ричардсона, Спирмена - Брауна, Рюлона. В статье [3] рассмотрены основные качественные характеристики тестов и указанные методы для проверки их надежности с помощью корреляционной матрицы.
Валидность теста показывает, насколько хорошо тест реализует то, для чего он был создан, и оценивается преподавателем с использованием какого-либо внешнего критерия.
Для определения качества тестов были взяты данные промежуточного тестирования студентов Технического института направлений подготовки «Строительство», «Прикладная информатика» «Электроэнергетика» и специальности «Горное дело» по дисциплине «Математика». Информация о контингенте студентов и проценте правильных заданий приведена в таблице 1.
Таблица 1
Направление подготовки/специальность Количество студентов Количество тестовых заданий Средний процент правильных ответов
Строительство 36 115 64,6
Прикладная информатика 42 101 67,6
Электроэнергетика 36 62 67,1
Горное дело 54 92 60,3
С помощью теста проводилась итоговая аттестация студентов. Перед тестированием из банка тестовых заданий преподавателем было выбрано по 30 вопросов, принадлежащих различным дидактическим единицам. В тесте присутствуют задания всех форм, более детальная информация приведена в таблице 2.
Предварительно была проведена математическая обработка полученных результатов: для определения надежности для каждой группы была произведена выгрузка результатов теста из СДО MOODLE, тем самым получена матрица размера пхт, где п - порядковый номер студента, т - номер задания.
Далее используется дихотомическая шкала оценок результатов: 0 - задание не выполнено, 1 -задание выполнено правильно. Для перехода к редуцированной матрице произведены вычисления
вектора корреляции и вектора коэффициентов трудности (р^, в результате вычислений из системы тестовых заданий удалены задания, которым соответствуют коэффициенты р, > 0.9,
р, < 0.2 и R¡ < 0.15, и, затем составлена новая,
упорядоченная матрица данных тестирования, в которой столбца расположены в порядке возрастания трудности заданий, а строки - в порядке уменьшения суммарных баллов испытуемых. В результате таких преобразований в редуцированной матрице количество тестовых заданий уменьшилось до 12 заданий по направлению подготовки «Строительство», 10 заданий по направлению подготовки «Прикладная информатика, 15 заданий по направлению подготовки «Электроэнергетика», 10 заданий по специальности «Горное дело».
Таблица 2
Направление подготовки/ специальность Доля заданий (%)
Открытая форма Закрытая форма На установление порядка На соответствие
Строительство 17,4 55,7 2,6 24,3
Прикладная информатика 12,87 68,32 3,96 14,85
Электроэнергетика 8,1 90,3 1,6 -
Горное дело 17,4 70,7 1,1 10,87
Для определения надежности теста были применены следующие методы: метод Спирмена - Брауна; метод Рюлона; метод ^-20. Полученные коэффициенты надежности приведены в таблице 3.
Таблица 3
Направление подготовки/специальность Метод Спирмена - Брауна Метод Рюлона Метод KR-20
Строительство (А1) 0,865 0,354 0,793
Прикладная информатика (А2) 0,893 0,538 0,904
Электроэнергетика(А3) 0,752 0,291 0,802
Горное дело (А4) 0,674 0,039 0,821
Результаты проверки значимости коэффициентов надежности тестовых материалов при доверительной вероятности 90% и 95% дают возможность утверждать, что коэффициент надежности является значимым, за исключением метода Рюлона.
Самые низкие коэффициенты надежности свойственны тестовым материалам по специальности «Горное дело». Следовательно, по результатам тестирования нельзя судить о подготовленности студентов, т.е. данный тест не дает качественной оценки знаний студентов.
Метод Спирмена - Брауна имеет преимущества перед другими методами, поскольку позволяет оценить надежность по результатам однократного тестирования. Метод ^-20 применим в случае равенства дисперсий.
Для определения валидности необходима оценка знаний студентов преподавателем по результатам тестирования по пятибалльной шкале. Для коэффициентов валидности проведена оценка их значимости при доверительных вероятностях 90% и 95%, результаты расчета представлены в таблице 4.
Таблица 4
Направление подготовки/специальность Коэффициент валидности
Строительство V=0,967
Прикладная информатика V=0,826
Электроэнергетика V=0,816
Горное дело V=0,774
Оценка значимости произведена с помощью критерия Стьюдена. Расчетное значение коэффициента валидности, по всем тестовым материалам являются значимыми.
Метод Спирмена - Брауна имеет преимущества перед другими методами, поскольку позволяет оценить надежность по результатам однократного тестирования. Метод ^-20 применим в случае равенства дисперсий.
Для оценки эффективности исследуемых тестовых материалов проведено повторное тестирование студентов направления «Строительство». Для этого была удалена часть тестовых заданий: по результатам тестирования были упорядочены, задания в столбцах расположены в порядке возрастания трудности, а строки в порядке уменьшения сверху вниз, суммарных баллов испытуемых (табл. 5).
Таблица 5
Метод Спирмена -Брауна Метод Рюлона Метод КЯ-20 Коэффициент валидности
0,910 0,689 0,958 V=0,638
Таким образом, удаление части тестовых заданий приводят к улучшению значений коэффициентов надежности, вычисленных по методам Спирмена - Брауна (0,91 против 0,87), Рюлона (0,69 против 0,79) и ^-20 (0,82 против 0,79). Следовательно, можно утверждать, что эффективность является положительной. Однако снижение коэффициента валидности с 0,97 до 0,64 свидетельствует о потере полезных свойств теста в результате удаления части заданий, поэтому данное исследование было дополнено оценкой качества данных тестовых материалов с помощью методики основанной на теории нечетких множеств.
На основании опроса преподавателей ТИ (ф) СВФУ были выделены следующие критерии (Р) влияющие на качество тестовых материалов:
• имеющийся опыт в разработке тестов;
• наличие только теоретических или только практических заданий;
• присутствие всех форм заданий: закрытых, открытых, на установление последовательности, соответствия и т.д.;
• наличие заданий разного уровня сложности;
• имеющийся опыт преподавания по данной дисциплине;
• наличие заданий на проверку знаний по всем разделам дисциплины или же четкое указание раздел/ тема/подтема;
• высокая корреляция результатов тестирования и результатов экзамена по дисциплине;
• высокое значение процента правильных ответов студентов по результатам многократного тестирования в среднем.
Была составлена матрица рангов показателей-критериев, для определения степени совпадения мнений экспертов и вычислен коэффициент кон-кордации ^=0,763), при проверке по критерию согласия Пирсона, с вероятностью 95% можно утверждать, что коэффициент является значимым. Следовательно, существует определенная согласованность мнений специалистов относительно степени влияния рассмотренных показателей на оценку качества тестовых материалов.
В результате получено нечеткое множество D наилучших тестовых материалов, каждый тест входит со своей степенью принадлежности:
D= {А110.310; А^ 0.273; А310.280; А4| 0.080}.
Из данного множества выбирается тест, у которого степень принадлежности к множеству наибольшая, такими тестами будут А1, А2, А3.
Данный результат согласуется с результатами, полученными по методам Спирмена - Брауна, метод Рюлона, метод ^-20.
Таким образом, на первом этапе проверки была дана количественная оценка тестовым материалам, на втором качественная. Результаты дополняют друг друга, поэтому в качестве проверки теста можно рекомендовать следующий алгоритм:
1. Вычисление коэффициентов надежности тестов по методу Спирмена - Брауна. о
2. Оценка вычисленных коэффициентов надеж- Е ности на значимость (требования к надежности Е и валидности тестов Олейник Н.М. [4]). Н
3. Вычисление коэффициентов валидности. й
4. Оценка экспертами соответствия тестов крите- Д риям, характеризуемым качественно: Г
Тестовое задание по дисциплине Показатели (критерии)
Р.1 Р.2 Р.3. Р.п
А1
А2
5. Ранжирование тестовых материалов по методу, основанному на теории нечетких множеств.
6. Сопоставление результатов 2,4 и 6. Вынесение окончательного решения. Разработанная методика позволит оценить качество тестовых материалов на этапе их создания, тем самым предоставляя возможность увеличить количество надежных и эффективных заданий, снизить погрешность результатов оценивания знаний студентов, увеличить число утвержденных тестовых материалов.
Литература
1. Аванесов В.С. Теория и методика педагогических измерений [Электронный ресурс]. URL: http://testolog.narod.ru/Theory21.html.
2. Лунев А. П., Окладникова С.В. Управление качеством разработки тестовых материалов с применением современных информационных технологий //Естественные науки. - 2008. -№ . 1. - С. 75-80.
3. Мороз, Л.С. Методы определения надежности и валидности тестов для контроля знаний / Л.С. Мороз // Труды БГТУ. № 6. Физико-математические науки и информатика. -2010. - № 6. - С. 176-179.
4. Олейник Н.М. Обработка результатов тестирования и определение качества теста [Электронный ресурс]. URL: http://fevt.ru/load/sdo/ kachestvo_testa/116-1-0-1485 1.
5. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. - М.: Логос, 2002. 432 с.
CURRENT TRENDS IN GRAPHIC DESIGN
Samokhina V.M., Pokhorukova M. Yu., Kornienko D.S.
North-Eastern Federal University named after M.K. Ammosov
The development of educational technologies and the spread of distance learning determines the relevance and necessity of using various test materials to assess the quality of students' knowledge. Computer testing allows you to quickly check the level of knowledge of a large number of participants, whether it is entrance tests, current attestations, taking an exam, a test, conducting boundary sections on the discipline. However, the development of test materials is a rather complex process and is closely related to such concepts as reliability, validity and efficiency. There are various techniques and methods for determining the reliability and validity of tests. This article determines the quality of tests for the areas of training "Construction", "Applied Informatics", "Electric Power Engineering" and the specialty "Mining" in the discipline "Mathematics" using the Spearman-Brown, Ryulon methods and the KR-20 method. An algorithm for testing tests at a quantitative and qualitative level is proposed, which will increase the number of reliable and effective tasks, reduce the error in the results of assessing students' knowledge, and increase the number of approved test materials.
Keywords: test materials, quality assessment, reliability, validity, Spearman-Brown method, Ryulon method, KR-20 method.
References
1. Avanesov V.S. Theory and methodology of pedagogical measurements [Electronic resource]. URL: http://testolog.narod.ru/ Theory21.html.
2. Lunev AP, Okladnikova SV Quality management of test materials development with the use of modern information technologies // Natural sciences. - 2008. - No. 1. - S. 75-80.
3. Moroz, LS Methods for determining the reliability and validity of tests for knowledge control / LS Moroz // Proceedings of BS-TU. No. 6. Physics and mathematics and informatics. - 2010. -No. 6. - S. 176-179.
4. Oleinik N.M. Processing test results and determining the quality of the test [Electronic resource]. URL: http://fevt.ru/load/sdo/ kachestvo_testa/116-1-0-1485 1.
5. Chelyshkova M.B. Theory and practice of constructing pedagogical tests: Textbook. - M.: Logos, 2002.432 p.
о с
u
CM
о
CM
